기술 요약: 시각적 추론에서의 국소성(Locality)과 길이 일반화(Length Generalization)에 관하여

문제 정의

현재의 최첨단 비전 모델, 특히 트랜스포머(Transformer) 기반 모델들은 일반적으로 이미지를 단일 순방향 패스(forward pass)를 통해 전역적으로 입력받습니다. 이러한 모델들은 이미지 캡셔닝이나 시각적 질의응답(VQA)과 같은 작업에서 인간 수준의 성능을 달al하지만, 이는 일련의 국소적인 중심와적(foveated) 훑어보기와 이를 연결하는 안구 운동(saccades)을 통해 정보를 처리하는 인간의 시각과는 근본적으로 다른 전역적 계산에 의존합니다.

본 연구가 다루는 핵심 문제는 시각적 추론에서의 **길이 일반화(length generalization)**입니다. 즉, 이미지 내 엔티티의 수나 작업의 복잡성이 훈련 분포를 초과할 때, 로컬 정보를 이미지 전체에 걸쳐 집계하는 능력을 의미합니다. 언어 모델의 연구 결과(예: Dubois et al., 2020; Anil et al., 2022)와 유사하게, 저자들은 전역 비전 모델이 진정한 구성적 추론 전략을 학습하는 대신 "전역적 지름길(global shortcuts)"을 학습하기 때문에 더 길고 복잡한 시각적 시퀀스에 대한 일반화에 실패하는지 조사합니다. 논문은 텍스트 작업이 이미 순차적 토큰으로 분해되어 있는 것과 달리, 시각적 작업은 공간적으로 분산된 정보를 능동적으로 수집하고 집계해야 하며, 이 과정이 전역적 지각에 의해 방해받을 수 있다고 가정합니다.

방법론

길이 일반화를 위한 테스트베드

저자들은 외삽(extrapolation) 능력을 평가하기 위해 설계된 일련의 시각적 추론 작업을 도입합니다:

1. 시각적 패리티(Visual Parity): 이진 패리티 문제의 시각적 아날로그입니다. 모델은 2D 캔버스에 무작위로 분포된 $N$개의 이진 스위치(0 또는 1)를 찾아내고, 눌린 상태의 합이 홀수인지 짝수인지를 결정해야 합니다. 이는 순열 불변 집계(permutation-invariant aggregation)를 테스트합니다.
2. 상태 머신(State Machine): 순서에 민민한 상태 업데이트를 요구하는 작업입니다. 스위치는 화살표가 가리키는 순서에 따라 수치적 상태를 증감시키는 규칙을 트리거합니다. 이는 순차적 추론과 상태 추적을 테스트합니다.
3. 회상(Recall): 상태 추적 없이 시각적 검색(방해 요소 사이에서 특정 객체 찾기)을 포함하는 제어 작업으로, 일반화 실패가 상태 추적에 특화된 것인지 아니면 모든 시각적 작업에 적용되는지를 테스트합니다.
4. 뿌리 찾기(Finding Roots): 특정 서브플롯과 함수를 국지화하여 뿌리를 식별해야 하는 실제 수학적 추론 작업으로, 복잡하고 구조화된 데이터에서의 성능을 테스트합니다.

FOVEAGENT-LSTM 모델

국소적 지각과 재귀(recurrence)가 일반화에 필수적인지 테스트하기 위해, 저자들은 생물학적 중심와 시각(foveation)에서 영감을 받은 재귀적 비전 모델인 FOVEAGENT-LSTM을 제안합니다.

• 입력 메커니즘: 각 타임스텝에서 모델은 두 가지 입력을 받습니다: 세밀한 디테일을 위한 고해상도 **중심와 훑어보기(foveated glimpse, $G_l$)**와 내비게이션을 위한 저해상도 **주변부 훑어보기(peripheral glimpse, $G_p$)**입니다.
• 아키텍처: 훑어보기 데이터는 ResNet 인코더에 의해 인코딩되고 결합된 후, LSTM 백본으로 전달됩니다.
• 행동 공간(Action Space): 모델은 다음 시선 위치를 결정하기 위한 변위 벡터(각도 및 크기)와 작업 완료를 알리는 정지 비트(stop bit)를 출력합니다.
• 프로브(Probes): 사고의 연쇄(chain-of-thought) 추론을 모사하고 데이터 효율성을 높이기 위해 중간 감독(intermediate supervision)을 제공합니다 (예: 현재 스위치의 상태).

실험 설정

저자들은 강력한 베이스라인인 QWEN2.5-VL-3B-INSTRUCT(미세 조정됨) 및 다양한 폐쇄형 모델(GPT-4o, Claude Sonnet)과 FOVEAGENT-LSTM을 비교합니다. 실험은 분포 내(InD) 데이터(예: 210개 스위치)와 분포 외(OOD) 데이터(예: 1120개 스위치, 해상도 변화)에 대해 수행됩니다. 연구는 다음을 체계적으로 절제(ablate)합니다:

• 지각 유형: 전역 뷰(Global view) vs. 로컬+전역(Local+Global) vs. 엄격한 로컬(Strictly Local, Foveated).
• 아키텍처: 재귀적(Recurrent, LSTM) vs. 비재귀적(Non-recurrent, Transformer, Mamba/XLSTM과 같은 선형 RNN).
• 훑어보기 파라미터: 주변부 및 중심와 뷰의 크기와 해상도.

주요 기여

1. 길이 일반화로서의 시각적 벤치마크: 본 논문은 로컬 정보를 집계해야 하는 시각적 추론 작업을 길이 일반화의 근본적인 테스트베드로 확립하며, 인-디스트리뷰션 성능에만 집중하는 현재의 평가 방식에 존재하는 간극을 강조합니다.
2. 전역적 지름길의 식별: 저자들은 현재의 비전 및 비전-언어 모델들이 인-디스트리뷰션 성능은 강력함에도 불구하고, 더 긴 시각적 시퀀스로 외삽하는 데 실패함을 보여줍니다. 이러한 실패는 모델이 증가하는 시각적 복잡도 하에서 깨지기 쉬운 전역적 지름길을 학습하기 때문이라고 설명합니다.
3. 국소성과 재귀의 필요성: 저자들은 실패의 원인을 두 가지 특정 요인으로 추적합니다:
   • 전역적 지각: 전체 이미지를 볼 수 있는 모델(재귀적 모델이라 할지라도)은 OOD에서 일반화에 실패하며, 이는 전역적 지각이 지름길 학습을 가능하게 함을 시사합니다.
   • 비재귀성: 국소적 지각을 갖추었으나 비재귀적 백본(Transformer, 선형 RNN)을 가진 모델 또한 일반화에 실패합니다.
   • 결론: 엄격한 국소적 지각과 재귀적 처리 모두가 상태 추적 작업에서 견고한 OOD 일반화를 위해 필요하며, 이 둘은 결합되어 충분한 조건을 형성합니다.
4. 회상과 상태 추정의 구분: 전역 모델은 '회상'(상태 추적 없는 시각적 검색) 작업에는 성공하지만 상태 추정에는 실패함을 보여줌으로써, 일반화 실패가 순차적 상태 집계에 특화된 것임을 확인합니다.
5. 실제 환경 검증: '뿌리 찾기'라는 실제 수학적 추론 작업에서, 중심와 접근 방식이 전역 모델보다 OOD 설정에서 크게 우수함을 입증하여 연구 결과를 검증했습니다.

결과

• 일반화 성능: FOVEAGENT-LSTM은 전역 모델(QWEN2.5-VL)이 급격한 성능 저하를 보이는 OOD 작업(예: 11~20개 스위치)에서도 높은 정확도를 유지합니다.
• 지각 절제 실험: 전체 고해상도 이미지를 볼 수 있는 설정(Global 또는 Local+Global)에서 훈련된 모델은 OOD 일반화에 실패하는 반면, 엄격한 중심와 모델은 성공합니다. 이는 전역적 지각이 지름길 학습을 유도한다는 주장을 뒷받침합니다.
• 아키텍처 절제 실험: 동일한 로컬 훑어보기 시퀀스가 주어졌을 때, 비재귀적 아키텍처(Transformer, Mamba, XLSTM)는 일반화에 실패하지만 LSTM은 성공합니다. 이는 상태 추적에 필요한 단계별 계산에 재귀가 필수적임을 확인시켜 줍니다.
• 훑어보기 크기 트레이드오프: 훑어보기 크기와 해상도 사이에는 최적의 균형이 존재합니다. 더 큰 훑어보기는 빠른 처리를 가능하게 하지만 지름길 학습을 조장하며, 더 작은 훑어보기는 순차적 처리를 강제하지만 내비게이션을 방해할 수 있습니다. 고해상도 중심와와 저해상도 주변부를 결합하는 것이 이 갈등을 해결합니다.
• 능동적 탐색: 명시적인 이동 단서(화살표)가 제거되더라도, 능동적 탐색 및 공간 메모리(방문한 스위치 표시) 메커니즘이 있다면 모델은 성공적으로 일반화합니다.
• 컴퓨팅 효율성: '뿌리 찾기' 작업에서, FOVEAGENT-QWEN(Qwen의 중심와 버전)은 동일한 시각적 컴퓨팅 예산 내에서 전역 베이스라인보다 정확도를 거의 두 배 높였으며, 이는 고해상도 로컬 영역에 컴퓨팅을 할당하는 것이 전역 해상도를 균일하게 높이는 것보다 효과적임을 보여줍니다.

의의 및 주장

본 논문은 **국소적 주의(local attention)**가 시각적 추론의 견고한 구성적 일반화를 위해 필수적이지만 간과되어 온 요구사항이라고 주장합니다. 저자들은 ViT나 CNN을 통해 시각적 정보를 전역적 컨텍스트 윈도우에 인코딩하는 표준적인 관행이 모델로 하여금 외삽에 필요한 귀납적 편향(inductive bias)을 발달시키지 못하게 만든다고 주장합니다.

이 연구의 의의는 다음과 같습니다:

1. 생물학적 타당성: 인간의 시각이 갖는 순차적, 중심와적 특성이 단순한 진화적 부산물이 아니라, 가변적인 길이의 복잡한 추론 작업을 처리하기 위한 계산적 필연성임을 시사합니다.
2. 아키텍처 가이드라인: 인간 수준의 추론 능력을 목표로 하는 미래의 비전 파운데이션 모델들은 재귀와 엄격한 국소적 지각을 결리한 생물학적 영감을 받은 순차적 주의 정책으로 돌아가야 할 수도 있음을 제안합니다.
3. 현재 벤치마크의 한계: 인-디스트리뷰션 성능에 주로 의존하는 기존 벤치마크들이 모델이 보지 못한 복잡도나 길이에 대해 일반화하지 못하는 능력을 포착하지 못하고 있음을 지적합니다.

저자들은 자신들의 주장에 대해 신중함을 유지하며, 이러한 메커니즘(국소성과 재귀)이 상태 추적에는 필수적이지만 회상 작업에는 요구되지 않는다는 점을 명시합니다. 또한, 실제 시나리오(합성 작업 너머)에서 로컬 지각을 위한 일반적인 정책을 학습하는 것은 강화 학습이나 더 다양한 훈련 데이터가 필요한 여전히 열려 있는 연구 과제임을 인정합니다.