Test-time Scaling over Perception: Resolving the Grounding Paradox in Thinking with Images

1. 연구 배경 및 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 'Thinking with Images(이미지를 통한 사고)' 패러다임을 통해 줌 (zoom) 이나 크롭 (crop) 과 같은 시각적 도구를 추론 과정에서 호출하여 이미지 영역을 세밀하게 inspect 하는 능력을 갖추기 시작했습니다. 그러나 이러한 시스템은 여전히 세밀한 시각적 추론 (fine-grained visual reasoning) 에서 취약합니다.

저자들은 이 문제의 근본 원인을 Grounding Paradox(어 grounding 역설) 로 정의합니다.

• 역설의 내용: 모델이 정답을 찾기 위해 필요한 세부 정보를 얻기 위해 시각적 도구 (예: 확대) 를 호출해야 하지만, 어떤 영역을 확대해야 할지 결정하는 것 자체가 이미 그 세부 정보에 의존해야 합니다. 즉, 모델은 아직 인지하지 못한 증거를 찾아내야 하는 순환적 의존성에 빠집니다.
• 결과: 이로 인해 모델은 관련 없는 영역을 확대하거나, 중요한 증거를 놓치며, 불확실한 상태에서 도구 사용을 반복하는 비효율적인 추론을 수행하게 됩니다.

2. 제안 방법: Test-Time Scaling over Perception (TTSP)

이러한 역설을 해결하기 위해 저자는 Test-Time Scaling over Perception (TTSP) 프레임워크를 제안합니다. 이는 추론 시간을 늘려 언어적 추론을 확장하는 기존 방식을 넘어, 지각 (Perception) 자체를 확장 가능한 추론 과정으로 취급하는 것이 핵심입니다.

TTSP 는 다음과 같은 4 단계 프로세스로 구성됩니다:

2.1 병렬 지각 탐색 (Parallel Perceptual Exploration)

• 단일 추론 경로에 의존하지 않고, $N$라운드에 걸쳐 $K$개의 지각 궤적 (perception traces) 을 병렬로 생성합니다.
• Fresh Traces: 이전 지식이 없는 상태에서 생성되어 시각적 공간의 넓은 범위를 탐색합니다.
• Guided Traces: 이전 라운드에서 검증된 지식을 바탕으로 생성되어 불확실성이 남은 영역을 집중적으로 탐색합니다.
• 이를 통해 'Grounding Paradox'로 인해 한 번의 시도로 놓칠 수 있는 증거를 다양한 각도에서 찾을 확률을 높입니다.

2.2 신뢰도 기반 필터링 (Reliability Scoring & Filtering)

• 생성된 모든 궤적이 신뢰할 수 있는 것은 아닙니다. TTSP 는 토큰 수준의 엔트로피 (entropy) 를 기반으로 각 궤적의 신뢰도를 점수화합니다.
• 특히, 경계 상자 좌표 선택이나 최종 답변과 같은 고불확실성 결정 지점 (high-uncertainty decision points) 에서의 엔트로피를 집중적으로 평가합니다.
• 신뢰도가 낮은 궤적 (할루시네이션이 있거나 관련 없는 영역을 탐색한 경우) 은 필터링하여 제거함으로써 후속 라운드의 지식 추출을 오염시키는 것을 방지합니다.

2.3 구조화된 지식 추출 및 반복적 정제 (Structured Knowledge Extraction & Iterative Refinement)

• 필터링된 궤적들을 바탕으로 구조화된 지식 메모리를 업데이트합니다. 이는 두 가지 구성 요소로 나뉩니다:
  1. Confirmed Knowledge (확인된 지식): 여러 궤적에서 일관되게 관찰되고 검증된 사실. 이후 라운드에서 재검증 없이 신뢰할 수 있는 기반으로 활용됩니다.
  2. Open Conflicts (미해결 충돌): 궤적 간에 의견이 대립하거나 불확실성이 남은 영역. 다음 라운드에서 집중적으로 탐색해야 할 '우선순위 조사 대상'으로 지정됩니다.
• 이 지식 메모리는 다음 라운드의 'Guided Traces'에 주입되어, 모델이 불필요한 탐색을 줄이고 남은 불확실성에 집중하도록 유도합니다.

2.4 신뢰도 가중 집계 (Reliability-weighted Aggregation)

• 모든 라운드를 거친 후, 필터링된 궤적들의 답변을 신뢰도 점수 (엔트로피 기반) 에 따라 가중치를 두어 집계하여 최종 답을 도출합니다.

3. 주요 기여 (Key Contributions)

1. Grounding Paradox 의 규명: 도구 기반 시각적 추론의 실패 원인이 단순한 도구 부재가 아니라, 불확실성 하에서 근거 기반 지각 탐색 메커니즘의 부재에 있음을 이론적으로 규명했습니다.
2. TTSP 프레임워크 제안: 추론 과정이 아닌 지각 과정 자체를 확장 가능한 추론 대상으로 삼아, 불확실성 하에서 증거를 탐색, 검증, 반복 정제하는 새로운 패러다임을 제시했습니다.
3. 실증적 성과: 다양한 고해상도 및 일반 멀티모달 벤치마크에서 강력한 베이스라인 (GPT-4o, Thyme, DeepEyes 등) 과 기존 Test-time Scaling 방법들보다 일관되게 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: V*Bench, HR-Bench (4K/8K), TreeBench, MME-RealWorld-Lite 등 고해상도 및 복잡한 시각적 추론이 필요한 데이터셋에서 평가되었습니다.
• 성능 향상: Qwen3-VL (4B, 8B) 백본을 기반으로 TTSP 를 적용했을 때, 기존 단일 경로 모델 및 Self-Consistency, Iterative Refinement 등 다른 Test-time 확장 기법들을 모두 능가하는 성능을 보였습니다.
  • 특히 세밀한 텍스트 인식, 공간적 관계 추론, 미세한 속성 구분이 필요한 작업에서 큰 개선을 보였습니다.
• 확장성 (Scalability):
  • 모델 크기: 백본 모델이 커질수록 TTSP 의 성능 향상 폭이 유지되거나 증가하여, 모델 파라미터 확장만으로는 해결되지 않는 문제를 보완함을 입증했습니다.
  • 지각 너비 (Width) 와 깊이 (Depth): 병렬 탐색 횟수 (Width) 와 반복 라운드 수 (Depth) 를 늘릴수록 성능이 지속적으로 향상되었습니다. 이는 지각 과정이 확장 가능한 과정임을 시사합니다.
• 효율성: RTWI(동시 연구) 와 비교했을 때, TTSP 는 추가적인 지식 추출 단계가 있음에도 불구하고 더 적은 토큰 수로 더 높은 성능을 달성했습니다. 이는 구조화된 지식을 통해 중복 탐색을 줄이고 효율적으로 자원을 배분했기 때문입니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 AI 의 발전 방향에 중요한 시사점을 제공합니다.

• 지각의 확장성: 기존의 'Test-time Scaling'이 주로 언어적 추론 경로 (reasoning trajectory) 에 집중했다면, TTSP 는 지각 (perception) 과 증거 수집 과정 자체를 확장함으로써 불확실성이 높은 환경에서의 견고한 추론이 가능함을 보였습니다.
• 순환적 의존성 해결: '무엇을 볼지 결정하기 위해 무엇을 봐야 한다'는 역설을, 다중 궤적의 병렬 탐색과 점진적 지식 정제를 통해 우회적으로 해결했습니다.
• 미래 방향: TTSP 는 고해상도 이미지 이해, 복잡한 문서 분석, 그리고 에이전트 기반의 시각적 도구 사용 등 다양한 분야에서 멀티모달 모델의 한계를 극복할 수 있는 강력한 프레임워크로 자리 잡을 것으로 기대됩니다.

요약하자면, 이 연구는 "모델이 무엇을 볼지 모를 때, 한 번에 결정하려 하지 말고 여러 번 시도하고, 그중 신뢰할 수 있는 것을 모아 다음 단계의 탐색을 안내하라" 는 통찰을 바탕으로, 멀티모달 추론의 핵심 병목 현상을 해결하는 새로운 접근법을 제시했습니다.