기술 요약: 시각-언어 모델의 테스트 시간 스케일링(Test-Time Scaling)에 대하여

문제 정의

테스트 시간 스케일링(TTS)은 모델 가중치를 수정하지 않고 추론 과정에서 추가적인 계산 자원을 활용하여 성능을 향상시키는 패러다임입니다. 이는 대규모 언어 모델(LLM)에서는 광범위하게 연구되었으나, 대규모 시각-언어 모델(LVLM)에 대한 적용 가능성은 아직 충분히 탐구되지 않았습니다. 기존 문헌은 TTS 방법론, 특히 사고 사슬(Chain-of-Thought, CoT) 프롬프팅이 작은 규모의 LLM에는 효과적이지 않으며, LVLM에서는 오히려 성능을 저하시킬 수 있다고 제안합니다. 또한, 표준 LLM 방법론이 효과적으로 전이되지 않을 것이라는 가정하에 시각-언어 작업에 특화된 특정 TTS 기법들이 제안되어 왔습니다. 본 연구는 다음과 같은 근본적인 질문을 다룹니다: LLM을 위해 개발된 전통적인 테스트 시간 스케일링 방법들을 LVLM에 직접 적용할 수 있는가? 그리고 어떤 조건에서 성공하거나 실패하는가?

방법론

저자들은 다양한 모델 아키텍처, 규모 및 벤치마크를 아우르는 포괄적인 경험적 연구를 수행합니다.

모델 및 벤치마크

• 모델: 본 연구는 Qwen-2.5-VL, Qwen-3-VL, InternVL-3.5, Molmo2의 네 가지 시리즈에 걸친 13개의 인스트럭션 튜닝 모델을 평가합니다. 모델 크기는 2B에서 72B 파라미터까지 다양합니다.
• 벤치마크: 지각(Perception), 추론(Reasoning), 환각(Hallucination)을 다루기 위해 6개의 다양한 벤치마크를 사용합니다:
  • 추론: WeMath, LogicVista.
  • 지각: RealWorldQA, A-OKVQA.
  • 혼합/환각: MMStar, HallusionBench.

테스트 시간 스케일링 방법

LLM 문헌에서 차용한 것과 시각-언어 작업에 특화된 것으로 분류되는 9가지 추론 전략을 평가합니다:

1. 사고 사슬 (CoT): 모델이 단계별로 생각하도록 유도합니다.
2. 구조적 사고 사슬 (S-CoT): 분해 및 논리적 추론을 가이드합니다.
3. 계획 및 해결 (Plan-and-Solve, PaS): 실행 전 계획을 세웁니다.
4. 자기 일관성 (Self-Consistency): 여러 추론 사슬을 샘플링하고 다수결로 선택합니다.
5. 자기 집계 (Self-Aggregation): 여러 사슬을 생성하고 이를 하나의 최종 답변으로 집계합니다.
6. 자기 개선 (Self-Refinement): 단일 추론 사슬을 반복적으로 정교화합니다.
7. 설명-답변 (Describe-Answer): 답변하기 전에 상세한 이미지 캡션을 생성합니다.
8. 구성적 사고 사슬 (Compositional CoT, CCoT): 답변하기 전에 장면 그래프(Scene Graph)를 생성합니다.
9. 프롬프트 반복 (Prompt Repetition): 입력을 반복하여 양방향 어텐션을 시뮬레이션합니다.

분석 기법

• 토큰 예산 분석 (Token Budget Analysis): 성능 향상이 장황한 추론 때문인지 아니면 조기 중단만으로 충분한지를 결정하기 위해 출력 토큰 제한을 줄인(300 토큰) 상태에서 실험을 반복합니다.
• 어텐션 역학 (Attention Dynamics): 생성된 토큰의 어텐션 맵을 분석하여 생성 단계 전반에 걸쳐 이미지 토큰($P_{ad}^v$)과 이전에 생성된 텍스트 토큰($g_{0...y-1}$)에 할당되는 어텐션을 측정합니다.
• 인과적 개입 (이미지 키-값 드롭): 다양한 생성 단계(20, 50, 100, 200, 300)에서 이미지 토큰을 키-값(Key-Value) 캐시에서 제거하여, 추론의 각 단계에서 시각 정보를 제거했을 때 미치는 영향을 측정합니다.
• 근거 품질 평가 (Rationale Quality Evaluation): 생성된 추론 사슬의 충분성과 역동성을 평가하기 위해 "LLM-as-a-Judge" 방식과 인간 평가를 사용합니다.

주요 결과 및 발견

1. 작은 모델이 TTS로부터 가장 큰 혜택을 받음

작은 모델(<10B)이 TTS로부터 혜택을 받지 못하는 경우가 많다는 LLM 문헌의 결과와 달리, 본 연구는 역량 있는 소규모 인스트럭션 튜닝 LVLM(2B–8B)이 가장 큰 혜택을 받는다는 것을 발견했습니다.

• 성능 향상: 소규모 모델은 추론 작업에서 최대 30~40%의 성능 향상을 달성합니다.
• 대형 모델 추월: TTS(예: CoT 또는 Self-Consistency)를 적용한 4B 모델(Qwen3-VL-4B)은 추론 벤치마크(예: LogicVista, WeMath)에서 TTS가 없는 32B 베이스라인 모델과 대등하거나 더 나은 성능을 보이는 경우가 많습니다.
• 효율성: 파레토 프런티어(Pareto frontier) 분석에 따르면, TTS를 결합한 작은 모델에 계산량을 할당하는 것이 TTS가 없는 더 큰 모델을 사용하는 것보다 종종 더 효율적입니다.

2. TTS는 지각 전용 작업에 해로울 수 있음

TTS는 추론을 개선하지만, 복잡한 추론이 적게 필요한 지각 중심 벤치마크(예: RealWorldQA, A-OKVQA)에서는 빈번하게 성능을 저하시킵니다.

• 과잉 사고 (Overthinking): 단순한 지각 작업을 위해 과도한 계산량(긴 토큰 예산)이 주어지면, LVLM은 "과잉 사고"를 하여 잘못된 가정을 세우고 오류를 누적하여 환각을 일으키는 경향이 있습니다.
• 토큰 예산 민감도: 토큰 예산을 300개로 줄이면 지각 작업의 성능이 유지되거나 향상되지만, 추론 작업의 성능은 저하됩니다. 이는 복잡한 작업에서는 추론 사슬이 정답을 이끌어내는 반면, 단순 지각 작업에서는 장황함이 해가 된다는 것을 나타냅니다.

3. 시각 정보는 초기에 인코딩됨

어텐션 분석 결과, 시각적 그라운딩(Visual Grounding)은 **전방 배치(Front-loaded)**됩니다:

• 초기 어텐션: 이미지 토큰에 대한 어텐션은 추론 사슬의 시작 직후에 정점을 찍고 빠르게 감소합니다.
• 텍스트 중심 추론: 초기 구간 이후, 모델은 이미지를 다시 참조하기보다는 이전에 생성된 텍스트 토큰과 이미지의 은닉 상태(Hidden State) 표현에 크게 의존합니다.
• 인과적 증거: 약 200개의 생성 단계 이후에 이미지 토큰을 제거해도 정확도에 미치는 영향이 미미하며, 이는 시각 정보가 초기에 흡수되고 이후의 추론은 텍스트 기반임을 확인시켜 줍니다.

4. 근거 품질

• 충분성: 생성된 근거(Rationale)는 일반적으로 높은 품질의 모델의 경우 외부 판단자가 이미지 없이도 질문에 답할 수 있을 만큼 충분한 정보를 포함합니다.
• 역동성: 추론 사슬은 일반적으로 불확실성에서 시작하여, 중간 단계에서 정답에 대한 명시적 지지를 형성하고, 사슬이 끝나기 전에 충분한 정보 지점에 도달합니다.

의의 및 기여

본 논문은 LVLM을 위한 제로샷 테스트 시간 스케일링에 관한 최초의 포괄적인 연구를 제공한다고 주장하며, 다음과 같은 기여를 합니다:

1. 가설 재검토: LLM 기반 TTS 방법론이 LVLM에 전이되지 않는다는 기존의 관점에 도전하며, 특히 작은 모델에서 표준 방법론이 매우 효과적임을 입증했습니다.
2. 정확도-계산량 트레이드오프: TTS를 결합한 더 저렴하고 빠르며 메모리 사용량이 적은 LVLM을 배포함으로써 더 큰 모델과 대등하거나 이를 능가하는 정확도를 달 수 있음을 확립하여, 연구 및 산업계를 위한 실질적인 배포 전략을 제공합니다.
3. 진단적 통찰: 과도한 계산으로 인한 "집중력 상실"이 지각 작업의 주요 실패 모드임을 식별하였으며, 이는 TTS 적용 여부를 결정하기 위해 작업 분류(추론 vs 지각)가 필요함을 시사합니다.
4. 메커니즘적 이해: 어텐션 및 인과 분석을 통해 시각 정보가 추론 과정 초기에 인코딩된다는 점을 밝혀냈으며, 이후 단계는 텍스트 문맥에 의존한다는 점을 설명하여 왜 지나치게 장황한 생성이 환각을 유발할 수 있는지 설명합니다.

결론적으로, 저자들은 제로샷 테스트 시간 스케일링이 LVLM의 성능을 높이는 강력한 레버이지만, 복잡한 추론이 필요하지 않은 작업에서 성능 저하를 피하기 위해 주의 깊게 적용되어야 한다고 주장합니다.