Learning Adaptive Reasoning Paths for Efficient Visual Reasoning

1. 문제 정의 (Problem)

최근 시각 - 언어 모델 (VRMs) 은 시각적 지각과 언어 추론을 통합하여 강력한 다중 모달 추론 능력을 보여주었습니다. 그러나 기존 모델들은 다음과 같은 과도한 추론 (Overthinking) 문제를 겪고 있습니다.

• 추론 경로 중복 (Reasoning Path Redundancy): 모든 시각적 질문이 긴 추론 체인 (Chain-of-Thought, CoT) 을 필요로 하는 것은 아닙니다. 많은 질문은 단순한 지각 (Perception) 만으로 해결되거나, 사전 지식을 통해 직접 답변이 가능합니다.
• 비효율성: 모델이 간단한 작업에서도 불필요하게 긴 추론 과정을 생성함으로써 토큰 소비가 과도하게 증가하고, 때로는 중간 추론 단계에서 발생하는 오류로 인해 정확도가 오히려 하락하는 현상이 발생합니다.
• 기존 접근법의 한계: 기존 연구들은 주로 텍스트 기반의 추론 모델 (RLMs) 에서 영감을 받아 휴리스틱 전략을 적용했으나, 시각적 추론의 고유한 구조 (지각과 추론의 긴밀한 관계) 를 고려하지 못해 효과적이지 못했습니다.

2. 제안 방법론 (Methodology: AVR)

저자들은 AVR (Adaptive Visual Reasoning) 프레임워크를 제안하여, 모델이 작업의 복잡도에 따라 추론 노력을 동적으로 할당하도록 합니다.

2.1. 추론 경로의 분해 및 포맷 정의

시각적 추론을 세 가지 인지 기능으로 분해하고, 이에 대응하는 세 가지 응답 포맷을 정의합니다.

1. Full Format: 지각 (<perception>), 논리적 추론 (<reasoning>), 답변 적용 (<answer>) 의 전체 과정을 포함하는 포맷. (복잡한 작업용)
2. Perception-Only Format: 지각과 답변만 포함하고 추론 단계를 생략한 포맷. (지각 중심 작업용)
3. Direct Answer: 지각이나 추론 없이 직접 답변만 제공하는 포맷. (단순 작업용)

2.2. 두 단계 학습 파이프라인

모델이 이러한 포맷을 동적으로 선택할 수 있도록 두 단계로 학습합니다.

• 1 단계: 포맷 이해를 위한 지도 미세 조정 (SFT)
  • 11,000 개의 다양한 질문에 대해 세 가지 포맷으로 주석된 데이터로 모델을 학습시킵니다.
  • 목적: 모델이 세 가지 포맷을 모두 생성할 수 있는 능력을 갖추게 하는 것입니다.
• 2 단계: 효율적인 포맷 전환을 위한 강화 학습 (RL)
  • FS-GRPO (Format-Selection Group Relative Policy Optimization) 알고리즘을 도입합니다. 이는 기존 GRPO 를 시각적 추론에 맞게 수정한 것입니다.
  • 보상 함수 (Reward Function):
    • 정확도 보상: 정답을 맞췄는지 여부.
    • 포맷 보상: 효율적인 포맷 (Direct Answer > Perception-Only > Full) 을 선택했을 때 추가 보너스 부여.
    • 길이 스케일링: 과도한 토큰 사용에 페널티 부과.
    • 다양성 보상 (Diversity Reward): 모델이 특정 포맷 하나로 수렴하는 것 (Format Collapse) 을 방지하기 위해, 그룹 내에서 덜 사용된 포맷에 보너스를 주어 탐색을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 추론 경로 중복의 식별: VRMs 에서 많은 시각적 질문이 추론 기능 없이도, 혹은 지각과 추론 없이도 해결 가능함을 실증적으로 증명했습니다.
2. AVR 프레임워크 제안: 다중 포맷 SFT 와 FS-GRPO 를 결합하여, 정확도를 유지하면서 토큰 효율성을 극대화하는 동적 포맷 선택 메커니즘을 개발했습니다.
3. 범용성 및 성능: 다양한 모델 규모 (2B, 4B, 8B) 와 가족 (Qwen3-VL, InternVL3) 에서 일관된 성능 향상을 보였습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (OCRBench, MathVista, MMMU 등) 에서 AVR 을 평가한 결과는 다음과 같습니다.

• 토큰 사용량 감소: 전반적으로 50~90% 의 토큰 사용량 감소를 달성했습니다.
  • 지각 중심 작업 (OCRBench, TextVQA): 직접 답변 및 지각 전용 포맷을 주로 사용하여 토큰 사용량을 80% 이상 줄였으며, 정확도는 오히려 향상되었습니다 (불필요한 추론으로 인한 오류 감소).
  • 추론 중심 작업 (MathVista, MathVision): 복잡한 작업에서는 Full Format 을 선택하여 정확도를 유지하면서도 불필요한 토큰 소비는 줄였습니다.
• 기존 모델 대비 우위:
  • 기존 "Thinking" 모델 (긴 CoT 를 항상 사용하는 모델) 보다 토큰 효율성이 월등히 높고, 정확도도 동급 이상을 유지했습니다.
  • Think-or-Not (TON), ARM2 와 같은 다른 선택적 추론 방법론보다 높은 정확도와 더 낮은 토큰 소비를 기록했습니다.
• 동적 선택 능력: 모델은 작업 유형에 따라 지각 중심 작업에는 가벼운 포맷을, 추론이 필요한 작업에는 Full Format 을 자동으로 선택하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 시각적 추론 모델의 과도한 추론 (Overthinking) 문제를 해결하기 위해, 인지 기능의 분해와 적응형 포맷 선택이 핵심임을 제시했습니다.

• 효율성: 불필요한 연산 자원을 절약하여 추론 비용을 대폭 낮추면서도 성능을 유지하거나 향상시킵니다.
• 구조적 통찰: 모든 시각적 질문이 동일한 추론 깊이를 요구하지 않는다는 사실을 인식하고, 이를 모델 학습에 반영함으로써 더 스마트하고 효율적인 다중 모달 추론 시스템의 가능성을 열었습니다.
• 실용성: 코드와 데이터가 공개되어 있어, 실제 응용 환경에서 비용 효율적인 시각적 추론 모델 구축에 기여할 것으로 기대됩니다.

요약하자면, AVR 은 "무조건 길게 생각하는 것"이 최선이 아님을 증명하고, 작업의 난이도에 맞춰 추론 경로를 유연하게 조절하는 것이 시각적 추론 모델의 효율성과 정확성을 동시에 잡는 열쇠임을 보여준 연구입니다.