기술 요약: Perceive-to-Reason (P2R)

문제 정의

미세한 시각적 단서가 고해상도 이미지 내에 숨겨져 있는 경우, 정밀한 시각적 추론(fine-grained visual reasoning)은 시각-언어 모델(VLM)의 중요한 병목 현상으로 남아 있습니다. 기존 방식들은 대개 "이미지를 통한 사고(Thinking with Images)"(영역 탐색과 추론의 교차 수행) 또는 "시각적 탐색(Visual Search)"(핵심 영역에 대한 테스트 타임 탐색)에 의존합니다. 그러나 이러한 방법들은 인지(증거 위치 파악)와 추론(질문에 답하기)을 결착시키거나, 복잡하고 최적화하기 어려운 외부 파이프라인에 의존하는 경우가 많습니다. 본 논문에서 제시된 진단 연구에 따르면, 실패의 주요 원인은 추론 능력의 부족이 아니라, 적절한 시각적 증거를 먼저 정확하게 찾아내지 못하는 능력의 부재에 있습니다. 또한, 정답만을 사용하는 표준적인 감독(supervision) 하에서는 디커플링된 인지 및 추론 단계를 훈련하는 것이 어려운데, 이는 오류가 위치 파악 단계 때문인지 혹은 추론 단계 때문인지 구분하여 귀속시키기 어렵기 때문입니다.

방법론

저자들은 미세한 시각적 추론을 **인지(Perception)**와 **추론(Reasoning)**이라는 두 개의 뚜렷한 단계로 명시적으로 분리하는 통합 프레임워크인 **Perceive-to-Reason (P2R)**을 제안합니다.

1. 2단계 추론 파이프라인

P2R은 공유된 파라미터를 가진 단일 VLM을 사용하지만, 두 가지 연속적인 역할을 수행합니다:

• 인지 단계 (Perceiver Stage): 이미지 $I$와 질문 $Q$가 주어지면, 모델은 Perceiver로서 작동하여 질문과 관련된 증거를 명시적으로 국지화(localize)합니다. 모델은 핵심 영역을 나타내는 바운딩 박스 $B$를 출력합니다. 이 박스들은 주석이 달린 이미지(박스가 오버레이된 형태)와 크롭된 증거 이미지를 생성하는 데 사용됩니다.
• 추론 단계 (Reasoner Stage): 그 후 모델은 Reasoner로서 작동하며, 원래의 질문, 주석이 달린 이미지, 그리고 크롭된 영역들을 입력으로 받아 최종 답변을 생성합니다.

이러식 구성은 미세한 추론을 "어디를 볼 것인가"를 먼저 결정한 다음, 그 증거를 바탕으로 "어떻게 추론할 것인가"를 결정하는 구조화된 프로세스로 변환합니다.

2. Perception-Reasoning Alternating GRPO (PRA-GRPO)

정답 바운딩 박스 주석 없이 최종 답변 감독만을 사용하여 이 디커플링된 프레임워크를 훈련하기 위해, 저자들은 Group Relative Policy Optimization(GRPO)에 기반한 역할 인식 강화 학습 전략인 PRA-GRPO를 도입합니다.

• 교차 최적화 (Alternating Optimization): 훈련 과정은 Perceiver와 Reasoner를 번갈아 가며 최적화합니다. **인지 단계(Perception Phase)**에서는 Reasoner를 고정한 채 Perceiver를 업데이트하며, 보상은 고정된 Reasoner가 생성한 최종 답변의 정답 여부로부터 유도됩니다. 반대로, **추론 단계(Reasoning Phase)**에서는 Perceiver를 고정한 채 Reasoner를 업데이트합니다.
• 귀속 가능한 신호 (Attributable Signals): 이 접근 방식은 이진(binary) 최종 답변 보상을 역할별 학습 신호로 변환합니다. 이를 통해 모델은 다운스트림 추론 결과에 기반하여 효과적인 증거 국지화를 학습할 수 있으며, 밀집된 감독(dense supervision) 없이도 디커플링된 파이프라인에서의 신용 할당(credit assignment) 문제를 효과적으로 해결합니다.
• 파라미터 공유 (Shared Parameters): 두 역할은 동일한 모델 파라미터 $\theta$를 공유하여, 하나의 모델 인스턴스 내에 역량을 통합할 수 있습니다.

주요 기여

1. P2R 프레임워크: 미세한 시각적 추론을 증거 국지화와 답변 생성을 명시적으로 분리하는 2단계 인지-추론 프로세스로 공식화한 통합 프레임워크를 제안합니다.
2. PRA-GRPO: 디커플링된 공식에 맞춰 정렬된 새로운 훈련 전략입니다. 이는 정답 바운딩 박스 주석 없이도 최종 답변 감독만을 사용하여 인지 능력을 학습할 수 있게 합니다.
3. 최첨단 성능 (State-of-the-Art Performance): 이 방법은 다양한 모델 규모(2B, 4B, 8B)와 벤치마크에서 일관된 개선을 보여주며, 고해상도 미세 시각 추론 작업에서 새로운 SOTA 결과를 달이트합니다.

실험 결과

저자들은 V-Star, HR-Bench-4K/8K, MME-RealWorld-Lite를 포함한 여러 벤치마크에서 P2R을 평가했습니다.

• 고해상도 벤치마크: P2R은 베이스 모델(Qwen3-VL-Instruct) 및 기존의 시각적 탐색 또는 "이미지를 통한 사고" 방식보다 일관되게 우수한 성능을 보였습니다.
  • P2R-4B는 V-Star에서 93.2%, HR-Bench-4K에서 81.9%, HR-Bench-8K에서 **80.5%**를 달성했습니다.
  • Qwen3-VL-Instruct-4B 백본과 비교했을 때, P2R-4B는 V-Star에서 +11.5%, HR-Bench-4K에서 +8.1%, HR-Bench-8K에서 **+13.5%**의 이득을 보였습니다.
• 일반화 (Generalization): P2R의 이점은 고해상도 작업을 넘어 확장됩니다. MME-RealWorld-Lite 벤치마크에서 P2R은 다양한 실세계 멀티모달 추론 작업(OCR, 원격 탐사, 다이어그램) 전반에서 성능을 향상시켰으며, 이는 P2R 공식이 더 넓은 범위의 멀티모달 이해를 돕는다는 것을 시사합니다.
• 절제 연구 (Ablation Studies):
  • 추론 (Inference): 직접적인 Chain-of-Thought(CoT)를 P2R 추론 파이프라인으로 교체하는 것만으로도 베이스 모델에서 성능이 크게 향상되었습니다.
  • 훈련 (Training): 역할을 번갈아 업데이트하는 방식(P $\to$ R)이 역할을 개별적으로 훈련하거나 역순으로 훈련하는 것보다 더 나은 결과를 냈으며, 이는 디커플링된 훈련 스케줄의 중요성을 입증합니다.
  • 파라미터 공유 (Parameter Sharing): 한 역할(예: Perceiver)을 훈련하고 해당 가중치를 다른 역할(Reasoner)에 재사용하는 것이 이점을 제공했으나, 완전한 교차 방식의 PRA-GRPO 훈련이 가장 좋은 결과를 냈습니다.

의의 및 주장

본 논문은 인지를 추론으로부터 명시적으로 분리하는 것이 미세한 시각적 추론을 위한 효과적인 프레임워크를 제공한다고 주장합니다. 증거 국지화를 답변 생성의 암묵적인 부산물이 아닌 명시적인 중간 단계로 취급함으로써, P2R은 올바른 시각적 증거를 찾는 데 발생하는 주요 병목 현상을 해결합니다.

PRA-GRPO의 의의는 오직 최종 답변 감독만을 사용하여 이 디커플링된 프로세스를 훈련할 수 있다는 점에 있습니다. 이는 비용이 많이 드는 작업별 바운딩 박스 주석에 대한 의존성을 제거하면서도 모델이 정밀한 국지화를 학습할 수 있게 합니다. 저자들은 이 접근 방식이 고해상도 시각적 추론을 위한 확장 가능하고 효과적인 솔루션을 제공하며, 기존 베이스라인 대비 상당한 이득을 달성하고 해당 공식의 이점이 더 넓은 멀티모달 추론 시나리오로 확장됨을 입증했다고 결론지었습니다.

저자가 인정한 한계점:

• 2단계 파이프라인은 직접적인 프롬프팅에 비해 추가적인 추론 지연(latency)을 발생시킵니다.
• 계산 자원의 제약으로 인해 더 큰 훈련 규모에서의 PRA-GRPO의 전체적인 스케일링 동작을 탐구하지 못했습니다.
• 최종 답변 감독에 의존하므로 학습 신호가 희소(sparse)합니다.
• 현재 평가는 미세한 추론 및 관련 벤치마크에 집중되어 있으며, 대화형 또는 장기 실행(long-horizon) 설정으로의 일반화는 향후 과제로 남아 있습니다.