기술 요약: 근거 기반 시각적 추론을 위한 H-GRPO

1. 문제 정의

시각-언어 모델(VLM)은 현재 높은 벤치마크 정확도와 충실한 시각적 추론 사이의 심각한 괴리에 직면해 있습니다. 모델은 종종 강력한 성능을 보여주지만, 표면적인 상관관계에 의존하거나, 관련 시각적 증거를 무시하거나, 중간 사실을 환각(hallucination)하는 경우가 빈번합니다. 이러한 문제는 VLM을 사후 학습(post-training)할 때 강화 학습(RL)을 사용하는 과정에서 더욱 악화됩니다. 최종 답변의 정답 여부만을 최적화하는 것은 증거에 기반한 연역을 장려하기보다 "지름길(shortcut)" 추론을 증폭시킬 수 있기 때문입니다.

기존의 RL 기반 방법들(예: R1-VL, Vision-R1)은 주로 텍-스트 기반 추론이나 최종 결과만을 감독하며, 중간 단계들을 국소적인 시각적 증거에 결합(grounding)하지 못합니다. 반대로, 근거화(grounding) 방법들(예: Visual-RFT, ViGoRL)은 로컬라이제이션(localization)을 추론 과정의 필수 요소가 아닌 보조적인 요소로 취급합니다. 또한, 현재의 데이터셋들은 추론 구조, 중간 답변, 그리고 특정 공간적 증거를 공동으로 포착하는 대규모 주석(annotation)이 부족합니다. 이러한 모델을 훈련하는 데 있어 핵심적인 과제는 유효한 추론 경로가 유일하지 않다는 점입니다. 서로 다른 모델은 동일한 시각적 질문을 해결하기 위해 서로 다른 중간 단계나 순서를 사용할 수 있습니다. 표준적인 시퀀스 수준의 비교 방식은 고정된 참조 순서와 단순히 다르다는 이유만으로 올바른 추론에 패널티를 부여합니다.

2. 방법론

2.1 근거 기반 추론 분해 (Grounded Reasoning Decomposition)

제안된 프레임워크는 모델이 전역적인 시각적 쿼리를 일련의 원자적이고 검증 가능한 하위 작업(sub-tasks)으로 분해하도록 강제합니다. 단일한 추론 대신, 모델은 다음과 같이 구성된 구조화된 출력 $y$를 생성합니다:

• 중간 삼중항 (Intermediate Triplets, $\tau_i$): 다음을 포함하는 시퀀스 $\{ \tau_1, \dots, \tau_m \}$:
  • $q_i$: 하위 질문.
  • $a_i$: 중간 답변.
  • $b_i$: 답변을 뒷받침하는 시각적 근거의 공간적 바운딩 박스 ($[x_{min}, y_{min}, x_{max}, y_{max}]$).
• 추론 경로 ($r$): 삼중항들의 자연어 합성물.
• 최종 답변 ($a_{final}$): 원래 질문에 대한 간결한 답변.

2.2 데이터 합성 (GVRS)

데이터 부족 문제를 해결하기 위해, 저자들은 GVRS(Grounded Visual Reasoning Synthesis) 데이터셋을 구축했습니다.

• 파이프라인: GPT-4o에 의해 초안이 작성되고 인간 참여형(human-in-the-loop) 검증을 통해 정교화된 40개의 고품질 참조 세트를 구성했습니다. 공간적 정밀도는 SAM3를 사용하여 박스 정교화 과정을 거쳤습니다.
• 규모: 보상 점수를 통해 선택된 최적화된 시스템 프롬프트를 사용하여, Visual7W, Visual-CoT, A-OKVQA, ERQA의 네 가지 소스로부터 10,000개의 훈련 샘플을 생성했습니다.
• 검증: 논리적 일관성, 의미적 정확성, 공간적 정확성에 대해 전문가들이 일부 서브셋을 수동으로 검증했습니다.

2.3 H-GRPO: 헝가리안 그룹 상대 정책 최적화 (Hungarian Group Relative Policy Optimization)

핵-심 혁신은 비유일한 추론 경로를 처리하기 위해 설계된 순열 불변(permutation-invariant) RL 프레임워크인 H-GRPO입니다.

• 순열 불변 매칭 (Permutation-Invariant Matching): 생성된 추론 체인을 고정된 순서로 참조 체인과 비교하는 대신, H-GRPO는 예측된 삼중항 집합($\hat{D}$)과 참조 삼중항 집합($D^*$) 사이의 이분 매칭(bipartite matching) 문제로 평가를 공식화합니다.

• 유사도 메트릭 (Similarity Metric): 각 항목 $S_{ij}$가 다음을 결합하는 유사도 행렬 $S$를 구성합니다:

  • 바운딩 박스의 존재 여부 및 호환성.
  • 하위 질문($sim_q$) 및 하위 답변($sim_a$)에 대한 Sentence-BERT 코사인 유사도.
  • 공간적 중첩을 위한 IoU (Intersection over Union).

• 헝가리안 알고리즘 (Hungarian Algorithm): 총 유사도 점수($S_{HS}$)를 최대화하기 위해 헝가리안 알고리즘을 사용하여 최적의 일대일 할당을 찾습니다.

• 보상 함수 (Reward Function): 총 보상 $R$은 다음의 복합체입니다:

  1. 포맷 보상 ($R_{format}$): 출력이 삼중항 구조(하위 질문, 답변, 추론 경로, 최종 답변)를 따르는지 확인합니다.
  2. 헝가리안 추론 보상 ($R_{HS}$): 매칭 점수에서 유도된 조밀한 프로세스 수준 보상으로, 약한 추론을 억제하기 위해 임계값 처리가 됩니다.
  3. 최종 답변 보상 ($R_{answer}$): 추론이 충분히 근거가 있을 때(즉, $R_{HS}$가 임계값을 초과할 때)만 활성화됩니다.

  공식은 다음과 같습니다: $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$.

이 공식은 모델이 최종 답변이 정답일 뿐만 아니라, 생성된 순서와 관계없이 의미론적으로 정렬되고 시각적으로 근거가 있는 중간 단계로부터 도출되었을 때만 강력한 보상을 받도록 보장합니다.

3. 주요 기여

1. 근거 기반 추론 분해 프로토콜: 추론 단계를 삼중항(하위 질문, 하위 답변, 공간적 증거)으로 표현하여 시각적 증거의 명시적 외재화를 강제하는 새로운 표현 방식입니다.
2. 확장 가능한 데이터 합성 파이프라인: 광범적인 수동 주석 없이도 단계별 근거 기반 추론 궤적을 생성하는 방법론을 통해 GVRS 데이터셋을 구축했습니다.
3. H-GRPO 프레임워크: 헝가리안 매칭을 사용하여 예측된 추론 단계와 참조 단계를 정렬함으로써, 유연한 추론 궤적을 허용하면서도 증거의 일관성을 강제하는 순열 불변 RL 알고리즘입니다.
4. 통합 평가 프로토콜: 답변 정확도, 근거 충실도, 단계별 정렬, 시각적 증거 의존성을 측정하는 종합적인 메트릭 제품군을 제공합니다.

4. 실험 결과

본 방법론은 오픈 소스 VLM 백본(Qwen2.5-VL-3B 및 SmolVLM-2.2B)을 대상으로 인도메인(in-domain) 및 분포 외(OOD) 벤치마크에서 평가되었습니다.

• 인도메인 성능: H-GRPO는 SmolVLM-2.2B 백본에 대해 A-OKVQA(73.4%)와 Visual7W(77.2%)에서 최고의 결과를 달성하여, 표준 SFT 및 일반 GRPO를 능가했습니다. Qwen2.5-VL-3B의 경우, H-GRPO는 특히 Visual7W에서 SFT/GRPO 성능과 대등하거나 약간 상회하는 성능을 보였습니다.
• 분포 외(OOD) 일반화: H-GR포는 공간 및 기하학적 추론 작업에서 우수한 일반화 능력을 입증했습니다. RealWorldQA, RoboSpatial (70.2%), MMStar에서 가장 높은 점수를 기록했습니다. MMMU에서의 향상은 완만했는데, 이는 이 방법이 순수 지식 집약적 추론보다는 시각적으로 근거가 있는 작업에 가장 효과적임을 시사합니다.
• 해석 가능성: LLM-as-a-Judge를 통해 평가했을 때, H-GRPO의 추론 궤적은 모든 차원(관련성, 일관성, 정합성, 명확성, 해석 가능성)에서 가장 높은 점수를 받았으며, R1-VL, ViGoRL, Reason-RFT를 크게 앞질렀습니다.
• 정성적 분석: 사례 연구를 통해 모델이 범주 수준, 공간 및 동작 추론을 특정 이미지 영역(예: 흰색 자켓과 음식 카운터를 통해 셰프를 식별함)에 성공적으로 근거화하여, 근거 없는 환각의 위험을 줄이는 것을 보여주었습니다.

5. 의의 및 주장

본 논문은 H-GRPO가 추론 정확도와 근거 충실도 사이의 트레이드오프를 해결한다고 주장합니다. 모든 중간 논리 단계가 특정 시각적 영역에 고정되도록 강제함으로써, 이 프레임워크는 다음과 같은 추론 경로를 생성합니다:

• 검증 가능성(Verifiable): 인간과 보상 함수가 각 단계의 시각적 증거를 검사할 수 있습니다.
• 충실성(Faithful): 최종 답변이 통계적 추측이 아닌, 검증된 시각적 사실로부터 논리적 결과로서 도출됩니다.
• 유연성(Flexible): 순열 불변 보상을 통해 다양한 유효한 추론 순서를 허용하며, 단순히 참조와 다른 순서를 따른다는 이유로 올바른 논리에 패널티를 주는 것을 방지합니다.

저자들은 H-GRPO가 위치 기반 및 공간 추론 작업에서 성능을 크게 향상시키지만, 추상적이거나 과학적인 추론(예: MMMU)에 필요한 도메인 지식의 격차를 완전히 보완하지는 못한다고 언급했습니다. 그들은 증거 기반의 시각적 연역의 잠재력을 완전히 실현하기 위해, 향-후 연구가 기호적(symbolic), 차트 기반, 그리고 롱 컨텍스트 멀티모달 추론으로 확장되어야 한다고 결론지었습니다.