기술 요약: ReGround

문제 정의

시각-언어 모델(VLM)은 다단계 추론 과정에서 빈번하게 시각적 접지 저하(visual grounding decay) 현상을 겪습니다. 추론 체인이 길어질수록 모델은 언어적 사전 지식(language priors)에 대한 의존도를 높이는 반면, 이미지 토큰에 대한 주의력(attention)은 감소합니다. 저자들은 이러한 퇴화의 일관된 징후를 확인했습니다. 2,510개의 재검토 샘플을 분석한 결과, 이미지 토큰에 대한 어텐션 엔트로피(attention entropy)는 일반적으로 첫 번째 추론 단계(Round 1) 동안 급격히 감소하며, 개입 없이는 회복되지 않는 경향을 보입니다.

이러한 저하 현상은 기존 연구에서도 보고된 바 있으나, 결정적인 공백이 존재합니다. 단순히 시각적 증거를 다시 주입하는 것만으로는 교정을 보장할 수 없다는 점입니다. 본 논문은 **진단 품질(diagnostic quality)**이 결정적인 요소라고 주장합니다. 표적화된 자기 진단(self-diagnosis)이 없다면, 시각적 재검토는 모델이 정답을 뒤집거나 오류로부터 회복하지 못하게 만드는 "해로운 재고(harmful second-guessing)"로 이어질 수 있습니다. 반대로, 효과적인 재검토를 위해서는 이미지 재주입과 더불어 의미 있고 표적화된 진단 단서(diagnostic cue)가 모두 필요합니다.

방법론: ReGround 프레임워크

ReGround는 VLM이 시각적 접지 실패를 자율적으로 진단하고 시각적 증거를 선택적으로 재검토하도록 학습시키기 위해 설계된 2단계 도구 미사용(tool-free) 프레임워크입니다. 이 방식은 아키텍처 수정이나 외부 도구(예: 크로핑 또는 줌 도구)를 필요로 하지 않습니다.

1단계: 콜드 스타트 지도 미세 조정 (SFT)

프레임워크는 **순차적 재검토 트리거(sequential Re-examination Trigger)**와 **시각적 자기 진단(Visual Self-Diagnosis)**을 사용하여 특화된 학습 데이터셋을 구축합니다.

1. 재검토 트리거 정책: 모든 샘플에 재검토가 필요한 것은 아닙니다. 시스템은 다음 세 단계를 통해 초기 응답을 필터링합니다.

   • 정답인가? (Is Correct?): 답이 틀린 경우, 재검토가 무조건적으로 트리거됩니다.
   • 접지되었는가? (Is Grounded?): 답이 맞더라도, 판사 모델(Qwen2.5-VL-72B)이 네 가지 기준(시각적 속성 커버리지, 대안 제거, 헤징(hedging)의 부재, 시각적 앵커링)을 바탕으로 추론이 진정으로 접지되었는지 평가합니다. 정답이지만 접지되지 않은 경우 재검토가 트리거됩니다.
   • 검증 가능한가? (Is Verifiable?): 정답이고 접지된 답변에 대해 확률적 트리거($\epsilon$)를 적용하여, 재검토가 검증의 역할도 수행할 수 있음을 모델에게 학습시킵니다.
   • No-ReGround: 확률적 트리거 없이 모든 검사를 통과한 샘플은 단일 턴 궤적(single-turn trajectory)으로 유지되어 과도한 트리거링을 방지합니다.

2. 시각적 자기 진단 및 재주입: 트리거가 발생하면 <reground> 태그 내에 진단 단서를 생성합니다. 세 가지 정보 재주입 모드가 사용됩니다.

   • 교정 (Correction): 주의력을 재지향하기 위해 시각적 오인식 가능성이 높은 지점을 식별합니다.
   • 접지 (Grounding): 정답을 드러내지 않으면서, 모델이 추측성 언어를 구체적인 공간 좌표나 요소에 고정하도록 강제합니다.
   • 검증 (Verification): 논리적 체인을 재확인하기 위해 이미지를 전체적으로 다시 주입합니다.

3. 역량 부트스트래핑 (Capability Bootstrapping): 데이터 구축 과정에서 더 강력한 모델 변체(예: 72B)가 진단 단서를 생성합니다. 정책 모델(예: 7B)은 SFT 과정에서 이러한 단서를 자율적으로 생성하는 법을 학습합니다. 훈련이 끝난 후 더 강력한 모델 변체는 폐기됩니다.

4. 궤적 포맷팅 (Trajectory Formatting): 데이터는 멀티 턴 템플릿으로 구성됩니다: 초기 추론 $\rightarrow$ <reground> (진단 + 재주입) $\rightarrow$ 수정된 추론 $\rightarrow$ 최종 답변.

2단계: 강화 학습 (GRPO)

정책은 트리거링 동작을 교정하기 위한 비대칭 보상 함수를 사용하는 **그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO)**를 통해 정교화됩니다.

• 재접지 보상 ($R_{reg}$): 유효한 <reground> 구간의 구조적 존재 여부에 보상을 줍니다.
• 정확도 보상 ($R_{acc}$): 최종 정답에 보상을 주되, 부정적 상호작용 항을 포함합니다. 이는 모델이 불필요하게 재검토를 트리거했을 경우 발생하는 정답의 한계 효용을 깎아내어, 맹목적인 추측을 방지합니다.
• 포맷팅 페널티 ($R_{form}$): 구문 오류에 대해 벌점을 부여합니다.

이러한 보상 셰이핑(reward shaping)은 비대칭 분포를 만듭니다. 가장 높은 보상은 성공적인 회복(재접지 + 정답)에 주어지며, "맹목적 실패"(재접지 없음 + 오답)는 페널티를 받습니다. 이를 통해 모델이 언제 재검토해야 하는지, 그리고 어떻게 재검토를 효과적으로 사용할지를 학습하도록 유도합니다.

주요 기여

1. 저하 및 회복의 실증적 증거: 저자들은 어텐션 엔트로피가 추론 단계의 98.0%에서 좁아지지만, 이미지 재주입 후에는 94.4%의 사례에서 회복됨을 입증했습니다.
2. 병목 지점으로서의 진단 품질: 일반적인 재검토는 성능을 저하시킬 수 있는 반면, 표적화된 자기 진단은 오라클(강력한 모델) 단서가 제공하는 이득의 79~90%를 회복할 수 있음을 밝혀냈습니다.
3. 트리거링 정책 분석: 과도한 트리거링은 정답을 해치고, 보수적인 트리거링은 회복 가능한 이득을 놓친다는 것을 보여줍니다. 균형 잡힌 정책이 필수적입니다.
4. 실용적인 도구 미사용 프레임워크: ReGround는 외부 도구 없이 이미지 재주입과 자기 진단만을 사용하여 다양한 벤치마크에서 성능을 향상시킵니다.

실험 결과

실험은 두 가지 VLM 백본(Qwen2.5-VL-7B 및 Qwen3-VL-8B)을 사용하여 8개의 벤치마크(MathVista, MathVision, MathVerse, HallusionBench, MMBench 등)에서 수행되었습니다.

• 성능 향상: Qwen2.5-VL-7B에서 ReGround는 8개 벤치마크 중 5개에서 최고의 성능을 달성했으며, 특히 수학 추론 작업(예: MathVista +3.8, MathVerse +4.5)과 시각적 환각을 겨냥한 HallusionBench(+6.8)에서 상당한 개선을 보였습니다.
• 교차 백본 전이: 동일한 학습 레시피를 Qwen3-VL-8B에 적용했을 때 하이퍼파라미터 재조정 없이 8개 벤치마크 모두에서 일관된 성능 향상이 나타났습니다.
• 효율성: Re-Ground는 베이스라인 대비 중간 정도의 추론 오버헤드(총 토큰 1.62배, 지연 시간 1.76배)를 발생시키지만, Thyme와 같은 도구 증강 베이스라인보다 속도와 정확도 면에서 모두 우수합니다.
• 절제 연구 (Ablation Studies):
  • 메커니즘: 시각적 재주입이 필수적이며, 텍스트 기반의 성찰(text-only reflection)은 미미한 이득만을 제공합니다.
  • 데이터 구성: "No-ReGround" 샘플을 제거하면 트리거율이 약 85%까지 치솟고 정확도가 떨어지며, 음성 예시(negative examples)의 필요성을 확인시켜 줍니다.
  • 단서 품질: 일반적인 단서(예: "다시 봐")는 오히려 성능을 해칠 수 있습니다. 표적화된 자기 진단이 핵심 변수입니다.

의의 및 주장

본 논문은 단순한 시각적 증거의 재검토 행위 자체가 아니라, 진단 품질이 성공적인 시각적 자기 교정의 핵심 요소라고 주장합니다. ReGround는 VLM이 언제 시각적 접지를 상실했는지, 그리고 어떤 특정 증거를 다시 살펴봐야 하는지를 자율적으로 식별할 수 있음을 보여줍니다. 단, 이는 고품질의 진단 단서와 균형 잡힌 트리거링 정책으로 훈련되었을 때 가능합니다.

저자들은 ReGround를 다단계 추론에서의 "시각적 접지 드리프트(visual grounding drift)"라는 특정 실패 모드를 해결하는 보완적인 도구 미사용 메커니즘으로 정의합니다. 진단 가이드와 재검토 형식의 영향을 분리함으로써, 본 연구는 향후 접지된 추론의 개선 방향이 외부 도구나 모델 규모의 확장에만 의존하는 것이 아니라, 모델이 특정 시각적 증거를 스스로 진단하고 타겟팅하는 능력을 강화하는 데 집중되어야 함을 시사합니다.