기술 요약: 응답 시 충실성을 유지하라 (Be Faithful When Response)

문제 정의

강화 학습(RL)은 시각-언어 모델(VLM)의 추론 능력을 향상시키기 위한 유망한 패러다임으로 부상했습니다. 그러나 멀티모달 추론 작업에 RL을 직접 적용하면 종종 학습 불안정성과 최적화되지 않은 결과를 초래합니다. 핵심 문제는 보상이 최종 정답의 정답 여부만을 평가하는 희소한 보상 신호(sparse reward signals)에서 기인한다는 점입니다. 결과적으로, 모델은 진정한 시각적 근거에 기반한 추론을 수행하기보다 보상을 극대화하기 위해 언어적 사전 지식(language priors), 데이터셋 편향, 그리고 가짜 상관관계(spurious correlations)를 악용하는 경지에 이르게 됩니다. 이는 모델이 시각적 증거에 기반한 충실한 도출 과정이 아닌, 사후 정당화(post-hoc rationalization)로서 기능하는 '유창하지만 근거 없는' 추론 궤적을 생성하는 결과를 낳습니다. 저자들은 이러한 실패가 부적절한 정책 초기화(policy initialization)에 의해 악화된다고 주장합니다. 즉, 일반적인 지시어 튜닝(instruction-tuned)된 VLM으로부터 RL을 시작하는 것은 정책을 약한 시각적 근거와 불안정한 추론 궤적을 특징으로 하는 최적화 지형의 하위 최적 영역(suboptimal region)에 배치하게 됩니다.

방법론: 충실한 웜 스타트 (Faithful Warm-Start, FWS)

이러한 과제를 해결하기 위해, 본 논문은 충실한 웜 스타트(FWS) 전략을 제안합니다. 핵심 가설은 초기 정책 상태가 성공적인 VLM RL을 위한 결정적인 전제 조건이라는 것입니다. FWS는 희소한 RL 보상이 적용되기 전에 정책을 시각적으로 충실한 추론 체제로 유도하는 것을 목표로 합니다. 이 방법론은 세 가지 주요 단계로 구성됩니다.

1. FaithfulQA 데이터셋 구축

저자들은 AI2D, TextbookQA, PlotQA, ScienceQA, ChartQA, Geo3K 등 6개의 일반적인 시각 질의응답(VQA) 벤치마크로부터 특화된 데이터셋을 큐레이션했습니다. 구축 과정은 원시 VQA 삼중항(triplet)을 명시적이고 인과적으로 근거가 있는 추론 단위로 분해하기 위해 4단계 추론 파이프라인을 거칩니다:

• 시각적 근거 (Visual Grounding, VG): 이미지에서 관찰되는 직접적인 증거.
• 질문 요구사항 (Question Requirement, QR): 필요한 외부 상식 또는 도메인 지식.
• 중간 추론 (Intermediate Inference): 사실과 규칙으로부터 도출된 논리적 단계.
• 최종 예측 (Final Prediction): 선택된 정답을 뒷받는 도출 과정.

2. 충실성 일관성 검토 (인과적 검증)

추론 궤적이 단순히 사후적인 서술이 아님을 보장하기 위해, 저자들은 단위 수준 인과적 개입(Unit-level Causal Intervention) 메커니즘을 사용합니다. $N$개의 단위를 포함하는 올바른 추론 궤적에 대해, 시스템은 $N$번의 개입 실험을 수행합니다. 각 실험에서 하나의 추론 단위가 제거되며, 수정된 궤적(이미지 및 질문과 함께)이 VLM에 다시 입력됩니다.

• 지표: 주요 지표인 num_correct_to_wrong은 특정 단위의 제거 시 모델의 예측이 정답에서 오답으로 얼마나 자주 바뀌는지 측정합니다.
• 목표: 0이 아닌 값은 해당 추론 단위가 의사결정에 기능적으로 필요함을 확인하며, 이는 시각적 근거에 대한 직접적인 인과적 증거를 제공합니다.

3. 판정 및 사후 필터링

VLM 기반 판정 모델(Qwen3VL-8B-Thinking)이 0에서 2까지 점수를 매기는 네 가지 차원에 따라 정제된 궤적을 평가합니다:

• 시각적 근거 점수 (Visual Grounding Score): 실제 시각적 증거에 대한 의존도.
• 단위 인과성 점수 (Unit Causality Score): 개입 결과에 기반한 논리적 및 인과적 필요성.
• 비모순 점수 (Non-Contradiction Score): 내부적 논리 일관성 및 이미지와의 정렬.
• 충실성 점수 (Faithfulness Score): 전체적인 평가로서, 체인이 결정을 충실히 설명하는지 여부.

네 가지 차원 모두에서 완벽한 점수(2)를 얻고 인과적 지표가 0보다 엄격히 큰 궤적만을 유지합니다. 이 과정을 통해 FaithfulQA 데이터셋(6만 개의 고품질 샘플)이 생성되며, 이는 오직 지도 미세 조정(SFT) 웜 스타트 단계에만 사용됩니다. 원본 벤치마크 데이터셋은 추론 및 평가를 위해서만 엄격히 보존됩니다.

주요 기여

1. 정책 초기화에 대한 통찰: 본 논문은 시각-언어 RL에서의 부적절한 초기화가 희소한 보상 하에서 지름길 학습(shortcut learning)을 조장한다는 점을 강조하며, 충실한 지도 학습 기반의 웜 스타트가 효과적인 최적화를 위한 필수 전제 조건이라고 주장합니다.
2. FaithfulQA 데이터셋 및 FWS 전략: 저자들은 RL 최적화 이전에 모델이 인과적으로 근거 있는 시각-언어 패턴을 학습할 수 있도록 FaithfulQA 데이터셋을 구축하는 FWS 전략을 제안합니다.
3. 경험적 검증: 본 연구는 FWS가 정답 정확도를 개선하고, RL 학습 역학을 안정화하며, 멀티모달 추론 작업 전반에서 시각적 증거에 더 충실하게 근거한 추론 궤적을 생성함을 입증합니다.

실험 결과

Qwen3-VL-2B-Instruct를 백본으로, Qwen3-VL-8B-Thinking을 판정 모델로 사용하여 광범한 실험을 수행했습니다. 연구는 다양한 규모의 FWS 데이터(20K, 40K, 60K)로 훈련된 모델을 베이스 모델 및 베이스 모델으로부터 직접 RL을 수행한 모델과 비교했습니다.

• 성능 향상: FWS는 평가된 5개 벤치마크(AI2D, TQA, PlotQA, SciQA, ChartQA) 모두에서 일관되게 성능을 향상시켰습니다. 20K 규모의 작은 샘플에서도 명확한 이득이 관찰되었습니다. 60K-SFT 설정은 대부분의 벤치마크에서 포화 상태에 도달했습니다.
• RL 안정성: FWS 체크포인트로 초기화된 후 RL로 미세 조정된 모델은 베이스 모델에서 초기화된 모델보다 일관되게 우수한 성능을 보였습니다.
• 보상 역학 (Reward Dynamics): 보상 궤적 분석 결과 뚜렷한 차이가 드러났습니다:
  • Base-RL: 점진적인 개선을 보였으나, 눈에 띄는 변동과 함께 낮은 고점에서 결국 포화되었습니다.
  • FWS-RL: 낮은 보상과 함께 초기 적응 단계를 거친 후, 급격한 상승과 함께 더 높고 안정적인 고점으로 빠르게 수렴했습니다. 이는 FWS가 RL이 효율적으로 활성화하고 정교화할 수 있는 정보가 풍부한 추론 사전 지식을 인코딩하고 있음을 시사합니다.

의의 및 주장

본 논문은 충실한 웜 스타트 초기화가 단순한 포맷팅 선택이 아니라, VLM의 효과적인 강화 학습을 위한 근본적인 요구 사항이라고 주장합니다. 희소한 보상 최적화 이전에 인과적으로 근거 있는 시각-언어 패턴을 이해하는 능력을 모델에 갖춤으로써, FWS는 정책이 퇴보적인 추론 행동으로 흐르는 것을 방지합니다. 결과는 이 접근 방식이 정답 수준의 최적화와 충실한 멀티모달 추론 사이의 불일치를 효과적으로 완화하여, 모델이 단순한 보상 극대화보다 진정한 추론 일관성과 시각적 준수를 우선시하도록 보장한다는 것을 보여줍니다.