기술 요약: 비전-언어 모델 사후 훈련에서 추론과 지각의 비대칭적 최적화

1. 문제 제기

사후 훈련 기법, 특히 지도 미세 조정 (SFT) 과 강화 학습 (RL) 은 최첨단 비전 - 언어 모델 (VLM) 의 추론 능력을 크게 향상시켰습니다. 그러나 이러한 개선은 지각 능력에 비례하여 반영되지 않았습니다. 최근 연구들은 사후 훈련이 지각 성능에 제한적인 개선을 가져오거나 오히려 저하시킬 수 있음을 시사하며, 이는 종단간 시각적 추론의 병목 현상을 초래합니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 왜 사후 훈련은 지각보다 추론을 불균형적으로 선호하며, 이러한 비대칭성을 어떻게 완화할 수 있는가?

저자들은 지각 오류가 고급 추론의 효과성을 심각하게 제한한다고 주장합니다. 이를 규명하기 위해 지각과 추론을 분리하여 각 구성 요소를 독립적으로 평가 및 최적화할 수 있도록 통제된 진단 프레임워크를 도입했습니다.

2. 방법론

2.1 통제된 진단 프레임워크

저자들은 모델 출력 내에서 지각 ($p$) 과 추론 ($r$) 을 분리하도록 설계된 프레임워크를 제안합니다.

• 분리된 출력: 출력 시퀀스는 $y = [p, r]$로 구조화되며, 여기서 $p$는 시각 정보의 텍스트 전사본이고 $r$은 특수 토큰으로 분리된 추론 과정입니다. 이는 "지각 후 추론" 순서를 강제합니다.
• 평가 지표:
  • 지각 정확도 ($a_p$): 모델이 생성한 지각 $p$를 기준 정답 표현 $p^*$와 비교하여 측정합니다.
  • 반사실적 추론 정확도 ($a_r$): 지각 오류로부터 추론 능력을 분리하기 위해, 모델은 기준 지각 $p^*$를 조건으로 하여 추론 $r'$을 생성합니다. 그 후 정확도는 $Acc(r' | p^*)$로 측정됩니다.
  • 종단간 정확도 ($a$): 전체 파이프라인의 표준 정확도입니다.
• 합성 작업: 기준 정답 주석과 프로그래밍적 평가를 보장하기 위해 저자들은 두 가지 합성 작업을 활용합니다:
  1. 그래프 색칠하기 (GC): 그래프의 입력 이미지; $p^*$는 간선 목록이며, 정확성은 유효한 노드 색칠을 요구합니다.
  2. 수독: 격자의 입력 이미지; $p^*$는 부분적으로 채워진 격자이며, 정확성은 유효한 해법을 요구합니다.
     이러한 작업들은 텍스트 기반 문제에서 프로그래밍적으로 렌더링되어 기준 $p^*$를 유지합니다.

2.2 훈련 패러다임

본 연구는 두 가지 지배적인 사후 훈련 방법을 평가합니다:

• 지도 미세 조정 (SFT): 출력 시퀀스에 대한 토큰 평균 교차 엔트로피 손실을 최적화합니다.
• 강화 학습 (RL): 종단간 정확도를 주요 보상 신호로 사용하여 그룹 상대 정책 최적화 (GRPO) 를 적용합니다.

2.3 가설적 메커니즘 및 개입

저자들은 비대칭성을 주도하는 두 가지 특정 메커니즘을 조사합니다:

1. 가설 1: 토큰 불균형 (SFT)

   • 메커니즘: 체인 오브 씽킹 (CoT) 감독 하에서 지각 토큰은 전체 출력에 비해 추론 토큰보다 훨씬 작은 비율을 차지합니다. SFT 가 토큰 평균 손실을 사용하므로 지각은 더 약한 최적화 신호를 받습니다.
   • 개입: 손실 재가중. SFT 손식을 $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$로 수정하여 지각 토큰의 가중치를 $\lambda$로 증가시킵니다. 또한 기울기 노름에 기반한 동적 다중 작업 균형 방법인 NGDiff도 테스트합니다.

2. 가설 2: 보상 결합 (RL)

   • 메커니즘: 결과 보상 (종단간 정확도) 은 지각 정확도보다 추론 정확도와 더 강하게 상관관계를 가집니다. 지각은 후속 추론이 또한 정확할 때만 보상에 영향을 미치므로, 지각에 대한 노이즈가 있거나 정렬되지 않은 신용 할당이 발생합니다.
   • 개입: 보상 증강. 보상 함수를 $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$로 수정하여 지각 신호를 명시적으로 추가합니다. 또한 기준 지각 보상이 사용할 수 없는 시나리오를 위해 대리 보상(CLIP 유사도, 자기 보상, 교사 기반 보상) 을 평가합니다.

3. 실험 결과

3.1 실증적 설정

실험은 GC 및 수독 작업을 사용하여 Qwen3-VL-2B와 InternVL3.5-2B에서 수행되었습니다. 데이터셋에는 작업당 2,000 개의 SFT 훈련 인스턴스와 16,000 개의 RL 훈련 인스턴스가 포함되었습니다.

3.2 SFT 에 대한 발견

• 비대칭 확인: 표준 SFT 는 추론 정확도를 크게 향상시키는 반면 지각 정확도에서는 최소한의 개선만 가져옵니다.
• 토큰 불균형 검증: 분석 결과, CoT 추적에서 지각은 토큰의 약 2.5% 만 차지하며 총 손실의 1.3% 와 기울기 노름의 8.5% 에 기여하는 것으로 나타났습니다.
• 개입 효과성:
  • 지각 가중치 ($\lambda$) 를 증가시키면 지각 정확도가 향상되지만, 과도한 가중치는 추론에 해를 끼치는 트레이드오프가 발생합니다.
  • 최적 균형: 종단간 정확도는 지각을 적절히 상향 가중할 때 정점에 도달합니다.
  • 결과: 손실 재가중은 표준 SFT 대비 10.0–13.8 포인트만큼 종단간 정확도를 향상시켰습니다. 동적 NGDiff 방법은 이를 더욱 개선하여 수동 하이퍼파라미터 튜닝 없이 최대 18.2 포인트의 개선을 달성했습니다.

3.3 RL 에 대한 발견

• 비대칭 확인: RL 또한 지각보다 추론을 더 많이 향상시킵니다.
• 토큰 불균형 거부: SFT 와 달리, RL 목적 함수에서 토큰 확률을 재가중하는 것은 비대칭성을 완화하지 못했으며 종종 훈련을 불안정하게 만들었습니다. 이는 토큰 수가 RL 에서 주요 동인이 아님을 나타냅니다.
• 보상 결합 검증: 피어슨 상관관계 분석 결과, 결과 보상은 추론과 강하게 상관관계 ($r \approx 0.65\text{--}1.00$) 를 보이지만 지각과는 약하게 상관관계 ($r \approx 0.34\text{--}0.43$) 를 보이는 것으로 나타났습니다.
• 개입 효과성:
  • 보상 증강: 지각 보상 ($\alpha > 0$) 을 추가하면 지각 정확도가 향상됩니다. SFT 와 마찬가지로 트레이드오프가 존재하지만, 종단간 성능은 0 이 아닌 $\alpha$에서 정점에 도달합니다.
  • 결과: 보상 증강은 표준 RL 대비 최대 6.0 포인트만큼 종단간 정확도를 향상시켰습니다.
  • 대리 보상: 기준 지각 보상을 사용할 수 없는 경우, 교사 기반 보상(더 강력한 모델을 사용하여 $p^*$를 생성) 이 가장 신뢰할 수 있는 신호를 제공하여 3.2 포인트의 개선을 이루었습니다. CLIP 기반 유사도는 무시할 수 있는 신호만 제공했습니다.

4. 주요 기여

1. 진단 프레임워크: VLM 사후 훈련에서 지각과 추론을 분리하고 독립적으로 평가하기 위해 합성 작업을 사용한 통제된 프레임워크를 도입했습니다.
2. 메커니즘 식별: SFT 와 RL 전반에 걸쳐 일관된 지각 - 추론 비대칭성을 식별하였으며, 그 원인을 SFT 의 토큰 불균형과 RL 의 보상 결합이라는 서로 다른 메커니즘으로 추적했습니다.
3. 표적 개입: 특정 패러다임을 인식한 개입이 이러한 구성 요소를 재균형화할 수 있음을 입증했습니다:
   • SFT: 손실 재가중 (NGDiff 를 통한 정적 또는 동적).
   • RL: 지각 인식 보상 증강 (기준 또는 신뢰할 수 있는 대리 신호 사용).
   • 이러한 개입은 종단간 시각적 추론 성능을 SFT 의 경우 최대 18.2 포인트, RL 의 경우 6.0 포인트까지 향상시켰습니다.

5. 중요성 및 주장

본 논문은 관찰된 비대칭성이 모델 특정적 인공물이 아닌 기본 사후 훈련 목적의 근본적인 결과라고 주장합니다. 저자들은 지각이 여전히 지배적인 병목 현상으로 남아 있기 때문에 표준 SFT 또는 RL 목적에만 의존하는 것은 견고한 종단간 시각적 추론에 불충분하다고 주장합니다.

이 연구의 중요성은 이러한 불균형을 완화하기 위한 구체적이고 실행 가능한 전략을 제공한다는 점에 있습니다. 특정 실패 모드 (SFT 의 토큰 부족, RL 의 약한 보상 신호) 를 진단함으로써, 저자들은 향후 VLM 사후 훈련 파이프라인이 손실 재가중이나 지각 인식 보상과 같은 명시적 균형 메커니즘을 통합하여 시각적 추론의 잠재력을 최대한 발휘해야 한다고 제안합니다. 본 연구는 이러한 개입이 실용적이며 지각 감독이나 대리 신호가 가능한 경우 실제 파이프라인에 통합될 수 있음을 강조합니다.

한계점: 저자들은 변수를 분리하기 위해 합성 작업 (그래프 색칠하기 및 수독) 에 의존한다고 지적합니다. 이러한 추상화는 실제 세계 다양성에 대한 직접적인 벤치마킹을 제한하지만, 복잡하고 모호한 실제 세계 데이터에서 가려지는 인과 메커니즘을 확립하는 데 필수적입니다. 제안된 메커니즘 (토큰 불균형 및 보상 결합) 은 사후 훈련 목적의 일반적 속성으로 주장되며, 이는 개입이 합성 설정을 넘어 적용 가능함을 시사합니다.