기술 요약: Vision-OPD

문제 정의

다중 모달 대규모 언어 모델 (MLLM) 은 현재 세밀한 시각적 이해에서 심각한 병목 현상에 직면해 있습니다. 이러한 모델들은 일반적인 장면 이해에는 탁월하지만, 답변이 이미지의 일부만을 차지하는 작고 결정적인 세부 사항에 의존할 때는 종종 실패합니다. 저자들은 지역에서 전역으로의 지각 격차를 확인했습니다: MLLM 은 증거 중심의 컷 (지역 입력) 을 기반으로 할 때 세밀한 질문에 정확하게 답변하지만, 해당 전체 이미지 (전역 입력) 를 기반으로 할 때는 실패하는 경우가 많습니다.

이 관찰은 실패가 국소 인식 능력의 부재 때문이 아니라, 밀집된 전역 시각적 맥락 내에서 관련 증거에 집중하지 못하는 능력 부족 때문임을 시사합니다. "Thinking-with-Images" 에이전트 모델과 같은 기존 솔루션은 추론 중에 컷과 확대를 위한 도구를 MLLM 에 장착함으로써 이를 해결하려 시도합니다. 그러나 이러한 방법들은 반복적인 이미지 인코딩과 모델 호출로 인해 상당한 추론 오버헤드를 초래합니다. 본 논문이 다루는 핵심 과제는 다음과 같습니다: 시각적 확대의 이점을 훈련을 통해 내재화하여, 추가적인 도구 사용이나 외부 감독 없이 전체 이미지에서 세밀한 증거를 활용할 수 있도록 할 수 있는가?

방법론: Vision-OPD

이 논문은 Vision-OPD(Vision On-Policy Distillation) 를 제안합니다. 이는 지역에서 전역으로의 자기 증류 (self-distillation) 프레임워크입니다. 이 방법은 모델의 자체 특권적 지역 지각을 활용하여 전역 지각을 감독합니다.

1. 데이터 합성

이 프레임워크는 $\{(x_i, x'_i, q_i)\}$로 구성된 삼중항 데이터셋을 활용합니다. 여기서:

• $x_i$: 전체 이미지입니다.
• $x'_i$: $x_i$의 증거 중심 컷입니다.
• $q_i$: 컷에서 답할 수 있는 세밀한 질문입니다.
  데이터는 원본 이미지에서 작은 영역을 감지하고, 해당 영역에 특화된 질문을 생성하며, 전체 이미지에 바운딩 박스를 오버레이하여 공간적 제약을 제공하는 방식으로 합성됩니다. 이 과정을 통해 정답 레이블이 필요 없는 6.2K 개의 합성 훈련 샘플이 생성됩니다.

2. 이중 정책 아키텍처

Vision-OPD 는 동일한 MLLM($p_\theta$) 에서 두 가지 조건부 정책을 인스턴스화합니다:

• 교사 정책 ($p_T$): 증거 중심 컷 ($x'$) 과 질문 ($q$) 을 조건으로 합니다. 이는 세밀한 세부 사항이 모호하지 않은 "특권적" 뷰를 제공합니다.
• 학생 정책 ($p_S$): 전체 이미지 ($x$) 와 질문 ($q$) 을 조건으로 합니다. 이는 표준 추론 조건을 모방합니다.

3. 온-정책 자기 증류 목적 함수

전통적인 지도 미세 조정 (SFT) 이 분포 불일치로 고통받거나, 검증 가능한 보상을 통한 강화 학습 (RLVR) 이 희소 시퀀스 수준의 피드백을 제공하는 것과 달리, Vision-OPD 는 온-정책 샘플링과 밀집 토큰 수준 감독을 사용합니다.

• 롤아웃 생성: 학생이 전체 이미지에서 응답 궤적 $y$를 생성합니다 ($y \sim p_S(\cdot | x, q)$).
• 발산 최소화: 학생의 궤적 내 각 토큰 위치 $n$에서, 모델은 교사 ($p_T(\cdot | x', q, y_{<n})$) 와 학생 ($p_S(\cdot | x, q, y_{<n})$) 의 다음 토큰 분포를 모두 계산합니다.
• 손실 함수: 목적 함수는 학생의 자체 롤아웃을 따라 교사와 학생 분포 간의 예상 토큰 단위 발산 (일반화 제이슨-샨논 발산, JSD 사용) 을 최소화합니다:
  $$L_{Vision-OPD}(\theta) = \mathbb{E}_{(x,x',q) \sim D} \left[ \mathbb{E}_{y \sim p_S(\cdot|x,q)} \left[ D(p_T \parallel p_S)(y | x, x', q) \right] \right]$$

중요하게도, 기울기는 학생 정책을 통해서만 흐릅니다. 교사는 특권 컷을 조건으로 하는 고정된 목표 (지수 이동 평균을 통해 정규화됨) 로 작용합니다. 이 설정은 외부 교사, 정답 레이블, 보상 검증자, 또는 추론 시 도구 사용 없이 모델이 "확대"의 이점을 내재화할 수 있게 합니다.

주요 기여

1. 지역에서 전역으로의 자기 증류 공식화: 논문은 모델의 자체 컷 조건부 행동이 전체 이미지 추론 행동에 대한 특권적 감독으로 작용하는 새로운 훈련 신호를 도입합니다.
2. Vision-OPD 프레임워크: 지역 뷰에서 전역 뷰로 밀집 토큰 수준의 지식을 이전하여 외부 교사나 레이블된 데이터의 필요성을 제거하는 온-정책 자기 증류의 구체적인 구현입니다.
3. 실증적 검증: Vision-OPD 가 지역과 전역 간의 격차를 크게 줄이고 세밀한 작업의 성능을 향상시키면서도 일반적인 추론 능력을 유지한다는 것을 보여주는 포괄적인 실험 결과입니다.

실험 결과

저자들은 Vision-OPD 를 V Bench*, ZoomBench, HR Bench(4K/8K), MME-RealWorld를 포함한 여러 벤치마크에서 평가했습니다.

• 최첨단 (SOTA) 대비 성능: Vision-OPD 모델 (4B 및 9B 파라미터) 은 훨씬 더 큰 오픈 소스 모델 (예: Qwen3.5-397B), 클로즈드 소스 모델 (예: GPT-5.4, Gemini-3.1-Pro), 그리고 "Thinking-with-Images" 에이전트 모델과 비교하여 경쟁력 있거나 우수한 성능을 달성했습니다. 특히 Vision-OPD-9B 는 평균 세밀한 점수에서 GPT-5.4 와 Gemini-3.1-Pro 를 능가했습니다.
• 훈련 전략과의 비교: Vision-OPD 는 자체 교사에 대한 SFT, RLVR 방법 (GRPO, DAPO), 그리고 정답 레이블에 의존하는 OPSD 를 포함한 대안 훈련 전략들보다 우수한 성능을 보였습니다.
• 일반화 (홀드아웃 작업): MMVP, CV-Bench 와 같은 홀드아웃 작업에서 "망각"을 보인 SFT 및 RLVR 방법과 달리, Vision-OPD 는 일반 다중 모달 추론 능력을 유지하거나 향상시켜, 성적이 망각의 대가를 치르지 않고 얻어졌음을 나타냅니다.
• 격차 축소: 분석 결과, Vision-OPD 훈련은 지역 및 전역 입력 간의 정확도 격차를 꾸준히 줄여 모델이 전체 이미지에서 증거를 복원하도록 효과적으로 가르쳤음을 보여주었습니다.

중요성과 주장

이 논문은 Vision-OPD 가 MLLM 의 세밀한 시각적 이해를 강화하는 간단하고 효과적이며 효율적인 길을 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 확대 기능의 내재화: 시각적 확대의 이점을 모델 파라미터 내 성공적으로 내재화하여, 에이전트 도구 사용의 추론 지연 없이 단일 순방향 통과로 고성능 세밀한 이해를 가능하게 합니다.
• 레이블 없는 효율성: 외부의 더 강력한 교사, 정답 레이블, 또는 보상 검증자가 필요 없이 모델의 자체 특권적 지역 뷰에 의존하여 이러한 성과를 달성합니다.
• 확장성: 이 방법은 더 작은 모델 (4B/9B) 이 훨씬 더 큰 모델을 능가할 수 있게 하여, 세밀한 이해의 병목 현상이 단순히 파라미터 규모가 아니라 관련 증거에 집중하는 능력에 있으며, 이는 자기 증류를 통해 학습될 수 있음을 시사합니다.