기술 요약: VCap - 약한 참조에서 강한 시각적 캡션 생성을 위한 초기하분포 보상

1. 문제 제기

시각적 캡션 생성 (Visual Captioning) 은 시각적 인식을 자연어로 변환하여 사물, 속성, 관계, 사건과 같은 중요한 사실을 충실히 포착하면서도 누락과 환각을 최소화하는 것을 목표로 합니다. 캡션의 품질은 두 가지 상호 보완적인 차원에 의해 결정됩니다: 정확성 (Correctness)(진술된 모든 사실이 시각적 신호에 근거하는 것) 과 완전성 (Completeness)(모든 중요한 시각적 내용이 충분히 다루어지는 것).

캡션 품질을 개선하기 위한 기존 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

• 확장 및 데이터 큐레이션: 단순히 모델을 확장하거나 고품질 참조 데이터를 큐레이션하는 것은 기존 누락과 환각을 모델 내로 전파하게 되어 성능의 상한선을 만듭니다.
• 강화 학습 (RL) 의 한계: 현재 캡션 생성을 위한 RL 보상 설계 (예: VQA 기반, VLM-판정자, 또는 CIDEr/DPO 와 같은 모방 스타일 보상) 는 사실 검증에 대한 세밀하고 신뢰할 수 있는 신호를 제공하지 못합니다. 이러한 보상들은 일반적으로 참조 신호를 단일 역할 (예: 모방할 대상 또는 제한된 질문 풀) 로 제한하여 사실 수준에서 정확성과 완전성을 동시에 감독하기 어렵게 만듭니다. 핵심 장애물은 실제 환경에서 시각적 사실의 완전한 집합을 사용할 수 없다는 점입니다. 어떤 참조도 이를 열거하지 않으며, 어떤 보상 대리인 (proxy) 도 이를 완전히 복원하지 못합니다.

2. 방법론: 증인 - 심판자 프레임워크

저자들은 텍스트 참조와 시각적 신호의 역할을 분리하여 "증인 - 심판자 (Witness-Adjudicator)" 프레임워크 내의 서로 다른 구성 요소로 취급하는 새로운 보상 메커니즘인 VCap을 제안합니다.

2.1 핵심 개념

• 증인 (참조 캡션): 참조 캡션은 모방해야 할 금표준 (gold-standard) 목표로 취급되지 않습니다. 대신, 이는 시각적 사실의 부분 집합을 노출시키는 **확률적 증인 (stochastic witness)**으로 간주됩니다. 이는 회상 앵커 (정책이 언급된 사실을 다루도록 요구) 및 오류 감지기 (잠재적 환각을 플래그) 로 작용합니다.
• 심판자 (시각적 신호): 이미지나 비디오는 심판자로 작용합니다. 이는 증인에 의해 활성화된 특정 "슬롯"에서 일치와 불일치를 검증합니다. 중요한 점은 시각적 신호가 모든 사실을 열거하는 오라클로 작용하지 않는다는 것입니다. 오직 증인과 정책의 교차점에서 발생하는 충돌을 해결하거나 사실을 확인하는 역할만 수행합니다.

2.2 보상 계산

동결된 보상 모델 (MLLM) 이 시각 입력 $x$, 참조 $y_{ref}$, 정책 생성 캡션 $y$로 이루어진 세 쌍 $(x, y_{ref}, y)$을 처리합니다. 모델은 단일 패스 평가를 수행하여 다음을 수행합니다:

1. 후보 누락 식별: $y_{ref}$에는 존재하지만 $y$에는 누락된 사실.
2. 후보 환각 식별: $y_{ref}$와 모순되는 $y$의 사실.
3. $x$에 대한 검증:
   • 누락은 $x$가 해당 누락된 사실의 존재를 확인한 경우에만 패널티를 받습니다.
   • 환각은 $x$가 정책의 주장이 거짓임을 확인한 경우에만 패널티를 받습니다 (만약 $x$가 $y_{ref}$와 모순된다면, 시각적 신호가 참조를 대체하여 참조 오류로 인해 정책이 패널티를 받지 않도록 합니다).

모델은 세 가지 정수 점수 ($0-10$) 를 출력합니다:

• $s_{corr}$: 정확성 ($x$와의 충돌에 대한 패널티).
• $s_{comp}$: 완전성 ($y_{ref}$ 사실의 확인된 누락에 대한 패널티).
• $s_{txt}$: 텍스트 품질 (유창성, 일관성, 메타 텍스트 부재).

이러한 점수들은 고정된 가중치를 사용하여 스칼라 보상으로 집계됩니다. 비디오의 경우, 무작위 시간 구간에서 국소 뷰 (local-view) 보상이 계산되어 교차 구간 이벤트를 포착하는 전역 뷰 (global-view) 보상과 결합됩니다.

2.3 이론적 기반: 초기하분포 분석

이 논문은 시각적 캡션 생성을 크기 $N$인 잠재 사실 집합 $F$에 대한 사실 수준 추출 문제로 공식화합니다.

• $R$을 참조 사실 부분 집합 ($|R|=m$) 이라고 합시다.
• 정책 사실 집합을 $\Phi(y) = C \cup E$라고 하며, 여기서 $C$는 올바른 사실 ($|C|=c$) 이고 $E$는 환각된 사실입니다.

$R$이 $F$의 균일한 무작위 부분 집합이라는 가정 하에, 완전성 및 정확성 테스트를 통과할 확률은 **초기하분포 (hypergeometric distribution)**를 따릅니다:

• 완전성 확률 ($P_{comp}$): 모든 $m$개의 참조 사실이 $c$개의 올바른 사실 내에 포함될 확률. 이는 $c \to N$으로 갈 때 엄격하게 증가합니다.
• 정확성 확률 ($P_{corr}$): $n-c$개의 환각된 사실이 $m$개의 참조 슬롯을 피할 확률. 이는 환각이 증가함에 따라 엄격하게 감소합니다.

핵심 통찰 (이 축 약한-강한): 최적의 정책 상태는 $c \to N$(최대 올바른 사실) 이고 $n-c \to 0$(영의 환각) 입니다. 중요한 점은 이 최적점의 위치가 참조 크기 $m$과 무관하다는 것입니다. 참조 크기 $m$은 단지 감독 기울기 (supervision gradient) 의 가파름만 조절합니다. 이를 통해 모델은 "약한" 또는 불완전한 참조로부터 학습하더라도 진정한 시각 정보의 상한선으로 수렴할 수 있으며, 정책이 더 강력한 참조를 재생성하여 기울기를 날카롭게 만드는 자기 개선 루프가 가능해집니다.

3. 주요 기여

1. 사실 수준 프레임워크: 저자들은 캡션 생성을 두 개의 독립적인 축 (정확성과 완전성) 을 따라 공식화하고, 기존 보상이 왜 두 가지를 동시에 감독하는 데 어려움을 겪는지 입증합니다.
2. 증인 - 심판자 보상 (VCap): 참조를 확률적 증인으로, 시각적 신호를 심판자로 취급하는 새로운 보상 설계입니다. 이 분리는 약한-강한 일반화를 가능하게 하는 초기하분포 보상 신호를 생성하여, 모델이 훈련 참조의 품질을 능가할 수 있게 합니다.
3. 실증적 검증: VCap 으로 훈련된 8B 파라미터 모델은 여러 이미지 및 비디오 캡션 생성 벤치마크에서 최첨단 성능을 달성하여, 훨씬 더 큰 오픈 소스 및 클로즈드 소스 모델 (예: Qwen3.5-397B, GPT-5.4, Gemini 3.1 Pro) 보다 우수한 성과를 거두었습니다.

4. 실험 결과

저자들은 이미지 및 비디오 캡션 생성 벤치마크와 하류 QA 작업에서 VCap 을 평가했습니다.

• 이미지 캡션 생성: CapMAS 및 DecapBench에서 VCap (e2) 모델 (8B 파라미터) 은 모든 지표에서 최고 점수를 기록했습니다 (예: CapMAS 에서 83.53 Avg, DecapBench 에서 73.67 Avg). 이는 GPT-5.4 와 397B 파라미터 Qwen3.5 모델을 능가했습니다.
• 비디오 캡션 생성: VCap 은 VDC 벤치마크에서 36.01 Avg 로 최상의 성능을 달성했으며, VCapsBench에서도 경쟁력 있는 결과를 보여 백본 및 더 큰 모델들을 능가했습니다.
• 인간 평가: 홀드아웃 500 이미지 세트에서 VCap 은 이미지별 사실 정확도에서 1 위를 차지했습니다. VCap 보상 신호는 인간 쌍별 선호도와 61.1% 일치율을 보여, 50% 무작위 베이스라인을 크게 상회했습니다.
• 자기 개선: 정책 자체가 참조를 재생성하는 VCap (e1) 에서 VCap (e2) 로의 전환은 모든 벤치마크에서 단조로운 개선을 가져와 이론적 자기 개선 루프를 검증했습니다.
• 일반화: 캡션 생성만 훈련된 모델 (QA 데이터 없음) 은 이미지 및 비디오 QA 벤치마크 (예: Prism, MMVU) 에서 유의미한 향상을 보였으며, 이는 VCap 이 표면적 캡션 형태뿐만 아니라 근본적인 시각적 인식을 향상시킨다는 것을 시사합니다.
• 어블레이션 연구:
  • Best-of-N 증류: VCap 기반 RL 은 Best-of-N 샘플에서의 자기 증류보다 우월하여, 성취가 샘플 선택이 아닌 보상 신호에서 비롯됨을 입증했습니다.
  • 모달리티/차원 어블레이션: 참조 (증인) 나 이미지 (심판자) 중 하나를 제거하면 성능이 크게 저하되어 이중 역할 설계의 필요성을 확인했습니다. 정확성 또는 완전성 차원을 제거하면 각각의 지표가 저하되었습니다.

5. 중요성 및 주장

이 논문은 VCap 이 보상 최적점을 참조 품질로부터 분리함으로써 RL 기반 캡션 생성의 패러다임을 근본적으로 전환한다고 주장합니다.

• 모방의 상한선 돌파: 참조 품질에 의해 정책이 제한되는 모방 스타일 보상과 달리, VCap 은 참조를 목표로가 아닌 탐침으로 취급함으로써 모델이 훈련 참조를 초과할 수 있게 합니다.
• 사실 정렬: 이 방법은 MLLM 의 "환각" 문제를 해결하며 인간 판단과 밀접하게 정렬된 세밀한 사실 검증 메커니즘을 제공합니다.
• 지각 향상: VCap 을 통한 사실 수준의 정확성과 완전성 최적화는 모델의 일반적 시각 인식 능력을 향상시켜, 특정 파인튜닝 없이도 QA 와 같은 하류 작업에 이득을 준다는 결과가 시사됩니다.

저자가 인정한 한계:

• 계산적 제약으로 인해 이미지 및 비디오 정책은 별도로 훈련되었습니다.
• 인간 평가는 내부 주석자가 참여한 500 이미지 세트로 제한되었습니다.
• 이 연구는 GRPO 에 초점을 맞추었으며, 다른 온-정책 RL 알고리즘은 실증적으로 검증되지 않았습니다.
• 벤치마크를 위한 전용 캡션 생성 전문가 모델이 부족하여 일반적 MLLM 에 의존해야 했습니다.