Resumo Técnico: VCap - Recompensas Hipergeométricas para Legendagem Visual de Fraco para Forte

1. Declaração do Problema

A legendagem visual visa traduzir a percepção visual em linguagem natural que capture fielmente fatos salientes (objetos, atributos, relações, eventos), minimizando omissões e alucinações. A qualidade de uma legenda é governada por duas dimensões complementares: Correção (cada fato declarado está fundamentado no sinal visual) e Completude (todo o conteúdo visual importante é suficientemente coberto).

As abordagens existentes para melhorar a qualidade das legendas enfrentam limitações significativas:

• Escala e Curadoria de Dados: Simplesmente escalar modelos ou curar dados de referência de alta qualidade inevitavelmente propaga omissões e alucinações existentes para o modelo, criando um teto de desempenho.
• Limitações do Aprendizado por Reforço (RL): Os designs atuais de recompensas de RL para legendagem (por exemplo, baseadas em VQA, VLM como juiz, ou recompensas de estilo de imitação como CIDEr/DPO) falham em fornecer sinais granulares e confiáveis para verificação factual. Eles tipicamente restringem o sinal de referência a um único papel (por exemplo, um alvo a imitar ou um pool limitado de perguntas), tornando difícil supervisionar conjuntamente a correção e a completude ao nível do fato. O obstáculo central é que o conjunto completo de fatos visuais não está disponível na prática; nenhuma referência o enumera, e nenhum proxy de recompensa o recupera totalmente.

2. Metodologia: O Framework Testemunha-Julgador

Os autores propõem o VCap, um mecanismo de recompensa inovador que desacopla os papéis da referência textual e do sinal visual, tratando-os como componentes distintos em um framework "Testemunha-Julgador".

2.1 Conceito Central

• A Testemunha (Legenda de Referência): A legenda de referência não é tratada como um alvo padrão-ouro a ser imitado. Em vez disso, é vista como uma testemunha estocástica que expõe um subconjunto de fatos visuais. Ela atua como uma âncora de recuperação (exigindo que a política cubra os fatos mencionados) e um detector de erros (sinalizando alucinações potenciais).
• O Julgador (Sinal Visual): A imagem ou vídeo atua como o julgador. Ele verifica correspondências e não correspondências nos "slots" específicos ativados pela testemunha. Crucialmente, o sinal visual não atua como um oráculo enumerando todos os fatos; ele apenas resolve conflitos ou confirma fatos na interseção entre a testemunha e a política.

2.2 Cálculo da Recompensa

Um modelo de recompensa congelado (MLLM) processa a tripla $(x, y_{ref}, y)$, onde $x$ é a entrada visual, $y_{ref}$ é a referência e $y$ é a legenda gerada pela política. O modelo realiza uma avaliação em uma única passagem para:

1. Identificar omissões candidatas: Fatos presentes em $y_{ref}$ mas ausentes em $y$.
2. Identificar alucinações candidatas: Fatos em $y$ que contradizem $y_{ref}$.
3. Verificar contra $x$:
   • Uma omissão é penalizada apenas se $x$ confirmar que o fato ausente existe.
   • Uma alucinação é penalizada apenas se $x$ confirmar que a alegação da política é falsa (se $x$ contradizer $y_{ref}$, o sinal visual substitui a referência, impedindo que erros de referência penalizem a política).

O modelo gera três pontuações inteiras ($0-10$):

• $s_{corr}$: Correção (penalizando conflitos com $x$).
• $s_{comp}$: Completude (penalizando omissões confirmadas de fatos de $y_{ref}$).
• $s_{txt}$: Qualidade do Texto (fluência, coerência, ausência de meta-texto).

Estas são agregadas em uma recompensa escalar usando pesos fixos. Para vídeo, uma recompensa de visão local é computada em segmentos temporais aleatórios e combinada com uma recompensa de visão global para capturar tanto fatos temporais granulares quanto eventos entre segmentos.

2.3 Fundamentação Teórica: Análise Hipergeométrica

O artigo formaliza a legendagem visual como um problema de extração ao nível de fatos sobre um conjunto latente de fatos $F$ de tamanho $N$.

• Seja $R$ o subconjunto de fatos de referência ($|R|=m$).
• Seja o conjunto de fatos da política $\Phi(y) = C \cup E$, onde $C$ são fatos corretos ($|C|=c$) e $E$ são fatos alucinados.

Sob a suposição de que $R$ é um subconjunto aleatório uniforme de $F$, a probabilidade de passar nos testes de completude e correção segue uma distribuição hipergeométrica:

• Probabilidade de Completude ($P_{comp}$): A probabilidade de que todos os $m$ fatos de referência caiam dentro dos $c$ fatos corretos. Isso aumenta estritamente à medida que $c \to N$.
• Probabilidade de Correção ($P_{corr}$): A probabilidade de que os $n-c$ fatos alucinados evitem os $m$ slots de referência. Isso diminui estritamente à medida que as alucinações crescem.

Insight Chave (Fraco para Forte em Dois Eixos): O estado ótimo da política é $c \to N$ (fatos corretos máximos) e $n-c \to 0$ (zero alucinações). Crucialmente, a localização deste ótimo é independente do tamanho da referência $m$. O tamanho da referência $m$ apenas controla a inclinação do gradiente de supervisão. Isso permite que um modelo aprenda a partir de referências "fracas" ou imperfeitas e ainda convirja para o teto verdadeiro de informação visual, permitindo um loop de autoaperfeiçoamento onde a política regenera referências mais fortes para afiar o gradiente.

3. Contribuições Principais

1. Framework ao Nível de Fatos: Os autores formalizam a legendagem ao longo de dois eixos independentes (Correção e Completude) e demonstram por que recompensas existentes lutam para supervisionar ambas simultaneamente.
2. Recompensa Testemunha-Julgador (VCap): Um design de recompensa inovador que trata a referência como uma testemunha estocástica e o sinal visual como um julgador. Esta separação produz sinais de recompensa hipergeométricos que permitem generalização de fraco para forte, permitindo que modelos superem a qualidade de suas referências de treinamento.
3. Validação Empírica: Um modelo de 8B parâmetros treinado com VCap alcança desempenho state-of-the-art em múltiplos benchmarks de legendagem de imagem e vídeo, superando modelos open- e closed-source significativamente maiores (por exemplo, Qwen3.5-397B, GPT-5.4, Gemini 3.1 Pro).

4. Resultados Experimentais

Os autores avaliaram o VCap em benchmarks de legendagem de imagem e vídeo, bem como em tarefas de QA downstream.

• Legendagem de Imagem: Em CapMAS e DecapBench, o modelo VCap (e2) (8B parâmetros) alcançou as maiores pontuações em todas as métricas (por exemplo, 83.53 Média em CapMAS, 73.67 Média em DecapBench), superando o GPT-5.4 e o modelo Qwen3.5 de 397B parâmetros.
• Legendagem de Vídeo: O VCap alcançou o melhor desempenho no benchmark VDC (36.01 Média) e resultados competitivos no VCapsBench, superando o backbone e modelos maiores.
• Avaliação Humana: Em um conjunto retido de 500 imagens, o VCap ficou em primeiro lugar na correção factual por imagem. O sinal de recompensa do VCap mostrou 61.1% de concordância com preferências pareadas humanas, significativamente acima da linha de base aleatória de 50%.
• Autoaperfeiçoamento: A transição de VCap (e1) para VCap (e2), onde as referências foram regeneradas pela própria política, resultou em melhorias monotônicas em todos os benchmarks, validando o loop teórico de autoaperfeiçoamento.
• Generalização: Modelos treinados apenas em legendagem (sem dados de QA) mostraram ganhos significativos em benchmarks de QA de imagem e vídeo (por exemplo, Prism, MMVU), sugerindo que o VCap melhora a percepção visual subjacente e não apenas a forma superficial da legenda.
• Estudos de Ablação:
  • Destilação Best-of-N: O RL impulsionado pelo VCap superou a auto-destilação a partir de amostras Best-of-N, provando que os ganhos vêm do sinal de recompensa, não apenas da seleção de amostras.
  • Ablação de Modalidade/Dimensão: Remover a referência (testemunha) ou a imagem (julgador) causou quedas significativas de desempenho, confirmando a necessidade do design de dupla função. Remover especificamente as dimensões de Correção ou Completude degradou suas respectivas métricas.

5. Significado e Alegações

O artigo alega que o VCap muda fundamentalmente o paradigma da legendagem baseada em RL ao desacoplar o ótimo de recompensa da qualidade da referência.

• Quebrando o Teto de Imitação: Diferente de recompensas de estilo de imitação onde a política é limitada pela qualidade da referência, o VCap permite que um modelo exceda suas referências de treinamento tratando-as como sondas em vez de alvos.
• Alinhamento Factual: O método fornece um mecanismo para verificação factual granular que se alinha estreitamente com o julgamento humano, abordando o problema da "alucinação" em MLLMs.
• Melhoria Perceptiva: Os resultados sugerem que otimizar para correção e completude ao nível de fatos via VCap aprimora as capacidades gerais de percepção visual do modelo, beneficiando tarefas downstream como QA sem ajuste fino específico.

Limitações Reconhecidas pelos Autores:

• Políticas de imagem e vídeo foram treinadas separadamente devido a restrições computacionais.
• A avaliação humana foi limitada a um conjunto de 500 imagens com anotadores internos.
• O estudo foca no GRPO; outros algoritmos de RL on-policy não foram verificados empiricamente.
• Especialistas dedicados em legendagem para baselines são escassos, forçando a dependência de MLLMs generalistas.