Resumo Técnico: Destilação de Atribuição Visual (VAD) para Destilação Multimodal On-Policy

1. Definição do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) frequentemente falham devido a erros perceptivos menores (ex: negligenciar uma palavra ou ler incorretamente uma relação espacial), o que pode desviar toda a trajetória de geração. A Destilação On-Policy (OPD) aborda isso supervisionando as trajetórias geradas pelo estudante usando um professor de "visão privilegiada" (um modelo com acesso a evidências visuais melhores, como recortes de alta resolução).

No entanto, os métodos atuais de OPD de visão privilegiada sofrem de correções de fontes mistas. Quando um professor corrige um token do estudante, a correção é uma mistura de:

1. Sinais visuais: Evidências derivadas da visão privilegiada.
2. Priors linguísticos: Padrões gerais de linguagem.
3. Efeitos específicos do professor: Idiosincrasias do modelo professor.

As abordagens existentes falham em distinguir qual parte da correção do professor é realmente sustentada pela evidência visual.

• Vision-OPD destila diretamente a distribuição total do professor, transferindo ruído de fontes mistas.
• VA-OPD e V-Zero utilizam "vantagem visual" para ponderar tokens ou trajetórias, mas falham em reconstruir explicitamente o alvo com base no que a evidência sustenta. Crucialmente, métricas de vantagem visual positiva podem perder a refutação: revelar evidências pode suprimir um token errado sem necessariamente impulsionar o correto, uma dinâmica que métricas de vantagem padrão não capturam efetivamente.

O desafio central é estimar qual componente de uma correção do professor é atribuível a uma intervenção visual controlada, em vez de apenas determinar onde ou quão fortemente destilar.

2. Metodologia: Destilação de Atribuição Visual (VAD)

O VAD introduz um algoritmo de reconstrução de alvo contrafactual que isola a parte visualmente atribuível de uma correção do professor. O método opera durante o treinamento usando um professor fixo e uma política de estudante, mas não requer visões auxiliares durante a inferência.

2.1 Visões Contrafactuais On-Policy

Para cada prefixo $y_{<t}$ gerado pelo estudante, o VAD consulta o mesmo professor fixo sob três condições:

1. Visão do Estudante ($p^0_S$): A distribuição do estudante dada a imagem completa $x^0$.
2. Visão com Presença de Evidência ($p^+_T$): A distribuição do professor dada uma visão enriquecida com evidências (crop) $x^+$.
3. Visão com Remoção de Evidência ($p^-_T$): A distribuição do professor dada uma visão degradada ou removida $x^-$.

2.2 Proxy de Atribuição via Intervenção

O VAD define dois vetores no espaço de log-probabilidades centralizadas:

• Correção do Professor ($r_t$): A diferença entre o professor privilegiado ($p^+_T$) e o estudante ($p^0_S$).
• Proxy de Evidência Visual ($u_t$): A diferença entre as visões do professor com presença e remoção de evidência ($p^+_T - p^-_T$).

O vetor $u_t$ serve como um proxy assinado para a direção da evidência visual. Um valor positivo indica que a evidência sustenta um token; um valor negativo indica que a evidência refuta um token.

2.3 Reconstrução do Alvo

Em vez de corresponder à distribuição total do professor, o VAD reconstrói um novo alvo projetando a correção original $r_t$ sobre o proxy visual $u_t$:

1. Decomposição: A correção é dividida em um componente visualmente atribuído ($r^{vis}_t$) e um residual ($r^{res}_t$).
   • $r^{vis}_t = \beta_t u_t$, onde $\beta_t$ é um coeficiente não negativo que garante que apenas o acordo com a direção visual seja preservado.
   • $r^{res}_t = r_t - r^{vis}_t$ (tratado como um residual misto, não puramente linguístico).
2. Ramificação de Suporte e Refutação: O método separa os ramos de suporte (positivo $u_t$) e refutação (negativo $u_t$). Ele aloca um "orçamento de correção visual" a esses ramos, limitando a parcela de suporte para evitar que evidências incertas dominem.
3. Alvo Ancorado ao Estudante: O alvo final $q^{VAD}_{T,t}$ é construído aplicando o deslocamento visual refinado e assinado à distribuição atual do estudante ($p^0_S$), em vez da do professor. Isso garante que o alvo permaneça ancorado ao estado do estudante enquanto corrige apenas os tokens sustentados pela evidência.

2.4 Objetivo de Treinamento

O principal sinal de supervisão é a Divergência de Jensen-Shannon (JSD) entre o estudante e o alvo reconstruído ($q^{VAD}_{T,t}$).

• Regularizador Fraco: Para evitar o desvio linguístico (ex: instabilidade de formato ou comprimento) causado pelo foco exclusivo em correções visuais, um regularizador fraco derivado da distribuição original do professor privilegiado é adicionado. Isso ancora a semântica e o formato sem sobrepor a reconstrução visual.

3. Principais Contribuições

1. Identificação das Limitações de Fontes Mistas: O artigo identifica que a correspondência direta ao professor e a ponderação de vantagem visual positiva falham em estimar explicitamente quais componentes de correção são sustentados por intervenções visuais controladas.
2. Algoritmo VAD: Introdução de um método que utiliza intervenções visuais contrafactuais para:
   • Construir um proxy de direção para a evidência visual.
   • Decompor a correção do professor em componentes visualmente atribuíveis e residuais.
   • Reconstruir um alvo ancorado ao estudante que separa suporte e refutação.
3. Validação Empírica: Demonstração de ganhos consistentes em seis benchmarks visuais detalhados nas escalas de 4B e 9B parâmetros, superando a destilação direta e a ponderação de vantagem visual.

4. Resultados Experimentais

Os autores avaliaram o VAD no Qwen3.5-4B e Qwen3.5-9B através de seis benchmarks (V*, ZoomBench, HR-Bench 4K/8K, MME-RealWorld EN/CN).

• Ganhos de Desempenho: O VAD alcançou a maior precisão média (Avg6) em ambas as escalas, superando os melhores baselines de mesma escala por 2,40 pontos (4B) e 2,80 pontos (9B).
• Comparação com SOTA: O checkpoint VAD de 4B superou significativamente modelos muito maiores, incluindo Gemini 3 Flash, Gemini 3.1 Pro e o Qwen3.5 de 397B.
• Análise Semântica: A análise de decomposição confirmou que o componente atribuído ($r^{vis}_t$) é enriquecido em atributos visuais, objetos e tokens de decisão (ex: "vertical", "metal", "A/B/C/D"), enquanto o componente residual ($r^{res}_t$) contém arcabouços linguísticos e metacontéudo.
• Generalização: Ao contrário de outros métodos de pós-treinamento que às vezes degradam a generalização em tarefas não treinadas, o VAD preservou ou melhorou levemente o desempenho em tarefas de teste (MMVP, CV-Bench, MMStar, POPE), mostrando que a especialização visual não sacrificou capacidades amplas.
• Estudos de Ablação:
  • Reconstrução de Alvo: A reconstrução consciente de ramos forneceu o maior ganho (+1,00 ponto sobre a projeção unilateral sem regularização).
  • Regularização: O âncora fraco do professor foi crucial para estabilizar o formato e o comprimento da saída.
  • Divergência: A JSD foi considerada a divergência padrão mais equilibrada comparada à KL Direta ou Reversa.

5. Significância e Alegações

O artigo afirma que a reconstrução de alvo contrafactual é uma alternativa mais eficaz à supervisão de fontes mistas na OPD multimodal. Ao atribuir explicitamente as correções à evidência visual e reconstruir o alvo de aprendizado em torno da distribuição do estudante, o VAD garante que o modelo aprenda o que a imagem sustenta, em vez de imitar cegamente os sinais mistos de um professor.

Os autores posicionam o VAD como um método que melhora a eficiência de parâmetros (modelos pequenos superando modelos muito maiores) e o fundamento perceptivo sem exigir busca complexa em tempo de inferência ou uso de ferramentas. O método é apresentado como uma solução robusta para o "problema de atribuição de correção visual", oferecendo uma maneira principiada de filtrar o ruído da supervisão privilegiada.

Limitações Reconhecidas pelos Autores:

• A evidência visual é representada por um único vetor contrastivo de um par de visões, o que pode enviesar a evidência composicional.
• A projeção atual gera enriquecimento semântico em vez de uma separação perfeitamente identificável; o componente atribuído ainda pode reter alguns efeitos não visuais do professor.