Resumo Técnico: Destilação On-Policy com Vantagem Visual para Modelos Visão-Linguagem

1. Declaração do Problema

A destilação de conhecimento on-policy provou ser eficaz para comprimir Grandes Modelos de Linguagem (LLMs) ao treinar um estudante para corresponder à distribuição de saída de um professor em seus próprios rollouts gerados. No entanto, aplicar esse paradigma a Modelos Visão-Linguagem (VLMs) revela uma incompatibilidade crítica: a destilação padrão trata todos os tokens de forma uniforme, falhando em distinguir entre o andaime linguístico e os tokens que genuinamente dependem de evidências visuais de alta granularidade.

Os autores observam que, em rollouts típicos de VLMs, a vasta maioria dos tokens serve como modelos linguísticos ou estruturas de raciocínio, enquanto apenas uma pequena minoria é determinada por detalhes visuais (por exemplo, números específicos em um diagrama). A minimização padrão da divergência de Kullback-Leibler (KL) média os gradientes uniformemente em todos os tokens. Consequentemente, o forte sinal de supervisão presente nos poucos tokens críticos para a visão é diluído pelos abundantes tokens linguísticos circundantes. Como resultado, embora a precisão de saída do estudante possa melhorar, sua dependência subjacente da entrada visual não se fortalece; o estudante aprende a imitar o texto superficial do professor sem realmente aprender a atender à imagem.

2. Metodologia: Destilação On-Policy com Vantagem Visual (VA-OPD)

Para abordar essa diluição, os autores propõem a Destilação On-Policy com Vantagem Visual (VA-OPD), um método que identifica e prioriza explicitamente os tokens que exigem detalhes visuais de alta granularidade.

2.1 Vantagem Visual (VA)

A ferramenta diagnóstica central é a Vantagem Visual (VA), uma métrica em nível de token que quantifica a dependência do professor em relação a detalhes visuais. Para cada token $y_t$ em um rollout gerado pelo estudante, a VA é calculada como a diferença de log-probabilidade retificada não negativamente entre a pontuação do professor com a imagem original ($v$) e uma imagem degradada ($\tilde{v}$), onde detalhes de alta granularidade (por exemplo, OCR, pequenos símbolos) são destruídos via subamostragem:
$$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$$
Uma VA alta indica que a previsão do token depende fortemente de detalhes visuais de alta granularidade, enquanto uma VA baixa sugere que o token depende de priores linguísticos ou características globais robustas da imagem.

2.2 Observações Chave

A análise empírica dos rollouts do estudante revela duas propriedades críticas:

1. Esparsidade: A VA é de cauda pesada; os 10% superiores dos tokens carregam aproximadamente 93% da massa total de VA.
2. Concentração de Supervisão: Ocultar a perda KL em tokens de alta VA causa uma queda significativa na precisão, enquanto ocultar tokens de baixa VA ou aleatórios tem efeito negligenciável. Isso confirma que o sinal de supervisão visual está concentrado em uma pequena minoria de tokens.

2.3 O Objetivo VA-OPD

O VA-OPD modifica o objetivo padrão de destilação on-policy aplicando a VA em duas granularidades para prevenir a diluição do sinal:

• Reponderação em Nível de Rollout: Para um conjunto de $K$ rollouts irmãos gerados para o mesmo prompt, cada rollout é atribuído um peso suave baseado em sua VA média na trajetória em relação aos seus irmãos. Rollouts com maior dependência visual contribuem mais para o gradiente.
• KL Agrupado em Nível de Token: Dentro de cada rollout, os tokens são classificados por VA e divididos em um Grupo de Alta VA (fração superior, por exemplo, 20%) e um Grupo de Baixa VA (o restante). A perda KL por token é média separadamente dentro de cada grupo antes de ser somada. Isso garante que a contribuição do gradiente dos tokens críticos de alta VA não seja reduzida pela comprimento total da sequência $T$.

A função de perda final combina esses componentes:
$$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$$
onde $w^{(k)}$ é o peso do rollout e $\lambda$ equilibra as contribuições dos grupos de alta e baixa VA.

3. Contribuições Principais

1. Identificação do Problema de Diluição: Os autores demonstram que a destilação on-policy padrão para VLMs falha em fortalecer a dependência visual porque o ponderamento KL uniforme dilui o sinal de supervisão visual concentrado encontrado em uma pequena minoria de tokens.
2. Introdução da Vantagem Visual (VA): Eles propõem a VA como uma métrica contrafactual relativa ao professor para quantificar a dependência visual em nível de token sem exigir anotações extras ou modelos de recompensa.
3. Framework VA-OPD: Eles introduzem um objetivo de destilação que utiliza a VA em dois níveis (reponderação de rollout e KL agrupado em nível de token) para concentrar o sinal de aprendizado em posições críticas para a visão.
4. Validação Empírica: O método é validado em três tamanhos de professor (4B, 8B, 32B), dois conjuntos de dados (Geometry3K, ViRL39K) e oito benchmarks, mostrando melhorias consistentes sobre as linhas de base padrão.

4. Resultados Experimentais

Os autores avaliaram o VA-OPD na família Qwen3-VL (professor de 8B, estudante de 2B) treinada no Geometry3K, com testes de generalização no ViRL39K e em diferentes tamanhos de professor.

• Ganhos de Desempenho: O VA-OPD superou o OPD Padrão em todos os oito benchmarks.
  • Raciocínio Matemático: Melhoria média de +2,9 pontos.
  • Compreensão Visual: Melhoria média de +1,5 pontos.
  • Benchmarks Específicos: Ganhos notáveis foram observados no HallusionBench (+2,5) e no AI2D (+2,4), tarefas fortemente dependentes de detalhes visuais de alta granularidade. Benchmarks que permitem atalhos apenas de texto (por exemplo, MMStar) mostraram ganhos menores, consistente com o foco do método na dependência visual.
• Leis de Escala: O ganho de desempenho do VA-OPD sobre o OPD Padrão aumentou monotonicamente tanto com o tamanho do professor (de 4B a 32B) quanto com a escala do conjunto de dados (de Geometry3K a ViRL39K), sugerindo que os fatores se compõem consistentemente.
• Dependência Visual: Durante o treinamento, a VA média dos rollouts do estudante aumentou em sincronia com a precisão para o VA-OPD, enquanto o OPD Padrão mostrou precisão crescente com VA estagnada. Isso indica que o VA-OPD alcança uma dependência visual genuína, e não mera imitação de saída.
• Eficiência: O VA-OPD alcançou a precisão final do OPD Padrão aproximadamente 3,0x mais rápido em tempo de relógio e atingiu um teto de desempenho mais alto em orçamentos de tempo fixos.

5. Significado e Afirmações

O artigo afirma que o VA-OPD representa o primeiro método a incorporar a dependência por token em detalhes visuais de alta granularidade diretamente no alvo de destilação on-policy para VLMs. Seu significado reside em:

• Mecanismo: Resolve o problema de "diluição" separando explicitamente os tokens críticos para a visão do andaime linguístico durante o processo de destilação.
• Eficiência: Não requer anotações adicionais, modelos de recompensa ou alterações no processo de geração do estudante, adicionando apenas uma passagem forward extra do professor por rollout (com detalhes visuais degradados).
• Generalizabilidade: O método melhora o desempenho em várias escalas de modelo e volumes de dados, sugerindo que aborda uma limitação fundamental das estratégias atuais de destilação de VLMs, em vez de um artefato específico de conjunto de dados.
• Mudança Qualitativa: Diferentemente de métodos no tempo de inferência que modificam a decodificação, o VA-OPD modifica o alvo de treinamento para garantir que o estudante aprenda a "ler" a imagem, conforme evidenciado pelo surgimento de pontos quentes de VA em valores numéricos e características de diagramas em visualizações qualitativas.

Os autores permanecem modestos quanto às limitações, observando que a VA é um proxy para dependência visual baseado em contrafactuais do professor, em vez de uma medição direta de mecanismos de atenção internos, e que os ganhos são mais pronunciados em tarefas intensivas em visão.