Resumo Técnico: ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation

1. Definição do Problema

Tarefas de raciocínio multimodal (ex: resolução de geometria, análise de gráficos, VQA - Visual Question Answering) exigem que os modelos integrem entradas visuais com raciocínios de múltiplos passos. A Destilação On-Policy (OPD) emergiu como um método prático para melhorar essas capacidades, treinando um modelo estudante em trajetórias amostradas de sua própria política, sob supervisão de um professor.

Em configurações de Professor Privilegiado, o professor é condicionado a sinais disponíveis apenas durante o treinamento e indisponíveis para o estudante durante a inferência. Os métodos existentes de Destilação On-Policy de Auto-Distilação Multimodal (OPSD) dependem tipicamente de privilégios do lado da resposta (ex: respostas de referência ou raciocínios verificados). Os autores identificam uma falha crítica nesta abordagem:

• Descompasso Treino-Teste: Quando a supervisão do professor depende de informações do lado da resposta ($p$) que o estudante não consegue acessar durante a inferência, o estudante é incentivado a aprender a "imitação de atalhos" (ajuste de padrões conscientes da resposta) em vez de um raciocínio genuinamente fundamentado visualmente.
• Gap Induzido pelo Privilégio: Isso cria um gap de informação condicional onde a política do professor depende de variáveis ($p$) não determinadas pela entrada de tempo de inferência ($X$), levando a capacidades de raciocínio subótimas e potencial degradação de desempenho em comparação ao modelo base.

2. Metodologia: ViCuR

Os autores propõem o ViCuR (Visual Cues as Recoverable Privilege), um framework que substitui os privilégios do lado da resposta por pistas visualmente fundamentadas.

Conceito Central: Privilégio Recuperável

Em vez de condicionar o professor na resposta ($R$), o ViCuR condiciona o professor em uma pista visual ($S$) — uma descrição de evidências relevantes à questão derivada diretamente da imagem ou vídeo de entrada (ex: "o diagrama mostra dois cordões que se interceptam").

• Justificativa Teórica: Sob uma abstração determinística idealizada onde a pista é uma função da entrada ($S = f(X)$), a pista não introduz informação adicional além de $X$. Assim, $I(Y_t; S | X, Y_{<t}) = 0$. A supervisão do professor permanece fundamentada na informação disponível no tempo de inferência, mitigando o descompasso treino-teste.
• Realidade Prática: Embora as pistas possam ser geradas estocasticamente, elas descrevem evidências visíveis em vez de respostas ocultas, reduzindo significativamente o gap de privilégio em comparação aos métodos baseados em respostas.

Arquitetura: Recuperação de Pistas Baseada em Sink (Sumidouro)

Como o estudante não recebe o texto da pista explicitamente na inferência, ele deve aprender a extrair evidências relevantes dos tokens visuais internamente. O ViCuR introduz um Módulo de Recuperação de Pistas leve:

• Mecanismo: Inspirado no fenômeno de "attention sink" (sumidouro de atenção), o módulo designa um token específico (ex: <BOS>) como um "token sumidouro".
• Operação: Durante a fase de prefill (antes da geração autorregressiva), este token sumidouro realiza uma atenção cruzada dedicada sobre a sequência de tokens visuais.
  • Ele agrega informações visuais relevantes à tarefa em uma representação de estado oculto interno ($\hat{S}$).
  • Esta agregação é guiada pelo objetivo de destilação, onde os gradientes da supervisão do professor incentivam o sumidouro a reter características visuais relevantes para a questão.
• Eficiência: O módulo adiciona parâmetros apenas para o mecanismo de atenção cruzada e opera exclusivamente durante o prefill. Ele não introduz overhead autorregressivo durante a inferência e preserva a interface padrão de inferência multimodal.

Objetivo de Treinamento

O sistema utiliza um objetivo de destilação on-policy de token amostrado (estilo PPO):

• O professor gera supervisão baseada em $(X, S)$.
• O estudante gera baseado em $(X, \hat{S})$, onde $\hat{S}$ é a representação interna recuperada pelo token sumidouro.
• A perda é computada como a diferença de log-probabilidade ponderada pelo vantagem entre o professor e o estudante. Não é necessária uma perda auxiliar para gerar o texto da pista; o módulo de recuperação é treinado de ponta a ponta exclusivamente via sinal de destilação.

3. Principais Contribuições

1. Identificação do Problema: O artigo identifica que os privilégios baseados em respostas na OPSD multimodal induzem um descompasso treino-teste que incentiva o aprendizado de atalhos em vez do fundamento visual.
2. Framework ViCuR: Propõe a substituição do privilégio do lado da resposta por pistas visuais recuperáveis e introduz um módulo de atenção cruzada de token-sumidouro leve para permitir que o estudante agregue internamente essa evidência sem alterar o pipeline de inferência.
3. Validação Empírica: O método é validado em sete benchmarks e duas escalas de modelos (2B e 8B), demonstrando melhorias consistentes tanto em relação à auto-destilação de mesmo backbone quanto a baselines de OPD de professores mais fortes.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando Qwen3-VL (2B e 8B) como backbones do estudante através de sete benchmarks: Vision R1-Test (in-domain), DynaMath, MathVista, WeMath, MathVerse (near-domain), e MMMU-Val, Video-MME (out-of-domain).

• vs. OPSD Baseada em Resposta:
  • O ViCuR supera consistentemente a OPSD convencional baseada em resposta.
  • Estudante 2B: +1.19 de melhoria média.
  • Estudante 8B: +1.24 de melhoria média.
  • Notavelmente, a OPSD padrão muitas vezes performa abaixo do modelo base (ex: 44.88 vs. 45.42 para 2B), enquanto o ViCuR mitiga essa degradação.
• vs. OPD de Professor Mais Forte:
  • O ViCuR estende-se efetivamente para configurações com professores externos maiores (ex: professor de 32B para estudante de 8B).
  • Estudante 2B: +0.64 de melhoria média sobre baselines de OPD.
  • Estudante 8B: +1.08 de melhoria média.
  • Ganhos significativos foram observados em tarefas fora do domínio (ex: +2.30 no MMMU-Val para 2B), sugerindo uma melhor transferência de capacidades de raciocínio.
• Estudos de Ablação:
  • Pistas Visuais: A principal fonte de melhoria vem da substituição de privilégios de resposta por pistas visuais (+2.80 a +4.36 de ganho).
  • Módulo de Recuperação: A adição do módulo de recuperação de pistas fornece ganhos adicionais, confirmando a necessidade da agregação de evidências internas.
  • Vazamento de Dica (Hint Leakage): O ViCuR reduz significativamente a reprodução explícita de tokens de "Hint" nos rollouts do estudante em comparação com a OPSD baseada em resposta, indicando menor dependência de padrões de prompts privilegiados.

5. Significância e Alegações

O artigo argumenta que, na destilação on-policy multimodal, o design do privilégio do professor é tão importante quanto a força do próprio professor.

• Fundamentação sobre Imitação: Ao garantir que a informação privilegiada seja recuperável da entrada do tempo de inferência, o ViCuR força o estudante a aprender o raciocínio fundamentado visualmente, em vez de se ajustar a atalhos conscientes da resposta.
• Eficiência: O método alcança esses ganhos sem aumentar a latência de inferência ou exigir tarefas auxiliares complexas de geração, tornando-o um upgrade prático para pipelines de destilação existentes.
• Generalização: A abordagem é ortogonal ao escalonamento de modelos, beneficiando tanto a auto-destilação quanto a destilação entre escalas, e mostra robustez através de tarefas de raciocínio in-domain, near-domain e out-of-domain.

Os autores concluem que projetar o privilégio em torno de evidências visuais recuperáveis na inferência é um fator crítico, frequentemente negligenciado, para alcançar um raciocínio multimodal de alta qualidade em modelos destilados.