Resumo Técnico: Esconder para Ver: Mascaramento de Prefixos de Raciocínio para Pensamento Ancorado Visualmente em Destilação de VLMs

Declaração do Problema

As abordagens recentes "pensar-responder" em Modelos Visão-Linguagem (VLMs), como o Qwen3-VL-Thinking, melhoram significativamente o desempenho de raciocínio ao gerar etapas intermediárias de raciocínio antes da resposta final. No entanto, esses longos rastros de raciocínio acarretam custos computacionais substanciais, limitando sua implantação em cenários com recursos restritos. A destilação de conhecimento (KD) oferece uma solução ao transferir capacidades de grandes modelos professores para modelos estudantes compactos.

Um desafio crítico na destilação de VLMs do tipo "pensar-responder" é o esquecimento visual. À medida que o modelo estudante gera um longo rastro de raciocínio, ele tende a depender pesadamente dos prefixos textuais de raciocínio acumulados (os tokens previamente gerados) para prever tokens subsequentes. Esses prefixos frequentemente contêm informações suficientes para imitar a trajetória do professor sem exigir que o estudante reexamine a entrada visual. Consequentemente, o estudante aprende a ignorar evidências visuais, levando a uma degradação nas capacidades de raciocínio ancorado visualmente. Métodos de destilação existentes que transferem mapas de atenção visual ou relações de tokens frequentemente falham em abordar essa tendência específica de atalho por meio de pistas textuais.

Metodologia: Masking-KD

Os autores propõem o Masking-KD, um novo framework de destilação projetado para forçar o modelo estudante a ancorar seu raciocínio em evidências visuais, obscurecendo deliberadamente as pistas textuais mais influentes.

Mecanismo Central

Em vez de usar a máscara causal padrão (que permite ao estudante ver todos os tokens anteriores), o Masking-KD emprega uma máscara de prefixo de raciocínio saliente. Esta máscara bloqueia o acesso tanto a tokens futuros (causalidade padrão) quanto a prefixos de raciocínio salientes específicos dos quais o estudante, de outra forma, dependeria para imitar o professor. Ao remover essas pistas textuais de alta influência, o estudante é compelido a utilizar evidências visuais para compensar as informações ausentes.

O framework consiste em dois componentes adaptativos:

1. Mascaramento de Prefixo de Raciocínio Saliente Token a Token:

   • Identificação: Antes da etapa principal de destilação, é realizada uma passagem forward auxiliar do modelo estudante (sob uma máscara causal padrão). Isso gera um mapa de atenção resposta-para-resposta ($A^{resp}$), que revela quais tokens anteriores o estudante atende com mais intensidade ao prever o token atual.
   • Seleção: Para cada previsão de próximo token, o método identifica os top-$\rho$ prefixos mais salientes com base em seus pesos de atenção. Estes são os tokens que fornecem o "atalho" mais forte para a resposta.
   • Mascaramento: Esses prefixos salientes identificados são mascarados (definidos como $-\infty$ nos logits de atenção) durante a etapa real de treinamento de destilação, impedindo que o estudante atenda a eles.

2. Agendamento de Orçamento de Mascaramento Auto-Rítmico:

   • A dificuldade de destilar cada token varia. Tokens que são facilmente imitados (baixa discrepância entre professor e estudante) fornecem sinais de aprendizado fracos se o estudante puder simplesmente copiar o prefixo.
   • O método calcula a divergência KL reversa token a token entre as distribuições do professor e do estudante durante a passagem forward auxiliar.
   • Um limiar de razão cumulativa ($\rho_n$) é atribuído adaptativamente a cada token com base nessa dificuldade. Tokens que são facilmente imitados (baixa divergência KL) recebem um orçamento de mascaramento mais alto (mais prefixos são mascarados) para forçar o estudante a depender de pistas visuais. Tokens que são mais difíceis de aprender recebem menos mascaramento para garantir treinamento estável.

Objetivo de Treinamento

O estudante é treinado para minimizar a divergência KL reversa entre sua distribuição preditiva (sob o contexto mascarado) e a distribuição do professor (sob o contexto completo). A função de perda é definida como:
$$\mathcal{L}_{Distill} = \frac{1}{N} \sum_{n=1}^{N} \sum_{y \in \mathcal{V}} p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}}) \log \frac{p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}})}{p_t(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \mathbf{M})}$$
Onde $\tilde{\mathbf{M}}$ é a máscara de prefixo de raciocínio saliente e $\mathbf{M}$ é a máscara causal padrão.

Principais Contribuições

1. Framework Masking-KD: Um novo paradigma de destilação que aprimora o pensamento ancorado visualmente ao mascarar prefixos de raciocínio salientes, forçando o estudante a utilizar evidências visuais em vez de depender de atalhos textuais.
2. Mascaramento Adaptativo Token a Token: Um mecanismo que identifica e mascara dinamicamente os prefixos de raciocínio mais influentes para cada previsão de token específica, reconhecendo que o contexto crítico varia entre as etapas de decodificação.
3. Agendamento de Orçamento Auto-Rítmico: Uma estratégia adaptativa que ajusta a intensidade do mascaramento com base na dificuldade de destilação (divergência KL) de cada token, amplificando os sinais de aprendizado para tokens facilmente imitados.
4. Validação Empírica: Extensos experimentos demonstrando que esta abordagem supera os métodos existentes de destilação de VLMs e as linhas de base de auto-destilação.

Resultados Experimentais

Os autores avaliaram o Masking-KD em benchmarks de raciocínio multimodal, incluindo Geometry-3K, MathVista, We-Math, MMK12, MathVerse, LogicVista e MMMU-Pro.

• Ganhos de Desempenho: O Masking-KD alcançou resultados state-of-the-art em todos os tamanhos de modelo (2B, 4B e 8B). Notavelmente, o modelo 4B destilado superou o professor 8B não destilado, e o modelo 2B superou o professor 4B não destilado.
• Comparação com Linhas de Base: O método superou significativamente a destilação padrão em nível de resposta, bem como métodos que transferem explicitamente padrões visuais (por exemplo, LLaVA-KD, CompoDistill, Align-TI).
• Auto-Destilação: O framework foi eficaz em configurações de auto-destilação (onde o estudante serve como seu próprio professor), superando outros métodos de auto-destilação como o OPSD.
• Análise de Atenção Visual: Análises qualitativas e quantitativas confirmaram que os modelos Masking-KD mantêm razões de atenção visual mais altas ao longo do processo de geração em comparação com as linhas de base, mitigando efetivamente o fenômeno de "esquecimento visual". Observou-se que os modelos ativavam regiões relevantes da imagem com mais força quando as pistas textuais eram mascaradas.

Significado e Alegações

O artigo afirma que o principal gargalo na destilação de VLMs do tipo "pensar-responder" é a tendência do estudante de explorar atalhos textuais fornecidos por prefixos de raciocínio acumulados, negligenciando assim as entradas visuais.

O significado do Masking-KD reside em sua mudança de transferir explicitamente o conhecimento visual do professor (por exemplo, via mapas de atenção) para guiar o estudante a desenvolver seu próprio processo de raciocínio ancorado visualmente. Ao "esconder" as pistas textuais mais óbvias, o método força o estudante a "ver" a imagem para resolver o problema. Os autores concluem que esta abordagem é mais eficaz para a destilação de raciocínio em VLMs do que métodos anteriores que focam exclusivamente em imitar padrões visuais internos, pois aborda diretamente a causa raiz do esquecimento visual em tarefas de raciocínio de cadeia longa.