Resumo Técnico: HEED - Alinhamento de Resíduo Ponderado por Densidade para Destilação de Modelos Híbridos Visão-Linguagem

1. Declaração do Problema

A destilação de Grandes Modelos Visão-Linguagem (VLMs) em arquiteturas híbridas eficientes (por exemplo, misturando camadas lineares Mamba-2 com camadas de atenção) é uma abordagem padrão para reduzir custos de inferência. No entanto, os benchmarks agregados existentes mascaram um modo de falha crítico: enquanto os alunos híbridos frequentemente preservam capacidades amplas de raciocínio, eles sofrem quedas significativas de desempenho em tarefas que exigem percepção visual de alta granularidade, como Reconhecimento Óptico de Caracteres (OCR), compreensão de documentos e análise de gráficos.

Os autores identificam que a destilação de conhecimento (KD) padrão trata todos os tokens visuais de forma uniforme. Em imagens de alta resolução, a maioria dos patches consiste em fundos suaves (céu, paredes) com baixa densidade de informação, enquanto uma pequena fração contém detalhes críticos (texto, bordas, limites de objetos). A KD padrão aloca termos de perda excessivos para patches de fundo de baixa informação, falhando em proteger os patches esparsos e de alta densidade essenciais para responder a perguntas específicas. Isso resulta em um "colapso da percepção de alta granularidade", onde o aluno consegue descrever uma cena em geral, mas falha em ler dígitos ou rótulos específicos dentro dela.

2. Metodologia: HEED

O método proposto, HEED (Alinhamento de Resíduo Ponderado por Densidade), aborda esse desequilíbrio reponderando a perda de destilação com base na densidade de informação local dos patches visuais.

2.1 Insight Diagnóstico

Através de diagnósticos em nível de token, os autores localizam a falha em posições específicas:

• Deriva Residual: Os 10% superiores de patches com a maior densidade de características local (definida pela dissimilaridade de características do ViT em relação aos vizinhos) exibem uma deriva residual 3,6× maior em relação ao professor em comparação com os 10% inferiores.
• Sensibilidade à Resposta: O mascaramento desses patches de alta densidade causa uma queda 3,5× maior na pontuação de resposta do professor em comparação com patches de baixa densidade.
• Poder Preditivo: A densidade visual local é o preditor mais forte da deriva residual, superando o tipo de token (texto vs. visual), profundidade da camada e concentração de atenção do professor.

2.2 O Algoritmo HEED

O HEED implementa uma estratégia de alinhamento de resíduo ponderado por densidade, sem treinamento, sem modificar a arquitetura do modelo ou adicionar parâmetros:

1. Estimativa de Densidade: Para cada patch visual $p$, uma pontuação de densidade $\rho(p)$ é computada usando a autodissimilaridade de características de ViT congeladas dentro de uma vizinhança $3\times3$:
   $$\rho(p) = 1 - \frac{1}{|N(p)|} \sum_{q \in N(p)} \frac{v_p^\top v_q}{\|v_p\| \|v_q\|}$$
   Um $\rho(p)$ alto indica um patch localmente distinto (por exemplo, texto, bordas); um $\rho(p)$ baixo indica um fundo suave.
2. Ponderação: Essas pontuações são normalizadas e convertidas em pesos de perda $w(p)$ usando um mapeamento exponencial com um parâmetro de temperatura $\tau$. Tokens de texto recebem um aumento constante baseado na densidade visual média da imagem.
3. Alinhamento de Resíduo: Em vez de alinhar saídas de blocos por camada (alinhamento de estado oculto padrão) ou usar pesos uniformes, o HEED alinha os fluxos residuais do professor e do aluno. A perda de alinhamento é ponderada pelas pontuações de densidade:
   $$L_{HEED} = \frac{1}{|S^*|} \sum_{\ell \in S^*} \sum_{p=1}^{T} w(p) \| r_{\ell,p}^{\tilde{\theta}} - r_{\ell,p}^{\theta} \|_2^2$$
   Isso garante que o aluno híbrido priorize a preservação de informações em posições de alta densidade durante o processo de destilação.

2.3 Pipeline de Treinamento

O método segue um cronograma de destilação em três estágios:

• Estágio 1 (Aquecimento): Alinha fluxos residuais com pesos de atenção congelados.
• Estágio 2 (Bloco Completo): Treina blocos completos Mamba-2 com alinhamento de resíduo ponderado por densidade.
• Estágio 3 (End-to-End): KD padrão baseada em logits (Divergência KL + Entropia Cruzada).
  O HEED difere dos métodos de base apenas na perda de alinhamento usada nos Estágios 1 e 2.

3. Contribuições Principais

1. Diagnóstico: O artigo demonstra que a destilação de VLMs híbridos falha seletivamente em tarefas de percepção de alta granularidade (OCR, documentos) enquanto preserva o raciocínio, atribuindo isso ao tratamento uniforme de tokens na KD padrão.
2. Mecanismo: Estabelece que posições visuais de alta densidade (características localmente distintas) são a principal fonte de deriva e são mais críticas para a resposta do professor. A reponderação aleatória de patches arbitrários não produz o mesmo benefício; o peso deve visar especificamente posições de alta densidade.
3. Método (HEED): Uma intervenção leve e livre de parâmetros que usa a autodissimilaridade do patch como um proxy para importância. Melhora o desempenho sem alterar a arquitetura de inferência ou adicionar custos no tempo de inferência.

4. Resultados Experimentais

Os experimentos foram conduzidos destilando o Qwen3-VL-8B-Instruct em um híbrido Mamba-2/Atenção 3:1.

• Ganhos de Desempenho:
  • Comparado à KD end-to-end padrão, o HEED melhora o OCRBench v2 em 8,7 pontos.
  • Alcança um ganho médio de 5,13 pontos em 10 benchmarks.
  • Em uma comparação controlada (alterando apenas o peso de alinhamento de uniforme para ponderado por densidade), o HEED recupera 4,7 pontos no OCRBench v2 e 2,24 pontos na média de 10 benchmarks.
• Seletividade: Os ganhos estão concentrados em benchmarks de percepção de alta granularidade (OCR, DocVQA, ChartQA), enquanto benchmarks de raciocínio (MMMU-Pro, MMStar) permanecem estáveis ou levemente melhorados.
• Pós-Treinamento: Após SFT e DPO padrão, o aluno HEED atinge desempenho no nível do professor na média de 10 benchmarks (78,79 vs. 78,41) mantendo a eficiência da arquitetura híbrida.
• Eficiência: O aluno mantém o perfil de eficiência do modelo híbrido: 4,12× de vazão e 68% de economia de memória em comprimento de contexto de 128k em comparação com o professor, sem custo adicional no tempo de inferência.
• Robustez: Os resultados se mantêm através de diferentes sementes aleatórias, diferentes modelos professores (InternVL-3.5, MiniCPM-V 4.5, GLM-4.6V) e diferentes arquiteturas híbridas (Gated DeltaNet).

5. Significado e Alegações

O artigo alega que o HEED aborda uma limitação fundamental na compressão de entradas multimodais heterogêneas em modelos de sequência híbridos de capacidade fixa. O princípio central é que as perdas de destilação não devem tratar todos os tokens de forma uniforme; em vez disso, devem refletir a importância variável dos tokens com base em sua densidade de informação local.

Os autores posicionam o HEED como complementar a métodos de redução de tokens no tempo de inferência (por exemplo, VisionZip, FastV). Enquanto esses métodos reduzem o número de tokens durante a inferência, o HEED otimiza o sinal de treinamento para garantir que o modelo aprenda a preservar os tokens mais críticos durante a conversão de um professor de atenção completa para um aluno híbrido. O método é apresentado como uma intervenção prática e de baixo custo que recupera capacidades de alta granularidade perdidas sem comprometer os ganhos de eficiência das arquiteturas híbridas.

Limitações Reconhecidas:

• A densidade é um proxy para importância, não uma medida universal de saliência semântica. Favorece texto e bordas, mas pode ser menos eficaz para tarefas definidas globalmente ou com padrões adversariais.
• O método depende de características de ViT congeladas; não alega ser uma prova causal de deriva, mas sim uma intervenção empírica altamente eficaz.
• Os resultados são específicos para o cenário de conversão de VLM híbrido testado; os autores não alegam dominância de Pareto sobre modelos de atenção completa em geral.