Do Vision Language Models Need to Process Image Tokens?

Título: Do Vision Language Models Need to Process Image Tokens?

Autores: Sambit Ghosh, R. Venkatesh Babu, Chirag Agarwal.
Instituições: IBM, Indian Institute of Science (IISc), University of Virginia.

---

1. Problema e Motivação

Os Modelos de Linguagem Visuais (VLMs) combinam codificadores visuais com Grandes Modelos de Linguagem (LLMs) para raciocínio multimodal. No entanto, a arquitetura padrão processa uma sequência densa de tokens de imagem através de todas as camadas profundas do transformador, o que gera uma sobrecarga computacional substancial.

A questão central levantada pelos autores é: É realmente necessário processar tokens de imagem em todas as camadas profundas do VLM?
Evidências recentes sugerem que os sinais visuais podem ser subutilizados, com tokens textuais dominando as previsões finais. O trabalho investiga se as representações visuais evoluem significativamente em camadas profundas ou se elas se estabilizam cedo, tornando o processamento contínuo redundante.

2. Metodologia

Os autores adotaram uma perspectiva centrada na representação, analisando a evolução estrutural dos tokens de imagem e texto através da profundidade do decodificador do VLM. Eles utilizaram três famílias de modelos (LLaVA-1.5, Qwen2.5-VL, InternVL) e o conjunto de dados BLINK.

Para quantificar a evolução das representações, foram empregadas três métricas matemáticas complementares:

1. Entropia de Matriz (Matrix Entropy): Mede a concentração espectral. Baixa entropia indica que a energia está concentrada em poucas direções (estrutura comprimida).
2. Dimensão Intrínseca (Intrinsic Dimensionality - ID): Estima o número mínimo de direções necessárias para descrever a variação local no manifold das embeddings, refletindo a complexidade representacional independente do tamanho da embedding.
3. Curvatura da Trajetória (Trajectory Curvature - TC): Quantifica o desvio angular médio entre vetores de deslocamento sucessivos entre camadas, indicando a reconfiguração direcional no espaço de embeddings.

Além disso, realizaram experimentos de ablação estrutural:

• Substituição de Camadas: Trocar tokens de imagem de camadas profundas por tokens de camadas iniciais para testar a intercambiabilidade funcional.
• Truncamento Visual: Remover completamente os tokens de imagem após uma certa camada ($l_c$) e propagar apenas os tokens textuais pelo restante do decodificador.
• Ajuste Fino (Fine-tuning) por Destilação: Tentar recuperar o desempenho de modelos truncados usando a saída do modelo original como alvo.
• Análise de Cadeias de Raciocínio: Comparar a geração de respostas diretas (single-token) com cadeias de raciocínio estruturadas (Chain-of-Thought).

3. Principais Contribuições e Resultados

A. Estabilização Representacional Precoce (RQ1)

• Descoberta: As representações de tokens de imagem estabilizam-se rapidamente (geralmente nas camadas iniciais a médias).
• Evidência: Após uma breve fase de ajuste, a entropia, a dimensão intrínseca e a curvatura das imagens atingem um regime de complexidade limitada e constante.
• Contraste: Em oposição, as representações textuais continuam a sofrer reestruturação dinâmica e significativa ao longo de toda a profundidade da rede.
• Implicação: As camadas profundas do VLM preservam e refinam informações visuais, mas não as reestruturam fundamentalmente.

B. Intercambiabilidade Funcional (RQ2)

• Descoberta: Devido à estabilização estrutural, os tokens de imagem tornam-se funcionalmente intercambiáveis entre camadas.
• Evidência: Substituir tokens de imagem de camadas profundas por tokens de camadas iniciais mantém a semântica da saída com alta similaridade.
• Contraste: Tokens textuais não são intercambiáveis; sua substituição entre camadas degrada significativamente o desempenho, indicando que o texto requer processamento contínuo e reconfiguração.

C. Utilidade Dependente da Tarefa (RQ3)

• Descoberta: A necessidade de processamento visual profundo depende da complexidade da saída.
• Geração de Token Único (ex: VQA de múltipla escolha): É robusta ao truncamento precoce. A precisão decai suavemente, sugerindo que decisões grosseiras podem ser tomadas com pouco processamento visual.
• Geração Multi-Token (ex: Legendagem/Captioning): É altamente sensível ao truncamento. A remoção de tokens de imagem em camadas iniciais causa degradação severa na fidelidade lexical e semântica.
• Conclusão: A profundidade necessária escala com a complexidade da saída; gerações longas exigem acesso sustentado às representações visuais.

D. Recuperação via Ajuste Fino (RQ4)

• Descoberta: Modelos truncados podem recuperar parcialmente o comportamento do modelo original através de fine-tuning (destilação).
• Limitações: A recuperação é gradual e depende da tarefa.
  • Para legendagem (tarefa descritiva), a recuperação é quase completa se houver profundidade visual suficiente.
  • Para VQA estruturada (ex: ChartQA), a recuperação é limitada sob truncamento agressivo, pois o alinhamento visual-textual fino é irreversivelmente perdido.
• Eficiência: O fine-tuning permite atingir alto desempenho com custos computacionais (GFLOPs) significativamente menores, deslocando a fronteira de eficiência.

E. Sensibilidade em Cadeias de Raciocínio (RQ5)

• Descoberta: Cadeias de raciocínio explícitas não compensam a redução da profundidade visual; na verdade, tornam o modelo mais sensível.
• Análise: A geração de resumos é estável, mas a geração de legendas e raciocínios detalhados degrada-se rapidamente com o truncamento.
• Mecanismo: O raciocínio estruturado exige condicionamento visual repetido em múltiplos passos de decodificação. A estabilização representacional não garante suficiência inferencial para raciocínio iterativo.

4. Significado e Impacto

Este trabalho desafia o paradigma atual de arquiteturas multimodais que processam tokens visuais uniformemente em todas as camadas.

1. Eficiência Arquitetural: Demonstra que é possível reduzir o custo computacional (especialmente na fase de prefill) truncando o processamento visual em camadas específicas, sem sacrificar drasticamente o desempenho em tarefas de resposta curta.
2. Diagnóstico de Representação: Introduz a "estabilização representacional" como um sinal mensurável para identificar regiões de redundância funcional em transformadores multimodais.
3. Guia de Implantação: Oferece diretrizes práticas:
   • Para tarefas de resposta única, o processamento visual pode ser interrompido cedo.
   • Para geração de texto longo e raciocínio complexo, o acesso visual deve ser mantido até camadas mais profundas.
4. Reavaliação de Arquiteturas: Sugere que a alocação de recursos computacionais em VLMs deve ser dinâmica e dependente da tarefa, em vez de ser uniformemente alocada em profundidade.

Em resumo, o artigo conclui que, embora as representações visuais se estabilizem estruturalmente cedo, sua necessidade funcional persiste em camadas profundas para tarefas que exigem alinhamento visual-textual fino e raciocínio iterativo. A simples estabilização geométrica não implica redundância total para todas as tarefas.