What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

Este trabalho introduz o framework analítico EmbedLens para revelar que os tokens visuais em modelos de linguagem multimodais exibem uma esparsidade semântica significativa, onde apenas cerca de 60% dos tokens "vivos" carregam informações essenciais, demonstrando que a computação visual interna é frequentemente redundante e que a injeção direta desses tokens em camadas intermediárias do LLM é suficiente para tarefas complexas.

O essencial

Imagine que você tem um tradutor superinteligente (o Modelo de Linguagem Grande, ou LLM) que só fala a língua das palavras. Agora, você quer que ele "veja" uma foto. Para isso, você usa uma câmera especial (o codificador de visão) que tira a foto e a transforma em uma lista de pequenos pedaços de informação, chamados tokens visuais.

O grande segredo que este artigo revela é: a maioria desses pedaços de informação é inútil ou repetitiva. É como se você mandasse 100 cartas para o tradutor, mas 60 delas fossem apenas "olá, olá, olá" (repetição) e 40 delas fossem bilhetes em branco ou endereços errados. Apenas cerca de 60% das cartas realmente contêm a história da foto.

Aqui está a explicação simples do que os pesquisadores descobriram, usando analogias do dia a dia:

1. A Grande Divisão: Os Três Tipos de "Cartas"

Quando a foto entra no cérebro do modelo, os pesquisadores descobriram que os tokens se dividem em três grupos, como se fossem tripulantes em um navio:

• Os "Vagabundos" (Dead Tokens): São como passageiros que subiram no barco, mas não fazem nada. Eles não olham para a paisagem, não falam com ninguém e não ajudam a navegar. Eles ocupam espaço, mas são sem sentido. Se você tirá-los do barco, a viagem fica até mais rápida e o barco anda melhor!
• Os "Âncoras" (Sink Tokens): Imagine uma âncora que o barco usa para se estabilizar. Ela não vai para lugar nenhum, não carrega carga e não ajuda a ver o horizonte. Ela serve apenas para o barco não balançar demais (ajudar na estrutura matemática do modelo). Se você tirar a âncora, o barco continua navegando porque o capitão (o modelo) aprendeu a se equilibrar de outras formas.
• Os "Vigias" (Alive Tokens): Estes são os únicos que realmente veem a foto. Eles carregam as informações importantes: "tem um gato", "é vermelho", "está escrito 'Parar'". São os únicos que valem a pena.

A descoberta chocante: Cerca de 40% dos "passageiros" (tokens) que entram no modelo são inúteis (vagabundos ou âncoras). O modelo está gastando energia processando lixo!

2. O Modelo Já Sabe Tudo Antes de "Pensar"

Os pesquisadores testaram se o modelo precisava de muito trabalho interno para entender a foto. Eles fizeram um teste: pegaram uma foto de um objeto e forçaram o modelo a olhar apenas para um pedacinho minúsculo que continha todas as informações.

O resultado? O modelo já entendia tudo ali, naquele pedacinho, antes mesmo de começar a "pensar" profundamente.

• Analogia: É como se você entregasse um bilhete para alguém ler. A pessoa já consegue ler a palavra "GATO" e saber que é um animal, de que cor é e quantos existem, antes de começar a escrever um poema sobre ele. O modelo não precisa de uma "fábrica de processamento" complexa para entender a imagem básica; a câmera já entregou a resposta pronta.

3. O Problema de "Pensar Demais"

O artigo mostra que, para a maioria das tarefas, o modelo tenta "pensar" na imagem usando suas camadas iniciais (o começo do cérebro), mas isso é um erro.

• A Metáfora: Imagine que você tem um mapa muito claro. Se você começar a desenhar linhas tortas sobre ele com uma caneta borrada (as camadas iniciais do modelo), você só vai estragar a visão.
• A Solução: Os pesquisadores descobriram que é melhor pular as primeiras etapas de processamento da imagem e jogar a informação direto no meio do cérebro do modelo (nas camadas médias). É como pular a fila de segurança e ir direto para a sala de reuniões onde as decisões são tomadas. Isso torna o modelo mais rápido e evita que ele se confunda com detalhes desnecessários.

4. O Viés de Cor (O "Efeito Fundo")

O modelo tem um defeito engraçado: ele confunde a cor do objeto com a cor do fundo.

• Exemplo: Se você mostra um número "9" escrito em preto em um fundo verde, o modelo pode dizer que o "9" é verde. Ele está olhando para o "mar" ao redor e esquecendo do "barco". Isso acontece porque ele está prestando atenção no contexto geral em vez de focar no objeto específico.

Resumo da Ópera (Conclusão)

Este trabalho é como um manual de manutenção para os robôs que "veem". Eles nos dizem:

1. Limpe a bagagem: Jogue fora 40% das informações visuais que são apenas repetição ou estrutura vazia.
2. Não force o trabalho: Não deixe o robô "pensar" demais na imagem no início; a informação já chega pronta.
3. Mude o ponto de entrada: Jogue a informação visual direto no meio do cérebro do robô, em vez de começar do zero.

Fazendo isso, podemos criar modelos de Inteligência Artificial que são mais rápidos, mais baratos de rodar e que entendem melhor o que estão vendo, sem se perderem em detalhes inúteis.

Resumo técnico

---

1. Problema e Motivação

Os Modelos de Linguagem Multimodal Grandes (MLLMs) atuais projetam características visuais (geralmente extraídas por codificadores como CLIP) no espaço de incorporação de modelos de linguagem (LLMs). Embora essa arquitetura tenha alcançado resultados impressionantes, existe uma lacuna fundamental na compreensão de como a semântica visual é estruturada e processada internamente.

O problema central abordado é a discrepância estrutural:

• Os codificadores visuais são treinados para alinhamento global (imagem-texto).
• Os LLMs processam informações como uma sequência de tokens locais (patches).

A questão de pesquisa é: Como a semântica globalmente alinhada é distribuída entre os tokens locais? Todos os patches carregam significado? Eles já codificam conceitos "pré-linguísticos" ou requerem processamento extensivo pelo LLM para se tornarem compreensíveis?

2. Metodologia

Os autores propõem um framework analítico de duas etapas, introduzindo uma nova ferramenta de sondagem chamada EmbedLens.

• EmbedLens: Uma ferramenta de inspeção de nível de patch que mede a similaridade entre as incorporações visuais projetadas e todo o vocabulário de entrada do LLM. Ela permite recuperar os tokens de texto mais próximos para cada token visual, mapeando assim o conteúdo semântico intrínseco antes da fusão com o LLM.
• Análise de Agrupamento (Clustering): Os autores aplicam agrupamento baseado em similaridade nas incorporações visuais de entrada para identificar padrões macro-estruturais.
• Benchmarks Específicos:
  • Compressão de Patch: Força informações de objetos ou OCR em um único patch para testar a densidade de informação.
  • Pulso de Camadas (Layer Skipping): Testa a remoção de camadas iniciais ou subcamadas específicas (FFN, Attention) para avaliar a redundância computacional.
  • Benchmark de Múltiplas Trajetórias: Avalia a capacidade do modelo de decodificar múltiplos atributos (cor, contagem, identidade) de um único patch.

3. Descobertas Principais e Resultados

A. Tripartição dos Tokens Visuais (Esparsidade Semântica)

A análise revela que os tokens visuais de entrada não são homogêneos, mas se dividem em três categorias distintas e estáveis:

1. Tokens "Sink" (Poço): Representações agnósticas à imagem que permanecem quase idênticas independentemente da entrada. Eles servem a um papel estrutural (estabilizar distribuições de atenção) mas não carregam semântica específica da imagem. Correspondem a "registros" ou artefatos do projetor.
2. Tokens "Dead" (Mortos): Também independentes da imagem, mas diferentemente dos "sinks", atraem atenção mínima e não influenciam o cálculo do modelo. São representações repetitivas e semanticamente vazias (aprox. 30% dos tokens).
3. Tokens "Alive" (Vivos): Agrupam-se perto do centro semântico do texto. São os únicos que carregam significado específico da imagem (objetos, cores, OCR). Compõem apenas ~60% dos tokens de entrada.

Resultado Chave: Existe uma esparsidade semântica pronunciada. Cerca de 40% dos tokens visuais (sinks e mortos) são redundantes e podem ser removidos sem perda de desempenho (e em alguns casos, melhorando-o ao reduzir distrações).

B. Capacidade de Informação Pré-Linguística

• Os tokens "vivos" já codificam informações ricas e de granularidade fina (identidade do objeto, cor, forma, OCR) antes de entrarem no LLM.
• Eles funcionam como unidades de informação densas e "pré-linguísticas", exigindo pouca ou nenhuma tradução adicional para serem compreendidas pelo modelo de texto.

C. Redundância no Processamento Interno do LLM

• Para a maioria das tarefas padrão (VQA geral, OCR, mitigação de alucinação), o processamento visual interno do LLM (atenção visual e redes feed-forward/FFN) é redundante.
• Bypassar essas camadas não prejudica o desempenho e, às vezes, melhora-o, pois o processamento interno pode introduzir viéses (ex: associar cor ao fundo em vez do objeto).
• Apenas um subconjunto pequeno de tarefas centradas na visão (raciocínio espacial complexo) se beneficia do processamento interno.

D. Alinhamento com Camadas Intermediárias

• Os tokens "vivos" alinham-se naturalmente com as camadas intermediárias do LLM, e não com o espaço de incorporação inicial.
• As camadas rasas (iniciais) realizam pouca transformação e podem até degradar o desempenho se os tokens visuais forem forçados a passar por elas.
• Isso sugere que injetar tokens visuais diretamente nas camadas médias do LLM é suficiente e mais eficiente.

4. Contribuições Principais

1. EmbedLens: Um framework de sondagem prático e agnóstico ao modelo para inspeção de nível de patch em MLLMs.
2. Evidência Empírica de Esparsidade: Primeira prova de que os tokens visuais se particionam em grupos sink, dead e alive, revelando que ~40% da entrada é redundante.
3. Revelação de Dupla Redundância:
   • O processamento visual interno (FFN/Atenção) é desnecessário para a maioria das tarefas.
   • O processamento em camadas rasas é frequentemente prejudicial, pois os tokens já estão alinhados com camadas médias.
4. Insights Mecanísticos: Fornecem uma visão unificada que motiva arquiteturas mais eficientes, como poda seletiva de tokens, minimização de computação visual e injeção direta em camadas médias.

5. Significado e Impacto

Este trabalho desafia a suposição de que todos os tokens visuais precisam ser processados profundamente pelo LLM. As descobertas têm implicações diretas para:

• Eficiência: Possibilidade de reduzir drasticamente o custo computacional através da poda de tokens sink e dead e da eliminação de camadas de processamento visual redundantes.
• Interpretabilidade: Oferece uma compreensão clara de como a semântica flui dentro dos MLLMs, identificando onde a informação real reside.
• Arquitetura Futura: Sugere que projetores futuros podem ser otimizados para mapear visualmente diretamente para camadas intermediárias do LLM, eliminando a necessidade de camadas iniciais de transformação visual.

Em resumo, o artigo demonstra que os MLLMs atuais operam com uma grande quantidade de "ruído" estrutural e que a semântica visual essencial é frequentemente pré-processada e densamente codificada antes mesmo de interagir com a maior parte da rede neural do modelo de linguagem.