Resumo Técnico: Uma Tokenização de Imagem Mais Semelhante a Palavras para MLLMs

1. Declaração do Problema

Modelos de Linguagem Grandes Multimodais (MLLMs) tipicamente empregam um codificador de visão pré-treinado e um Modelo de Linguagem Grande (LLM) fixo, conectados por um projetor visual. O objetivo é mapear pixels de imagem em uma sequência de tokens dentro do espaço de incorporação do LLM. No entanto, os autores identificam uma incompatibilidade estrutural fundamental entre os tokens visuais atuais e os tokens discretos e semanticamente significativos que os LLMs são otimizados para processar.

O artigo destaca três discrepâncias primárias:

1. Emaranhamento Semântico: Ao contrário dos tokens de texto gerados por tokenizadores discretos (por exemplo, BPE), que são unidades independentes, as características de patches visuais de Vision Transformers (ViTs) são altamente emaranhadas. A autoatenção repetida nos codificadores de visão homogeneiza as incorporações, fazendo com que os patches se tornem semanticamente misturados. Projetores lineares preservam essa redundância, resultando em tokens visuais altamente correlacionados e que carecem de limites semânticos distintos.
2. Orçamento de Tokens Fixo: Métodos existentes (por exemplo, agregação de grade fixa, resamplers) produzem um número fixo de tokens independentemente da complexidade da imagem. Isso leva a redundância em cenas simples e perda de detalhe em cenas complexas, falhando em imitar a natureza de comprimento variável das descrições linguísticas.
3. Falta de Controle de Granularidade: A tokenização visual atual depende de operações espaciais sem um mecanismo principista para controlar o nível de detalhe (granularidade) por token, ao contrário da tokenização de texto, que equilibra sub-palavras e palavras inteiras.

Consequentemente, as entradas visuais comportam-se de maneira diferente das unidades "semelhantes a palavras" que os LLMs esperam, levando a um uso ineficiente do cache KV, aumento de latência e capacidades de raciocínio subótimas.

2. Metodologia: Tokenização Visual Desemaranhada (DiVT)

Os autores propõem o DiVT, uma abordagem de tokenização visual baseada em agrupamento projetada para alinhar representações visuais com a natureza discreta dos tokens de LLM. O DiVT opera sem modificar o codificador de visão ou a base do LLM, servindo como um projetor treinável.

O processo consiste em quatro etapas:

2.1. Agrupamento Inicial de Patches (Seleção Adaptativa de Centroides)

Em vez de impor uma contagem fixa de tokens, o DiVT determina dinamicamente o número de clusters com base na distribuição de características dos patches da imagem.

• Mecanismo: Calcula uma matriz de similaridade cosseno par a par das características dos patches. Usando um limiar de similaridade $\theta$, constrói um grafo de vizinhança.
• Algoritmo: Um algoritmo ganancioso seleciona o patch com o maior grau (mais vizinhos) como um centróide. Todos os vizinhos dentro do limiar são atribuídos a este cluster e removidos do conjunto de candidatos. Isso se repete até que nenhum patch reste.
• Resultado: Isso garante que os centroides sejam semanticamente distintos e que a contagem de tokens se adapte à complexidade intrínseca da imagem (mais tokens para cenas complexas, menos para cenas simples).

2.2. Refinamento de Cluster

A seleção gananciosa inicial pode atribuir um patch a um centróide subótimo. Para alcançar um melhor desemaranhamento semântico, o método reatribui cada patch ao centróide com a maior similaridade, garantindo que cada cluster contenha patches que compartilham semântica coerente.

2.3. Formulação do Token Visual

Uma vez que os clusters são finalizados, um único token visual é gerado para cada cluster.

• Atenção Cruzada: O centróide do cluster atua como a consulta ($Q$), enquanto todos os patches no cluster servem como chaves ($K$) e valores ($V$).
• Codificação Posicional: Incorporações posicionais aprendíveis são injetadas apenas no ramo de valor para preservar o contexto espacial sem perturbar as pontuações de atenção.
• Mascaramento: Uma máscara de atenção restrita ao cluster garante que os tokens agreguem informações apenas de seu próprio cluster, prevenindo a contaminação cruzada de conceitos semânticos não relacionados.
• Agregação: O resultado é passado por um MLP para produzir o token final.

2.4. Controle de Granularidade Semântica

O limiar de similaridade $\theta$ atua como um botão ajustável para granularidade semântica:

• $\theta$ Alto: Critérios de agrupamento mais estritos, resultando em mais tokens de granularidade mais fina (maior detalhe, maior computação).
• $\theta$ Baixo: Agrupamento mais amplo, resultando em menos tokens de granularidade mais grossa (menor detalhe, menor computação).
• Flexibilidade de Inferência: Crucialmente, $\theta$ pode ser ajustado no momento da inferência sem retreinamento, permitindo que praticantes troquem detalhe representacional por memória e latência.

3. Contribuições Principais

1. Desemaranhamento Semântico: O DiVT agrupa explicitamente incorporações de patches em unidades semânticas coerentes, abordando o emaranhamento inerente às características de patches padrão de ViT.
2. Orçamento de Tokens Adaptativo: O método aloca dinamicamente contagens de tokens com base na complexidade da imagem, evitando a redundância de abordagens de orçamento fixo.
3. Ajuste de Inferência sem Treinamento: A capacidade de ajustar o limiar de similaridade $\theta$ na inferência permite trocas flexíveis entre custo e desempenho sem retreinar o modelo.
4. Agnosticismo de Codificador e LLM: A abordagem foi projetada para funcionar com vários codificadores de visão (CLIP, SigLIP, DINOv2) e escala efetivamente para LLMs maiores (por exemplo, 13B parâmetros).

4. Resultados Experimentais

Os autores avaliaram o DiVT nas bases LLaVA-1.5 7B e 13B em oito benchmarks (MMBench, VQAv2, GQA, MME, MM-Vet, TextVQA, SQA-IMG, POPE).

• Desempenho vs. Contagem de Tokens: O DiVT iguala ou supera as linhas de base (incluindo MLP, ToME, FastV, PruMerge, VisionZip e TokenPacker) usando significativamente menos tokens.
  • Por exemplo, com ~136,5 tokens (vs. 576 no MLP completo), o DiVT alcança desempenho comparável no MMBench (66,7 vs. 64,3) e VQAv2 (78,2 vs. 78,5).
  • Sob orçamentos apertados (por exemplo, ~35 tokens), o DiVT supera significativamente outros métodos, demonstrando robustez onde a redução de tokens geralmente degrada o desempenho.
• Comparação com Projetores: O DiVT supera outros projetores visuais (Resampler, C-Abstractor, Pixel-Shuffle) em tarefas de conversação geral e VQA, mantendo-se competitivo em tarefas especializadas.
• Análise Qualitativa: Mapas de atenção mostram que o DiVT produz padrões de atenção mais focados e semanticamente coerentes em comparação com a atenção dispersa de projetores MLP padrão.
• Controle de Granularidade: Experimentos mostram que modelos treinados com um $\theta$ específico podem ser avaliados com diferentes valores de $\theta$ na inferência com perda mínima de desempenho, validando a flexibilidade da abordagem.

5. Significado e Alegações

O artigo alega que o DiVT aborda a "lacuna de modalidade" entre entradas visuais e textuais criando tokens visuais que se comportam mais como "palavras". Ao desemaranhar explicitamente informações semânticas e adaptar o orçamento de tokens à complexidade da imagem, o DiVT oferece um mecanismo prático para:

• Reduzir Custos Computacionais: Diminuir significativamente o uso de memória (cache KV) e latência reduzindo o número de tokens visuais.
• Melhorar Compatibilidade: Tornar as entradas visuais mais compatíveis com as capacidades de raciocínio discreto dos LLMs.
• Habilitar Implantação Flexível: Fornecer um botão sem treinamento para praticantes equilibrarem precisão e recursos computacionais durante a inferência.

Os autores enfatizam que seu método não requer supervisão externa (como anotações de objetos) ou treinamento complexo multi-estágio, dependendo exclusivamente do objetivo de modelagem de linguagem para moldar os tokens visuais. Isso torna o DiVT uma solução leve, plug-and-play para compreensão multimodal alinhada ao ser humano e eficiente em custos.