When LLaVA Meets Objects: Token Composition for Vision-Language-Models

Resumo Técnico: Mask-LLaVA

1. O Problema: Ineficiência de Tokens em VLMs

Os atuais Modelos de Linguagem e Visão (VLMs) autoregressivos, como o LLaVA, dependem de um número massivo de tokens visuais para representar uma única imagem (por exemplo, 576 tokens no LLaVA-1.5 e até 2880 no LLaVA-NeXT). Esse excesso de tokens aumenta drasticamente o custo computacional e o tempo de inferência no lado do Modelo de Linguagem (LLM). Embora existam métodos de poda (pruning) ou compressão, a maioria foca apenas em tokens de patches (fragmentos da imagem), ignorando representações semânticas de objetos que poderiam ser mais eficientes.

2. Metodologia: A Abordagem Mask-LLaVA

Os autores propõem o Mask-LLaVA, um framework que utiliza uma composição de tokens em três níveis de granularidade para criar uma representação visual compacta, porém rica em informações:

• Tokens Globais ($F_{global}$): Utiliza o token [CLS] do codificador de visão (ViT) para fornecer o contexto geral da imagem.
• Tokens Locais ($F_{local}$): Aplica um average pooling 2D sobre os tokens de patches originais para reduzir a redundância espacial, mantendo a estrutura local.
• Tokens de Objetos baseados em Máscaras ($F_{object}$): Esta é a principal inovação. O modelo utiliza um detector de objetos (DeTR) e o modelo de segmentação SAM (Segment Anything Model) para gerar máscaras de objetos. Através de uma técnica chamada Maskinversion, o modelo aprende representações específicas para cada região segmentada, alinhando o token de embedding com a máscara correspondente.

Inovações Técnicas Adicionais:

• Escalonamento de Normas (Scaling): Como os diferentes tipos de tokens possuem magnitudes (normas) distintas, os autores propõem normalizar os tokens [CLS] e de objetos usando a média e o desvio padrão dos tokens de patches, garantindo que todos sejam processados de forma equilibrada pelo LLM.
• Flexibilidade na Inferência: O modelo é treinado com um conjunto completo de tokens (incluindo sobreamostragem de objetos), mas permite que, no momento do teste, o número de tokens de objetos seja reduzido dinamicamente (via filtragem por IoU ou poda) sem necessidade de retreinamento.

3. Principais Contribuições

1. Framework Eficiente: Introdução do Mask-LLaVA, que permite variar o número de tokens durante a inferência para adaptar o custo computacional.
2. Composição Multinível: Integração inédita de tokens de classe ([CLS]), patches locais e representações de objetos segmentados em um único fluxo de entrada.
3. Robustez à Redução de Tokens: Demonstração de que o modelo mantém alta performance mesmo quando a quantidade de tokens é drasticamente reduzida, graças à natureza semântica dos tokens de máscara.

4. Resultados e Avaliação

O modelo foi avaliado em oito benchmarks padrão (incluindo VQAv2, GQA, POPE, MME e MMBench). Os resultados principais indicam:

• Competitividade: O Mask-LLaVA atinge resultados competitivos com o LLaVA original, mas utilizando apenas uma fração dos tokens (redução de até 97%).
• Superioridade em Eficiência: Em taxas de redução de 90% ou mais, o Mask-LLaVA frequentemente supera outros métodos de estado da arte (como FastV, FitPrune e SparseVLM).
• Redução de Alucinações: Testes no benchmark POPE mostraram que a inclusão de tokens de objetos ajuda o modelo a ser mais preciso na detecção de presença/ausência de objetos, reduzindo alucinações visuais.
• Desempenho em Escala: Mesmo com apenas 29 tokens, o modelo mantém uma performance robusta, desafiando métodos que foram treinados especificamente para compressão.

5. Significância

Este trabalho é significativo pois propõe uma mudança de paradigma: em vez de tentar apenas "espremer" os pixels (tokens de patches), o modelo deve "entender" a composição da cena (objetos). Isso abre caminho para o uso de modelos de visão-linguagem potentes em dispositivos com recursos computacionais limitados (edge computing), permitindo um equilíbrio dinâmico entre precisão e velocidade de processamento.