Resumo Técnico: Nüwa: Remendando a Integridade Espacial Rasgada pela Poda de Tokens de VLM

1. Definição do Problema

Os Modelos de Linguagem de Visão (VLMs) geram um número substancial de tokens visuais durante a inferência, levando a uma alta sobrecarga computacional e redução de throughput. Embora a poda de tokens (token pruning) tenha surgido como uma técnica de aceleração eficaz, os métodos existentes exibem uma limitação crítica: eles apresentam bom desempenho em tarefas de Question Answering Visual (VQA), mas sofrem uma degradação significativa de desempenho em tarefas de Localização Visual (Visual Grounding - VG).

Os autores identificam que as estratégias de poda atuais, que dependem de similaridade semântica global ou escores de atenção, interrompem o referencial espacial global. Este referencial, derivado da informação posicional dos tokens, é essencial para o raciocínio espacial e a localização de objetos. Quando os métodos de poda comprimem ou descartam tokens sem preservar essa topologia espacial, o modelo perde a capacidade de localizar objetos com precisão dentro de uma imagem, mesmo que retenha a capacidade de responder perguntas gerais sobre o conteúdo da imagem.

2. Metodologia: O Framework Nüwa

Para abordar a perda de integridade espacial, os autores propõem o Nüwa, um framework de poda de tokens de dois estágios, consciente do espaço (spatial-aware). A abordagem é projetada para reter âncoras espaciais globais enquanto agrega informações redundantes, seguido por um refinamento guiado por texto.

Estágio 1: Poda de Coesão Espacial (Encoder de Visão)

Operando imediatamente após o encoder de visão, este estágio reduz a sequência inicial de $N^2$ tokens visuais em uma sequência densa e preservadora do espaço através de três operações inspiradas em inteligência de enxame (especificamente algoritmos Boids):

1. Separação: A grade de tokens de entrada é particionada em regiões locais não sobrepostas ($M \times M$). Isso garante que a seleção e agregação subsequentes ocorram em nível regional, mantendo um sistema de coordenadas globais completo.
2. Alinhamento (Identificação de Saliência): Dentro de cada região, tokens "benchmark" representativos são selecionados como centros de agregação. Os critérios de seleção combinam:
   • Atenção Global: Escores do token [CLS].
   • Capacidade de Informação: A norma L2 do vetor de chave do token ($\|k_i\|^2$).
   • Racional: Tokens de norma alta frequentemente atuam como "registradores" (âncoras agnósticas à tarefa) em Vision Transformers. O método identifica tokens com os maiores escores de saliência para formar o conjunto de Tokens Benchmark ($T_B$).
3. Agregação (Proximidade Espacial): Características de tokens vizinhos são fundidas no conjunto benchmark.
   • Atribuição de Papel: Tokens em $T_B$ são classificados como Tokens Pilares (alta norma L2, quartil superior) ou Tokens Coletores. Os tokens pilares retêm suas características originais para evitar o deslocamento das distribuições de características, enquanto os tokens coletores agregam características de vizinhos.
   • Agregação Ponderada: Uma matriz de pesos é construída usando tanto a Similaridade Semântica (apenas correlação positiva) quanto a Proximidade Espacial (distância euclidiana dentro de um limite). Isso garante que a agregação ocorra localmente, preservando representações centradas em objetos e evitando a fusão de tokens espacialmente distantes.

Estágio 2: Poda Modulada por Texto (LLM)

Após o alinhamento de características multimodais, os tokens visuais agregados são alimentados no Modelo de Linguagem Grande (LLM). Nas camadas intermediárias do LLM, ocorre um segundo estágio de poda:

• Um vetor de consulta textual holístico é derivado pela média das embeddings de tokens de texto.
• Os tokens visuais são pontuados com base em sua similaridade de cosseno com este vetor de consulta no espaço de embedding compartilhado.
• Apenas os top-$K$ tokens visuais mais relevantes são retidos para o raciocínio subsequente e geração de resposta. Isso garante que o conjunto final de tokens seja tanto coerente espacialmente (do Estágio 1) quanto relevante para a tarefa (do Estágio 2).

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Análise de Pipeline Específica de Tarefa para VLMs: Os autores analisam sistematicamente os pipelines de processamento de VLMs, revelando que os VLMs operam através de um pipeline de múltiplos estágios que progride de integração semântica global para foco detalhado centrado em objetos. Eles demonstram que as tarefas de grounding dependem fortemente da preservação do Referencial Espacial Global durante os estágios intermediários de processamento, um requisito frequentemente negligenciado por métodos de poda existentes.
2. O Framework Nüwa: Eles introduzem um framework de poda de dois estágios que:
   • Preserva a topologia espacial via separação por regiões e agregação adaptativa.
   • Mantém âncoras espaciais globais distinguindo entre tokens "Pilar" e "Coletor".
   • Aproveita a semântica textual no LLM para uma poda fina e orientada à tarefa.
3. Validação de Desempenho: Experimentos extensivos em 13 datasets e múltiplos VLMs (LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL) demonstram que o Nüwa estabelece novos resultados de Estado da Arte (SOTA). Ele alcança 95% de retenção de desempenho em benchmarks de VQA e 47,2% de retenção em benchmarks de Visual Grounding (sob uma redução de 88,9% de tokens), superando significativamente métodos anteriores que frequentemente caem para percentuais de um dígito em tarefas de VG.

4. Resultados Experimentais

• Desempenho VQA: O Nüwa atinge desempenho SOTA em 10 benchmarks de VQA (ex: GQA, MMB, MME), retendo 94%–95% do desempenho do modelo original com até 88,9% de redução de tokens.
• Desempenho de Visual Grounding: Na série de benchmarks RefCOCO, o Nüwa apresenta melhorias substanciais sobre métodos existentes. Por exemplo, sob uma configuração que retém apenas 64 tokens (redução de 88,9%), o Nüva alcança 47,2% do desempenho original, enquanto métodos como VisionZip e SparseVLM caem para 7,28% e 1,88%, respectivamente.
• Eficiência: O método reduz os TFLOPs em 89% e o tempo de prefill em 62%. A sobrecarga computacional introduzida pelas métricas de poda é insignificante (apenas ~1ms de aumento no tempo de prefill em comparação com as baselines SOTA).
• Estudos de Ablação: Experimentos confirmam que a partição de regiões é crítica para tarefas de grounding (permitindo uma estratégia de Extensão de Mapeamento de Posição Relativa), enquanto o critério de norma L2 melhora a seleção de tokens em todas as tarefas.

5. Significância e Alegações

O artigo alega que a degradação dos VLMs em tarefas de grounding é impulsionada principalmente pela perda do Referencial Espacial Global durante a poda de tokens. Ao reconstruir essa integridade espacial através de um processo de dois estágios que combina agregação espacial inspirada em enxames com refinamento guiado por texto, o Nüwa efetivamente "remenda" essa integridade espacial rasgada.

Os autores enfatizam que sua abordagem não requer retreinamento (é livre de treinamento/training-free) e é compatível com arquiteturas de VLM existentes e otimizações de hardware (ex: FlashAttention). O trabalho destaca que a inferência eficiente de VLMs deve considerar requisitos específicos de tarefas, particularmente a necessidade de coerência espacial em tarefas de grounding, em vez de depender apenas da redução de redundância semântica.