DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

Resumo Técnico: DUET-VLM

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) modernos, como o LLaVA-1.5 e o LLaVA-NeXT, alcançaram capacidades notáveis de raciocínio multimodal. No entanto, eles enfrentam um gargalo computacional significativo devido à tokenização visual densa.

• Custo Quadrático: Enquanto o número de tokens de texto cresce linearmente, os tokens visuais escalam quadraticamente com a resolução da imagem ($H \times W$). Por exemplo, uma imagem de 672x672 pode gerar mais de 2.800 tokens visuais, sobrecarregando a atenção do modelo e limitando a memória e a latência.
• Limitações das Abordagens Atuais: Métodos existentes de eficiência geralmente operam em apenas uma frente:
  • Lado da Visão: Fundem tokens cedo demais, arriscando perda de informação (ex: VisionZip, PruMerge).
  • Lado da Linguagem: Eliminam tokens de forma progressiva, mas muitas vezes de maneira uniforme ou sem adaptação semântica profunda (ex: PyramidDrop, FastV).
  • Falta uma otimização conjunta que remova redundância e retenha contexto de forma adaptativa em ambas as etapas.

2. Metodologia: DUET-VLM

O DUET-VLM propõe um framework de compressão duplo e plug-and-play que opera em duas etapas complementares para reduzir tokens visuais sem sacrificar a precisão semântica.

Etapa 1: Compressão Visão-a-Visão (V2V) no Codificador de Visão

• Objetivo: Reduzir redundância espacial antes da fusão multimodal.
• Mecanismo:
  1. Seleção de Tokens Dominantes: Identifica os $k_1$ tokens mais influentes com base no mapa de auto-atenção visão-para-visão (V2V) do codificador (ex: CLIP).
  2. Agregação de Clusters Locais (Novidade): Em vez de uma média global (que dilui características de baixa frequência), os tokens residuais são agrupados em $k_2$ clusters locais.
     • Centroides são selecionados com base na pontuação de atenção.
     • Vizinhos dentro de uma largura de cluster fixa ($w$) são agregados localmente.
     • Tokens não atribuídos a nenhum cluster são descartados precocemente.
• Resultado: Gera um conjunto compacto de tokens que preserva detalhes visuais de baixo nível e diversidade estrutural.

Etapa 2: Poda Visão-a-Linguagem (T2V) no Backprop de Linguagem (LLM)

• Objetivo: Poda progressiva baseada em relevância semântica durante o raciocínio.
• Mecanismo:
  • Os tokens visuais reduzidos são alimentados no LLM junto com os tokens de texto.
  • Utiliza-se uma estratégia de seleção de tokens salientes no texto (incluindo o último token como "sink" e outros tokens relevantes para a pergunta) para calcular pontuações de atenção cruzada (Texto-para-Visão).
  • Em camadas específicas (estágios), os tokens visuais menos relevantes para o contexto textual são descartados progressivamente.
• Resultado: À medida que o raciocínio aprofunda, os tokens redundantes são removidos, mantendo apenas as regiões visualmente críticas para a tarefa.

3. Principais Contribuições

1. Otimização Conjunta Visão-Linguagem: Diferente de métodos unidirecionais, o DUET-VLM acopla a compressão no codificador de visão com a poda guiada pelo texto no LLM, permitindo que as representações visuais e o contexto linguístico se adaptem mutuamente.
2. Framework de Compressão Dupla (V2V + T2V): Une a fusão de redundância (agregação local) com a poda baseada em saliência (atendimento guiado por texto), otimizando a remoção de redundância e a retenção de contexto.
3. Agregação de Clusters Locais: Substitui a média global por agregação local, evitando a diluição de informações importantes e permitindo a remoção precoce de ruído de fundo.
4. Treinamento Consciente: O método foi projetado para ser treinado end-to-end, permitindo que o modelo se adapte robustamente a entradas visuais reduzidas, em vez de apenas ser uma técnica de inferência.

4. Resultados Experimentais

Os resultados foram validados em benchmarks de imagem (LLaVA-1.5-7B, Qwen-2.5-VL-7B) e vídeo (Video-LLaVA-7B).

• LLaVA-1.5-7B (Inferência e Treinamento):

  • Redução de 67% (192 tokens): Mantém >99% da precisão da linha de base.
  • Redução de 89% (64 tokens): Mantém >97% da precisão.
  • Eficiência: Redução de 31% no tempo de treinamento com perda de precisão inferior a 1% em comparação ao baseline completo.
  • Supera métodos state-of-the-art (SoTA) como VisionZip, PyramidDrop e FitPrune em múltiplos benchmarks (POPE, GQA, TextVQA, MME, SQA).

• Video-LLaVA-7B:

  • Com redução de 53,1% de tokens, o modelo supera o baseline (>100% de precisão relativa).
  • Sob redução extrema de 93,4% (136 tokens), mantém 97,6% da precisão, superando significativamente outros métodos de compressão de vídeo.

• Generalização: O método demonstrou eficácia em arquiteturas mais recentes (Qwen-2.5-VL-7B) e em diferentes orçamentos de tokens, mantendo alta precisão mesmo sob compressão agressiva.

5. Significado e Impacto

O DUET-VLM demonstra que o gerenciamento inteligente de tokens pode rivalizar ou superar o escalonamento de modelos (model scaling) em termos de precisão, enquanto reduz drasticamente os custos computacionais.

• Eficiência End-to-End: Ao integrar a compressão no processo de treinamento, o modelo aprende a representar o mundo visual de forma mais compacta e semântica, sem depender apenas de heurísticas de pós-processamento.
• Viabilidade Prática: Permite a execução de VLMs de grande porte em dispositivos com restrições de memória e latência, mantendo a capacidade de raciocínio multimodal.
• Futuro: Abre caminho para a aplicação dessa paradigm de compressão dupla em outras modalidades (áudio, texto) e para vídeos de maior duração, onde a redundância temporal é ainda mais crítica.

Em suma, o DUET-VLM oferece um equilíbrio superior entre eficiência computacional e fidelidade semântica, provando que a redução agressiva de tokens não precisa comprometer a inteligência do modelo.