Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

Resumo Técnico: Projetor Cross-Modal Baseado em Consultas Fortalecendo o Mamba Multimodal LLM

Definição do Problema
Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) dependem fortemente de arquiteturas Transformer, que sofrem de complexidade computacional e de memória quadrática em relação ao comprimento da sequência de entrada. Este gargalo limita a escalabilidade dos MLLMs e impõe cargas computacionais insustentáveis. Embora o Modelo de Espaço de Estado Estruturado de Varredura Seletiva (Mamba) ofereça uma alternativa promissora com complexidade linear e inferência eficiente, sua aplicação à modelagem multimodal permanece subexplorada. Especificamente, as tentativas existentes de integrar o Mamba em MLLMs enfrentam dois desafios primários: (1) a necessidade de projetar manualmente ordens de varredura 2D heurísticas (por exemplo, bidirecionais ou cross-direcionais) para converter características de imagem em sequências 1D, e (2) a falta de flexibilidade na redução de amostragem (downsampling) do comprimento dos tokens visuais, resultando frequentemente em comprimentos de sequência excessivos que anulam os benefícios de eficiência do Mamba.

Metodologia
Os autores propõem o Querying Mamba, uma arquitetura inovadora que introduz um projetor cross-modal baseado em consultas para fazer a ponte entre codificadores de visão pré-treinados e LLMs baseados em Mamba. A metodologia é estruturada em torno de três componentes principais:

1. Arquitetura do Projetor Q-Mamba:

   • O projetor utiliza uma pilha de blocos Q-Mamba, cada um composto por uma camada Mamba, um mecanismo de atenção cruzada (cross-attention) e uma rede feedforward.
   • Consultas Aprendíveis (Learnable Queries): Em vez de processar diretamente os tokens de imagem brutos, o modelo emprega um conjunto de embeddings de consulta aprendíveis. Essas consultas interagem com as características visuais de um codificador de visão pré-treinado e congelado (SigLIP) via atenção cruzada.
   • Prior Causal: Uma camada Mamba unidirecional é aplicada às consultas para introduzir dependências causais, garantindo que a sequência projetada seja compatível com o processamento sequencial do LLM.
   • Máscara de Atenção Local: O mecanismo de atenção cruzada utiliza uma máscara de atenção local, onde cada consulta atende exclusivamente a um subconjunto específico de chaves (keys), facilitando a extração focada de componentes visuais distintos.

2. Compressão e Alinhamento de Tokens Visuais:

   • O projetor comprime dinamicamente informações visuais 2D em uma sequência de tokens causais 1D.
   • Ao ajustar o número de consultas aprendíveis, o modelo pode efetivamente realizar o downsampling do comprimento da sequência de características visuais, reduzindo a carga computacional no backbone do LLM sem exigir definições manuais de ordem de varredura.

3. Treinamento de Multimodal Mamba LLM:

   • O sistema integra um Mamba LLM pré-treinado (2.8 bilhões de parâmetros) com o codificador de visão através do projetor Q-Mamba.
   • O treinamento segue um paradigma de dois estágios:
     • Estágio 1 (Alinhamento): O projetor é alinhado com o LLM congelado usando um conjunto de dados filtrado de instrução visual (CC3M).
     • Estágio 2 (Fine-tuning End-to-End): Tanto o projetor quanto o LLM são ajustados finamente em um conjunto de dados combinado (LLaVA v1.5, LVIS-Instruct-4V, LRV-Instruct) para melhorar a integração visão-linguagem e mitigar alucinações.

Principais Contribuições

• Querying Mamba: A introdução de um conector multimodal baseado em Mamba que utiliza atenção cruzada e consultas aprendíveis para realizar o downsampling adaptativo do comprimento dos tokens visuais, eliminando a necessidade de ordens de varredura 2D heurísticas.
• Exploração Arquitetural: Uma investigação sistemática dos componentes do conector multimodal, incluindo o uso de Mamba bidirecional para pré-processamento, redes feedforward para mistura de canais e comprimentos de sequência de consulta ideais.
• Avaliação Abrangente: Benchmarking extensivo do MLLM proposto em seis tarefas diversas de compreensão visão-linguagem, demonstrando melhorias tanto em desempenho quanto em throughput em comparação com Mambas-MLLMs existentes.

Resultos Experimentais
O modelo proposto foi avaliado em seis benchmarks: VQAv2, GQA, VizWiz, VQAT, POPE e MMBench.

• Desempenho: O modelo com 729 consultas aprendíveis alcançou o maior desempenho geral, superando modelos baseados em Mamba de última geração (Cobra e VL-Mamba) na maioria das métricas. Por exemplo, alcançou uma pontuação de 75,62 no VQAv2 e 58,33 no GQA.
• Análise de Comprimento de Consulta: Aumentar a contagem de consultas de 128 para 256 gerou ganhos substanciais. No entanto, aumentos subsequentes para 512 e 729 mostraram retornos decrescentes. Notavelmente, as métricas para VizWiz (perguntas não respondíveis) e POPE (alucinação) exibiram uma relação inversa com o tamanho da consulta, sugerindo que consultas excessivas podem introduzir dados estranhos que complicam a tomada de decisão.
• Throughput: A capacidade de downsampling dinâmico reduziu significamente a carga computacional. O modelo proposto alcançou tempos de treinamento (5,52 seg/iter) e inferência (0,095 seg/iter) mais rápidos em comparação com o Cobra (7,62/0,129) e o VL-Mamba (7,26/0,152).
• Estudos de Ablação:
  • Mecanismo de Atenção: A atenção local superou significativamente a atenção global.
  • Pré-treinamento: Utilizar pesos de um VL-Mamba treinado para o conector bidirecional melhorou o desempenho em relação ao treinamento do zero.
  • Ordem de Varredura: Curiosamente, embora o modelo tenha sido treinado com varredura bidirecional, a inferência usando apenas uma varredura direta (forward scan) não degradou o desempenho e, em alguns casos, o melhorou.

Significância e Alegações
O artigo afirma que o projetor cross-modal baseado em consulta proposta efetivamente reforça a eficiência do Mamba para a modelagem de visão-linguagem. Ao comprimir os tokens visuais com base no contexto de entrada através de atenção cruzada, a arquitetura remove a dependência de ordens de varredura 2D desenhadas manualmente, uma limitação em codificadores de visão baseados em Mamba anteriores. Os autores afirmam que esta abordagem melhora tanto o desempenho quanto o throughput dos MLLMs baseados em Mamba, oferecendo uma solução escalável para tarefas multimodais.

Limitações
Os autores reconhecem diversas limitações:

• Restrições de Dataset: Os conjuntos de dados de treinamento e fine-tuning (LLaVA-LLVIS, LLaVA-1.5) são menores do que os tipicamente usados para grandes modelos de linguagem, o que pode restringir a generalização.
• Duração do Treinamento: O modelo foi treinado por apenas um epoch por estágio, enquanto modelos comparáveis frequentemente usam dois, o que pode impactar a robustez.
• "Esquecimento" do Mamba: A natureza sequencial dos estados ocultos do Mamba pode levar a problemas de esquecimento com entradas longas, de forma semelhante às RNNs.
• Trabalho Futuro: Os autores sugerem que um pré-treinamento mais extensivo do Q-Mamba (incluindo aprendizado contrastivo) e a inicialização com pesos de Mamba LLM compactos poderiam melhorar ainda mais o desempenho. Eles também observam o potencial de viés e alucinação inerentes aos grandes modelos de linguagem.