Zamba2-VL Technical Report

Definição do Problema

Modelos de visão-linguagem (VLMs) tornaram-se a interface padrão para o raciocínio multimodal, dependendo tipicamente de um backbone de Grande Modelo de Linguagem (LLM) baseado em Transformer. No entanto, o mecanismo de autoatenção nos Transformers acarreta custos computacionais quadráticos durante a fase de preenchimento (prefill) e requer um cache de Chave-Valor (KV) que cresce linearmente com o comprimento da sequência. Isso se torna um gargalo severo para modelos multimodais, onde uma única imagem de alta resolução ou um clipe de vídeo pode gerar milhares a centenas de milhares de tokens. Embora mitigações no lado da entrada, como a compressão de tokens visuais, existam, elas não alteram o comportamento de escalonamento fundamental do backbone.

Modelos de espaço de estados (SSMs), especificamente Mamba e Mamba2, oferecem processamento de sequência em tempo linear e um estado recorrente de tamanho constante, resolvendo teoricamente essas restrições de eficiência. No entanto, os VLMs baseados em SSM anteriores tiveram dificuldades com tarefas que exigem busca precisa em contexto (in-context lookup, por exemplo, fundamentação visual e recuperação detalhada), onde os mecanismos de atenção permanecem superiores. Além disso, os atuais fortes VLMs baseados em SSM são frequentemente destilados de modelos Transformer ou construídos sobre backbones SSM menores, deixando aberta a questão de saber se uma arquitetura híbrida SSM-Transformer pode ser competitiva quando treinada do zero em escala.

Metodologia

Os autores apresentam o Zamba2-VL, uma família de VLMs construída sobre a arquitetura híbrida Zamba2. O Zamba2 intercala um backbone de espaço de estado Mamba2 com um pequeno número de blocos Transformer compartilhados. Os blocos Transformer são aumentados com projetores LoRA para fornecer capacidades de recuperação em contexto, enquanto as camadas Mamba2 lidam com a maior parte da computação com complexidade de tempo linear e um estado recorrente fixo.

Arquitetura:

• Backbone: Zamba2 (variantes de 1.2B, 2.7B e 7B parâmetros).
• Codificador de Visão: O Vision Transformer (ViT) do Qwen2.5-VL, escolhido por seu uso de Embeddings de Posição Rotativos (RoPE) 2D e processamento nativo de resolução dinâmica, que preservam a estrutura espacial detalhada.
• Conector: Um adaptador MLP de duas camadas padrão que projeta características visuais para o espaço de embedding de linguagem. Ele agrupa janelas de 2x2 de embeddings de patch, reduzindo os tokens de visão por um fator de quatro.
• Embeddings de Posição: O modelo mantém os esquemas específicos de embedding de posição dos modelos base Zamba2 (RoPE 1D para 1.2B/7B, sem embedding rotativo para 2.7B) em vez de adotar uma variante de RoPE multimodal, para evitar requisitos excessivos de computação.

Pipeline de Treinamento:
O treinamento segue um currículo de três estágios:

1. Alinhamento: O adaptador MLP é treinado em dados de legenda de imagem de baixa resolução (LLaVA-ReCap-558K) enquanto o backbone e o codificador de visão permanecem congelados.
2. Pré-treinamento: O modelo completo é treinado em uma mistura heterogênea de ~30B de tokens. Este estágio aumenta deliberadamente os dados de compreensão de documentos e OCR para compensar o atraso inicial do backbone Zamba2 em tarefas densas em texto comparado aos Transformers puros.
3. Ajuste de Instrução (Instruction Tuning): O modelo é ajustado em ~20B de tokens de dados de seguimento de instrução curados, enfatizando conversação de múltiplos turnos, fundamentação (grounding - apontamento e caixas delimitadoras) e raciocínio.

Principais Contribuições

1. Primeiro VLM Híbrido Aberto SSM-Transformer: O Zamba2-VL é apresentado como a primeira família aberta de VLMs construída sobre um forte backbone híbrido SSM-Transformer, demonstrando que tais arquiteturas são substratos viáveis e competitivos para modelagem multimodal em escalas de 1.2B a 7B.
2. Design Arquitetônico e de Dados: O artigo detalha as escolhas arquitetônicas específicas (design do conector, integração de tokens visuais) e estratégias de composição de dados (especificamente o aumento de dados de documento/OCR) necessárias para estender um backbone híbrido para um VLM capaz.
3. Troca Eficiência-Precisão: O trabalho caracteriza o perfil de desempenho-eficiência destes modelos, mostrando que eles alcançam uma precisão competitiva contra os principais VLMs baseados em Transformer enquanto herdam as vantagens de velocidade de inferência do backbone Zzamba2.

Resultados

Os autores avaliaram o Zamba2-VL (1.2B, 2.7B, 7B) contra os principais VLMs baseados em Transformer de pesos abertos (Molmo2, Qwen3-VL, InternVL3.5, PerceptionLM) em benchmarks de compreensão de imagem, raciocínio, OCR, fundamentação e contagem.

• Precisão: O Zamba2-VL é amplamente competitivo com os baselines Transformer de escala comparável.
  • Contagem: Os modelos mostram um desempenho excepcional em contagem visual. O Zamba2-VL-1.2B obteve 62.5 no PixMoCount, quase o dobro da pontuação do InternVL3.5-1B (32.8). O modelo de 7B alcançou 85.3, colocando-o no topo de sua categoria.
  • Documento/OCR: Os modelos são competitivos no DocVQA, ChartQA e TextVQA, um resultado atribuído ao aumento deliberado de dados de documentos durante o pré-treinamento.
  • Raciocínio: Os modelos ficam ligeiramente atrás dos baselines Transformer mais fortes em benchmarks de raciocínio pesado (ex: MMMU, MathVista), um perfil que os autores atribuem a um pipeline de treinamento focado na aquisição de capacidade em vez de especialização de raciocínio do tipo RL.
• Eficiência: A descoberta mais significativa é a velocidade de inferência. O Zamba2-VL entrega aproximadamente um ordem de magnitude menor de Tempo para o Primeiro Token (TTFT) em comparação com os baselines Transformer em escalas de parâmetros equivalentes. Essa lacuna de eficiência é mais pronunciada nas escalas de 1.2B e 2.7B, que são críticas para implantação em dispositivos e na borda (edge).
• Estudos de Ablação:
  • Codificador de Visão: O ViT do Qwen2.5-VL superou significativamente o CLIP e o SigLIP-2, em grande parte devido ao seu RoPE 2D e tratamento de resolução dinâmica.
  • Backbone: Quando comparado a referências Llama-3.x sob condições de treinamento equivalentes, os backbones híbridos Zamba2 igualaram ou superaram os Transformers na maioria das tarefas de compreensão de imagem, mas ficaram atrás em tarefas de documentos densos em texto (que foram posteriormente mitigadas pelo aumento de dados). A lacuna de desempenho entre o Zamba2 e o Llama diminuiu significamente conforme a escala aumentou, com o modelo de 7B sendo quase indistinguível da referência Llama-3.1-8B.

Significância

O artigo afirma que o Zamba2-VL demonstra que LLMs híbridos SSM-Transformer são uma alternativa prática aos Transformers densos para backbones de VLM, particularmente em configurações de latência e memória limitadas. Os resultados sugerem que a "receita híbrida" — usar recorrência subquadrática para a maior parte da computação e uma pequena quantidade de atenção para recuperação — pode igualar a capacidade dos Transformers densos em escala, mantendo vantagens substanciais de eficiência de inferência. Os autores liberam os modelos e o código para fornecer uma base para pesquisadores e profissionais construírem sobre ela, visando especificamente cenários onde os custos de serviço e a latência são restrições vinculativas.