Zamba2-VL Technical Report

Declaración del Problema

Los modelos de visión y lenguaje (VLM) se han convertido en la interfaz estándar para el razonamiento multimodal, apoyándose típicamente en un núcleo de Modelo de Lenguaje Grande (LLM) basado en Transformer. Sin embargo, el mecanismo de auto-atención en los Transformers incurre en costos computacionales cuadráticos durante la fase de pre-llenado (prefill) y requiere un caché de Clave-Valor (KV) que crece linealmente con la longitud de la secuencia. Esto se convierte en un cuello de botella severo para los modelos multimodales, donde una sola imagen de alta resolución o un clip de video puede generar miles o cientos de miles de tokens. Aunque existen mitigaciones en el lado de la entrada, como la compresión de tokens visuales, estas no alteran el comportamiento de escalado fundamental del núcleo.

Los modelos de espacio de estados (SSM), específicamente Mamba y Mamba2, ofrecen un procesamiento de secuencias de tiempo lineal y un estado recurrente de tamaño constante, resolviendo teóricamente estas restricciones de eficiencia. No obstante, los VLM basados en SSM previos han tenido dificultades con tareas que requieren una búsqueda precisa en el contexto (por ejemplo, localización visual y recuperación detallada), donde los mecanismos de atención siguen siendo superiores. Además, los robustos SSM-VLM existentes suelen ser destilados de modelos Transformer o construidos sobre núcleos SSM más pequeños, lo que deja abierta la pregunta de si una arquitectura híbrida SSM-Transformer puede ser competitiva cuando se entrena desde cero a escala.

Metodología

Los autores presentan Zamba2-VL, una familia de VLM construida sobre la arquitectura híbrida Zamba2. Zamba2 intercala un núcleo de espacio de estados Mamba2 con un número reducido de bloques Transformer compartidos. Los bloques Transformer están aumentados con proyectores LoRA para proporcionar capacidades de recuperación en contexto, mientras que las capas Mamba2 gestionan la mayor parte de la computación con complejidad de tiempo lineal y un estado recurrente fijo.

Arquitectura:

• Núcleo (Backbone): Zamba2 (variantes de 1.2B, 2.7B y 7B de parámetros).
• Codificador de Visión: El Vision Transformer (ViT) de Qwen2.5-VL, elegido por su uso de Embeddings de Posición Rotatorios 2D (RoPE) y su procesamiento nativo de resolución dinámica, lo que preserva la estructura espacial detallada.
• Conector: Un adaptador MLP de dos capas estándar que proyecta las características visuales al espacio de embedding del lenguaje. Este realiza un agrupamiento (pooling) de ventanas de 2x2 de los embeddings de parches, reduciendo los tokens de visión por un factor de cuatro.
• Embeddings de Posición: El modelo retiene los esquemas de embedding de posición específicos de los modelos base Zamba2 (RoPE 1D para 1.2B/7B, sin embedding rotatorio para 2.7B) en lugar de adoptar una variante de RoPE multimodal, para evitar requerimientos computacionales excesivos.

Pipeline de Entrenamiento:
El entrenamiento sigue un currículo de tres etapas:

1. Alineación: El adaptador MLP se entrena con datos de imagen-leyenda de baja resolución (LLaVA-ReCap-558K) mientras el núcleo y el codificador de visión permanecen congelados.
2. Preentrenamiento: El modelo completo se entrena en una mezcla heterogénea de aproximadamente 30B de tokens. Esta etapa aumenta deliberadamente los datos de comprensión de documentos y OCR para compensar el retraso inicial del núcleo Zamba2 en tareas densas en texto en comparación con los Transformers puros.
3. Ajuste de Instrucciones (Instruction Tuning): El modelo se ajusta con aproximadamente 20B de tokens de datos curados de seguimiento de instrucciones, enfatizando la conversación de múltiples turnos, localización (puntos y cajas delimitadoras) y razonamiento.

Contribuciones Clave

1. Primer VLM Híbrido SSM-Transformer Abierto: Zamba2-VL se presenta como la primera familia abierta de VLM construida sobre un núcleo híbrido fuerte de SSM-Transformer, demostrando que tales arquitecturas son sustratos viables y competitivos para el modelado multimodal en escalas de 1.2B a 7B.
2. Diseño Arquitectónico y de Datos: El artículo detalla las elecciones arquitectónicas específicas (diseño del conector, integración de tokens de visión) y las estrategias de composición de datos (específicamente el sobremuestreo de datos de documentos/OCR) requeridas para extender un núcleo híbrido hacia un VLM capaz.
3. Relación Eficiencia-Precisión: El trabajo caracteriza el perfil de rendimiento-eficiencia de estos modelos, mostrando que logran una precisión competitiva contra los principales VLM basados en Transformer mientras heredan las ventajas de velocidad de inferencia del núcleo Zamba2.

Resultados

Los autores evaluaron Zamba2-VL (1.2B, 2.7B, 7B) frente a los principales VLM basados en Transformer de pesos abiertos (Molmo2, Qwen3-VL, InternVL3.5, PerceptionLM) a través de benchmarks de comprensión de imágenes, razonamiento, OCR, localización y conteo.

• Precisión: Zamba2-VL es ampliamente competitivo con las bases de referencia Transformer de escala comparable.
  • Conteo: Los modelos muestran un desempeño excepcional en el conteo visual. Zamba2-VL-1.2B obtuvo 62.5 en PixMoCount, casi el doble de la puntuación de InternVL3.5-1B (32.8). El modelo de 7B alcanzó 85.3, situándose en la cima de su categoría.
  • Documentos/OCR: Los modelos son competitivos en DocVQA, ChartQA y TextVQA, un resultado atribuido al sobremuestreo deliberado de datos de documentos durante el preentrenamiento.
  • Razonamiento: Los modelos se quedan ligeramente rezagados frente a las bases de referencia Transformer más fuertes en benchmarks de razonamiento pesado (ej. MMMU, MathVista), un perfil que los autores atribuyen a un pipeline de entrenamiento enfocado en la adquisición de capacidades más que en la especialización de razonamiento tipo RL.
• Eficiencia: El hallazgo más significativo es la velocidad de inferencia. Zamba2-VL ofrece un Tiempo de Primer Token (TTFT) aproximadamente un orden de magnitud menor en comparación con las bases de referencia Transformer a escalas de parámetros equivalentes. Esta brecha de eficiencia es más pronunciada en las escalas de 1.2B y 2.7B, que son críticas para el despliegue en dispositivos y en el borde (edge).
• Estudios de Ablación:
  • Codificador de Visión: El ViT de Qwen2.5-VL superó significativamente a CLIP y SigLIP-2, debido principalmente a su RoPE 2D y manejo de resolución dinámica.
  • Núcleo (Backbone): Al compararse con las referencias de Llama-3.x bajo condiciones de entrenamiento equivalentes, los núcleos híbridos Zamba2 igualaron o superaron a los Transformers en la mayoría de las tareas de comprensión de imágenes, pero se quedaron atrás en tareas de documentos densos en texto (que fueron mitigadas posteriormente mediante el sobremuestreo de datos). La brecha de rendimiento entre Zamba2 y Llama se redujo significamente a medida que aumentó la escala, siendo el modelo de 7B casi indistinguible de la referencia Llama-3.1-8B.

Significancia

El artículo afirma que Zamba2-VL demuestra que los LLM híbridos SSM-Transformer son una alternativa práctica a los Transformers densos para los núcleos de VLM, particularmente en entornos con restricciones de latencia y memoria. Los resultados sugieren que la "receta híbrida" —usar recurrencia subcuadrática para la mayor parte de la computación y una pequeña cantidad de atención para la recuperación— puede igualar la capacidad de los Transformers densos a escala, manteniendo ventajas sustanciales de eficiencia de inferencia. Los autores liberan los modelos y el código para proporcionar una base sobre la cual investigadores y profesionales puedan construir, apuntando específicamente a escenarios donde los costos de servicio y la latencia son factores limitantes.