ZAYA1-VL-8B Technical Report

Basado en el informe técnico proporcionado, aquí se presenta un resumen detallado del artículo sobre ZAYA1-VL-8B.

Planteamiento del Problema

Los Modelos Visión-Lenguaje (VLM) han evolucionado rápidamente, sin embargo, persisten varios desafíos antes de que puedan considerarse completamente maduros. Estos incluyen alucinaciones del modelo, altos costos computacionales para entradas de alta resolución y dificultades en el despliegue eficiente. Una limitación arquitectónica específica identificada en el artículo es que los VLM estándar a menudo enrutan los tokens de visión y lenguaje a través de parámetros de modelo idénticos, forzando representaciones compartidas a servir dos modalidades con propiedades estadísticas fundamentalmente diferentes. Esto puede crear interferencia, particularmente en arquitecturas de Mezcla de Expertos (MoE) donde el enrutamiento de expertos se aprende principalmente a partir de datos de lenguaje. Además, el uso estándar de máscaras de atención causal para tokens de imagen es subóptimo porque los parches de imagen carecen de un ordenamiento inherente de izquierda a derecha, impidiendo arbitrariamente que los parches anteriores atiendan a los posteriores y limitando la captura de la estructura visual global. Además, el ecosistema depende en gran medida de modelos propietarios o de datos sintéticos destilados de ellos, lo que limita la reproducibilidad y la visibilidad de los ingredientes que impulsan el rendimiento.

Metodología

Los autores presentan ZAYA1-VL-8B, un VLM compacto construido sobre su modelo de lenguaje MoE interno, ZAYA1-8B-A1B. El modelo comprende un total de 9.2 mil millones de parámetros con 1.4 mil millones de parámetros activos (incluyendo el codificador de visión). La arquitectura integra cuatro componentes principales: un LLM solo de decodificador, un codificador de visión (basado en Qwen2.5-VL), un preprocesador de imágenes y un adaptador de visión.

El artículo detalla dos innovaciones arquitectónicas clave diseñadas para abordar las limitaciones del intercambio de parámetros y el enmascaramiento causal:

1. Adaptadores LoRA Específicos de Visión: En lugar de añadir nuevos expertos al esqueleto MoE (lo que aumentaría el tamaño del modelo y los requisitos de datos), los autores integran adaptadores de Adaptación de Bajo Rango (LoRA) en los pesos lineales de las capas de atención y MLP dentro del LLM. Estos adaptadores se activan únicamente cuando los tokens de visión se pasan al LLM. Se entrenan junto con los pesos estándar durante la fase principal de entrenamiento, comenzando desde cero con un término de decaimiento de pesos para evitar la divergencia de las vías de texto. Esto aumenta la capacidad específica de la modalidad sin aumentar sustancialmente el tamaño del modelo.
2. Atención Bidireccional sobre Tokens de Imagen: Los autores eliminan la máscara causal para los tokens de visión dentro de las capas de atención del LLM. Esto permite una atención bidireccional completa entre todos los tokens visuales, restaurando la simetría espacial y alineando el patrón de atención de los tokens visuales dentro del LLM con el del codificador de visión. Los tokens de texto conservan el enmascaramiento causal estándar.

Pipeline de Entrenamiento:
El entrenamiento sigue un currículo de múltiples etapas:

• Alineación: Entrenamiento solo del adaptador de visión sobre datos de descripción de imágenes de baja resolución (LLaVA-ReCap-558K) con el LLM congelado.
• Preentrenamiento: Entrenamiento conjunto de todos los parámetros en 30 millones de muestras multimodales. Esta etapa introduce una nueva plantilla de chat y aumenta progresivamente el límite de resolución de imagen de 0.8 MP a 6.3 MP.
• Expansión de la Capa de Incrustación: Expansión de la capa de incrustación del LLM para acomodar tokens especiales para tareas de anclaje (cajas delimitadoras y puntos) mientras se mantiene el resto del modelo fijo.
• Ajuste de Instrucciones: Entrenamiento de extremo a extremo en 20 millones de muestras curadas de texto y multimodales, introduciendo datos de anclaje en forma de cajas delimitadoras y apuntado.

El pipeline de entrenamiento utiliza un pipeline de datos completamente en streaming con empaquetado de secuencias eficiente y enmascaramiento de atención cuidadosamente diseñado (incluyendo enmascaramiento de conversación) para manejar longitudes de secuencia heterogéneas y maximizar la utilización de la GPU.

Contribuciones Clave

1. Demostración de la Viabilidad de MoE: El artículo demuestra que su LLM MoE personalizado (ZAYA1-8B-A1B) es capaz de impulsar un VLM robusto, mostrando que los beneficios de los MoE en lenguaje se transfieren fluidamente a las tareas de VLM.
2. Mecanismos Arquitectónicos Nuevos: La introducción de adaptadores LoRA específicos de visión y atención bidireccional sobre tokens de imagen como mecanismos ligeros para abordar la interferencia de modalidades y las limitaciones del enmascaramiento causal, ofreciendo un nuevo enfoque para extender los LLM MoE a VLM.
3. Eficiencia y Rendimiento: ZAYA1-VL-8B demuestra un rendimiento sólido por FLOP de inferencia y eficiencia de muestra en términos de tokens de entrenamiento.
4. Lanzamiento de Código Abierto: El modelo, los puntos de control de entrenamiento y el código de inferencia se ponen a disposición del público de la comunidad de investigación.

Resultados

ZAYA1-VL-8B fue evaluado en una diversa suite de puntos de referencia que cubren comprensión de documentos, percepción, razonamiento, conteo y anclaje.

• Puntos de Referencia Generales: El modelo logra un rendimiento competitivo con modelos base líderes como Molmo2-4B e InternVL3.5-4B. Supera a modelos que incluyen Qwen2.5-VL-3B, PLM-3B y MolmoE-8B en puntos de referencia de comprensión de imágenes, razonamiento y conteo (por ejemplo, AI2D, ChartQA, DocVQA, CountBenchQA).
• Puntos de Referencia de Anclaje: En Point-Bench, ZAYA1-VL-8B logra una puntuación promedio de 58.0, igualando a MolmoE-8B-A1B y superando a modelos densos más pequeños como Qwen3-VL-2B. En RefCOCO, logra un promedio general de 84.3, colocándose competitivamente entre modelos con significativamente más parámetros activos.
• Estudios de Ablación: Los experimentos confirmaron que la atención bidireccional para tokens de imagen mejora las tareas de comprensión de documentos e imágenes, mientras que los adaptadores LoRA específicos de visión producen mejoras claras de rendimiento sobre las líneas base sin adaptadores.

Significado

El artículo afirma que ZAYA1-VL-8B demuestra que un esqueleto MoE bien diseñado, combinado con un pipeline eficiente en datos, puede impulsar un VLM altamente capaz a una fracción tanto del cómputo activo como del presupuesto de datos de modelos comparables. Al publicar el modelo como código abierto, los autores tienen como objetivo proporcionar una base práctica para la comunidad de investigación, ofreciendo visibilidad completa de los ingredientes que impulsan un rendimiento sólido. El trabajo destaca que la curaduría cuidadosa de datos y las innovaciones arquitectónicas dirigidas pueden producir una comprensión visual generalista robusta sin la necesidad de conteos masivos de parámetros o destilación de datos propietarios. Las direcciones futuras mencionadas incluyen incorporar RoPE multimodal directamente en el esqueleto del LLM y escalar el corpus de entrenamiento para la comprensión de video.