Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

Resumen Técnico: Proyector Multimodal Basado en Consultas que Refuerza el Mamba Multimodal LLM

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) dependen actualmente de forma intensiva de arquitecturas Transformer, las cuales sufren una complejidad computacional y de memoria cuadrática en relación con la longitud de la secuencia de entrada. Este cuello de botella limita la escalabilidad de los MLLMs e impone cargas computacionales insostenibles. Si bien el Modelo de Espacio de Estado Estructurado de Escaneo Selectivo (Mamba) ofrece una alternativa prometedora con complejidad lineal e inferencia eficiente, su aplicación al modelado multimodal sigue siendo poco explorada. Específicamente, los intentos existentes para integrar Mamba en los MLLMs enfrentan dos desafíos principales: (1) la necesidad de diseñar manualmente órdenes de escaneo 2D heurísticos (por ejemplo, bidireccionales o de dirección cruzada) para convertir las características de la imagen en secuencias 1D, y (2) la falta de flexibilidad en el submuestreo de la longitud de los tokens visuales, lo que a menudo resulta en longitudes de secuencia excesivas que niegan los beneficios de eficiencia de Mamba.

Metodología
Los autores proponen Querying Mamba, una arquitectura novedosa que introduce un proyector transmodal basado en consultas para conectar codificadores de visión preentrenados con LLMs basados en Mamba. La metodología se estructura en torno a tres componentes principales:

1. Arquitectura del Proyector Q-Mamba:

   • El proyector utiliza una pila de bloques Q-Mamba, cada uno compuesto por una capa Mamba, un mecanismo de atención cruzada y una red de alimentación hacia adelante (feedforward).
   • Consultas Aprendibles (Learnable Queries): En lugar de procesar directamente los tokens de imagen brutos, el modelo emplea un conjunto de incrustaciones de consulta aprendibles. Estas consultas interactúan con las características visuales de un codificador de visión preentrenado y congelado (SigLIP) mediante atención cruzada.
   • Prior Causal: Se aplica una capa Mamba unidireccional a las consultas para introducir dependencias causales, asegurando que la secuencia proyectada sea compatible con el procesamiento secuencial del LLM.
   • Máscara de Atención Local: El mecanismo de atención cruzada emplea una máscara de atención local, donde cada consulta atiende exclusivamente a un subconjunto específico de claves (keys), facilitando la extracción enfocada de distintos componentes visuales.

2. Compresión y Alineación de Tokens Visuales:

   • El proyector comprime dinámicamente la información visual 2D en una secuencia de tokens causales 1D.
   • Al ajustar el número de consultas aprendibles, el modelo puede submuestrear eficazmente la longitud de la secuencia de características visuales, reduciendo la carga computacional sobre el backbone del LLM sin requerir definiciones manuales de orden de escaneo.

3. Entrenamiento del Mamba LLM Multimodal:

   • El sistema integra un Mamba LLM preentrenado (2.8B de parámetros) con el codificador de visión a través del proyector Q-Mamba.
   • El entrenamiento sigue un paradigma de dos etapas:
     • Etapa 1 (Alineación): El proyector se alinea con el LLM congelado utilizando un conjunto de datos filtrado de seguimiento de instrucciones visuales (CC3M).
     • Etapa 2 (Ajuste Fino de Extremo a Extremo): Tanto el proyector como el LLM se ajustan mediante un conjunto de datos combinado (LLaVA v1.5, LVIS-Instruct-4V, LRV-Instruct) para mejorar la integración visión-lenguaje y mitigar las alucinaciones.

Contribuciones Clave

• Querying Mamba: La introducción de un conector multimodal basado en Mamba que utiliza atención cruzada y consultas aprendibles para submuestrear adaptativamente la longitud de los tokens visuales, eliminando la necesidad de órdenes de escaneo 2D heurísticos.
• Exploración Arquitectónica: Una investigación sistemática de los componentes del conector multimodal, incluyendo el uso de Mamba bidireccional para el preprocesamiento, redes de alimentación hacia adelante para la mezcla de canales y la longitud óptima de la secuencia de consultas.
• Evaluación Exhaustiva: Un benchmarking extensivo del MLLM propuesto en seis tareas diversas de comprensión de visión-lenguaje, demostrando mejoras tanto en rendimiento como en capacidad de procesamiento (throughput) en comparación con los Mamba-MLLMs existentes.

Resultados Experimentales
El modelo propuesto fue evaluado en seis referentes: VQAv2, GQA, VizWiz, VQAT, POPE y MMBench.

• Rendimiento: El modelo con 729 consultas aprendibles logró el mayor rendimiento general, superando a los modelos basados en Mamba de última generación (Cobra y VL-Mamba) en la mayoría de las métricas. Por ejemplo, alcanzó una puntuación de 75.62 en VQAv2 y 58.33 en GQA.
• Análisis de la Longitud de Consulta: Aumentar el recuento de consultas de 128 a 256 produjo ganancias sustanciales. Sin embargo, aumentos posteriores a 512 y 729 mostraron rendimientos decrecientes. Notablemente, las métricas para VizWiz (preguntas no contestables) y POPE (alucinación) exhibieron una relación inversa con el tamaño de la consulta, lo que sugiere que un exceso de consultas puede introducir datos extraños que complican la toma de decisiones.
• Capacidad de Procesamiento (Throughput): La capacidad de submuestreo dinámico redujo significamente la carga computacional. El modelo propuesto logró tiempos de entrenamiento (5.52 seg/iter) e inferencia (0.095 seg/iter) más rápidos en comparación con Cobra (7.62/0.129) y VL-Mamba (7.26/0.152).
• Estudios de Ablación:
  • Mecanismo de Atención: La atención local superó significativamente a la atención global.
  • Preentrenamiento: Utilizar pesos de un VL-Mamba entrenado para el conector bidireccional mejoró el rendimiento en comparación con el entrenamiento desde cero.
  • Orden de Escaneo: Curiosamente, aunque el modelo fue entrenado con escaneo bidireccional, la inferencia utilizando solo un escaneo hacia adelante no degradó el rendimiento y, en algunos casos, lo mejoró.

Significancia y Reivindicaciones
El artículo afirma que el proyector transmodal basado en consultas propuesto refuerza eficazmente la eficiencia de Mamba para el modelado de visión-lenguaje. Al comprimir los tokens visuales basándose en el contexto de entrada mediante atención cruzada, la arquitectura elimina la dependencia de órdenes de escaneo 2D diseñados manualmente, una limitación en los codificadores de visión basados en Mamba anteriores. Los autores sostienen que este enfoque mejora tanto el rendimiento como la capacidad de procesamiento de los Mamba-MLLMs, ofreciendo una solución escalable para tareas multimodales.

Limitaciones
Los autores reconocen varias limitaciones:

• Restricciones de Conjuntos de Datos: Los conjuntos de datos de entrenamiento y ajuste fino (LLaVA-LLVIS, LLaVA-1.5) son más pequeños de lo que se utilizan típicamente para los grandes modelos de lenguaje, lo que podría restringir la generalización.
• Duración del Entrenamiento: El modelo fue entrenado durante solo una época por etapa, mientras que los modelos comparables suelen utilizar dos, lo que puede afectar la robustez.
• "Olvido" de Mamba: La naturaleza secuencial de los estados ocultos de Mamba puede dar lugar a problemas de olvido con entradas largas, de forma similar a las RNN.
• Trabajo Futuro: Los autores sugieren que un preentrenamiento más extenso de Q-Mamba (incluyendo el aprendizaje contrastivo) y la inicialización con pesos de un Mamba LLM compacto podrían mejorar aún más el rendimiento. También señalan el potencial de sesgo y alucinación inherente a los grandes modelos de lenguaje.