Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

1. Declaración del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLM) a menudo fallan en tareas visuales complejas (por ejemplo, gráficos, percepción de alta resolución, matemáticas visuales) debido a la falta de evidencia visual o a su localización deficiente. Aunque herramientas externas (recorte, búsqueda, generación) pueden proporcionar esta evidencia, introducen latencia, complejidad y problemas de generalización. Una alternativa es el razonamiento latente visual, donde el modelo emite tokens latentes continuos para representar evidencia visual intermedia internamente.

Sin embargo, los métodos existentes de razonamiento latente sufren de ganancias inestables y a menudo producen mejoras insignificantes después del entrenamiento posterior. Los autores identifican una disparidad fundamental en el espacio de características como la causa principal:

• Problema de la Arquitectura Pre-norm: Los MLLM modernos (por ejemplo, Qwen2.5-VL, Gemma 4) utilizan transformadores pre-norm. En estas arquitecturas, las normas de los estados ocultos se acumulan significativamente a través de las capas, lo que resulta en estados de la capa final que son órdenes de magnitud más grandes (por ejemplo, ~8.7× para visión, ~546× para texto) que las incrustaciones de entrada que el modelo fue entrenado para consumir.
• La Disparidad: Los métodos latentes actuales suelen reutilizar estos estados ocultos de salida de alta norma directamente como entradas para el siguiente token latente ("salida-como-entrada"). Esto crea un bucle de retroalimentación donde el modelo recibe entradas de una distribución para la cual no fue entrenado para procesar, desestabilizando la optimización y haciendo que el canal latente sea poco fiable.

2. Metodología: El Marco GAP

Los autores proponen GAP (Paradigma de Alineación Granular), una estrategia de alineación de tres niveles para estabilizar y mejorar el razonamiento latente visual.

A. Alineación a Nivel de Características: Cabeza Latente Alineada por PCA

Para resolver la disparidad de norma y subespacio, GAP no alimenta los estados decodificados crudos de vuelta al modelo. En su lugar:

• Proyección: Los estados ocultos finales del núcleo (después de la RMSNorm nativa) se mapean mediante una cabeza latente alineada por PCA ligera hacia el subespacio principal de las incrustaciones de visión de imágenes auxiliares.
• Reconstrucción: El modelo predice coeficientes PCA de baja dimensionalidad ($c_t$) en lugar de vectores de dimensionalidad completa. Estos se reconstruyen utilizando la media empírica ($\mu$) y los $k$-primeros vectores propios ($P_k$) de las incrustaciones de visión del conjunto de entrenamiento: $\hat{v}_t = P_k c_t + \mu$.
• Efecto: Esto obliga a los latentes generados a residir en el mismo régimen de norma y subespacio empírico que las incrustaciones de visión de entrada, corrigiendo la disparidad en el espacio de características sin requerir el reentrenamiento del núcleo.

B. Alineación a Nivel de Datos: Supervisión Anclada al Contexto

Para asegurar que los objetivos latentes sean interpretables e inspeccionables, los autores construyen un conjunto de datos de 49.309 ejemplos curados donde:

• Imágenes Auxiliares: Cada consulta se empareja con una "imagen auxiliar" generada que representa la evidencia visual faltante.
• Salida Estructurada: La respuesta de entrenamiento incluye un segmento <latent> (supervisado por características de ViT congeladas de la imagen auxiliar) y un segmento <parser> (una descripción textual de la señal visual pretendida).
• Objetivo: Esto vincula vectores latentes continuos con intenciones visuales específicas y legibles por humanos, haciendo transparente el proceso de entrenamiento.

C. Alineación a Nivel de Modelo: Asignación Consciente de la Dificultad

Para evitar que el ruido aplique supervisión latente a ejemplos que el modelo base ya resuelve:

• Estrategia de Selección: El sistema estima la precisión del modelo base en una consulta mediante muestreo repetido.
• Supervisión Condicional: Los objetivos latentes se asignan solo cuando el modelo base falla (precisión $\le \tau$). Los ejemplos fáciles reciben supervisión estándar solo de texto.
• Beneficio: Esto centra la capacidad latente en casos difíciles donde el razonamiento visual es realmente necesario, evitando desplazamientos de distribución en tareas fáciles.

3. Contribuciones Clave

1. Diagnóstico de la Disparidad en el Espacio de Características: El artículo demuestra empíricamente que en MLLM pre-norm, los estados ocultos de salida ocupan un régimen de norma diferente al de las incrustaciones de entrada, causando inestabilidad en la retroalimentación latente de salida-como-entrada. Un simple redimensionamiento de norma (EMA) mejora el rendimiento, validando esta hipótesis.
2. El Paradigma GAP: Una receta ligera que combina:
   • Proyección alineada por PCA para mapear latentes de vuelta al subespacio de visión de entrada.
   • Supervisión anclada al contexto para la inspeccionabilidad.
   • Asignación consciente de la dificultad para la estabilidad del entrenamiento.
3. Conjunto de Datos Abierto: Lanzamiento de un conjunto de datos multimodal de alta calidad de 49K con supervisión latente que cubre CoT visual, gráficos, geometría y matemáticas.
4. Validación Empírica: Demostración de que los latentes alineados portan señales visuales relevantes para la tarea más allá de meros espacios de tokens.

4. Resultados Experimentales

Evaluado en Qwen2.5-VL 7B, el modelo GAP completo (LH+PCA+DA) se comparó contra el modelo base, líneas base de descripción densa y métodos latentes anteriores (Monet, LVR).

• Rendimiento: GAP logró el mejor rendimiento agregado medio en benchmarks de percepción (HRBench4K, MMStar, MME-RealWorld-Lite) y razonamiento (MathVista, WeMath).
  • Mejoró el agregado de razonamiento (Avg-R) en +5.98 sobre Monet y +6.31 sobre LVR.
  • Mejoró el agregado de percepción (Avg-P) en +1.74 sobre Monet.
• Estudios de Ablación:
  • Alineación PCA: Esencial para recuperar la precisión de razonamiento perdida por cabezas latentes ingenuas.
  • Asignación Consciente de la Dificultad: Crucial para prevenir la degradación del rendimiento en ejemplos fáciles.
  • Presupuesto de Tokens: El rendimiento alcanza su punto máximo en 36 tokens latentes (cuadrícula de 6x6); aumentar más produce rendimientos decrecientes o saturación.
• Sondeo de Intervención:
  • Checkpoint de Cero-Latente: Incluso sin generar latentes en la inferencia, el modelo entrenado con supervisión latente superó a la descripción densa, lo que sugiere que el proceso de entrenamiento en sí mismo moldea mejores representaciones.
  • Inyección de Ruido: Reemplazar los coeficientes PCA predichos con ruido gaussiano degradó significativamente el rendimiento, confirmando que los latentes generados contienen señales visuales relevantes para la tarea, no solo artefactos de formato.

5. Significado y Afirmaciones

El artículo afirma que el razonamiento latente visual puede hacerse robusto y efectivo en MLLM abordando las incompatibilidades arquitectónicas específicas de los transformadores pre-norm.

• Afirmaciones Moderadas: Los autores no afirman resolver la alucinación por completo ni ser universalmente aplicables a todos los núcleos sin más validación. Señalan que el "umbral de dificultad" es heurístico y que el enfoque depende de la capacidad de generar imágenes auxiliares significativas durante la construcción de datos.
• Insight Central: La contribución principal es la identificación de la disparidad de norma/subespacio como un modo de fallo y la demostración de que una ruta de reconstrucción ligera basada en PCA puede alinear la retroalimentación visual continua con la distribución de entrada del modelo, permitiendo un razonamiento visual estable e interpretable sin herramientas externas.