Resumen Técnico: Alineación de Representación a Nivel de Cabezal (HeRA) para LLMs Multimodales

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han demostrado capacidades significativas en tareas de visión y lenguaje, sin embargo, continúan luchando con desafíos fundamentales de razonamiento visual, tales como el conteo de objetos, la comprensión de relaciones espaciales y el análisis visual denso. Las mejoras actuales en los MLLMs están impulsadas principalmente por el escalado de datos y el tamaño del modelo, en lugar de intervenciones principistas en sus mecanismos internos.

Una limitación primaria de los métodos de alineación de representación existentes —que regularizan las representaciones internas de un MLLM para que coincidan con las de un codificador de visión externo— es su dependencia de la alineación de una capa fija del backbone de lenguaje (por ejemplo, la capa intermedia). Este enfoque pasa por alto la estructura interna fina de los modelos Transformer. Además, la alineación rígida de características en los MLLMs, que poseen fuertes sesgos lingüísticos preentrenados, puede entrar en conflicto con el objetivo de modelado de lenguaje, lo que potencialmente conduce a un rendimiento subóptimo o a una interferencia catastrófica.

Metodología: Alineación de Representación a Nivel de Cabezal (HeRA)

Los autores proponen HeRA, un método que impone la alineación transmodal al nivel de los cabezales de atención individuales en lugar de capas gruesas y fijas. El enfoque se fundamenta en la Hipótesis de la Representación Platónica (PRH), la cual postula que las representaciones a través de diferentes modalidades comparten estructuras de vecindad local (topología) consistentes, incluso si sus geometrías globales difieren.

Componentes Principales

1. Alineación Topológica mediante MKNN:
   El método utiliza la métrica de Vecino Más Cercano Mutuo (MKNN) para medir el acuerdo entre las estructuras de vecindad local de las representaciones textuales y visuales. Los puntajes altos de MKNN indican que entradas semánticamente similares comparten vecinos similares en los espacios latentes de lenguaje y visión.

2. Proxy Contrastivo Diferenciable:
   Dado que la métrica MKNN no es diferenciable (depende de índices de vecinos discretos), HeRA introduce un objetivo contrastivo como un proxy diferenciable. Para una entrada multimodal dada, el modelo es entrenado para acercar su representación a las representaciones de sus $k$ vecinos más cercanos (calculados en el espacio de un codificador de visión maestro congelado) mientras la aleja de otras muestras en el lote. Esto se implementa utilizando una variante multi-objetivo de la pérdida InfoNCE.

3. Granularidad a Nivel de Cabezal:
   En lugar de alinear toda la salida agrupada de una capa, HeRA aisla la contribución proyectada de los cabezales de atención individuales. Para una capa de atención de múltiples cabezales, la salida se descompone en contribuciones de cada cabezal ($h$) en la capa ($l$). La pérdida contrastiva se aplica de forma independiente a estas representaciones específicas a nivel de cabezal.

4. Selección Estratégica de Cabezales:
   Una decisión de diseño crítica es determinar qué cabezales alinear. Los autores computan los puntajes MKNN para todos los cabezales utilizando el modelo de lenguaje antes del entrenamiento multimodal (representaciones puramente textuales). Contrario a la intuición de que se debe alinear los "mejores" cabezales, los experimentos revelan que apuntar a los cabezales menos alineados (los "Worst-5") produce las mayores ganancias de rendimiento. Esta estrategia fortalece los componentes desalineados sin perturbar las estructuras ya bien alineadas o la tarea central de modelado de lenguaje.

Contribuciones Clave

• Alineación de Grano Fino: Ir más allá de la alineación de capas fijas para operar al nivel de los cabezales de atención individuales, permitiendo intervenciones más atómicas en el modelo.
• Enfoque Topológico: Cambiar de la coincidencia estricta de características a la preservación de estructuras topológicas locales (relaciones de vecindad) entre modalidades, alineándose con la PRH.
• Estrategia de Selección Contraintuitiva: Identificar que alinear los cabezales de atención menos alineados proporciona una regularización y mejoras de rendimiento superiores en comparación con alinear cabezales bien alineados o subconjuntos aleatorios.
• Regularización contra Alucinaciones: Demostrar que la alineación topológica frena naturalmente la dependencia excesiva del modelo en los sesgos lingüísticos, reduciendo así las alucinaciones visuales.

Resultados Experimentales

Los autores evaluaron HeRA a través de múltiples MLLMs (incluyendo familias Vicuna, LLaMA3, Qwen2.5 y Qwen3 que van desde 3B hasta 14B parámetros) y 18 benchmarks.

• Tareas Centradas en la Visión: HeRA mejora consistentemente el rendimiento en benchmarks desafiantes centrados en la visión (ej. RWQA, MMVP, Blink, CVBench). Por ejemplo, Qwen3-8B logró una mejora promedio de +3.6 en tareas de visión, y Qwen2.5-14B observó una ganancia de +3.4.
• Capacidades Generales: A diferencia de métodos previos que a veces degradan el rendimiento lingüístico general, HeRA preserva o mejora los puntajes en Conocimiento General, OCR y tareas de Conocimiento, indicando una mitigación exitosa de la interferencia catastrófica.
• Reducción de Alucinaciones: Los modelos entrenados con HeRA muestran tasas de alucinación reducidas (medidas por los benchmarks CHAIR y AMBER) mientras mantienen o mejoran los puntajes cognitivos, sugiriendo una integración más fiel de la evidencia visual.
• Hallazgos de Ablación:
  • Alinear los cabezales "Worst-5" supera la alineación de los "Top-5" o de cabezales aleatorios.
  • Alinear demasiados cabezales (ej. 10) conduce a una regresión del rendimiento, confirmando la necesidad de una alineación selectiva.
  • Los objetivos de aprendizaje contrastivo superan la coincidencia directa de características (similitud de coseno) al mismo nivel de granularidad.
  • El uso de codificadores de visión basados en DINO como maestros produce mejores resultados que usar el mismo codificador utilizado para la entrada visual primaria (SigLIP2).

Significancia

El artículo afirma que HeRA ofrece un enfoque principista para mejorar los MLLMs mediante la intervención directa en la interacción entre visión y lenguaje. Al apuntar a cabezales de atención específicos y exigir consistencia topológica en lugar de una coincidencia de características rígida, HeRA aborda el déficit de percepción visual en los MLLMs sin comprometer sus sesgos lingüísticos. El trabajo sugiere que los componentes "menos alineados" de un modelo multimodal son los objetivos más críticos para la mejora, proporcionando una nueva dirección para las estrategias de regularización en el aprendizaje multimodal. El código ha sido publicado para facilitar la investigación posterior.