Resumen Técnico: Mitigación de la Salida del Manifold mediante la Rectificación de Subespacios Consciente de la Incertidumbre

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) sufren frecuentemente de alucinación de objetos, generando contenido que es fluido y plausible pero inconsistente con las entradas visuales. Este fenómeno se atribuye principalmente a una dependencia excesiva de los priors de lenguaje aprendidos durante el preentrenamiento, los cuales pueden invalidar la evidencia visual débil o ambigua.

Aunque las estrategias recientes de decodificación sin entrenamiento intentan mitigar esto penalizando los priors de lenguaje (por ejemplo, mediante decodificación contrastiva), los autores identifican un fallo crítico en estos enfoques: tratan los priors de lenguaje como uniformemente perjudiciales. En realidad, los priors desempeñan un doble papel:

• Perjudicial: Inducen alucinaciones cuando la evidencia visual y lingüística entran en conflicto (por ejemplo, predecir un "plátano amarillo" cuando la imagen muestra uno azul).
• Útil: Estabilizan y agudizan la generación cuando están alineados con la evidencia visual (por ejemplo, reforzando "amarillo" cuando la imagen es, efectivamente, un plátano amarillo).

La supresión indiscriminada de los priors interrumpe el manifold semántico interno del modelo, empujando los estados ocultos hacia regiones de baja densidad y degradando el rendimiento incluso en casos válidos. Los autores denominan a este modo de fallo Salida del Manifold (Manifold Departure).

2. Metodología: Proyección Adaptativa Guiada por el Manifold (MGAP)

Para abordar la Salida del Manifold, el artículo propone MGAP, un marco de decodificación consciente de la geometría y sin necesidad de entrenamiento. A diferencia de los métodos de supresión lineal global, MGAP realiza actualizaciones selectivas de subespacio que preservan la estructura semántica ortogonal del modelo.

2.1. Offline: Construcción del Subespacio de Prior de Lenguaje Libre de Etiquetas

MGAP primero construye una representación de baja dimensión de los priors de lenguaje sin requerir etiquetas ni contenido de imagen:

1. Recolección de Datos: El modelo procesa un conjunto de consultas textuales con una entrada "ciega" (por ejemplo, una imagen nula o perturbada) para extraer los estados ocultos de la última capa $\{h_{blind}^{(i)}\}$.
2. Estimación del Subespacio: Se forma una matriz centrada de estos estados ciegos y se aplica la Descomposición en Valores Singulares (SVD). Los $K$ vectores singulares derechos superiores ($V_{prior}$) definen el subespacio del prior de lenguaje, capturando las variaciones dominantes inducidas por las regularidades lingüísticas.

2.2. Online: Proyección Adaptativa Consciente de la Consistencia

Durante la decodificación multimodal estándar, MGAP interviene en cada paso $t$ para atenuar selectivamente los priors solo cuando es necesario:

1. Proyección: El estado oculto actual $h_{orig}$ se proyecta sobre el subespacio del prior: $h_{proj} = V_{prior}V_{prior}^\top h_{orig}$.
2. Verificación de Consistencia (Protección): La alineación entre el estado original y la proyección del prior se mide mediante la similitud de coseno. Se computa una puntuación de desajuste $\delta = 1 - \cos(h_{orig}, h_{proj})$. Un $\delta$ pequeño implica que el estado es consistente con el prior (no se requiere supresión).
3. Puerta de Incertidumbre: La incertidumbre predictiva se estima utilizando la entropía de Shannon ($H$) de la distribución de tokens. Se deriva un factor de puerta $\gamma = \tanh(\lambda H)$, que amplifica la intervención solo cuando el modelo está incierto.
4. Corrección Adaptativa: El estado oculto corregido se calcula como:
   $$h_{cut} = h_{orig} - \alpha \cdot \gamma \cdot \delta \cdot h_{proj}$$
   Esta formulación asegura que la corrección esté acotada y sea selectiva. Si la evidencia visual se alinea con el prior (bajo $\delta$) o el modelo tiene confianza (baja $H$), la operación se aproxima a un mapeo de identidad, preservando el manifold semántico.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Identificación de la Salida del Manifold: Los autores definen y analizan formalmente la "Salida del Manifold" como un modo de fallo geométrico donde la supresión lineal uniforme empuja los estados ocultos fuera del manifold semántico de alta densidad, explicando por qué los métodos existentes degradan el rendimiento incluso cuando los priors son correctos.
2. Propuesta de MGAP: Un nuevo marco de decodificación que aprende un subespacio de prior de lenguaje a partir de estados ciegos y aplica una proyección selectiva de subespacio consciente de la incertidumbre. Esto permite la supresión de alucinaciones sin perturbar los componentes semánticos ortogonales.
3. Validación Teórica y Empírica: El artículo proporciona pruebas teóricas que demuestran que las actualizaciones de MGAP están acotadas y son selectivas de subespacio. Experimentos extensos demuestran que MGAP logra compromisos superiores entre la mitigación de alucinaciones y la fidelidad descriptiva en comparación con los baselines previos.

4. Resultados Experimentales

Los autores evaluaron MGAP en dos backbones representativos (LLaVA v1.5-7B y Qwen3-VL-8B) a través de múltiples benchmarks:

• POPE (Alucinación de Objetos): MGAP superó consistentemente a la decodificación vanilla y a otros baselines sin entrenamiento (VCD, ICD, HalTrapper, DeCo, MoD) en las divisiones Random, Popular y Adversarial. Notablemente, mientras que métodos como VCD degradaron el rendimiento en las divisiones estándar, MGAP mejoró la Precisión y la puntuación F1 manteniendo una alta Exactitud.
• CHAIR (Leyenda de Imágenes): MGAP redujo significativamente las tasas de alucinación (menores puntuaciones CHAIR y CHAIRi) en comparación con todos los baselines, mejorando simultáneamente la precisión. Esto indica que la mitigación de alucinaciones se logró sin una generación excesivamente conservadora.
• Benchmark AMBER: MGAP se generalizó bien a este benchmark diverso, mostrando que el subespacio de prior aprendido captura propiedades estructurales transferibles de las alucinaciones más allá de protocolos de evaluación específicos.
• Eficiencia: A diferencia de los métodos de decodificación contrastiva que requieren múltiples pasadas hacia adelante (por ejemplo, VCD, ICD), MGAP opera dentro de una sola pasada hacia adelante. Redujo la latencia de inferencia aproximadamente un 50% en comparación con los baselines de contraste, permaneciendo totalmente libre de entrenamiento.

5. Significado y Reivindicaciones

El artículo sostiene que la supresión indiscriminada de los priors de lenguaje es una limitación fundamental de las estrategias actuales de decodificación sin entrenamiento. Al reformular el problema a través de la lente de la geometría de la representación, los autores demuestran que la Salida del Manifold es la causa raíz de la degradación del rendimiento en los métodos existentes.

La importancia de MGAP radica en su mecanismo de intervención selectiva. Al modelar los priors como un subespacio de bajo rango y aplicar una puerta adaptativa consciente de la incertidumbre, MGAP evita el enfoque de "instrumento romo" de los desplazamientos lineales globales. Los autores afirman que este enfoque permite que los MLLM retengan los beneficios estabilizadores de los priors de lenguaje cuando son correctos, mientras suprimen eficazmente cuando entran en conflicto con la evidencia visual, logrando así un proceso de decodificación más robusto y confiable.

El trabajo concluye que los priors de alucinación no son meros artefactos de benchmarks específicos, sino que exhiben propiedades estructurales transferibles en el espacio de representación, lo que sugiere que la corrección selectiva de priors es un mecanismo generalizable para mejorar los modelos de visión y lenguaje de gran escala.