SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem

Resumen Técnico: Schr¨oMind

Título original: Schr¨oMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schr¨odinger Bridge Problem

1. El Problema: Alucinaciones en MLLMs

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han demostrado capacidades excepcionales en tareas visuales y textuales. Sin embargo, sufren de un problema crítico: las alucinaciones de objetos, donde el modelo genera descripciones textuales que contradicen el contenido visual de la imagen.

Los autores identifican que el problema no es necesariamente una falta de comprensión visual, sino una dificultad para producir secuencias de tokens precisas. Debido a la naturaleza autorregresiva de la generación de texto, pequeñas perturbaciones pueden desviar la atención del modelo de un estado veraz a uno falso, y una vez que el error ocurre, el modelo tiene dificultades para corregirlo. Las soluciones actuales suelen ser costosas (ajuste fino de parámetros) o afectan la fluidez del lenguaje (intervenciones en el tiempo de decodificación).

2. Metodología: El Puente de Schrödinger (SBP)

La innovación central de Schr¨oMind es tratar la mitigación de alucinaciones como un problema de Transporte Óptimo (OT). En lugar de aplicar un vector de corrección uniforme a todos los tokens (lo cual es una simplificación excesiva), Schr¨oMind propone una intervención personalizada a nivel de token.

Los componentes clave de la metodología son:

• Modelado de Manifolds (Variedades): El marco define dos distribuciones de activación en las capas de atención del Transformer: la distribución alucinatoria ($P_{hallu}$) y la distribución veraz ($P_{fact}$).
• Problema del Puente de Schrödinger (SBP): Utilizan el SBP para encontrar el mapeo con el "costo de transporte mínimo" entre la variedad de alucinaciones y la variedad de verdades. Esto se formaliza mediante el Transporte Óptimo con Regularización de Entropía (EOT).
• Intervención Dinámica y Estática:
  • Estática: Utiliza un plan de transporte óptimo ($\pi^*$) para un remapeo instantáneo.
  • Dinámica: Introduce una dimensión temporal para guiar las activaciones a través de un proceso de difusión (drift) que aleja las activaciones de los modos alucinatorios hacia los fácticos de manera suave.
• Pipeline de dos etapas:
  1. Identificación: Se entrenan clasificadores de regresión logística para identificar qué cabezales de atención (attention heads) son más sensibles a las alucinaciones.
  2. Corrección: Se aplica la corrección mediante una mezcla de Gaussianas para aproximar el potencial de confianza, permitiendo una intervención precisa en los cabezales seleccionados.

3. Contribuciones Clave

1. Marco de intervención personalizada: A diferencia de métodos previos que usan vectores globales, Schr¨oMind ofrece una corrección específica para cada token basándose en su posición única en el espacio de activación.
2. Aplicación de SBP en MLLMs: Es el primer método que utiliza el Problema del Puente de Schrödinger para la intervención a nivel de token en modelos multimodales.
3. Eficiencia: Es un método plug-and-play que requiere un entrenamiento mínimo (solo minutos) y añade un overhead computacional insignificante durante la inferencia.

4. Resultados Experimentales

El modelo fue evaluado utilizando LLaVA-1.5-7B y Qwen2.5-VL-7B en los benchmarks POPE (para detección de objetos) y MME (para percepción y razonamiento multimodal).

• Superioridad en POPE: Schr¨oMind superó consistentemente al estado del arte anterior (ICT) en casi todas las métricas. Destaca especialmente en preguntas adversarias (diseñadas para engañar al modelo), donde logró mejoras de hasta un +6.68% en precisión.
• Rendimiento en MME: El modelo alcanzó puntuaciones récord, mostrando una mejora significativa en tareas de conteo, posición, color y razonamiento de sentido común.
• Sinergia de intervenciones: Los experimentos de ablación demostraron que combinar intervenciones a nivel de imagen y a nivel de objeto produce resultados superiores a usarlas por separado.

5. Significado y Conclusión

La importancia de este trabajo radica en su capacidad para mejorar la fiabilidad de los MLLMs en dominios de alto riesgo (como la medicina o la conducción autónoma) sin necesidad de reentrenar el modelo completo o sacrificar su capacidad de lenguaje. Al tratar la corrección como un problema de transporte de probabilidad, Schr¨oMind logra alinear la atención del modelo con la realidad visual de la manera más eficiente y menos disruptiva posible.