Resumen Técnico: Diagnóstico Mecanístico del Sesgo Léxico Espacial en el Razonamiento Espacial de Modelos de Lenguaje de Gran Escala Multimodales

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) fallan frecuentemente en tareas de razonamiento espacial, particularmente en formatos de preguntas de opción múltiple (MCQ). Mientras que trabajos previos suelen atribuir estos fallos a una débil fundamentación visual, falta de evidencia visual o atención visual incorrecta, este artículo identifica un modo de fallo complementario y sistemático: el Sesgo Léxico Espacial.

El fenómeno central observado es el comportamiento Binario-Estable pero Ternario-Frágil (BSTF, por sus siglas en inglés). En los casos de BSTF, un MLLM responde correctamente a una pregunta espacial binaria (por ejemplo, "¿el objeto está a la izquierda o a la derecha?") pero falla consistentemente cuando se añade una tercera opción espacial plausible (por ejemplo, "izquierda, derecha, detrás"), incluso si la respuesta correcta sigue siendo la misma. El modelo selecciona sistemáticamente la palabra espacial recién añadida como la respuesta, independientemente del orden de las opciones. Esto sugiere que el fallo no se debe a una pérdida de información visual, sino a una distorsión en el proceso de decisión del lado del lenguaje, desencadenada por la estructura semántica del vocabulario espacial añadido.

2. Metodología

2.1 Marco de Diagnóstico

Los autores construyeron un flujo de evaluación controlado utilizando nueve MLLM de pesos abiertos (de las familias LLaVA, Qwen e InternVL) y tres conjuntos de datos sintéticos (Sphere–Cube, Sphere–Dog y Sphere–Dog Outdoor).

• Puntuación Estricta: Para eliminar el sesgo de posición, un ejemplo se considera correcto solo si el modelo responde correctamente en todas las permutaciones del orden de las opciones (por ejemplo, las 6 permutaciones para preguntas ternarias).
• Selección BSTF: Se filtraron los casos donde la precisión robusta binaria era perfecta (1.00) pero añadir una opción espacial específica causaba una caída de al menos 80 puntos porcentuales en la precisión ternaria. Esto produjo 55 casos de diagnóstico de alta confianza en 7 modelos.

2.2 Interpretabilidad Mecanística

Para determinar el lugar del fallo, los autores emplearon tres herramientas de diagnóstico:

1. Análisis de Atención Visual: Comparación de mapas de atención entre prompts binarios correctos y ternarios erróneos para verificar si el modelo desplaza su enfoque lejos de los objetos relevantes.
2. Sondeo del Flujo Residual (Residual Stream Probing): Entrenamiento de sondas lineales en los vectores del flujo residual del último token para comprobar si la relación espacial correcta sigue siendo decodificable incluso cuando el modelo emite una respuesta errónea.
3. Parcheado de Activación e Intervención Dispersa (Activation Patching & Sparse Intervention):
   • Parcheado (Patching): Intercambio de estados del flujo residual entre prompts binarios correctos y ternarios erróneos capa por capa para identificar dónde cambia la señal de decisión.
   • Eliminación Dispersa (Sparse Knockout): Anulación de canales específicos del flujo residual y neuronas MLP en la posición del token de la opción añadida para ver si el error puede corregirse.

2.3 Estrategia de Mitigación

Los autores probaron si el sesgo podía repararse mediante Optimización de Preferencia Directa (DPO) exclusiva del LLM.

• Datos: Un conjunto de datos de preferencia sintético mínimo derivado de un único par de objetos (toro–pirámide) con cuatro variantes de relación.
• Entrenamiento: Solo se actualizó el decodificador del LLM utilizando adaptadores LoRA; el codificador de visión y el proyector permanecieron congelados.
• Objetivo: Verificar si el ajuste del proceso de decisión del lado del lenguaje por sí solo podía mitigar el sesgo sin nueva supervisión visual.

3. Hallazgos Clave

3.1 La Evidencia Visual es Recuperable

• Atención: Los mapas de calor de atención para los prompts binarios correctos y ternarios erróneos se centran en las mismas regiones de los objetos. La opción espacial añadida no redirige la atención visual lejos de la evidencia relevante.
• Sondeo: Las sondas lineales recuperan la verdadera relación espacial del flujo residual del último token con una precisión casi total (precisión macro de 0.998) incluso en los casos ternarios erróneos. Esto confirma que la información visual está presente internamente pero no se utiliza para la decisión final.

3.2 El Sesgo es del Lado del Lenguaje y Estructurado

• Especificidad: Reemplazar la opción espacial añadida con una palabra irrelevante (por ejemplo, "violín") causó solo una caída modesta de la precisión (16.7 pp), mientras que añadir una opción espacial causó una caída masiva (97.8 pp). Esto confirma que el sesgo surge de la interacción semántica entre las palabras espaciales, no simplemente del aumento en el número de opciones.
• Localización:
  • Por Capas: El parcheado de activación reveló que la transición de la decisión ocurre en las capas medias-posteriores (aprox. 60–64% de profundidad) del LLM.
  • Por Componentes: La eliminación dispersa de solo 100 canales residuales o 200 neuronas MLP en la posición del token de la opción añadida (en las capas iniciales-medias) pudo restaurar las predicciones correctas, identificando "puntos de apalancamiento" específicos para el sesgo.

3.3 La Reparación Exclusiva del LLM es Efectiva

• Datos Sintéticos: Aplicar LoRA-DPO al decodificador del LLM usando el conjunto de datos de un solo par mejoró la precisión robusta de cuatro vías en el conjunto de datos de prueba sintético hasta en 100 puntos porcentuales (por ejemplo, de casi 0% a ~80-100%).
• Generalización: La reparación se transfirió a benchmarks públicos más amplios y ruidosos:
  • WhatsUp: +68.0 puntos
  • SpatialMQA-Direct: +32.6 puntos
  • VSR: +20.1 puntos
• Preservación: La reparación mantuvo la precisión binaria mientras corregía los fallos ternarios y de cuatro vías, lo que indica que el modelo aprendió a resistir el sesgo léxico sin perder sus capacidades originales de razonamiento espacial.

4. Significado y Reivindicaciones

El artículo afirma que desplaza la comprensión de los fallos de razonamiento espacial de los MLLM de un déficit puramente visual a un sesgo léxico del lado del lenguaje.

• Perspectiva Mecanística: Proporciona evidencia causal de que componentes específicos del lado del LLM (canales residuales y neuronas MLP) modulan la selección de la opción espacial, y que la relación visual correcta permanece disponible internamente durante estos fallos.
• Accionabilidad: El estudio demuestra que este sesgo es accionable. Una actualización ligera, exclusiva del LLM, basada en datos sintéticos mínimos, puede reparar sustancialmente el modo de fallo, lo que sugiere que la robustez del razonamiento espacial puede mejorarse ajustando el proceso de decisión del modelo de lenguaje en lugar de reentrenar toda la arquitectura multimodal.
• Limitaciones: Los autores señalan que sus hallazgos son específicos para relaciones espaciales de cuatro direcciones controladas. Si bien el mecanismo es localizable, el estudio no pretende haber mapeado un circuito completo, y la eficacia de la reparación en escenas de mundo abierto más complejas con relaciones espaciales más ricas sigue siendo una pregunta abierta.

En resumen, el trabajo establece que los MLLM a menudo "saben" la relación espacial correcta pero se ven confundidos por la estructura léxica de las opciones de respuesta, y que este modo de fallo específico puede diagnosticarse y mitigarse mediante intervenciones dirigidas en el modelo de lenguaje.