Resumen Técnico: MENTISOCULI: Revelando los límites del razonamiento con imágenes mentales

Declaración del Problema

Los modelos multimodales de vanguardia actuales están transitando de los Modelos de Lenguaje Extensos Multimodales (MLLM), que tratan la visión como una entrada pasiva, hacia Modelos Multimodales Unificados (UMM) capaces de la generación nativa e intercalada de texto e imágenes. Este cambio ha despertado el interés en utilizar visualizaciones intermedias como un apoyo para el razonamiento, de forma análoga a la "imaginación mental" humana. Sin embargo, sigue sin estar claro si los modelos pueden formar, mantener y manipular representaciones visuales para resolver tareas de razonamiento complejas, o si tales pensamientos visuales realmente mejoran el rendimiento sobre el razonamiento basado solo en texto. Los benchmarks existentes suelen evaluar el razonamiento sobre información visual en lugar del razonamiento con imaginación mental, o carecen de la rigurosidad procedimental para desvincular los errores de generación de los déficits de razonamiento.

Metodología

Para abordar estas brechas, los autores presentan MENTISOCULI (latín para "ojos de la mente"), un benchmark procedimental y estratificado diseñado para desafiar la capacidad de los modelos para razonar con representaciones visuales.

Diseño del Benchmark

MENTISOCULI consta de cinco tareas de razonamiento visual de múltiples pasos, cada una generada procedimentalmente a través de cinco niveles de dificultad (Nivel 1 a Nivel 5). Las tareas están diseñadas para ser difíciles de textualizar pero intuitivas para los humanos al resolverse visualmente, adhiriéndose a seis desiderata clave:

1. Naturaleza Visual: Las tareas dependen de relaciones espaciales, restricciones geométricas y transformaciones de objetos en lugar de conocimiento común.
2. Alta Densidad de Información: Las tareas evitan los mundos de cuadrícula simples, utilizando formas complejas y transformaciones continuas.
3. Manipulación Secuencial: Las tareas requieren actualizaciones repetidas de un estado mental, donde las acciones dependen de los resultados previos.
4. Procedimental: Las tareas se generan algorítmicamente con cadenas de pensamiento visual (CoT) de verdad fundamental para su análisis.
5. Estratificado: La dificultad se controla mediante el número de pasos u objetos, permitiendo la identificación de los puntos de ruptura de los modelos.
6. Viabilidad Generativa: Las tareas están restringidas a proyecciones 2D con detalles legibles a resoluciones estándar.

Las cinco tareas son:

• Form Board (Tablero de Formas): Seleccionar un subconjunto de formas para llenar una silueta objetivo sin huecos ni solapamientos.
• Hinge Folding (Plegado de Bisagra): Predecir ángulos de rotación discretos para una cadena de polígonos para que coincidan con una silueta objetivo.
• Paper Fold (Plegado de Papel): Identificar el patrón de agujeros desplegado correcto tras una secuencia de pliegues y una perforación.
• Rush Hour (Hora Pico): Navegar un vehículo rojo fuera de un lote congestionado moviendo los vehículos que bloquean (con posiciones continuas y orientaciones no alineadas con los ejes).
• Sliding Puzzle (Rompecabezas de Deslizamiento): Restaurar una imagen natural permutada moviendo una baldosa vacía.

Marco de Evaluación

Los autores evaluaron un espectro de familias de modelos:

• MLLMs: Salidas de solo texto (p. ej., Gemini 3, GPT-5.1, Qwen3-VL).
• Modelos de Razonamiento Latente: Modelos ajustados que generan tokens latentes visuales intercalados (p. ej., Mirage, LatestSketchpad).
• Modelos Multimodales Unificados (UMMs): Modelos que generan explícitamente imágenes intercaladas con texto (p. ej., Gemini 2.5-I, Gemini 3-I, Emu 3.5).
• Modelos de Video: Rollouts puramente visuales condicionados por un prompt (p. ej., Veo 3.1, Wan 2.6).

La evaluación implicó la puntuación automatizada de las salidas de texto (vía simulación o coincidencia exacta) y un evaluador de video personalizado para los modelos de video. El estudio también incluyó un experimento psicofísico con participantes humanos (estudiantes de doctorado) para establecer un techo de rendimiento y analizar la asignación del esfuerzo de razonamiento.

Contribuciones Clave

1. Benchmark MENTISOCULI: Un benchmark procedimental riguroso para el razonamiento de múltiples pasos con imaginación mental, que cuenta con CoTs visuales de verdad fundamental y niveles de dificultad estratificados.
2. Análisis Exhaustivo: Una evaluación de todo el espectro de la imaginación mental de las máquinas, desde tokens latentes implícitos hasta imágenes generadas explícitas y video.
3. Diagnóstico de Modos de Fallo: Evidencia de que los fallos de los UMM no se deben solo a errores de generación, sino también a una incapacidad crítica para interpretar y aprovechar ayudas visuales (incluso aquellas de verdad fundamental) para la toma de decisiones.
4. Comparación Humano-Máquina: Datos que resaltan que los modelos no logran aumentar adaptativamente el esfuerzo de razonamiento (uso de tokens) en respuesta al aumento de la complejidad visual-espacial, a diferencia de los humanos.

Resultados

1. Ineficacia del Pensamiento Visual Explícito

En todas las tareas y niveles de dificultad, las estrategias visuales explícitas (tokens latentes, imágenes intercaladas o video) no mejoraron el rendimiento sobre las líneas base de solo texto.

• MLLMs vs. UMMs: Los UMM (p. ej., Gemini 3-I) frecuentemente desempeñaron peor que sus contrapartes de solo texto (p. ej., Gemini 3).
• Razonamiento Latente: Los modelos de razonamiento latente ajustados mostraron ganancias marginales en niveles fáciles, pero colapsaron a un rendimiento cercano al azar en el Nivel 5, sin ofrecer una ventaja consistente sobre el ajuste fino de solo texto.
• Modelos de Video: Los modelos de video (Veo 3.1, Wan 2.6) no lograron superar el rendimiento de azar, rompiéndose rápidamente a medida que aumentaba la dificultad.

2. El Doble Fallo de los UMMs

El análisis de los UMM reveló dos problemas compuestos:

• Errores de Generación: Los modelos frecuentemente alucinan cambios de estado, perdiendo la identidad del objeto o la geometría a través de los fotogramas.
• Errores de Interpretación: Crucialmente, incluso cuando se les proporcionaban visualizaciones de oráculo (imágenes intermedias de verdad fundamental), los UMM fallaban al intentar aprovecharlas para mejorar el razonamiento. En muchos casos, los modelos con visuales de oráculo no funcionaban mejor que aquellos que generaban sus propias imágenes (defectuosas), lo que indica una incapacidad para tratar los estados visuales como evidencia accionable para la toma de decisiones.

3. Desacoplamiento de Modalidades

En los UMM, el canal de razonamiento de texto y el canal de generación de imágenes están débilmente acoplados. En la tarea Rush Hour, los dos canales a menudo resolvían rompecabezas diferentes. A medida que la dificultad aumentaba, el canal de texto cargaba con la responsabilidad de la planificación mientras el canal de imagen fallaba; sin embargo, el modelo no integraba ambos con éxito.

4. Límites de las Mejoras de Razonamiento

Las técnicas estándar que mejoran el razonamiento basado en lenguaje —Aprendizaje en Contexto (ICL), Optimización de Prompts, Aumento del Presupuesto de Razonamiento y Uso de Herramientas— no produjeron ganancias sistemáticas para las tareas de razonamiento visual. Aumentar el uso de tokens no se correlacionó con una mejora en la precisión en los niveles más difíciles.

5. Esfuerzo Humano vs. Máquina

Los humanos demostraron un razonamiento adaptativo, dedicando más tiempo (y, por analogía, más esfuerzo) a los rompecabezas más difíciles. En contraste, modelos como Gemini 3 no aumentaron el uso de tokens a medida que la dificultad de la tarea pasaba del Nivel 3 al Nivel 5, lo que sugiere una falta de profundidad de razonamiento adaptativo.

Significado y Reivindicaciones

El artículo concluye que, a pesar del atractivo intuitivo de la "imaginación mental", los modelos de vanguardia actuales aún no pueden cerrar la brecha entre la generación y el razonamiento. Los autores afirman que:

• Los pensamientos visuales no benefician actualmente al razonamiento del modelo; de hecho, a menudo introducen errores compuestos.
• El fallo no es meramente una falta de capacidad generativa, sino una incapacidad fundamental para mantener la consistencia y utilizar la información visual para la planificación.
• MENTISOCULI proporciona la base necesaria para aislar estos modos de fallo y distinguir la capacidad de razonamiento de la alineación representacional.

El trabajo sugiere que lograr una imaginación mental de máquina efectiva probablemente requerirá datos de entrenamiento dedicados y un cambio de enfoque por parte de los desarrolladores de modelos hacia el razonamiento visual de múltiples pasos, en lugar de simplemente escalar las arquitecturas actuales. El artículo mantiene la modestia, señalando que, si bien las ayudas visuales pueden ser útiles en entornos específicos, su efectividad no es uniforme ni fiable con la tecnología actual.