A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

Resumen Técnico: Un Modelo de Aprendizaje Profundo de la Rotación Mental Informado por Experimentos Interactivos de Realidad Virtual

Planteamiento del Problema
La rotación mental —la capacidad de comparar objetos vistos desde diferentes puntos de vista— es un proceso cognitivo humano fundamental. Si bien el trabajo seminal de Shepard y Metzler (1971) estableció que los tiempos de respuesta humanos son linealmente proporcionales a la disparidad angular, lo que sugiere un "motor espacial" interno, ningún modelo computacional existente ha resuelto con éxito la tarea de rotación mental ofreciendo simultáneamente una explicación mecanicista de cómo el cerebro podría ejecutar este proceso. Los sistemas actuales de aprendizaje profundo a menudo luchan con el razonamiento espacial y la generalización a nuevas orientaciones 3D, fallando en replicar la robustez del rendimiento humano tanto en rotaciones planas como en profundidad.

Metodología
Los autores proponen un modelo mecanicista de tres etapas que integra aprendizaje profundo, representaciones equivariantes y razonamiento neuro-simbólico. El diseño del modelo se guía por la literatura existente y un nuevo conjunto de experimentos de Realidad Virtual (RV) donde sujetos humanos manipularon objetos mediante un joystick.

1. Diseño Experimental de RV: Los autores realizaron experimentos con 19 participantes en un entorno de RV utilizando objetos de Shepard-Metzler. A diferencia de los entornos 2D tradicionales, la configuración de "Acción" permitió a los sujetos rotar objetos usando un stick analógico. Los hallazgos conductuales clave incluyeron:

   • Los sujetos realizaron un número notablemente bajo de acciones "balísticas" (típicamente una) para alinear los objetos en un "cuadrante" aproximado antes de tomar una decisión.
   • Los sujetos no buscaban un alineamiento perfecto, sino que colocaban los objetos dentro de un rango de $\pm 45^\circ$ entre sí.
   • Los tiempos de respuesta mostraron una alta variabilidad en disparidades angulares grandes, desafiando la hipótesis de una velocidad de rotación continua estrictamente fija.

2. El Modelo Computacional: Basándose en estos hallazgos, los autores formularon la Hipótesis de Representación Simbólica Dependiente del Cuadrante, que postula que los humanos reducen el espacio de rotación continuo en cuatro cuadrantes discretos. El modelo consta de tres módulos apilados:

   • Módulo I (Codificador Neuronal Equivariante): Un renderizador neuronal equivariante (EqNR) entrenado con imágenes 2D de objetos 3D. Produce una representación latente espacial 3D que es equivariante a rotaciones $SO(3)$, permitiendo al modelo manipular representaciones análogas internas sin supervisión 3D explícita.
   • Módulo II (Codificador de Objetos Neuro-Simbólico): Un Modelo Simbólico de Visión (VSM) que comprende un codificador Vision Transformer (ViT) y un decodificador Transformer autoregresivo. Mapea las representaciones latentes espaciales 3D en descripciones simbólicas secuenciales (secuencias de transiciones direccionales entre cubos). Críticamente, este módulo impone equivariancia a nivel simbólico, donde la descripción cambia de manera predecible cuando el objeto cruza un límite de cuadrante.
   • Módulo III (Agente Neuronal de Decisión): Un Perceptrón Multicapa (MLP) que toma pares de descripciones simbólicas como entrada. Realiza dos funciones: (a) juzgar la similitud (coincidencia/no coincidencia) si los objetos están en el mismo cuadrante, o (b) predecir la acción de rotación necesaria (por ejemplo, rotar 90° en sentido horario) para alinear los objetos si están en cuadrantes diferentes. Este agente opera iterativamente, aplicando las rotaciones predichas a la representación espacial del Módulo I y reevaluando hasta alcanzar una decisión de similitud.

Contribuciones Clave

• Primer Modelo Mecanicista: El artículo presenta el primer modelo neuronal que no solo resuelve la tarea de rotación mental, sino que también proporciona una explicación mecanicista del proceso cognitivo, cerrando la brecha entre la manipulación espacial y la toma de decisiones simbólica.
• Integración de Representaciones: El trabajo demuestra la necesidad de combinar representaciones espaciales estructuralmente isomórficas (para la manipulación) con descripciones simbólicas abstractas (para la toma de decisiones y la selección de acciones).
• Validación mediante RV: El modelo se valida contra métricas conductuales estándar (precisión, tendencias de tiempo de respuesta) y datos de interacción novedosos (número de acciones manuales) derivados de los experimentos de RV de los autores.
• Estudios de Ablación: Ablaciones sistemáticas confirman que eliminar cualquier componente individual (el codificador equivariante, el codificador simbólico o el agente de toma de acciones) conduce a una falla en la generalización a objetos novedosos o en la replicación de secuencias de acciones similares a las humanas.

Resultados

• Rendimiento: El modelo completo alcanza una precisión del 96,13 % en la tarea de rotación mental, comparable al rendimiento humano (91–95 % en configuraciones de RV).
• Fidelidad Conductual: El modelo replica la tendencia humana a utilizar un número mínimo de acciones (dominado por 0 o 1 acción) para resolver la tarea. Captura con éxito la tendencia lineal en los tiempos de respuesta para disparidades de $0^\circ$ a $120^\circ$, aunque le cuesta explicar el aumento específico en el tiempo de respuesta entre $120^\circ$ y $180^\circ$ sin asumir costos de implementación neuronal dependientes del ángulo.
• Necesidad de Componentes:
  • Las redes Siamesas estándar (puramente feed-forward) fallan en generalizar a rotaciones 3D novedosas, confirmando la necesidad de representaciones espaciales equivariantes.
  • Eliminar el codificador simbólico impide que el modelo resuelva la tarea, destacando la necesidad de descripciones abstractas para guiar las acciones.
  • Eliminar el agente de toma de acciones permite que el modelo resuelva la tarea con alta precisión, pero falla en reproducir el comportamiento secuencial basado en acciones observado en los humanos.

Significado y Afirmaciones
Los autores afirman que este trabajo ofrece nuevas perspectivas sobre el proceso cognitivo de la rotación mental, apoyando específicamente una visión híbrida donde las rotaciones se aplican a representaciones espaciales, pero las decisiones se guían por abstracciones simbólicas basadas en cuadrantes. El artículo argumenta que la mente humana puede utilizar "saltos discontinuos" en el espacio de rotación en lugar de un proceso analógico estrictamente continuo.

Desde la perspectiva del aprendizaje automático, el trabajo sugiere que imponer explícitamente sesgos inductivos representacionales (equivariancia e integración neuro-simbólica) es más efectivo para el razonamiento espacial que depender únicamente de la escala. Los autores señalan que, aunque quedan preguntas fundamentales (por ejemplo, la plausibilidad biológica del mecanismo de rotación y la eficiencia de los datos), su esfuerzo de modelado sirve como prueba de concepto para integrar representaciones profundas, equivariantes y simbólicas para modelar el razonamiento espacial humano. El trabajo no afirma resolver todos los aspectos de la cognición humana, sino que busca proporcionar una implementación neuronal viable que se alinee con los datos conductuales, adhiriéndose al principio de que "lo que no puedo crear, no lo entiendo".