Resumen Técnico: Razón para Jugar: Alineación Conductual y Cerebral entre Modelos de Razonamiento de Vanguardia (LRM) y Aprendices Humanos de Juegos

Declaración del Problema

La cognición humana se distingue por la capacidad de aprender rápidamente estructuras abstractas en entornos novedosos y desplegar flexiblemente este conocimiento para guiar la acción inteligente. Aunque los sistemas de IA modernos, en particular los Modelos de Razonamiento de Gran Escala (LRM), han demostrado capacidades impresionantes en tareas de razonamiento estático, sigue sin estar claro si pueden aprender y planificar interactivamente en entornos dinámicos con la misma eficiencia y flexibilidad que los humanos. Las evaluaciones existentes a menudo no capturan las representaciones internas de los agentes durante el aprendizaje interactivo, y los agentes tradicionales de aprendizaje por refuerzo profundo (RL), aunque exitosos en dominios específicos, a menudo requieren órdenes de magnitud más de datos que los humanos y carecen de modelos internos transferibles. Además, la neurociencia computacional ha tenido dificultades para encontrar modelos que predigan la actividad cerebral humana durante la cognición interactiva, ya que los modelos entrenados desde cero en tareas específicas suelen producir señales de codificación frágiles.

Este estudio aborda la pregunta: ¿Pueden los LRM de vanguardia aprender y planificar de una manera que se alinee tanto con las trayectorias conductuales humanas como con la actividad cerebral humana durante el descubrimiento y la ejecución de reglas de videojuegos novedosas?

Metodología

Conjunto de Datos y Tarea

Los autores utilizaron el conjunto de datos VGDL-fMRI, que contiene grabaciones de fMRI concurrentes y trayectorias de juego de 32 participantes adultos sanos aprendiendo a jugar 12 videojuegos distintos definidos por el Lenguaje de Descripción de Videojuegos (VGDL).

• Estructura de la Tarea: Los participantes jugaron 6 juegos durante 6 sesiones de escaneo. Cada juego consistió en 9 niveles con complejidad creciente, introduciendo nuevos tipos de objetos y reglas de interacción de forma incremental.
• Entorno: Los juegos requerían descubrimiento de reglas, revisión de hipótesis y planificación de múltiples pasos (por ejemplo, empujar cajas, evitar peligros, guía cooperativa).
• Restricciones de Entrada: Los modelos recibieron observaciones simbólicas anónimas en cuanto al color (posiciones de la cuadrícula, colores, inventario) idénticas a las de los participantes humanos, sin etiquetas semánticas privilegiadas.

Clases de Modelos

El estudio evaluó una serie de agentes en tres paradigmas:

1. Modelos de Razonamiento de Gran Escala (LRM) de Vanguardia: Ocho modelos de las familias Qwen 3.5 y DeepSeek (que van desde 9B hasta 397B parámetros). Estos modelos se evaluaron en un formato de diálogo de múltiples turnos donde recibían observaciones y generaban acciones. Se probaron dos condiciones:
   • Razonamiento copiado: La cadena de pensamiento oculta del modelo se incluyó en el contexto para los turnos siguientes.
   • Solo acción: Solo se proporcionaron acciones, aislando la contribución de las trazas de razonamiento explícito.
2. Líneas Base de Aprendizaje por Refuerzo Profundo (RL):
   • Sin modelo: Double DQN (DDQN) con ajuste extenso de hiperparámetros por juego y entrenamiento basado en currículos.
   • Con modelo: EfficientZeroV2 (EZV2), que aprende un modelo de dinámica latente para la planificación mediante Búsqueda en Árbol de Monte Carlo.
3. Línea Base Simbólica: El Agente Explorar–Modelar–Planificar (EMPA), un agente basado en teoría que realiza inferencia bayesiana sobre una ontología codificada a mano de reglas de juego.

Métricas de Evaluación

1. Alineación Conductual:
   • Eficiencia de Descubrimiento: Pasos acumulados hasta la primera victoria por nivel (medido mediante la Distancia del Transportista de Tierra, EMD, contra distribuciones humanas).
   • Capacidad: Nivel promedio alcanzado bajo un presupuesto fijo de pasos (currículo bloqueado que requiere dos victorias consecutivas para avanzar).
2. Codificación Cerebral:
   • Protocolo: Los LRM se ejecutaron como observadores pasivos, alimentándolos con el flujo exacto de observaciones visto por los participantes humanos sin generar acciones ni trazas de razonamiento. Se extrajeron características del estado oculto en el token de entrada final.
   • Análisis: Se utilizó regresión de cresta en bandas para predecir las respuestas dependientes del nivel de oxígeno en la sangre (BOLD) a partir de las características del modelo. El rendimiento se midió como la correlación de Pearson ($r$) entre la actividad BOLD predicha y observada en seis regiones de interés (ROI) anatómicas: Frontal, Motora, Parietal, Visual, Visual Temprana y Estriatal.
   • Controles: Las comparaciones incluyeron controles de inicialización aleatoria, controles de mezcla de trayectorias y regresores de molestia (presiones de botones, identidad del juego, tiempo).

Contribuciones Clave

1. Evaluación Sistemática de LRM en Aprendizaje Interactivo: Esta es la primera evaluación sistemática de LRM de vanguardia en el aprendizaje de juegos interactivos similar al humano en 12 juegos y 32 participantes humanos. A diferencia de trabajos anteriores que utilizan indicaciones de un solo paso o LLM más antiguos, este estudio emplea diálogo de múltiples pasos con trazas de razonamiento explícito.
2. Paridad Conductual con Humanos: El estudio demuestra que los LRM de vanguardia igualan las trayectorias de aprendizaje humanas tanto en eficiencia de descubrimiento como en progresión de capacidad, mientras que las líneas base de RL profundo requieren órdenes de magnitud más de experiencia y se estancan temprano.
3. Superior Alineación Cerebral: Los LRM predicen la actividad cerebral humana con una magnitud diez veces mayor que las líneas base de RL profundo (DDQN, EfficientZero) y el agente simbólico EMPA en todas las regiones corticales y subcorticales. Esta alineación es robusta frente a controles de permutación y se logra fuera de la caja sin ajuste fino ni herramientas específicas del dominio.
4. Insight Mecanístico: El estudio aísla que la señal de alineación cerebral refleja la representación en contexto del estado del juego del modelo en lugar de sus procesos de planificación o razonamiento posteriores. Esto queda demostrado por el hecho de que la precisión de la codificación se mantiene alta incluso cuando el modelo se ejecuta como un observador pasivo sin generar trazas de razonamiento.
5. Liberación de Recursos: Los autores liberan un material suplementario interactivo que contiene más de 100.000 trazas de razonamiento, todos los datos de reproducción, características de estado oculto extraídas y el pipeline de análisis completo.

Resultados

Rendimiento Conductual

• Eficiencia de Descubrimiento: Los LRM de vanguardia se agruparon estrechamente alrededor de la distribución humana de pasos hasta la primera victoria. El mejor modelo, DeepSeek V4-Pro, logró un EMD de descubrimiento de 0.28, en comparación con 3.07 para DDQN y 3.22 para EfficientZero. Esto representa una reducción de 5 a 11$\times$ en la distancia al comportamiento humano en comparación con las líneas base de RL.
• Capacidad: Los LRM progresaron a través del currículo de 9 niveles a ritmos comparables a los humanos (alcanzando niveles promedio de 4 a 6 dentro de un presupuesto de 1600 pasos), mientras que las líneas base de RL rara vez avanzaron más allá del nivel 1-2.
• Brecha Descubrimiento-Ejecución: Se encontró una divergencia notable en la ejecución. Mientras que los humanos acortaron significativamente sus pasos después de la primera victoria (mediana de 32 pasos), los LRM tendieron a "perseverar", reproduciendo la trayectoria exacta de su primera victoria incluso cuando se articularon caminos más cortos en su razonamiento. Esta brecha disminuyó con la escala del modelo y estuvo casi ausente en los modelos DeepSeek.

Codificación Cerebral

• Magnitud de la Alineación: Los LRM predicen la actividad BOLD con una correlación de Pearson $r$ de aproximadamente 0.07–0.10 en regiones visuales y visuales tempranas, y valores más bajos pero significativos en regiones frontales, motoras y estriatales. Esto es aproximadamente un orden de magnitud superior a las mejores líneas base de RL (que oscilaron por debajo de $r=0.015$).
• Entrenamiento vs. Arquitectura: Los LRM entrenados superaron significativamente a las versiones de la misma arquitectura inicializadas aleatoriamente (mejora de 6.4–6.9$\times$), confirmando que la alineación proviene de representaciones aprendidas, no de priores arquitectónicos.
• Escala vs. Alineación: A diferencia del rendimiento conductual, que generalmente escalaba con el tamaño del modelo, la precisión de la codificación cerebral no escaló de manera monótona con la cantidad de parámetros. El modelo Qwen3.5-35B-A3B (MoE) logró la mayor precisión de codificación, superando a modelos más grandes como DeepSeek V4-Pro.
• Especificidad de la Representación: La señal de codificación estaba bloqueada a la secuencia momento a momento del juego. Permutar el orden temporal de los incrustamientos o truncar el historial de contexto redujo significativamente la precisión de la codificación, lo que indica que la señal captura la estructura representacional inmediata en lugar de la integración de memoria a largo plazo.

Significado y Afirmaciones

El artículo afirma establecer a los LRM de vanguardia como cuentas computacionales convincentes del aprendizaje humano y la toma de decisiones en entornos complejos y naturalistas.

• Novelty de la Alineación: Según el conocimiento de los autores, esta es la primera alineación conductual y neural conjunta entre humanos y LRM durante el juego interactivo.
• Mecanismo de Alineación: Los resultados sugieren que las representaciones ricas y transferibles adquiridas por los LRM mediante el preentrenamiento en texto les permiten abordar juegos novedosos con un "conocimiento previo amplio" similar al de los humanos. Esto contrasta con los agentes de RL profundo que deben aprender desde cero, lo que resulta en representaciones frágiles que no se alinean con la actividad cerebral humana.
• Limitaciones: Los autores notan modestamente que su paradigma hace difícil la estimación del techo de ruido por vóxel debido a la unicidad de cada trayectoria humana. También reconocen que los LRM retienen priores generales de sus corpus de entrenamiento que no se pueden controlar completamente.
• Dirección Futura: El artículo postula que, aunque los LRM actuales capturan la estructura representacional de la cognición humana, pierden la señal asociada con el aprendizaje activo y la planificación en sí misma. El trabajo futuro requiere arquitecturas cognitivas más ricas y protocolos de compromiso activo para alinear los modelos con trayectorias humanas individuales.

El estudio concluye que los LRM ofrecen un camino a seguir para la neurociencia computacional, proporcionando modelos que no solo resuelven tareas, sino que también reflejan los estados computacionales internos del cerebro humano durante el aprendizaje interactivo.