Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration

Resumen Técnico: Desarrollo de la Acción y el Lenguaje Impulsado por la Curiosidad en Robots mediante la Autoexploración

Planteamiento del Problema
El artículo aborda una discrepancia fundamental en la inteligencia artificial y la ciencia cognitiva: los infantes humanos adquieren competencias lingüísticas y de acción con una generalización notable a partir de experiencias escasas y limitadas, mientras que los modelos artificiales a gran escala (como los LLM) requieren miles de millones de tokens de entrenamiento para alcanzar capacidades similares. El problema central es identificar los mecanismos que permiten este aprendizaje de desarrollo eficiente, centrándose específicamente en la composicionalidad (la capacidad de recombinar sistemáticamente elementos conocidos en estructuras noveles), la generalización a partir de datos mínimos y el manejo de excepciones (gestionar irregularidades sin olvido catastrófico). Los autores investigan si la autoexploración impulsada por la curiosidad en agentes encarnados puede replicar las trayectorias de desarrollo observadas en los infantes humanos, tales como la transición de la memorización mecánica a la generalización sistemática y la emergencia de curvas de aprendizaje en forma de U durante el manejo de excepciones.

Metodología
El estudio emplea un robot móvil simulado equipado con un brazo manipulador, sensores de visión y sensores táctiles distribuidos. El robot aprende a ejecutar comandos motores en respuesta a oraciones imperativas (por ejemplo, "empuja cubo rojo") a través de una integración novedosa de Inferencia Activa y Aprendizaje por Refuerzo (RL).

• Arquitectura del Modelo: El sistema utiliza una Red Neuronal Recurrente Variacional (VRNN) que consta de tres componentes principales:
  1. Modelo de Adelanto (Forward Model): Predice futuras observaciones sensoriales ($o_{t+1}$) basadas en sensaciones actuales ($o_t$), voces de comando ($o_{cw}$) y comandos motores ($a_t$). Aprende minimizando la Energía Libre de Evidencia ($F$), que equilibra la precisión (error de reconstrucción) y la complejidad (divergencia de Kullback-Leibler entre la posterior y la previa).
  2. Actor: Genera comandos motores para maximizar el valor predicho de los resultados futuros.
  3. Crítico: Estima la función de valor ($Q$) utilizando el algoritmo Soft Actor-Critic (SAC).
• Motivación Intrínseca (Curiosidad): A diferencia del RL estándar que depende únicamente de recompensas extrínsecas (éxito de la tarea), este marco incorpora recompensas intrínsecas derivadas de la Energía Libre Esperada ($G$). El agente está motivado a minimizar $G$, lo cual incluye:
  • Curiosidad (Valor Epistémico): Maximizar la ganancia de información buscando consecuencias sensoriales impredecibles (modelado como la maximización de la divergencia KL entre la previa y la posterior).
  • Entropía Motora: Fomentar movimientos aleatorios exploratorios para evitar la convergencia prematura.
  • Recompensa Extrínseca: Lograr objetivos especificados por oraciones imperativas.
• Configuración Experimental: El robot opera en un simulador de física (PyBullet) con un conjunto de objetos que varían en forma y color. Las oraciones imperativas están compuestas de verbos, adjetivos y sustantivos.
  • Experimento 1: Examina el efecto de los niveles de curiosidad (ninguna, sensoriomotora y todas) sobre la velocidad de aprendizaje y la generalización.
  • Experimento 2: Prueba el impacto de la escala composicional (variando los tamaños de vocabulario) sobre el rendimiento de la generalización.
  • Experimento 3: Investiga el manejo de excepciones intercambiando mapeos específicos de comando-acción para inducir trayectorias de aprendizaje no monotónicas.

Contribuciones Clave

1. Inferencia Activa Amortizada para el Aprendizaje del Desarrollo: El artículo propone un método para "amortizar" la inferencia utilizando Q-learning para aproximar la minimización de la energía libre esperada. Esto permite que los agentes aprendan a ser curiosos, recompensando efectivamente la adquisición de ganancia de información junto con el éxito de la tarea.
2. Operacionalización de la Composicionalidad: El estudio define la composicionalidad no como una estructura semántica formal, sino como la capacidad de generalización sistemática a través de combinaciones noveles de elementos conocidos (verbos, adjetivos, sustantivos) en un entorno encarnado.
3. Cuenta Mecanicista del Aprendizaje en Forma de U: El modelo demuestra cómo la trayectoria de desempeño en forma de U (correcto $\to$ error $\to$ correcto) emerge naturalmente de la tensión entre la memorización mecánica, la sobregeneralización y la subsiguiente reorganización de las representaciones internas para manejar excepciones.

Resultados

• La Curiosidad Acelera el Aprendizaje: Los agentes con "toda la curiosidad" (incluyendo la voz de retroalimentación) alcanzaron una tasa de éxito de generalización del 85.1% en oraciones no aprendidas tras 60,000 épocas, mientras que los agentes sin curiosidad alcanzaron solo el 41% en esa misma etapa. Extender el entrenamiento sin curiosidad a 120,000 épocas produjo un rendimiento comparable (80.8%), lo que indica que la curiosidad mejora principalmente la eficiencia de muestreo y la velocidad de aprendizaje, más que ser estrictamente necesaria para la capacidad final.
• Dependencia de la Escala: El rendimiento de la generalización depende altamente de la escala de los elementos composicionales. A medida que el tamaño del vocabulario aumentó (de pequeño a grande), la tasa de éxito en metas no aprendidas mejoró drásticamente (de ~29% a 85%), apoyando la hipótesis de que los repertorios composicionales más grandes facilitan una mejor generalización a partir de datos escasos.
• Progresión de Rote-a-Generalización: El análisis de las representaciones internas (vía PCA) reveló que, al principio del entrenamiento, el robot solo tenía éxito en pares oración-acción aprendidos exactamente. La generalización a combinaciones noveles emergió solo después de que las representaciones internas de verbos y adjetivos se volvieran factorizadas y alineadas.
• Manejo de Excepciones y Curvas en Forma de U: En el Experimento 3, 9 de cada 10 robots exhibieron curvas de aprendizaje características en forma de U cuando fueron entrenados con mapeos de comando-acción intercambiados. El análisis interno mostró que el robot inicialmente sobregeneralizó (aplicando la regla general a las excepciones), causando errores, antes de finalmente redescribir sus representaciones internas para codificar correctamente las excepciones.
• Planificación Mental: Los robots totalmente entrenados podían generar "planes mentales" precisos (simulando estados sensoriales futuros sin entrada sensorial real) para lograr metas, mientras que los robots parcialmente entrenados producían predicciones inexactas, resaltando el papel de un modelo de adelanto robusto en la conceptualización.

Significancia y Reivindicaciones
El artículo afirma que sus resultados proporcionan una cuenta mecanicista de cómo la motivación intrínseca (curiosidad) y la inferencia activa pueden apoyar la generalización composicional escalable y el manejo de excepciones en agentes artificiales. Los hallazgos sugieren que:

• La exploración impulsada por la curiosidad es un mecanismo crítico para acelerar el aprendizaje del desarrollo y lograr una eficiencia de muestra, abordando el problema de la "pobreza del estímulo" al permitir que los agentes aprendan la generalización estructurada a partir de datos limitados.
• El aprendizaje en forma de U no es meramente un modo de falla, sino una firma de la redescripción representacional, donde el agente reorganiza su conocimiento interno para acomodar excepciones, reflejando patrones observados en la adquisición del lenguaje infantil.
• La escala importa: La capacidad de generalizar sistemáticamente no es solo una función del algoritmo de aprendizaje, sino que está fuertemente influenciada por la riqueza del entorno composicional (tamaño del vocabulario).

Los autores declaran explícitamente su modestia respecto a sus afirmaciones: el modelo es un testbed simplificado y no un modelo integral del desarrollo del lenguaje humano. Carece del andamiaje social, la atención conjunta y las etapas de desarrollo progresivo presentes en los infantes humanos. El estudio tiene como objetivo demostrar cómo la generalización estructurada puede emerger de la curiosidad impulsada por el aprendizaje sensoriomotor bajo supuestos mínimos, en lugar de replicar la complejidad total del desarrollo cognitivo humano.