Language and Experience: A Computational Model of Social Learning in Complex Tasks

1. El Problema

La capacidad humana de combinar guía lingüística (consejos de otros) con experiencia directa (interacción sensoriomotora) es fundamental para el aprendizaje rápido y seguro en entornos nuevos. Sin embargo, la inteligencia artificial actual carece de un marco computacional general que integre estas dos fuentes de conocimiento de manera eficiente:

• El Aprendizaje por Refuerzo (RL) tradicional requiere millones de interacciones (ensayo y error) para dominar tareas complejas.
• El RL basado en teorías mejora la eficiencia de la muestra pero carece de capacidad de aprendizaje social.
• Los Modelos de Lenguaje (LLMs) procesan bien el lenguaje pero luchan con la planificación interactiva y el aprendizaje encarnado.
• Los modelos de RL condicionado al lenguaje actuales requieren grandes cantidades de datos pareados (estado, lenguaje) y no generalizan a mensajes únicos o novedosos.

El objetivo es crear un modelo computacional que imite cómo los humanos infieren modelos del mundo ejecutables combinando evidencia lingüística y experiencia en tiempo real.

2. Metodología

Los autores proponen un marco de inferencia probabilística conjunta sobre modelos del mundo estructurados y ejecutables. El agente aprende jugando 10 videojuegos diferentes definidos en el VGDL (Video Game Description Language), donde debe descubrir reglas, objetivos y dinámicas de colisión.

Componentes Clave del Modelo:

1. Representación del Mundo: El agente mantiene una distribución sobre "teorías" del mundo, representadas como programas probabilísticos (código VGDL) que especifican tipos de objetos, efectos de colisión, recompensas y condiciones de victoria/derrota.
2. Actualización Bayesiana: El agente actualiza sus creencias sobre la teoría correcta ($T$) utilizando la fórmula:
   $$P(T | E, L) \propto P(E | T) \times P(L | T) \times P(T)$$
   Donde $E$ es la experiencia (transiciones de estado) y $L$ es la guía lingüística.
3. Modelo de Hablante (Speaker Model) con LLM:
   • Se utiliza un LLM (LLaMA-3.1-70B) para aproximar la probabilidad $P(L | T)$: la probabilidad de que un hablante con creencias $T$ produzca un mensaje $L$.
   • Esto permite interpretar el lenguaje como evidencia para descartar o priorizar teorías del mundo.
4. Propuestas Guiadas por Lenguaje: El LLM no solo evalúa, sino que genera propuestas para el algoritmo de inferencia. Al recibir un mensaje (ej. "el amarillo te mata"), el LLM sugiere reglas específicas (ej. "amarillo mata avatar") que sesgan la búsqueda hacia regiones prometedoras del espacio de hipótesis, acelerando la convergencia.
5. Planificación Dirigida a Objetivos: El agente utiliza la teoría de máxima a posteriori (MAP) para simular trayectorias, seleccionar subobjetivos (exploración vs. explotación) y planificar secuencias de acciones mediante un algoritmo genético simple y búsquedas de lookahead.
6. Generación de Consejos: El modelo puede generar consejos para otros jugadores traduciendo su teoría MAP a lenguaje natural utilizando el mismo modelo de hablante.

Experimentos:

• Paradigma: Se compararon tres condiciones: (1) Solo experiencia, (2) Experiencia + mensaje humano, (3) Experiencia + mensaje del modelo.
• Participantes: 120 humanos y simulaciones computacionales (20 ejecuciones por condición).
• Aprendizaje Iterado: Se realizaron experimentos de 10 generaciones donde cada agente jugaba 2 vidas y pasaba un mensaje al siguiente, simulando la transmisión cultural.

3. Contribuciones Clave

1. LLMs como Modelos de Hablante: Uso de LLMs para aproximar la probabilidad de que un humano con ciertas creencias genere un consejo específico, permitiendo la interpretación y generación de lenguaje en un marco bayesiano.
2. Inferencia desde Evidencia Lingüística: Integración del lenguaje como una fuente de evidencia directa en la inferencia bayesiana, junto con la experiencia sensoriomotora.
3. Inferencia Acelerada por LLM: Uso de LLMs para transformar mensajes en distribuciones de propuestas dirigidas, guiando la actualización bayesiana hacia las reglas más compatibles con el consejo recibido.
4. Transferencia Bidireccional: Demostración de que los modelos pueden aprender de humanos y, crucialmente, que pueden generar consejos pedagógicos que ayudan a humanos a aprender más rápido.

4. Resultados Principales

• Eficiencia Muestral: Tanto humanos como el modelo propuesto aprenden con alta eficiencia (medianamente resuelven 9/10 juegos en 10 vidas), superando drásticamente a baselines de RL puro (Deep Q-Network) y agentes puramente basados en LLM (que fallan en la mayoría de los juegos).
• Impacto del Lenguaje:
  • La guía lingüística reduce significativamente el número de intentos necesarios para completar niveles.
  • Reduce interacciones riesgosas (muertes) al comunicar peligros explícitos.
  • Acelera el descubrimiento de mecánicas clave (ej. combinaciones de objetos).
• Transferencia Humano-Máquina:
  • Los modelos aprenden mejor de consejos generados por otros modelos que de consejos humanos (debido a la precisión y estructura de los mensajes del modelo).
  • Los humanos también se benefician de los consejos generados por el modelo, mostrando una mejora significativa en la eficiencia de aprendizaje.
  • Existe una asimetría: los humanos usan estrategias metacognitivas y emocionales que el modelo tiene dificultades para interpretar, mientras que el modelo es más riguroso en la descripción de reglas.
• Aprendizaje Generacional: En experimentos iterados, el conocimiento se acumula a través de generaciones, permitiendo a agentes posteriores resolver juegos que los primeros no pudieron, aunque la transmisión es frágil en juegos con reglas complejas o estrategias múltiples.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la colaboración humano-IA y el aprendizaje social artificial:

• Puente Cognitivo: Ofrece una explicación computacional de cómo los humanos integran testimonio y experiencia, validando modelos de "Teoría de la Mente" bayesiana en entornos complejos.
• Eficiencia en IA: Demuestra que integrar lenguaje estructurado con modelos del mundo ejecutables permite un aprendizaje de "uno-shot" o "few-shot" en tareas complejas, superando la necesidad de millones de episodios de entrenamiento.
• Colaboración Bidireccional: Establece las bases para sistemas donde las máquinas no solo aprenden de los humanos, sino que actúan como tutores efectivos, cerrando el ciclo de aprendizaje colaborativo.
• Limitaciones y Futuro: El modelo actual depende de representaciones predefinidas (VGDL). El trabajo futuro apunta a escalar esto a entornos continuos y complejos (como Python o simulaciones físicas) y a desarrollar mecanismos metacognitivos para que los agentes juzguen la fiabilidad de los consejos recibidos.

En resumen, el artículo presenta un marco robusto donde el lenguaje no es solo una instrucción, sino una evidencia probabilística que, combinada con la experiencia, permite a agentes artificiales y humanos aprender, enseñar y acumular conocimiento cultural de manera eficiente y estructurada.