Resumen Técnico: El uso de la Teoría de la Mente para arbitrar entre el aprendizaje social y no social

Planteamiento del problema

El aprendizaje social permite que los agentes adquieran información de otros; sin embargo, los humanos no dependen de él de manera indiscriminada. Deben decidir cuándo observar, a quién observar y cuánto tiempo observar, equilibrando la ganancia potencial de información frente a los costes cognitivos y de tiempo de la observación frente a la exploración independiente. Los modelos computacionales existentes de aprendizaje social generalmente se dividen en dos categorías:

1. Relatos heurísticos: Estos dependen de reglas fijas (por ejemplo, "copiar al de la mayoría" o "copiar al prestigioso") y tratan el comportamiento observado como una señal que debe ser ponderada, ignorando los estados mentales generativos (metas y creencias) que produjeron dicho comportamiento.
2. Relatos de Aprendizaje por Refuerzo (RL): Estos ponderan la información social basándose en la fiabilidad estimada de la fuente (volatilidad), pero de manera similar tratan el comportamiento como una señal ruidosa en lugar de evidencia de estados mentales subyacentes.

Ambos enfoques tienen dificultades para explicar el aprendizaje eficiente a partir de observaciones dispersas e indirectas donde la inferencia crítica no es qué hizo un agente, sino por qué lo hizo (es decir, sus metas y creencias). Además, mientras que la literatura sobre la búsqueda activa de información aborda el compromiso entre coste-beneficio de las consultas no sociales, extender esto a las fuentes sociales es complejo porque la capacidad de información de una observación depende de las metas y creencias latentes del agente observado, las cuales pueden diferir de las del observador.

Metodología

Paradigma Experimental

Los autores introdujeron un novedoso juego de mundo de cuadrícula (12x11) para crear compensaciones controlables paramétricamente entre el aprendizaje social y el no social.

• Configuración: Un "agente rojo" controlado por un humano debe recuperar un cofre del tesoro específico. El camino está bloqueado por barreras de colores que requieren amuletos coincidentes sostenidos por magos específicos (entre señuelos).
• Mecánicas: En cada paso de tiempo, el agente puede actuar (moverse un paso, incurriendo en un coste de 3 puntos) u observar a un NPC (Personaje No Jugador) seleccionado (incurriendo en un coste de 1 punto por paso, durante el cual solo se mueve el NPC).
• Variables: El estudio varió:
  • Incertidumbre de la Meta: Tesoros únicos frente a múltiples tesoros (Experimentos 1 vs. 2).
  • Disponibilidad de Agentes: Un solo NPC frente a múltiples NPCs (Experimento 3).
  • Experiencia del Agente: Experto (conoce la ubicación del amuleto) frente a Novato (no la conoce) (Experimento 4).
• Estructura de Costes: El movimiento cuesta 3 puntos, la interacción con el mago cuesta 5 puntos y la observación cuesta 1 punto. Los participantes fueron incentivados para minimizar el coste total.

El Modelo de Mentalización Racional

Los autores proponen un modelo de Mentalización Racional que integra la Teoría de la Mente (ToM) Bayesiana con un análisis racional de coste-beneficio. El modelo opera comparando la utilidad esperada de actuar inmediatamente frente a observar a un agente.

1. Modelo Generativo del Agente Observado: El observador modela al NPC como un planificador casi óptimo en un entorno parcialmente observable. El observador mantiene una distribución posterior sobre las metas ($g$) y creencias ($b$) latentes del NPC utilizando un filtro de partículas (Búsqueda de Plan Inverso Secuencial, SIPS).
2. Simulación y Predicción: Para cada hipótesis $\theta = (g, b)$, el observador simula la trayectoria futura del NPC usando una política de Boltzmann. Predice:
   • $T^i$: El número de pasos de observación requeridos para que la trayectoria del NPC reduzca el conjunto de candidatos de magos del observador a uno (o falsifique la hipótesis).
   • $C^i_{plan}$: El coste de exploración residual que el observador enfrentaría tras adquirir esta información.
3. Arbitraje de Utilidad: El modelo calcula el coste esperado de observar al agente $j$:
   $$Q^j_{obs}(t) = \sum_i p^i_t [c_{obs} T^i + C^i_{plan}]$$
   donde $p^i_t$ es el peso posterior de la hipótesis $i$.
   El observador compara esto contra el coste de actuar inmediatamente, $C_{self}(b_t)$ (estimado mediante un planificador ávido/greedy).
   • Si $Q^j_{obs}(t) < C_{self}(b_t)$, el modelo observa al agente $j$.
   • De lo contrario, actúa.
   • En entornos multi-agente, el modelo selecciona al agente $j^*$ que minimiza $Q^j_{obs}(t)$.

Estudios de Ablación

Para aislar las contribuciones de componentes específicos, los autores compararon el modelo completo contra tres ablaciones:

• Observador Racional: Realiza el análisis de coste-beneficio pero carece de ToM (no infiere metas/creencias).
• Observador Mentalizador: Infiere metas/creencias pero carece de estimación de utilidad (no pondera el coste de observación frente al coste de exploración).
• Observador Naive (Ingenuo): Observa indiscriminadamente basándose en reglas fijas (por ejemplo, observar hasta la primera interacción con un mago) sin inferencia ni razonamiento de costes.

Resultados Clave

Ajuste Cuantitativo

A través de cuatro experimentos con complejidad creciente, el modelo de Mentalización Racional logró una alta fidelidad al capturar el comportamiento de observación humano:

• Correlación: Las correlaciones de Pearson por experimento oscilaron entre $r = 0.90$ y $0.95$.
• Concordancia: El coeficiente de correlación de concordancia de Lin (CCC) agrupado fue de 0.89 (IC 95% [0.84, 0.92]), acercándose al límite superior de la fiabilidad inter-participante humana ($r_{SB} = 0.83-0.92$).
• Comparación: Todos los modelos de ablación tuvieron un desempeño significativamente inferior (CCC $\leq 0.21$).

Patrones Cualitativos e Insights de Ablación

• Incertidumbre de la Meta (Exp 2): Cuando la meta del NPC era ambigua, tanto los humanos como el modelo completo observaron durante más tiempo para desambiguar. El Observador Mentalizador observó en exceso porque podía razonar sobre las metas, pero falló al no ponderar el coste de la observación frente al beneficio. El Observador Racional observó de menos porque no pudo anticipar que la trayectoria del NPC sería informativa.
• Selección de Agentes (Exp 3): Cuando había dos expertos presentes, los humanos y el modelo completo observaron selectivamente al agente cuya trayectoria era más probable que fuera informativa para la meta específica del observador. El Observador Naive y el Observador Racional no lograron distinguir entre agentes, mientras que el Observador Mentalizador identificó la dirección de la información, pero no logró asignar el tiempo de observación de manera eficiente.
• Calibración de la Experiencia (Exp 4): Cuando había un experto y un novato presentes, los humanos y el modelo completo cambiaron dinámicamente la observación según el entorno (por ejemplo, observando al novato cuando su trayectoria era más diagnóstica en mapas de magos dispersos). El Observador Mentalizador observó en exceso al novato en casos donde la ganancia de información no justificaba el coste. Los Observadores Racional y Naive optaron por defecto por el experto, fallando en utilizar la señal contrafáctica del novato.

Observación vs. Ejecución
El modelo completo reprodujo correctamente el acoplamiento positivo entre los pasos de observación y ejecución encontrados en los datos humanos (más observación correlaciona con más pasos de ejecución). Los observadores Mentalizador y Naive invirtieron esta relación (pendientes negativas), mientras que el Observador Racional mostró una pendiente positiva más débil con un intervalo de confianza que incluye el cero.

Significado y Reivindicaciones

El artículo afirma que el aprendizaje social selectivo es guiado por la Teoría de la Mente al servicio de la maximización de la utilidad.

1. Integración de ToM y Utilidad: El estudio demuestra que ni la ToM por sí sola ni el análisis de coste-beneficio por sí solo son suficientes. Los humanos (y el modelo) requieren ambos: la capacidad de inferir los estados mentales generativos de otros para predecir la capacidad de información, y la capacidad de arbitrar esta ganancia potencial frente al coste de la observación.
2. Más allá de la Fiabilidad de la Señal: A diferencia de los relatos de RL que arbitran basándose en la fiabilidad de la fuente (volatilidad), este modelo muestra que la arbitración depende de las metas inferidas de la fuente. El comportamiento de un agente solo es informativo si sus metas se alinean o interactúan significativamente con los objetivos del observador.
3. Visión Generativa del Comportamiento: Los resultados apoyan la visión de que el comportamiento observado debe tratarse como evidencia sobre las metas y creencias que lo produjeron, en lugar de como una señal fija. Esto permite un aprendizaje eficiente a partir de datos indirectos y dispersos donde los agentes tienen objetivos diferentes.
4. Mecanismo Unificado para la Confianza Selectiva: El artículo sugiere que la "confianza selectiva" (preferir expertos) y la "observación selectiva" (elegir a quién observar) pueden ser productos de una inferencia Bayesiana unificada sobre modelos de agentes, en lugar de sistemas cognitivos distintos.

Los autores señalan limitaciones, incluyendo que el modelo trata la observación como el único canal social (ignorando la comunicación/pedagogía) y asume ensayos independientes sin acumular priors específicos del agente. Además, el modelo predice sistemáticamente de forma inferior la cantidad absoluta de observación que realizan los humanos, lo que sugiere un papel de la curiosidad intrínseca o de la recopilación de evidencia conservadora más allá de la estricta maximización de la utilidad. Sin embargo, el modelo captura con éxito los patrones relativos del comportamiento de toma de decisiones humano en entornos complejos de aprendizaje social.