What Do You Think I Think? Accounting for Human Beliefs Using Second-Order Theory of Mind

Resumen Técnico: Contabilización de las Creencias Humanas Mediante una Teoría de la Mente de Segundo Orden

Enunciado del Problema
La interacción exitosa entre humanos y agentes depende de que el humano posea un modelo preciso de las capacidades y creencias del agente. Sin embargo, los humanos a menudo emplean sesgos cognitivos y heurísticas (CBH), como la Heurística de la Representatividad y el Sesgo de Confirmación, lo que puede conducir a creencias erróneas sobre lo que un agente sabe o cómo razona. Estas discrepancias entre el conocimiento real de un agente y la percepción humana de dicho conocimiento pueden obstaculizar la eficiencia de la interacción. Si bien trabajos anteriores han explorado dotar a los agentes de Teoría de la Mente (ToM) o de Teoría de la Mente de Segundo Orden (ToM-2), este trabajo aborda específicamente el desafío de modelar cómo los CBH influyen en la inferencia humana sobre las creencias de un agente, permitiendo que el agente detecte estos errores y adapte su retroalimentación en consecuencia.

Metodología
Los autores proponen un marco que utiliza un Proceso de Decisión de Markov Parcialmente Observable Interactivo (I-POMDP) para implementar una Teoría de la Mente de Segundo Orden (ToM-2). En esta arquitectura, el agente mantiene un modelo anidado del humano, donde el humano se modela como un agente ToM-1 (un razonador de primer orden).

• Dominio: El sistema se evalúa en una tarea de clasificación de cartas por turnos. Una "regla" dicta cómo se clasifican las cartas con múltiples características (que varían en Color, Relleno, Número y Forma) en dos contenedores. El profesor humano demuestra la regla clasificando cartas, y el agente proporciona retroalimentación sobre su creencia actual respecto a las características de la regla.
• Modelado de CBH: El marco I-POMDP permite que el agente mantenga creencias sobre múltiples modelos humanos ($m_{H,1}$) que codifican mecanismos específicos de CBH.
  • Heurística de la Representatividad (RH): Operacionalizada mediante el "Pensamiento Local" (LT), donde el agente aproxima que el humano se centra en características semánticamente similares mientras descuida ejemplos contrafactuales necesarios para eliminar otras reglas. Esto se modela aumentando la función de observación ($\Omega$) con una similitud coseno ponderada.
  • Sesgo de Confirmación (CB): Modelado como una tendencia del humano a esperar retroalimentación del agente que se alinee con sus creencias previas sobre la regla, en lugar de retroalimentación que elimine lógicamente las alternativas.
• Generación de Retroalimentación Adaptativa: El agente utiliza sus creencias ToM-2 para detectar discrepancias entre su conocimiento real y la aproximación humana de dicho conocimiento. Basándose en esta detección, el agente genera dos tipos de retroalimentación:
  1. Declaraciones de Confianza (CS): Retroalimentación estándar que transmite incertidumbre o certeza sobre una característica de la regla (por ejemplo, "Creo que la Clase es la Forma").
  2. Declaraciones de Comprensión (US): Retroalimentación diseñada para "empujar" al humano fuera del razonamiento inducido por CB, revelando explícitamente lo que el agente sabe sobre una característica que el humano pretende enseñar, mientras se destacan las posibles discrepancias (por ejemplo, "Parece que quieres que sepa que la Clase es la Forma, pero aún es posible que la Clase sea el Relleno").
     El agente utiliza CS por defecto para la ganancia de información, pero cambia a un tandem (US+CS) cuando detecta creencias erróneas causadas por CBH.

Contribuciones Clave

1. Marco Novel: Una arquitectura ToM-2 basada en I-POMDP que modela explícitamente la influencia de los CBH en las creencias humanas sobre las creencias de un agente, en lugar de solo modelar las acciones humanas.
2. Detección y Adaptación: Un mecanismo para que el agente detecte cuándo un humano depende de heurísticas específicas (RH y CB) y genere retroalimentación adaptativa (US) para corregir el proceso de razonamiento humano.
3. Validación Empírica: Un estudio con usuarios en persona que demuestra que este enfoque mejora la informatividad de las acciones de enseñanza humanas y es percibido como más útil por los participantes.

Resultados
El estudio involucró a 30 participantes enseñando a un agente virtual bajo tres condiciones: ToM-0 (sin ToM), ToM-0 Aleatorio (proporcionando retroalimentación extra aleatoriamente) y ToM-2 (retroalimentación adaptativa basada en la detección de CBH).

• Métricas Objetivas:
  • Ganancia de Información: El aprendiz ToM-2 elicita acciones de enseñanza significativamente más informativas (mayor ganancia de información relativa) en comparación con ambas líneas base, tanto después de una declaración como después de dos declaraciones de retroalimentación.
  • Eficiencia: El aprendiz ToM-2 mostró una reducción marginal pero significativa en el número de acciones del profesor requeridas para finalizar exitosamente una sesión en comparación con la línea base estándar ToM-0.
  • Detección: Simulaciones cualitativas mostraron que el aprendiz ToM-2 podía identificar la regla correcta y el modelo subyacente del profesor (incluyendo CBH), mientras que el aprendiz ToM-0 no podía hacerlo.
• Métricas Subjetivas:
  • Los participantes calificaron la retroalimentación del aprendiz ToM-2 como significativamente más útil que la de las líneas base.
  • Sin embargo, no hubo diferencia estadísticamente significativa en la confianza autoinformada de los participantes sobre la comprensión del agente, su confianza al enseñar o la agradablez de la experiencia.
  • Los participantes a menudo reportaron que los aprendices eran indistinguibles o igual de fáciles de enseñar, lo que sugiere que los beneficios del modelo ToM-2 pueden ser subconscientes.

Significancia y Limitaciones
El artículo afirma que permitir que un agente modele las causas de los errores de creencia humana (específicamente CBH) permite una interacción más efectiva mediante la generación de retroalimentación dirigida que ayuda al razonamiento humano. Los resultados sugieren que, aunque los humanos pueden no ser conscientes conscientemente del modelado avanzado del agente, la capacidad del agente para contabilizar los CBH conduce a interacciones objetivamente más eficientes e informativas.

Los autores reconocen varias limitaciones:

• El dominio de prueba de concepto (clasificación de cartas) es más simple que las interacciones reales entre humanos y agentes.
• El estudio exploró solo dos sesgos específicos (RH y CB) de los muchos que influyen en el comportamiento humano.
• La complejidad computacional de los I-POMDP sigue siendo una barrera para escalar este enfoque a tareas y modelos humanos más complejos, ya que los autores utilizaron el marco estrictamente para rastrear creencias en lugar de resolver políticas óptimas en el espacio anidado completo.