Empathy Modeling in Active Inference Agents for Perspective-Taking and Alignment

Resumen Técnico: Modelado de Empatía en Agentes de Inferencia Activa

1. El Problema

La inteligencia artificial socialmente robusta requiere agentes capaces de comprender y alinearse con las intenciones y valores de otros. Sin embargo, los enfoques tradicionales de "empatía artificial" suelen basarse en reconocimiento de patrones superficiales o respuestas emocionales preprogramadas, lo que genera una "brecha de empatía": las respuestas pueden parecer apropiadas formalmente, pero carecen de una comprensión genuina de los estados mentales y el bienestar ajeno.

El desafío central es desarrollar un marco computacional donde los agentes no solo predigan qué hará un oponente (Teoría de la Mente cognitiva), sino que también valoren el bienestar del otro como parte intrínseca de su propia toma de decisiones. Además, se debe entender cómo la capacidad de planificación estratégica y la asimetría en la empatía afectan la estabilidad de la cooperación en dilemas sociales repetidos.

2. Metodología

Los autores proponen un marco basado en la Inferencia Activa (Active Inference), extendido para incluir la empatía mediante la transformación de modelos de "yo" a "otro".

• Modelo Generativo y Estructura:

  • Cada agente mantiene un modelo generativo parcialmente observable (POMDP) sobre los estados ocultos, observaciones y políticas.
  • Modelado Estructuralmente Coincidente: En lugar de crear modelos independientes para cada interacción, el agente utiliza una arquitectura generativa idéntica a la propia para modelar al oponente. Los parámetros específicos del oponente (sesgo de cooperación, reciprocidad, precisión, peso empático) se tratan como variables latentes que se infieren en línea.
  • Perspectiva Continua: La toma de perspectiva no es un cambio de modo discreto, sino una mezcla continua ponderada por un parámetro de empatía ($\lambda$).

• Función de Energía Libre Esperada Social (Social EFE):
  La selección de acciones se basa en minimizar la energía libre esperada ($G$), reformulada para incluir el bienestar del otro:
  $$G_{social}(a_i) = (1 - \lambda) G_{self}(a_i) + \lambda \mathbb{E}[G_{other}(a_j)]$$
  Donde:

  • $\lambda \in [0, 1]$ es el parámetro de empatía.
  • $\lambda = 0$: Agente puramente egoísta.
  • $\lambda = 1$: Agente puramente altruista.
  • Valores intermedios: Un compromiso ponderado entre el interés propio y el bienestar del oponente.

• Inferencia y Planificación:

  • Teoría de la Mente (ToM): Se utiliza un módulo de ToM de profundidad 1 que predice la respuesta del oponente basándose en la historia de interacción.
  • Filtro de Partículas: Para el aprendizaje, los agentes mantienen una distribución posterior sobre los parámetros del oponente ($\theta_j$) mediante un filtro de partículas, permitiendo inferir si el oponente es cooperativo o explotador.
  • Planificación: Se evalúan dos regímenes:
    1. Miópico ($H=1$): Evalúa solo el siguiente paso.
    2. Sofisticado ($H>1$): Realiza un despliegue hacia adelante (rollout) de múltiples pasos para evaluar políticas a largo plazo.

• Entorno de Prueba:
  Se implementó en un Dilema del Prisionero Iterado (IPD) de dos jugadores, con pagos estándar ($T=5, R=3, P=1, S=0$).

3. Contribuciones Clave

1. Marco Unificado de Empatía: Introduce la empatía como un parámetro estructural ($\lambda$) dentro del marco de Inferencia Activa, operando sobre la energía libre esperada social en lugar de ser una regla externa.
2. Modelado de "Otro" como Latente: Propone que el agente reutiliza su propia arquitectura cognitiva para simular al otro, inferiendo sus parámetros de valoración como variables ocultas, alineándose con teorías de simulación en neurociencia.
3. Análisis de Dinámicas de Transición: Caracteriza matemáticamente la transición de fase entre la defeción mutua y la cooperación sostenida en función de $\lambda$.
4. Disección de Aprendizaje vs. Valoración: Demuestra que la precisión en la inferencia del oponente (aprendizaje) no garantiza la cooperación si falta la motivación empática.

4. Resultados Principales

• Transición de Fase de Cooperación:

  • Existe un umbral crítico de empatía ($\lambda^*$) necesario para sostener la cooperación.
  • En planificación miópica, la cooperación emerge abruptamente cuando $\lambda \gtrsim 0.25$.
  • En planificación sofisticada ($H=3$), el umbral se desplaza a la derecha ($\lambda \gtrsim 0.45$), indicando que una mayor capacidad de planificación requiere más empatía para resistir la tentación de la traición a largo plazo.

• Asimetría y Explotación:

  • La simetría en la empatía es crucial. Cuando un agente tiene baja empatía ($\lambda_i \approx 0$) y el otro alta ($\lambda_j \approx 1$), el agente de baja empatía explota sistemáticamente al otro, obteniendo mayores recompensas.
  • La falta de reciprocidad empática convierte la preocupación prosocial en una vulnerabilidad estructural.

• Dinámicas Temporales y Recuperación:

  • En regímenes de alta empatía simétrica, los agentes muestran una rápida recuperación tras desviaciones estocásticas (defecciones accidentales), comportándose como un ciclo de "disculpa-perdón".
  • Cerca del umbral de transición, se observa una inestabilidad de capa límite: alta variabilidad, transitorios largos y oscilaciones antes de estabilizarse, similar a fenómenos críticos en sistemas físicos.

• El Papel del Aprendizaje (Filtro de Partículas):

  • Los agentes pueden inferir con precisión los parámetros del oponente (sesgo de cooperación, etc.).
  • Hallazgo Contraintuitivo: Mejorar la precisión del modelo del oponente no aumenta la cooperación si $\lambda$ es bajo. De hecho, conocer con certeza que un oponente es cooperativo puede aumentar la tentación de explotar a un agente con baja empatía, reduciendo ligeramente la tasa de cooperación mutua. La cooperación es impulsada por la estructura de valoración ($\lambda$), no por la reciprocidad aprendida.

• Efecto de la Planificación Sofisticada:

  • Aumentar la profundidad de planificación ($H$) en agentes con empatía moderada reduce la cooperación. La planificación anticipa la ventaja acumulada de la traición (tentación), haciendo que las políticas de traición inicial sean más atractivas en el paisaje de energía libre, a menos que la empatía sea suficientemente alta para contrarrestarla.

5. Significado e Implicaciones

• Alineación de IA: El estudio sugiere que aumentar la capacidad cognitiva o de planificación de un agente (hacerlo "más inteligente") sin aumentar proporcionalmente su motivación prosocial (empatía) puede paradójicamente reducir su comportamiento cooperativo. Esto formaliza el riesgo de que sistemas más capaces sean más difíciles de alinear.
• Fundamento para la IA Social: La Inferencia Activa ofrece una base principista para agentes que coordinan mediante simulación interna de los estados ajenos, en lugar de imitación conductual o reglas externas.
• Diseño de Sistemas Robustos: Para lograr cooperación robusta en sistemas multiagente, es esencial garantizar la simetría en la valoración del bienestar mutuo y considerar que la planificación profunda puede desestabilizar la cooperación si no se acompaña de una fuerte motivación empática.
• Futuro: El marco abre la puerta a agentes que ajusten dinámicamente su empatía basada en la historia de interacción (retirada de la empatía ante la explotación) y a la aplicación en entornos más complejos y grupos grandes.

En conclusión, el artículo demuestra que la empatía actúa como un prior estructural sobre la interacción social, moldeando la estabilidad del equilibrio, la robustez ante perturbaciones y la dinámica temporal de la coordinación, siendo un componente indispensable para una IA socialmente alineada.