Empathy Modeling in Active Inference Agents for Perspective-Taking and Alignment

Resumo Técnico: Modelagem de Empatia em Agentes de Inferência Ativa

1. O Problema

A inteligência artificial segura e socialmente robusta exige agentes capazes de entender e alinhar-se com as intenções e valores de outros. Abordagens tradicionais de "empatia artificial" frequentemente dependem de reconhecimento de padrões superficiais ou respostas emocionais pré-programadas, criando uma "lacuna de empatia" onde o agente parece apropriado, mas não possui compreensão genuína.

O desafio central é desenvolver uma estrutura computacional onde agentes não apenas preveem o que os outros farão (Teoria da Mente cognitiva), mas também internalizam o bem-estar dos outros em seus próprios processos de tomada de decisão (dimensão afetiva e motivacional), sem depender de comunicação explícita ou recompensas externas moldadas.

2. Metodologia

Os autores propõem um framework baseado na Inferência Ativa (Active Inference), onde a empatia é implementada através de uma transformação de modelos "eu-outro" e inferência bayesiana.

• Modelo Generativo e Estrutura:

  • Cada agente é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP).
  • Em vez de manter modelos generativos separados e arbitrários para cada parceiro, o agente utiliza uma arquitetura estruturalmente correspondente (simulation theory). O agente modela o outro usando a mesma estrutura de inferência que usa para si mesmo, tratando os parâmetros específicos do oponente (como viés de cooperação, precisão e empatia) como variáveis latentes a serem inferidas online.
  • O espaço de estados ocultos codifica o resultado conjunto da interação (ex: Cooperação-Cooperação, Cooperação-Defecção, etc.).

• Mecanismo de Empatia (Parâmetro $\lambda$):

  • A inovação central é a introdução de um parâmetro de empatia $\lambda \in [0, 1]$ que pondera a Energia Livre Esperada Social (Social EFE).
  • A função de utilidade social é definida como:
    $$G_{social} = (1 - \lambda) G_{self} + \lambda E[G_{other}]$$
    Onde $G_{self}$ é a energia livre esperada baseada no próprio benefício do agente e $G_{other}$ é a energia livre esperada do oponente.
  • $\lambda = 0$: Agente puramente egoísta.
  • $\lambda = 1$: Agente puramente altruísta.
  • Valores intermediários criam um compromisso ponderado entre o interesse próprio e o bem-estar do outro.

• Inferência e Planejamento:

  • Teoria da Mente (ToM): O agente utiliza um módulo de ToM de profundidade 1 para prever a resposta do oponente, modelando-o como um agente racional que também minimiza sua própria energia livre.
  • Aprendizado: Uma variante do modelo utiliza um filtro de partículas para inferir online os parâmetros latentes do oponente (incluindo o $\lambda$ do oponente), permitindo que o agente aprenda o perfil comportamental do parceiro.
  • Planejamento: Os agentes podem operar em modo miope (horizonte $H=1$) ou sofisticado (horizonte $H>1$, planejamento multi-passos), avaliando políticas futuras através de rollouts.

3. Contribuições Principais

1. Framework Unificado de Empatia: Integra a preocupação empática diretamente na estrutura de decisão variacional, tratando o bem-estar do outro como uma variável latente que influencia a seleção de ações.
2. Modelagem "Eu-Outro" Dinâmica: Demonstra como um único modelo generativo pode ser reconfigurado dinamicamente entre interpretações egocêntricas e alocêntricas, permitindo inferência sobre crenças, objetivos e tendências de ação dos outros.
3. Separação entre Cognição e Motivação: O modelo distingue claramente a capacidade de prever o comportamento do outro (ToM) da disposição de se importar com o outro ($\lambda$), permitindo analisar como a falta de motivação prosocial pode levar à exploração mesmo com alta precisão cognitiva.

4. Resultados Principais

Os resultados foram validados no Dilema do Prisioneiro Iterado (IPD):

• Transição de Fase na Cooperação:

  • Existe uma transição aguda (semelhante a uma transição de fase) na taxa de cooperação mútua à medida que $\lambda$ aumenta.
  • Para $\lambda$ baixo (< 0.25), o sistema converge para defeção mútua. Acima de um limiar crítico (aprox. $\lambda \approx 0.25$ para agentes miopes), a cooperação mútua torna-se o atrator dominante.
  • A região próxima ao limiar exibe alta variabilidade e transientes longos, indicando instabilidade dinâmica.

• Assimetria e Exploração:

  • A simetria na empatia é crucial. Assimetrias levam à exploração sistemática: o agente com menor $\lambda$ explora consistentemente o agente com maior $\lambda$.
  • A cooperação robusta emerge apenas quando a empatia é recíproca.

• Dinâmica Temporal e Recuperação:

  • Agentes com alta empatia exibem sincronização comportamental e recuperação rápida de defeções estocásticas (padrões de "pedido de desculpas-perdão").
  • Agentes com baixa empatia, uma vez que entram em defeção, tendem a permanecer nesse estado.

• Aprendizado vs. Empatia:

  • A capacidade de aprender o perfil do oponente (inferência bayesiana precisa) não induz cooperação por si só.
  • Na verdade, em níveis baixos de empatia, a inferência precisa do perfil cooperativo do oponente pode aumentar a exploração, pois o agente egoísta sabe exatamente como maximizar seu ganho explorando a cooperação do outro. A cooperação é impulsionada pela estrutura empática ($\lambda$), não pela reciprocidade aprendida.

• Efeito do Planejamento Sofisticado (Horizonte $H$):

  • Contrariando a intuição de que maior planejamento leva a melhores resultados sociais, o aumento do horizonte de planejamento ($H > 1$) reduz a cooperação em níveis moderados de empatia.
  • Agentes sofisticados antecipam os ganhos cumulativos da tentação (defecção) ao longo do tempo, tornando a estratégia de defeção inicial mais atraente.
  • Isso exige um nível de empatia significativamente maior ($\lambda \approx 0.45$) para manter a cooperação em agentes sofisticados, comparado a agentes miopes.

5. Significado e Implicações

• Alinhamento de IA: O trabalho sugere que aumentar a capacidade cognitiva (planejamento, ToM) de um agente sem aumentar sua motivação prosocial (empatia) pode paradoxalmente torná-lo menos cooperativo e mais propenso à exploração. O alinhamento requer que a capacidade e a valoração social escalem juntas.
• Fundamento Teórico: A inferência ativa oferece uma base principial para agentes socialmente alinhados que coordenam através de simulação interna (modelagem do outro dentro do próprio modelo) em vez de mímica comportamental.
• Dinâmica Crítica: A identificação de comportamentos críticos (variabilidade elevada, transientes longos) perto dos limiares de cooperação oferece novas métricas para avaliar a robustez de sistemas multiagentes.
• Futuro: O framework aponta para a necessidade de modelar a empatia não como um parâmetro fixo, mas como uma variável latente dinâmica que pode ser inferida e ajustada com base no contexto e na história de interação, fechando a lacuna entre a modelagem cognitiva e a motivação genuína.

Em suma, o artigo demonstra que a empatia, formalizada como uma ponderação estrutural na energia livre esperada, é um mecanismo fundamental para estabilizar a cooperação em dilemas sociais, atuando como um prior estrutural que molda a seleção de equilíbrios e a estabilidade temporal das interações.