🤖 AI

Artificial Empathy: Towards a Framework for Unsupervised Agency Detection and Policy Reconstruction

Este artigo propõe um framework que utiliza um agente de aprendizado por reforço treinado em uma tarefa independente como um prior para permitir a detecção não supervisionada de outros agentes e a reconstrução de suas políticas apenas a partir de observações ambientais.

Autores originais: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nos cantos silenciosos da pesquisa de inteligência artificial, uma questão fundamental persiste: como pode uma máquina entender que algo ou alguém no mundo está agindo com um propósito? Para que um computador coopere com humanos ou outras máquinas, ele deve primeiro distinguir entre uma pedra caindo devido à gravidade e uma pessoa alcançando essa pedra com intenção. Essa habilidade, conhecida como detecção de agência, é o alicerce da interação social. Sem ela, uma inteligência artificial vê apenas um fluxo caótico de eventos, incapaz de diferenciar o ruído aleatório de um plano direcionado a um objetivo. O desafio é ainda maior quando a máquina deve descobrir o que aquele outro agente deseja fazer, uma tarefa chamada reconstrução de política. Se uma máquina pudesse aprender a identificar essas intenções ocultas e modelá-las sem ser explicitamente ensinada, daria um passo massivo para se tornar uma parceira verdadeiramente cooperativa, capaz de alinhar seus próprios objetivos com os dos seres ao seu redor.

Uma equipe de pesquisadores do Human Inductive Bias Project em Cambridge deu um passo significativo para resolver esse enigma ao propor um sistema que eles chamam de "empatia artificial". Em vez de tentar construir uma teoria da mente complexa do zero, eles sugerem que uma inteligência artificial pode entender os outros usando suas próprias mecânicas internas como guia. A ideia central é que uma IA, que é por si só um agente que toma decisões e age sobre o mundo, já possui uma compreensão intrínseca de como é a agência. Ao treinar um sistema para prever o futuro com base em seus próprios padrões aprendidos de comportamento, os pesquisadores criaram uma estrutura que pode escanear um ambiente, detectar outros agentes e descobrir o que esses agentes estão tentando alcançar, tudo isso sem rótulos ou instruções humanas.

Os pesquisadores testaram esse conceito em um ambiente digital controlado, um mundo de grade simples onde um agente se move para coletar recompensas. Eles treinaram um agente de IA padrão para resolver uma tarefa específica, como alcançar o canto inferior esquerdo da grade para ganhar pontos. Esse agente treinado serviu como o "especialista" ou o "outro" que o novo sistema precisava entender. Para tornar a tarefa difícil e realista, os pesquisadores introduziram um elemento de confusão: um segundo agente falso que se movia aleatoriamente, como uma folha soprando ao vento. O objetivo para o novo sistema era ignorar o movimento aleatório e identificar corretamente o verdadeiro agente, e então aprender a imitar sua estratégia específica para atingir o objetivo. O sistema não foi informado sobre qual era o agente real; ele teve que descobrir por conta própria.

Para alcançar isso, o novo sistema recebeu uma vantagem inicial ao ser carregado com o "cérebro" de uma IA diferente que havia sido treinada em uma tarefa completamente não relacionada, como coletar itens de comida. Esse conhecimento pré-carregado atuou como um prior, um conjunto de expectativas sobre como os agentes geralmente se comportam e como suas ações alteram o mundo. O sistema então observou o fluxo de eventos no mundo de grade. Ele usou seu modelo interno para fazer uma pergunta simples: se eu assumir que um agente está agindo aqui, posso prever o que acontece a seguir? Quando o sistema olhava para o caminhante aleatório, suas previsões falhavam porque os movimentos aleatórios não seguiam nenhum padrão lógico de busca por objetivos. No entanto, quando observava o agente especialista, suas previsões funcionavam bem porque os movimentos do especialista eram consistentes com a lógica de um agente tentando alcançar um objetivo. Ao minimizar o erro entre suas previsões e a realidade, o sistema efetivamente filtrou o ruído e concentrou-se no verdadeiro agente.

Os resultados deste experimento foram promissores. Após observar o ambiente por um curto período, o sistema aprendeu a ignorar o decote aleatório e adotou com sucesso a estratégia do agente especialista. Em uma série de testes, o desempenho do sistema subiu rapidamente acima de um palpite aleatório, eventualmente igualando o nível de habilidade do especialista original. Isso demonstrou que o sistema poderia, de fato, realizar a detecção de agência não supervisionada, identificando o ator proposital em meio ao caos e reconstruindo sua política. Os pesquisadores observaram que esse sucesso dependeu do sistema usar sua própria dinâmica interna como uma lente para ver o mundo, dizendo efetivamente: "Eu sei como é ter um objetivo, então posso reconhecê-lo nos outros".

Apesar desses achados encorajadores, os pesquisadores são cuidadosos ao enquadrar isso como uma prova de conceito inicial, e não como uma solução final. Os experimentos foram conduzidos em um mundo de grade pequeno e totalmente visível, com apenas um agente real e um falso. O sistema dependeu fortemente do fato de que o agente anterior e o agente alvo serem estruturalmente semelhantes, e ainda não se sabe quão bem essa abordagem funcionaria se os agentes fossem vastamente diferentes ou se o ambiente fosse complexo e parcialmente oculto. O estudo sugere que priors autorreferenciais podem apoiar a detecção de agência, mas ainda não afirma ter resolvido o problema mais amplo de alinhar a inteligência artificial com os valores humanos no mundo real. O trabalho abre uma porta, mostrando que uma IA pode aprender a se importar com os outros ao primeiro entender a si mesma, mas a jornada para um futuro totalmente cooperativo permanece longa e não testada.

Resumo Técnico: Empatia Artificial: Rumo a um Framework para Detecção de Agência Não Supervisionada e Reconstrução de Política

Definição do Problema

O artigo aborda dois desafios interconectados em alinhamento de IA e sistemas multiagentes:

Detecção de Agência: A tarefa de distinguir entre comportamento agêntico (atividade direcionada a objetivos) e dinâmicas aleatórias não agênticas dentro de um ambiente.
Reconstrução de Política: A tarefa de inferir a política subjacente de um agente ( $\pi_O$ ) apenas a partir do comportamento observado, sem acesso a funções de recompensa ou trajetórias de ação rotuladas.

Embora o Aprendizado por Reforço Inverso (IRL) aborde a reconstrução de política, ele tipicamente requer pares observação-ação pré-processados e assume que a identidade do agente já é conhecida. Os autores argumentam que resolver ambas as tarefas conjuntamente de forma não supervisionada é um passo necessário para o alinhamento de IA, permitindo que o sistema desenvolva uma "política conjunta" que sintetiza seus próprios objetivos com os de outros agentes, conferindo efetivamente ao sistema uma propensão a "importar-se" com os outros.

Metodologia

Os autores propõem a Empatia Artificial (AE - Artificial Empathy), um framework onde um sistema de IA utiliza suas próprias dinâmicas agênticas aprendidas como um prior para detectar e modelar outros agentes. A abordagem baseia-se em uma arquitetura de Aprendizado por Reforço (RL) baseada em modelo.

1. Arquitetura do Agente Base

A fundação é um agente de Q-learning profundo aumentado com um modelo de mundo treinável, inspirado em Autoencoders Variacionais (VAEs). A arquitetura compreende:

Encoder ( $p_\theta$ ): Uma rede convolucional que infere estados latentes do mundo ( $s_t$ ) a partir de observações ( $o_t$ ).
Modelo de Transição ( $q_\phi$ ): Uma rede densa que prevê o próximo estado latente ( $s_{t+1}$ ) dado o estado atual e a ação ( $s_t, a_t$ ).
Decoder ( $d_\omega$ ): Reconstrói observações a partir de estados latentes.
Rede Q ( $Q_\rho$ ): Prevê valores Q para estados do mundo.

O agente base é treinado usando uma função de perda combinada ( $L_{base}$ ) composta por:

Perda de Reconstrução ( $L_{recon}$ ): MSE entre a observação real e a reconstruída.
Perda de Transição ( $L_{trans}$ ): Divergência KL entre a posterior modelada e a posterior aproximada.
Perda Q ( $L_Q$ ): MSE entre o alvo e os valores Q previstos.

2. Sistema de Empatia Artificial (AE)

O sistema AE utiliza um agente base treinado (o "agente prior") como um prior estrutural para dinâmicas agênticas. Ele tenta reconstruir a política de um agente "alvo" ou "especialista" atuando em um ambiente.

Inicialização: O sistema AE inicializa seus pesos com base nos pesos do agente prior, impondo um prior Gaussiano no espaço de pesos via termos de penalidade ( $R_p, R_q, R_Q$ ).
Mecanismo de Predição: O sistema AE assume que o ambiente contém um agente. Ele codifica observações em estados latentes e prevê o próximo estado ( $p^*(s_{t+1}|s_t, A)$ ) marginalizando sobre todas as ações possíveis ( $N$ ), ponderadas pela probabilidade de cada ação derivada da rede Q do AE:
$p^*(s_{t+1}|s_t, A) = \sum_{i=0}^{N} P(a_i)q'(s_{t+1}|s_t, a_i)$
Função de Perda: O sistema minimiza a discrepância entre os estados do mundo codificados e os estados do mundo previstos sob a suposição de agência. A perda total ( $L_{AE}$ $L_{A E}$ ) inclui:
- Divergência KL ( $L_{KL}$ ): Entre a distribuição codificada e a distribuição prevista pelo agente.
- Penalidade de Entropia ( $R_H$ ): Para forçar o sistema a se comprometer com ações específicas em vez de distribuições suaves.
- Penalidades de Peso ( $R_p, R_q, R_Q$ ): Para manter a similaridade estrutural com o agente prior.

Configuração Experimental e Resultados

Os autores validaram o framework em um gridworld de 15×15 com duas tarefas distintas:

Food-Game: Coletar três itens de comida.
Edge-Game: Alcançar a borda inferior esquerda.

Configuração:

Um agente treinado no Food-Game serviu como o prior.
Um agente treinado no Edge-Game serviu como o especialista.
O sistema AE foi inicializado com o prior do Food-Game e encarregado de imitar a política do especialista do Edge-Game.
Fator de Confundimento: Um agente "isca" (decoy) realizando um passeio aleatório foi adicionado ao fluxo de observação para testar a detecção de agência.

Resultados:

O sistema AE aprendeu com sucesso a imitar a política do especialista (Edge-Game), apesar de ter sido inicializado com um prior estruturalmente diferente (Food-Game).
Crucialmente, o sistema resolveu implicitamente a tarefa de detecção de agência: ele ignorou as dinâmicas aleatórias do agente isca e focou no comportamento agêntico do especialista.
As métricas de desempenho mostraram que, após 35 episódios, a recompensa cumulativa do agente AE superou significativamente um passeio aleatório e aproximou-se da do agente especialista base.

Principais Contribuições

Proposta de Framework: Introdução da "Empatia Artificial" como um framework de primeiros princípios para detecção de agência não supervisionada e reconstrução de política.
Prior Autorreferencial: O uso inovador das próprias dinâmicas de um agente (via seu modelo de mundo treinado) como um prior para identificar e modelar outros agentes, inspirado pela teoria da simulação e mecanismos de neurônios espelho na ciência cognitiva.
Resolução de Tarefa Conjunta: Demonstração de que uma única arquitetura pode simultaneamente distinguir atividade agêntica de não agêntica e reconstruir a política subjacente sem dados rotulados.

Significância e Alegações

O artigo posiciona este trabalho como um passo fundamental para resolver o problema do alinhamento de IA. Ao permitir que uma IA detecte e modele os objetivos de outros agentes, o sistema pode teoricamente construir uma política conjunta ( $\pi_\Omega$ ) que sintetiza seus próprios objetivos com os de outros, promovendo o comportamento cooperativo.

Os autores declaram explicitamente que seus resultados atuais demonstram viabilidade, em vez de robustez ou escala. Eles reconhecem que os experimentos são limitados a pequenos gridworlds totalmente observáveis com um único agente de confundimento. O artigo não afirma ter resolvido o alinhamento de IA, mas sugere que estabelecer a empatia artificial como um framework é um pré-requisito necessário para desenvolver sistemas capazes de "importar-se" com outros agentes. O trabalho futuro é identificado como a extensão do framework para observabilidade parcial, múltiplos agentes e políticas não estacionárias.