🤖 AI

Artificial Empathy: Towards a Framework for Unsupervised Agency Detection and Policy Reconstruction

Este artículo propone un marco que aprovecha un agente de aprendizaje por refuerzo entrenado en una tarea independiente como un conocimiento previo para permitir la detección no supervisada de otros agentes y la reconstrucción de sus políticas únicamente a partir de observaciones del entorno.

Autores originales: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En los rincones silenciosos de la investigación de la inteligencia artificial, persiste una pregunta fundamental: ¿cómo puede una máquina comprender que algo más en el mundo está actuando con un propósito? Para que una computadora pueda cooperar con humanos u otras máquinas, primero debe distinguir entre una roca que cae debido a la gravedad y una persona que estira la mano hacia esa roca con intención. Esta capacidad, conocida como detección de agencia, es la base de la interacción social. Sin ella, una inteligencia artificial solo ve un flujo caótico de eventos, incapaz de diferenciar entre el ruido aleatorio y un plan dirigido a un objetivo. El desafío es aún mayor cuando la máquina debe descifrar qué quiere hacer ese otro agente, una tarea llamada reconstrucción de política. Si una máquina pudiera aprender a identificar estas intenciones ocultas y modelarlas sin ser enseñada explícitamente, daría un paso masivo hacia convertirse en una compañera verdaderamente cooperativa, capaz de alinear sus propios objetivos con los de los seres que la rodean.

Un equipo de investigadores del Proyecto de Sesgo Inductivo Humano en Cambridge ha dado un paso significativo hacia la resolución de este rompecabezas al proponer un sistema que llaman "empatía artificial". En lugar de intentar construir una teoría de la mente compleja desde cero, sugieren que una inteligencia artificial puede comprender a los demás utilizando su propia mecánica interna como guía. La idea central es que una IA, que es en sí misma un agente que toma decisiones y actúa sobre el mundo, ya posee una comprensión intrínseca de cómo es la agencia. Al entrenar a un sistema para predecir el futuro basándose en sus propios patrones aprendidos de comportamiento, los investigadores crearon un marco que puede escanear un entorno, detectar otros agentes y determinar qué intentan lograr esos agentes, todo ello sin etiquetas ni instrucciones humanas.

Los investigadores probaron este concepto en un entorno digital controlado, un mundo de cuadrícula simple donde un agente se desplaza para recolectar recompensas. Entrenaron a un agente de IA estándar para resolver una tarea específica, como alcanzar la esquina inferior izquierda de la cuadrícula para ganar puntos. Este agente entrenado sirvió como el "experto" o el "otro" que el nuevo sistema necesitaba comprender. Para que la tarea fuera difícil y realista, los investigadores introdujeron un elemento de confusión: un segundo agente falso, que se movía aleatoriamente, como una hoja que se mueve con el viento. El objetivo para el nuevo sistema era ignorar el movimiento aleatorio e identificar correctamente al verdadero agente, y luego aprender a imitar su estrategia específica para alcanzar la meta. El sistema no se le dijo cuál era el agente real; tenía que descubrirlo por sí mismo.

Para lograr esto, el nuevo sistema recibió una ventaja inicial al ser cargado con el "cerebro" de una IA diferente que había sido entrenada en una tarea completamente ajena, como recolectar alimentos. Este conocimiento precargado actuó como un prior, un conjunto de expectativas sobre cómo se comportan los agentes en general y cómo sus acciones cambian el mundo. El sistema observó entonces el flujo de eventos en el mundo de la cuadrícula. Utilizó su modelo interno para hacerse una pregunta sencilla: si asumo que un agente está actuando aquí, ¿puedo predecir qué sucede después? Cuando el sistema observaba al caminante aleatorio, sus predicciones fallaban porque los movimientos aleatorios no seguían ningún patrón lógico de búsqueda de objetivos. Sin embargo, cuando observaba al agente experto, sus predicciones funcionaban bien porque los movimientos del experto eran consistentes con la lógica de un agente que intenta alcanzar una meta. Al minimizar el error entre sus predicciones y la realidad, el sistema filtró eficazmente el ruido y se centró en el verdadero agente.

Los resultados de este experimento fueron prometedores. Tras observar el entorno durante un corto período, el sistema aprendió a ignorar el señuelo aleatorio y adoptó con éxito la estrategia del agente experto. En una serie de pruebas, el rendimiento del sistema aumentó rápidamente por encima de un simple azar, igualando finalmente el nivel de habilidad del experto original. Esto demostó que el sistema podía, de hecho, realizar una detección de agencia no supervisada, identificando al actor con propósito entre el caos y reconstruyendo su política. Los investigadores señalaron que este éxito dependía de que el sistema utilizara su propia dinámica interna como una lente para ver el mundo, diciendo efectivamente: "Sé lo que se siente tener un objetivo, así que puedo reconocerlo en los demás".

A pesar de estos alentadores hallazgos, los investigadores son cuidadosos al presentar esto como una prueba de concepto temprana en lugar de una solución terminada. Los experimentos se llevaron a cabo en un mundo de cuadrícula pequeño y totalmente visible, con un solo agente real y uno falso. El sistema dependía en gran medida de que el agente previo y el agente objetivo fueran estructuralmente similares, y aún no se sabe qué tan bien funcionaría este enfoque si los agentes fueran muy diferentes o si el entorno fuera complejo y parcialmente oculto. El estudio sugiere que los priors autorreferenciales pueden apoyar la detección de la agencia, pero aún no afirma haber resuelto el problema más amplio de alinear la inteligencia artificial con los valores humanos en el mundo real. El trabajo abre una puerta, mostrando que una IA puede aprender a preocuparse por los demás comprendiendo primero a sí misma, pero el viaje hacia un futuro plenamente cooperativo sigue siendo largo y sin probar.

Resumen Técnico: Empatía Artificial: Hacia un Marco para la Detección de Agencia No Supervisada y la Reconstrucción de Políticas

Definición del Problema

El artículo aborda dos desafíos interconectados en la alineación de la IA y los sistemas multiagente:

Detección de Agencia: La tarea de distinguir entre el comportamiento agéntico (actividad dirigida a objetivos) y la dinámica aleatoria no agéntica dentro de un entorno.
Reconstrucción de la Política: La tarea de inferir la política subyacente de un agente ( $\pi_O$ ) basándose únicamente en el comportamiento observado, sin acceso a funciones de recompensa o trayectorias de acciones etiquetadas.

Mientras que el Aprendizaje por Refuerzo Inverso (IRL) aborda la reconstrucción de la política, típicamente requiere pares de observación-acción preprocesados y asume que la identidad del agente ya es conocida. Los autores argumentan que resolver ambas tareas de manera conjunta y no supervisada es un paso necesario hacia la alineación de la IA, permitiendo que el sistema desarrolle una "política conjunta" que sintetice sus propios objetivos con los de otros agentes, otorgándole efectivamente una propensión a "preocuparse" por los demás.

Metodología

Los autores proponen la Empatía Artificial (AE), un marco donde un sistema de IA utiliza su propia dinámica agéntica aprendida como un prior para detectar y modelar a otros agentes. El enfoque se basa en una arquitectura de Aprendizaje por Refuerzo (RL) basado en modelos.

1. Arquitectura del Agente Base

La base es un agente de Q-learning profundo aumentado con un modelo de mundo entrenable, inspirado en los Autoencoders Variacionales (VAEs). La arquitectura consta de:

Codificador ( $p_\theta$ ): Una red convolucional que infiere estados latentes del mundo ( $s_t$ ) a partir de observaciones ( $o_t$ ).
Modelo de Transición ( $q_\phi$ ): Una red densa que predice el siguiente estado latente ( $s_{t+1}$ ) dado el estado actual y la acción ( $s_t, a_t$ ).
Decodificador ( $d_\omega$ ): Reconstruye las observaciones a partir de los estados latentes.
Red Q ( $Q_\rho$ ): Predice los valores Q para los estados del mundo.

El agente base se entrena utilizando una función de pérdida combinada ( $L_{base}$ ) que consiste en:

Pérdida de Reconstrucción ( $L_{recon}$ ): MSE entre las observaciones reales y las reconstruidas.
Pérdida de Transición ( $L_{trans}$ ): Divergencia KL entre la posterior modelada y la posterior aproximada.
Pérdida Q ( $L_Q$ ): MSE entre los valores Q objetivo y los predichos.

2. Sistema de Empatía Artificial (AE)

El sistema AE utiliza un agente base entrenado (el "agente previo") como un prior estructural para la dinámica agéntica. Intenta reconstruir la política de un agente "objetivo" o "experto" actuando en un entorno.

Inicialización: El sistema AE inicializa sus pesos basándose en los pesos del agente previo, imponiendo un prior Gaussiano en el espacio de pesos mediante términos de penalización ( $R_p, R_q, R_Q$ ).
Mecanismo de Predicción: El sistema AE asume que el entorno contiene un agente. Codifica las observaciones en estados latentes y predice el siguiente estado ( $p^*(s_{t+1}|s_t, A)$ ) mediante la marginalización sobre todas las acciones posibles ( $N$ ), ponderadas por la probabilidad de cada acción derivada de la red Q del AE:
$p^*(s_{t+1}|s_t, A) = \sum_{i=0}^{N} P(a_i)q'(s_{t+1}|s_t, a_i)$
Función de Pérdida: El sistema minimiza la discrepancia entre los estados del mundo codificados y los estados del mundo predichos bajo el supuesto de agencia. La pérdida total ( $L_{AE}$ $L_{A E}$ ) incluye:
- Divergencia KL ( $L_{KL}$ ): Entre la distribución codificada y la distribución predicha por el agente.
- Penalización de Entropía ( $R_H$ ): Para forzar al sistema a comprometerse con acciones específicas en lugar de distribuciones suaves.
- Penalizaciones de Peso ( $R_p, R_q, R_Q$ ): Para mantener la similitud estructural con el agente previo.

Configuración Experimental y Resultados

Los autores validaron el marco en un mundo de cuadrícula (gridworld) de 15×15 con dos tareas distintas:

Juego de la Comida (Food-Game): Recolectar tres elementos de comida.
Juego del Borde (Edge-Game): Alcanzar el borde inferior izquierdo.

Configuración:

Un agente entrenado en el Food-Game sirvió como el previo (prior).
Un agente entrenado en el Edge-Game sirvió como el experto.
El sistema AE fue inicializado con el prior del Food-Game y tuvo la tarea de imitar la política del experto del Edge-Game.
Factor de Confusión: Se añadió un agente "señuelo" (decoy) que realiza un paseo aleatorio en el flujo de observación para probar la detección de agencia.

Resultados:

El sistema AE aprendió con éxito a imitar la política del experto (Edge-Game) a pesar de haber sido inicializado con un prior estructuralmente diferente (Food-Game).
Crucialmente, el sistema resolvió implícitamente la tarea de detección de agencia: ignoró la dinámica aleatoria del agente señuelo y se centró en el comportamiento agéntico del experto.
Las métricas de rendimiento mostraron que, tras 35 episodios, la recompensa acumulada del agente AE superó significativamente a un paseo aleatorio y se acercó a la del agente experto base.

Contribuciones Clave

Propuesta de Marco: Introducción de la "Empatía Artificial" como un marco de primeros principios para la detección de agencia no supervisada y la reconstrucción de políticas.
Prior Autorreferencial: El uso novedoso de la propia dinámica de un agente (a través de su modelo de mundo entrenado) como un prior para identificar y modelar otros agentes, inspirado en la teoría de la simulación y los mecanismos de neuronas espejo en la ciencia cognitiva.
Resolución de Tarea Conjunta: Demostración de que una única arquitectura puede distinguir simultáneamente entre actividad agéntica y no agéntica, y reconstruir la política subyacente sin datos etiquetados.

Significado y Reivindicaciones

El artículo posiciona este trabajo como un paso fundacional hacia la resolución del problema de la alineación de la IA. Al permitir que una IA detecte y modele los objetivos de otros agentes, el sistema puede teóricamente construir una política conjunta ( $\pi_\Omega$ ) que sintetice sus propios objetivos con los de otros, fomentando el comportamiento cooperativo.

Los autores declaran explícitamente que sus resultados actuales demuestran la factibilidad más que la robustez o la escala. Reconocen que los experimentos están limitados a mundos de cuadrícula pequeños y totalmente observables con un único agente de confusión. El artículo no pretende haber resuelto la alineación de la IA, sino que sugiere que establecer la empatía artificial como un marco es un prerrequisito necesario para desarrollar sistemas capaces de "preocuparse" por otros agentes. Se identifica como trabajo futuro la extensión del marco a la observabilidad parcial, múltiples agentes y políticas no estacionarias.