🤖 AI

Artificial Empathy: Towards a Framework for Unsupervised Agency Detection and Policy Reconstruction

Questo articolo propone un framework che sfrutta un agente di apprendimento per rinforzo addestrato su un compito indipendente come prior per consentire il rilevamento non supervisionato di altri agenti e la ricostruzione delle loro policy esclusivamente da osservazioni ambientali.

Autori originali: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Pubblicato 2026-08-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Negli angoli silenziosi della ricerca sull'intelligenza artificiale, persiste una domanda fondamentale: come può una macchina capire che qualcun altro nel mondo sta agendo con uno scopo? Affinché un computer possa cooperare con gli esseri umani o altre macchine, deve prima distinguere tra una roccia che cade a causa della gravità e una persona che allunga la mano verso quella roccia con intenzione. Questa capacità, nota come rilevamento dell'agency (agency detection), è il fondamento dell'interazione sociale. Senza di essa, un'intelligenza artificiale vede solo un flusso caotico di eventi, incapace di distinguere tra il rumore casuale e un piano orientato a un obiettivo. La sfida è ancora più grande quando la macchina deve capire cosa quell'altro agente voglia fare, un compito chiamato ricostruzione della policy (policy reconstruction). Se una macchina potesse imparare a identificare queste intenzioni nascoste e modellarle senza essere esplicitamente istruita, compirebbe un passo enorme verso il diventare un partner veramente cooperativo, capace di allineare i propri obiettivi con quelli degli esseri che la circondano.

Un team di ricercatori presso l'Human Inductive Bias Project di Cambridge ha compiuto un passo significativo verso la risoluzione di questo enigma proponendo un sistema che chiamano "empatia artificiale". Piuttosto che cercare di costruire una complessa teoria della mente partendo da zero, suggeriscono che un'intelligenza artificiale possa comprendere gli altri usando la propria meccanica interna come guida. L'idea centrale è che un'IA, essendo essa stessa un agente che prende decisioni e agisce sul mondo, possieda già una comprensione intrinseca di cosa sia l'agency. Addestrando un sistema a prevedere il futuro basandosi sui propri schemi di comportamento appresi, i ricercatori hanno creato un framework capace di scansionare un ambiente, individuare altri agenti e capire cosa quegli agenti stiano cercando di ottenere, il tutto senza etichette o istruzioni umane.

I ricercatori hanno testato questo concetto in un ambiente digitale controllato, un semplice mondo a griglia dove un agente si muove per raccogliere ricompense. Hanno addestrato un agente IA standard per risolvere un compito specifico, come raggiungere l'angolo in basso a sinistra della griglia per guadagnare punti. Questo agente addestrato fungeva da "esperto" o da "altro" che il nuovo sistema doveva comprendere. Per rendere il compito difficile e realistico, i ricercatori hanno introdotto un elemento confondente: un secondo agente finto che si muoveva casualmente, come una foglia che vola nel vento. L'obiettivo per il nuovo sistema era ignorare il movimento casuale e identificare correttamente il vero agente, per poi imparare a imitare la sua specifica strategia per raggiungere l'obiettivo. Al sistema non è stato detto quale fosse il vero agente; doveva capirlo da solo.

Per raggiungere questo scopo, al nuovo sistema è stata data una marcia in più caricandolo con il "cervello" di un'altra IA che era stata addestrata su un compito completamente slegato, come la raccolta di alimenti. Questa conoscenza pre-caricata ha agito come un "prior", un insieme di aspettative su come gli agenti si comportino generalmente e su come le loro azioni cambino il mondo. Il sistema ha poi osservato il flusso di eventi nel mondo a griglia. Ha utilizzato il proprio modello interno per porsi una domanda semplice: se assumo che un agente stia agendo qui, posso prevedere cosa accadrà dopo? Quando il sistema osservava il camminatore casuale, le sue previsioni fallivano perché i movimenti casuali non seguivano alcun modello logico di ricerca di un obiettivo. Tuttavia, quando osservava l'agente esperto, le sue previsioni funzionavano bene perché i movimenti dell'esperto erano coerenti con la logica di un agente che cerca di raggiungere un obiettivo. Minimizzando l'errore tra le proprie previsioni e la realtà, il sistema ha efficacementmente filtrato il rumore e si è concentrato sul vero agente.

I risultati di questo esperimento sono stati promettenti. Dopo aver osservato l'ambiente per un breve periodo, il sistema ha imparato a ignorare il decoy casuale e ha adottato con successo la strategia dell'agente esperto. In una serie di prove, le prestazioni del sistema sono salite rapidamente al di sopra di una scelta casuale, arrivando infine a eguagliare il livello di abilità dell'originale esperto. Ciò ha dimostrato che il sistema poteva effettivamente eseguire un rilevamento dell'agency non supervisionato, identificando l'attore intenzionale in mezzo al caos e ricostruendo la sua policy. I ricercatori hanno osservato che questo successo dipendeva dal fatto che il sistema utilizzasse la propria dinamica interna come lente per guardare il mondo, dicendo efficacementmente: "So cosa si prova ad avere un obiettivo, quindi posso riconoscerlo negli altri".

Nonostante questi risultati incoraggianti, i ricercatori sono cauti nel presentare questo lavoro come una prova di concetto iniziale piuttosto che come una soluzione definitiva. Gli esperimenti sono stati condotti in un piccolo mondo a griglia completamente visibile con un solo agente reale e uno finto. Il sistema si è basato fortemente sul fatto che l'agente "prior" e l'agente target fossero strutturalmente simili, e non è ancora noto quanto bene questo approccio funzionerebbe se gli agenti fossero molto diversi o se l'ambiente fosse complesso e parzialmente nascosto. Lo studio suggerisce che i prior autoriferiti possono supportare il rilevamento dell'agency, ma non sostiene ancora di aver risolto il problema più ampio dell'allineamento dell'intelligenza artificiale con i valori umani nel mondo reale. Il lavoro apre una porta, mostrando che un'IA può imparare a prendersi cura degli altri comprendendo prima se stessa, ma il viaggio verso un futuro pienamente cooperativo rimane lungo e ancora da testare.

Sintesi Tecnica: Empatia Artificiale: Verso un Framework per il Rilevamento dell'Agenzia Non Supervisionato e la Ricostruzione della Policy

Definizione del Problema

Il documento affronta due sfide interconnesse nell'allineamento dell'IA e nei sistemi multi-agente:

Rilevamento dell'Agenzia (Agency Detection): Il compito di distinguere tra un comportamento agente (attività orientata a obiettivi) e dinamiche casuali non-agenti all'interno di un ambiente.
Ricostruzione della Policy (Policy Reconstruction): Il compito di inferire la policy sottostante di un agente ( $\pi_O$ ) esclusivamente da comportamenti osservati, senza accesso a funzioni di ricompensa o traiettorie di azione etichettate.

Mentre l'Apprendimento per Rinforzo Inverso (Inverse Reinforcement Learning - IRL) affronta la ricostruzione della policy, esso richiede tipicamente coppie osservazione-azione pre-elaborate e assume che l'identità dell'agente sia già nota. Gli autori sostengono che risolvere entrambi i compiti congiuntamente in modo non supervisionato sia un passo necessario verso l'allineamento dell'IA, consentendo a un sistema di sviluppare una "policy congiunta" che sintetizzi i propri obiettivi con quelli di altri agenti, conferendo efficacemente al sistema una propensione a "prendersi cura" degli altri.

Metodologia

Gli autori propongono l'Empatia Artificiale (AE), un framework in cui un sistema di IA utilizza la propria dinamica agenziale appresa come un prior per rilevare e modellare altri agenti. L'approccio si basa su un'architettura di Reinforcement Learning (RL) basata su modello.

1. Architettura dell'Agente Base

La fondazione è un agente di deep Q-learning aumentato da un modello di mondo addestinabile, ispirato ai Variational Autoencoders (VAE). L'architettura comprende:

Encoder ( $p_\theta$ ): Una rete convoluzionale che inferisce stati latenti del mondo ( $s_t$ ) dalle osservazioni ( $o_t$ ).
Modello di Transizione ( $q_\phi$ ): Una rete densa che predice lo stato latente successivo ( $s_{t+1}$ ) dato lo stato attuale e l'azione ( $s_t, a_t$ ).
Decoder ( $d_\omega$ ): Ricostruisce le osservazioni partendo dagli stati latenti.
Rete Q ( $Q_\rho$ ): Predice i valori Q per gli stati del mondo.

L'agente base è addestrato utilizzando una funzione di perdita combinata ( $L_{base}$ ) composta da:

Perdita di Ricostruzione ( $L_{recon}$ ): MSE tra le osservazioni reali e quelle ricostruite.
Perdita di Transizione ( $L_{trans}$ ): Divergenza KL tra la distribuzione posteriore modellata e la posteriore approssimativa.
Perdita Q ( $L_Q$ ): MSE tra i valori target e i valori predetti.

2. Sistema di Empatia Artificiale (AE)

Il sistema AE utilizza un agente base addestrato (l'agente prior) come prior strutturale per le dinamiche agenziali. Esso tenta di ricostruire la policy di un agente "target" o "esperto" che agisce in un ambiente.

Inizializzazione: Il sistema AE inizializza i propri pesi basandosi sui pesi dell'agente prior, imponendo un prior gaussiano nello spazio dei pesi tramite termini di penalità ( $R_p, R_q, R_Q$ ).
Meccanismo di Predizione: Il sistema AE assume che l'ambiente contenga un agente. Codifica le osservazioni in stati latenti e predice lo stato successivo ( $p^*(s_{t+1}|s_t, A)$ ) marginalizzando su tutte le possibili azioni ( $N$ ), pesate dalla probabilità di ogni azione derivata dalla rete Q del sistema AE:
$p^*(s_{t+1}|s_t, A) = \sum_{i=0}^{N} P(a_i)q'(s_{t+1}|s_t, a_i)$
Funzione di Perdita: Il sistema minimizza la discrepanza tra gli stati del mondo codificati e gli stati del mondo predetti sotto l'assunto di agenzia. La perdita totale ( $L_{AE}$ $L_{A E}$ ) include:
- Divergenza KL ( $L_{KL}$ ): Tra la distribuzione codificata e la distribuzione predetta dall'agente.
- Penalità di Entropia ( $R_H$ ): Per forzare il sistema a impegnarsi su azioni specifiche piuttosto che su distribuzioni fluide.
- Penalità dei Pesi ( $R_p, R_q, R_Q$ ): Per mantenere la somiglianza strutturale con l'agente prior.

Setup Sperimentale e Risultati

Gli autori hanno validato il framework in un mondo a griglia 15×15 con due compiti distinti:

Food-Game: Raccogliere tre elementi di cibo.
Edge-Game: Raggiungere il bordo inferiore sinistro.

Setup:

Un agente addestrato sul Food-Game funge da prior.
Un agente addestrato sull'Edge-Game funge da esperto.
Il sistema AE è stato inizializzato con il prior del Food-Game e ha il compito di imitare l'esperto dell'Edge-Game.
Fattore di Confondimento: Un agente "esca" (decoy) che esegue un cammino casuale è stato aggiunto allo stream di osservazione per testare il rilevamento dell'agenzia.

Risultati:

Il sistema AE ha imparato con successo a imitare la policy dell'esperto (Edge-Game) nonostante fosse stato inizializzato con un prior strutturalmente diverso (Food-Game).
Fondamentalmente, il sistema ha risolto implicitamente il compito di rilevamento dell'agenzia: ha ignorato le dinamiche casuali dell'agente esca e si è concentrato sul comportamento agente dell'esperto.
Le metriche di performance hanno mostrato che, dopo 35 episodi, la ricompensa cumulativa dell'agente AE ha superato significativamente un cammino casuale e si è avvicinata a quella dell'agente esperto base.

Contributi Chiave

Proposta di Framework: Introduzione dell' "Empatia Artificiale" come framework dai primi principi per il rilevamento dell'agenzia non supervisionato e la ricostruzione della policy.
Prior Autoriferito: L'uso innovativo delle proprie dinamiche di agente (tramite un modello di mondo addestrato) come un prior per identificare e modellare altri agenti, ispirandosi alla teoria della simulazione e ai meccanismi dei neuroni specchio nella scienza cognitiva.
Risoluzione di Compiti Congiunti: Dimostrazione che un'unica architettura può simultaneamente distinguere l'attività agente da quella non-agente e ricostruire la policy sottostante senza dati etichettati.

Significato e Rivendicazioni

Il documento posiziona questo lavoro come un passo fondamentale verso la risoluzione del problema dell'allineamento dell'IA. Abilitando l'IA a rilevare e modellare gli obiettivi di altri agenti, il sistema può teoricamente costruire una policy congiunta ( $\pi_\Omega$ ) che sintetizzi i propri obiettivi con quelli degli altri, favorendo comportamenti cooperativi.

Gli autori dichiarano esplicitamente che i loro attuali risultati dimostrano la fattibilità piuttosto che la robustezza o la scalabilità. Riconoscono che gli esperimenti sono limitati a piccoli mondi a griglia completamente osservabili con un singolo agente di confondimento. Il documento non sostiene di aver risolto l'allineamento dell'IA, ma suggerisce che stabilire l'empatia artificiale come framework è un prerequisito necessario per sviluppare sistemi capaci di "prendersi cura" degli altri agenti. Il lavoro futuro è identificato nell'estensione del framework alla parziale osservabilità, alla presenza di molteplici agenti e alle policy non stazionarie.