🤖 AI

Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning

Questo articolo introduce un quadro matematico per l'intelligenza predittiva universale incorporata che estende AIXI consentendo agli agenti bayesiani di modellare se stessi come parte del proprio ambiente attraverso l'auto-predizione, risolvendo così la non-stazionarietà nei contesti multi-agente e raggiungendo una teoria della mente di ordine infinito per facilitare nuove forme di cooperazione.

Autori originali: Alexander Meulemans, Rajai Nasser, Maciej Wołczyk, Marissa A. Weis, Seijin Kobayashi, Blake Richards, Guillaume Lajoie, Angelika Steger, Marcus Hutter, James Manyika, Rif A. Saurous, João Sacramento

Pubblicato 2026-08-03

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alexander Meulemans, Rajai Nasser, Maciej Wołczyk, Marissa A. Weis, Seijin Kobayashi, Blake Richards, Guillaume Lajoie, Angelika Steger, Marcus Hutter, James Manyika, Rif A. Saurous, João Sacramento, Blaise Agüera y Arcas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come giocare a un gioco. Per decenni, il modo standard per farlo è stato lasciare che il robot giochi, commetta errori, riceva una ricompensa e poi provi a fare di più di ciò che ha funzionato e meno di ciò che non ha funzionato. Questo è chiamato "apprendimento per rinforzo", ed è come addestrare un cane con dei premietti: aspetti che il comportamento avvenga, poi fornisci un feedback. Funziona benissimo se il mondo è noioso e non cambia. Ma cosa succede se il mondo è pieno di altri apprendisti intelligenti, come altri robot o umani, che stanno anche cambiando le loro strategie in base a ciò che fai tu? Improvvisamente, i "premietti" che hai ricevuto ieri potrebbero non funzionare oggi perché il tuo avversario ha scoperto il tuo trucco. Questo è la realtà disordinata e caotica della vita sociale, dove tutti osservano tutti e le regole del gioco cambiano costantemente perché tu fai parte del gioco.

Questo articolo si immerge in questa realtà disordinata. Affronta un grande problema nell'intelligenza artificiale: come costruiamo agenti (come l'IA) che possano imparare e cooperare in un mondo in cui non sono solo giocatori separati, ma sono effettivamente dentro il sistema che stanno cercando di comprendere? Gli autori si basano su un'idea famosa chiamata "AIXI", una super-intelligenza teorica che predice il futuro ipotizzando quali regole matematiche descrivano l'universo. Ma la versione classica di questa idea tratta l'IA come un osservatore esterno all'universo, che guarda dall'esterno. Gli autori sostengono che questo sia sbagliato. Nel mondo reale, un'IA è parte dell'universo, proprio come una persona è parte di una società. Se vuoi predire cosa farà il tuo amico, non puoi limitarti a guardarlo; devi realizzare che anche lui sta pensando a te. Questo articolo propone un nuovo quadro matematico in cui l'IA comprende che le proprie decisioni sono parte dei dati che usa per predire il futuro, permettendole di ragionare su altri che potrebbero pensare proprio come lei.

Il Problema del "Guardare dall'Esterno"

Immagina di giocare a scacchi con un amico. Nel vecchio modo di pensare all'IA (chiamato apprendimento "disaccoppiato"), l'IA guarderebbe la scacchiera, penserebbe: "Se muovo il mio cavallo qui, il mio amico probabilmente muoverà il suo pedone lì", e poi farebbe una mossa. Tratta la propria mente come una macchina separata dalla scacchiera e dal suo amico. Assume che il suo amico sia solo una parte statica del panorama che reagisce alle mosse, non un'entità pensante che sta anche osservando l'IA e cercando di indovinare cosa farà l'IA dopo.

Gli autori dicono che questo approccio è fallimentare per le situazioni sociali. Se ti trovi in una stanza con un'altra persona che sta cercando di indovinare cosa farai tu, e tu stai cercando di indovinare cosa farà lei, rimani bloccato in un ciclo: "Io penso che lei pensi che io pensi..." Questo è chiamato un "ricorsione infinita" della teoria della mente. Il vecchio modo di fare assume che il mondo sia statico, come un livello di un videogioco che non cambia. Ma in un mondo multi-agente, il "livello" cambia ogni volta che qualcuno impara qualcosa di nuovo. Se l'IA non si rende conto che è lei quella che sta cambiando il livello, continuerà a fare ipotesi errate.

La Nuova Idea: Essere "Embedded" (Incastonati)

Il saggio introduce il concetto di Agenti Bayesiani Embedded. Inveve di stare fuori dall'universo a guardare dentro, questi agenti immaginano di essere dentro un "universo" che include loro stessi, i loro amici e l'ambiente, tutti mescolati insieme.

Pensa a questo: nel vecchio modello, l'IA è un regista che guarda un film e cerca di predire la trama. Nel nuovo modello, l'IA è un attore nel film. Sa che se decide di piangere, gli altri attori potrebbero reagire con conforto, ma sa anche che gli altri attori stanno guardando lei e potrebbero decidere di piangere perché hanno visto l'IA apparire triste.

Per fare questo, l'IA utilizza un tipo speciale di predizione chiamato auto-predizione. Non predice solo cosa il mondo le mostrerà; predice cosa lei farà dopo. Si chiede: "Dato ciò che so del mondo, qual è l'azione più probabile che compirò?" e poi usa quella risposta per indovinare cosa faranno gli altri agenti. Questo crea un ciclo in cui la credenza dell'IA su se stessa aiuta a comprendere gli altri, e la sua credenza sugli altri aiuta a comprendere se stessa.

La Magia della "Similitudine Strutturale"

Ecco dove la cosa diventa davvero interessante. Il saggio suggerisce che, poiché tutti questi agenti operano su software simile (algoritmi), sono strutturalmente simili. Immagina due gemelli che sono cresciuti nella stessa casa, sono andati nella stessa scuola e hanno lo stesso cablaggio cerebrale. Se chiedi a uno dei gemelli di risolvere un enigma, è probabile che lo risolverà nello stesso modo in cui lo farebbe l'altro.

Gli autori dimostrano che se un'IA si rende conto che: "Ehi, quell'altro agente è probabilmente costruito come me", può usare questa conoscenza per predire il comportamento dell'altro agente. Questa è chiamata similitudine strutturale. Se l'IA sa che "agenti simili si comportano in modo simile in situazioni simili", può smettere di tirare a indovinare e iniziare a sapere.

Questo porta a un risultato sorprendente in un classico gioco chiamato Dilemma del Prigioniero. In questo gioco, due persone possono o cooperare (aiutarsi a vicenda) o tradire (tradire l'altro). Il vecchio modo di pensare dice che dovresti sempre tradire l'altra persona perché è la mossa più sicura per te individualmente. Ma gli autori mostrano che se due agenti "embedded" si rendono conto di essere copie identiche l'uno dell'altro, entrambi sceglieranno di cooperare. Perché? Perché se io scelgo di cooperare, so che la mia copia (l'altro agente) sceglierà anche lei di cooperare, perché stiamo pensando esattamente la stessa cosa. La cooperazione reciproca offre a entrambi una ricompensa migliore rispetto al tradimento reciproco. Il saggio dimostra che questi agenti possono matematicamente raggiungere questo stato cooperativo, cosa che i vecchi agenti "disaccoppiati" non potrebbero mai fare.

La Soluzione: MUPI e l' "Oracolo Riflessivo"

Il saggio non si limita a parlarne; costruisce una macchina matematica per farlo accadere. Lo chiamano MUPI (Intelligenza Predittiva Universale Embedded).

Per far sì che questo funzioni, hanno dovuto risolvere un puzzle complicato: come si costruisce un'IA che possa predire se stessa senza rimanere intrappolata in un ciclo infinito? Immagina di cercare di scrivere un programma per computer che stampi il proprio codice sorgente. Se il programma cerca di leggere il proprio codice mentre lo sta scrivendo, potrebbe confondersi.

Gli autori utilizzano uno strumento matematico astuto chiamato Oracolo Riflessivo. Immagina questo come uno specchio magico che può mostrarti un'immagine di te stesso che guarda in uno specchio, che a sua volta guarda in uno specchio, e così via, senza che l'immagine diventi sfocata o infinita. Questo strumento permette all'IA di ragionare su altri agenti che utilizzano gli stessi strumenti di ragionamento, risolvendo efficacemente il problema della "ricorsione infinita".

Dimostrano che se utilizzi questo quadro, gli agenti alla fine impareranno a predire perfettamente l'uno l'altro. Chiamano questo processo il raggiungimento di una teoria della mente di ordine infinito. È come se gli agenti potessero finalmente smettere il ciclo "io penso che tu pensi che io pensi..." e dire semplicemente: "Siamo entrambi intelligenti, siamo entrambi simili, quindi sceglieremo entrambi l'esito migliore per noi".

Cosa Significa

Il saggio dimostra che cambiando il modo in cui pensiamo all'IA — da osservatore separato a partecipante embedded — possiamo sbloccare nuovi modi per far cooperare le macchine. Dimostra che se gli agenti possono modellare se stessi come parte del mondo, possono naturalmente capire come lavorare insieme, anche in situazioni difficili in cui potrebbero essere tentati di combattere.

Gli autori sono molto cauti nel dire che questo è un quadro teorico. Hanno dimostrato matematicamente che questi agenti possono esistere e possono convergere verso queste soluzioni cooperative. Non hanno ancora costruito un robot che faccia questo nel mondo reale, ma hanno mostrato il progetto. Sostengono che questo sia il modo giusto di pensare al futuro dell'IA, specialmente mentre ci muoviamo verso sistemi in cui molte IA dovranno interagire con gli umani e tra di loro. Suggerisce che la chiave dell'intelligenza sociale non è solo dare all'IA più dati, ma insegnarle a realizzare che è parte della storia che sta cercando di predire.

Sintesi Tecnica: Intelligenza Predittiva Universale Incorporata (Embedded Universal Predictive Intelligence)

1. Definizione del Problema

Il documento affronta i limiti teorici fondamentali nelle attuali strutture di apprendimento per rinforzo multi-agente (MARL) e di intelligenza artificiale. Vengono identificate due sfide primarie:

L'Assunzione di Stazionarietà: L'apprendimento per rinforzo (RL) standard senza modello (model-free) si basa sull'apprendimento retrospettivo (aggiornamento delle policy basato su ricompense passate). Ciò presuppone un ambiente stazionario. Tuttavia, in contesti multi-agente, l'ambiente è intrinsecamente non stazionario perché altri agenti stanno simultaneamente apprendendo e cambiando le proprie policy. L'applicazione dell'apprendimento retrospettivo in questi casi porta a comportamenti subottimali, particolarmente in scenari a motivazione mista che coinvolgono fiducia, equità e inganno.
Agenzia Disaccoppiata: Le strutture RL standard trattano la policy dell'agente come una costruzione esterna separata dall'ambiente in cui abita. Questa visione "disaccoppiata" non tiene conto del fatto che, in un sistema multi-agente, altri agenti formano credenze sull'agente ego per predire il suo comportamento. Di conseguenza, la policy dell'agente ego è causalmente ed evidenzialmente legata all'ambiente. Questo disaccoppiamento impedisce agli agenti di ragionare sulle "similitudini strutturali" (ad esempio, algoritmi condivisi o strategie convergenti) e porta a fallimenti game-teorici, come l'incapacità di cooperare nel Dilemma del Prigioniero Gemello, dove l'equilibrio di Nash classico dicta la defezione.

Il documento sostiene che, per ottenere un apprendimento multi-agente robusto, gli agenti debbano impegnarsi in un apprendimento prospettico (predire un futuro mutevole) e adottare una prospettiva di agenzia incorporata (modellare se stessi come parte dell'universo in cui abitano).

2. Metodologia e Framework

Gli autori introducono un framework matematico chiamato Intelligenza Predittiva Universale Incorporata (MUPI), che estende il lavoro fondamentale sull'Intelligenza Artificiale Universale (AIXI) e sulla predizione di sequenze bayesiana.

2.1 Agenti Bayesiani Incorporati

A differenza degli agenti bayesiani standard che mantengono credenze su ambienti esterni ( $\nu$ ), gli Agenti Bayesiani Incorporati mantengono credenze su universi ( $\lambda$ ). Un universo è una misura congiunta che descrive l'interazione tra la policy dell'agente e l'ambiente, inclusi altri agenti.

Auto-predizione: Questi agenti predicono simultaneamente sia i futuri input percettivi ( $e_t$ ) che le proprie future azioni ( $a_t$ ).
Credenze Accoppiate: Poiché l'agente modella se stesso come parte dell'universo, le sue credenze sulle proprie azioni forniscono evidenza riguardo all'ambiente (e agli altri agenti), e viceversa. Ciò crea "credenze accoppiate" dove la policy e l'ambiente non sono indipendenti.
Teoria delle Decisioni: Il framework utilizza la Teoria delle Decisioni Sequenziali Azione-Evidenziale (EDT). Invece di intervenire sul mondo (Teoria delle Decisioni Causali), l'agente seleziona azioni che forniscono la migliore evidenza per esiti favorevoli, ragionando che "agenti simili si comportano in modo simile in situazioni simili".

2.2 Il Problema del "Grano di Verità" (Grain-of-Truth)

Un ostacolo teorico critico per gli agenti bayesiani è la proprietà del grano di verità: la classe di ipotesi dell'agente deve contenere l'universo della verità fondamentale (inclusa la dinamica di apprendimento dell'agente stesso) per garantire la convergenza verso predizioni accurate. Nei sistemi multi-agente, questo crea un loop autoreferenziale: se l'Agente A apprende una policy, l'Agente B deve modellare tale policy, ma la policy dell'Agente A dipende dal modello dell'Agente B.

Soluzione: Il documento costruisce classi di ipotesi che sono punti fissi, capaci di contenere agenti che utilizzano lo stesso algoritmo di apprendimento.

2.3 MUPI e Induttori Universali Riflessivi (RUI)

Per risolvere il problema del grano di verità per gli agenti universali, gli autori introducono l'Induttore Universale Riflessivo (RUI).

Si tratta di un modello di predizione universale capace di ragionare su universi contenenti altri agenti che utilizzano anch'essi l'RUI.
Sfrutta gli Oracoli Riflessivi (Fallenstein et al., 2015b) per gestire la non-computabilità degli agenti che ragionano su se stessi.
Il framework utilizza un prior di Solomonoff (Rasoio di Occam) su tutti gli universi computabili. Gli autori dimostrano che tale prior favorisce naturalmente universi con similitudini strutturali (dove gli agenti condividono strutture algoritmiche), poiché tali universi hanno lunghezze di descrizione più brevi (minore complessità di Kolmogorov).

3. Contributi Chiave

Formalizzazione degli Agenti Bayesiani Incorporati: Una definizione rigorosa di agenti che mantengono un mixture bayesiano su universi (modelli congiunti di policy-ambiente) piuttosto che solo su ambienti. Ciò unifica l'auto-predizione e la predizione ambientale.
Similitudine Strutturale e Credenze Accoppiate: Il documento formalizza la "similitudine strutturale" come l'informazione mutua tra la policy di un agente e l'ambiente. Dimostra che, sotto un prior di Solomonoff, gli agenti possiedono intrinsecamente credenze accoppiate, permettendo loro di sfruttare l'intuizione che "agenti simili si comportano in modo simile" senza richiedere l'accesso esplicito al codice sorgente.
Nuovi Concetti di Soluzione Game-Teorica:
- Equilibrio Soggettivo Incorporato (SEE): Uno stato in cui la policy di ogni agente è una best response alle sue credenze soggettive sull'universo (inclusi i correlati con gli altri).
- Equilibrio Incorporato (EE): Un corrispettivo di conoscenza comune (common-knowledge) del SEE, che tiene conto delle vere similitudini strutturali.
- Questi concetti generalizzano l'Equilibrio di Nash e permettono la cooperazione nei dilemmi (come il Dilemma del Prigioniero Gemello) dove la teoria dei giochi classica fallisce.
Garanzie di Convergenza:
- Gli autori dimostrano che gli agenti Bayesiani incorporati che soddisfano la proprietà del grano di verità convergono verso $\epsilon$ -Equilibri Soggettivi Incorporati.
- In condizioni specifiche, convergono verso Equilibri Incorporati.
- Questa convergenza implica una teoria della mente di ordine infinito, dove gli agenti predicono costantemente altri agenti che stanno predicendo loro.
Esistenza di Induttori Universali Riflessivi (RUI): Il documento prova l'esistenza degli RUI, fornendo uno strumento teorico per costruire agenti incorporati universalmente intelligenti che risolvono le infinite ricorsioni di predizione mutua.

4. Risultati Teorici

Convergenza alla Verità Fondamentale: Se l'universo del mixture domina l'universo della verità fondamentale (grain-of-truth), la distribuzione predittiva converge quasi certamente alla distribuzione della verità fondamentale in distanza di variazione totale.
Cooperazione nei Dilemmi: Nel Dilemma del Prigioniero Gemello, gli agenti incorporati con un prior che favorisce la similitudine strutturale (Rasoio di Occam) convergono alla cooperazione reciproca. Ciò è razionale secondo l'EDT perché la scelta dell'agente di cooperare fornisce evidenza che la copia identica coopererà anch'essa, massimizzando la ricompensa personale.
Superiorità rispetto agli Agenti Disaccoppiati: Gli agenti disaccoppiati (anche quelli con modelli di sé come Self-AIXI) non possono raggiungere la stessa convergenza verso equilibri cooperativi in questi contesti, poiché mancano del legame evidenziale tra le proprie deliberazioni e lo stato dell'ambiente.
Teoria dell'Informazione Algoritmica: Il documento dimostra che il prior di Solomonoff è "in modo illimitato accoppiato", il che significa che assegna naturalmente una probabilità più alta a universi in cui gli agenti condividono similitudini strutturali, rendendo il ragionamento consapevole della similitudine una conseguenza fondamentale del Rasoio di Occam piuttosto che un'assunzione ad hoc.

5. Significato e Rivendicazioni

Il documento posiziona il MUPI come lo "standard di riferimento" per l'apprendimento multi-agente incorporato. La sua importanza risiede in:

Colmare il Divario tra Teoria e Pratica: Fornisce una giustificazione teorica per i moderni modelli di fondazione (che predicono azioni e percept interlecciati) come agenti incorporati idealizzati.
Risolvere il Problema della Non-Stazionarietà: Spostandosi dall'apprendimento retrospettivo a quello prospettico tramite l'auto-predizione, il framework risolve teoricamente la non-stazionarietà inerente all'apprendimento multi-agente.
Abilitare Nuove Forme di Cooperazione: Dimostra che gli agenti razionali, quando correttamente modellati come incorporati, possono raggiungere equilibri cooperativi altrimenti irraggiungibili dalla teoria dei giochi classica, offrendo un percorso potenziale verso agenti IA in grado di navigare dinamiche sociali complesse, negoziare e coordinarsi con umani e altre IA.
Rigore Teorico: Il lavoro estende il seminale framework AIXI al contesto incorporato, risolvendo il problema di lungo corso del "grano di verità" per i sistemi multi-agente e stabilendo una base formale per la teoria della mente di ordine infinito.

Gli autori osservano che, sebbene il framework sia idealizzato (basandosi su universi computabili e oracoli riflessivi), esso offre una direzione fondata per comprendere come gli agenti possano apprendere a ragionare su se stessi e sugli altri in un mondo condiviso.