🤖 machine learning

Distributional Active Inference

Questo articolo presenta un'astrazione formale che integra l'inferenza attiva nel framework del reinforcement learning distributivo, consentendo un controllo ottimale efficiente in termini di campionamento per sistemi robotici senza richiedere la modellazione esplicita della dinamica di transizione.

Autori originali: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

Pubblicato 2026-08-06

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come navigare in un mondo caotico e imprevedibile. Per farlo bene, il robot ha bisogno di due superpoteri: deve essere in grado di organizzare un'alluvione di dati sensoriali (come ciò che vede e sente) in qualcosa di utile, e deve essere in grado di pianificare molto lontano nel futuro per compiere mosse intelligenti. Per decenni, il campo dell'Apprendimento per Rinforzo (Reinforcement Learning - RL) è stato il metodo d'elezione per insegnare alle macchine come pianificare. Pensa all'RL come a uno studente che impara per tentativi ed errori, cercando di massimizzare un punteggio indovinando quali azioni portano ai migliori premi. Tuttavia, questo studente è spesso inefficiente; ha bisogno di provare le cose milioni di volte per imparare, e fatica quando il mondo è troppo complesso per essere simulato perfettamente nella sua testa.

Entra in gioco l'Inferenza Attiva, una teoria ispirata al funzionamento dei cervelli biologici. Invece di limitarsi a indovinare, il cervello viene visto come una macchina predittiva che cerca costantemente di minimizzare la sorpresa di ciò che esperisce. Pianifica immaginando diversi futuri e scegliendo quello che sembra più "certo" o meno sorprendente. Sebbene questo sembri potente, l'Inferenza Attiva tradizionale è rimasta bloccata in un angolo: di solito richiede che il robot costruisca una mappa perfetta e dettagliata di come funziona il mondo (un "modello del mondo") prima di poter pianificare. Costruire queste mappe è computazionalmente costoso e spesso impossibile per compiti complessi. La grande domanda che gli scienziati si sono posti è: possiamo ottenere i benefici di una pianificazione intelligente dell'Inferenza Attiva senza l'oneroso compito di costruire una mappa perfetta del mondo?

Questo articolo introduce un nuovo metodo chiamato Inferenza Attiva Distribuzionale (DAIF) che risponde "sì". I ricercatori propongono una scorciatoia intelligente. Invece di cercare di predire esattamente cosa accadrà dopo (come una temperatura specifica o una posizione), il DAIF si concentra sul predire l'intero intervallo di futuri possibili e le loro probabilità tutto in una volta. Chiamano questo "apprendimento distribuzionale". Immagina che, invece di indovinare se pioverà domani, tu impari l'intera previsione meteorologica: una possibilità del 20% di pioggerellina, una del 50% di sole e una del 30% di tempesta. Imparando questa immagine completa delle possibilità, il robot può pianificare efficacemente senza dover conoscere le leggi esatte della fisica che governano la pioggia.

L'articolo suggerisce che combinando l'approccio dell' "immagine completa" dell'apprendimento distribuzionale con la logica di "minimizzazione della sorpresa" dell'Inferenza Attiva, i robot possono imparare molto più velocemente ed efficientemente. Gli autori hanno testato questa idea in simulazioni al computer. In semplici giochi in una griglia (grid-world), hanno scoperto che il loro nuovo metodo, il DAIF, poteva risolvere problemi che altri metodi non riuscivano a risolvere, specialmente quando i problemi diventavano più difficili e richiedevano di guardare più lontano nel futuro. In simulazioni più complesse e simili al mondo reale, che coinvolgevano robot morbidi e controllo basato su video, il DAIF ha superato costantemente i migliori metodi attuali, imparando a controllare questi sistemi con meno tentativi. I risultati suggeriscono che questo approccio permette agli agenti di gestire ambienti complessi con una potenza di calcolo limitata, proprio come fa un cervello umano, organizzando le informazioni in modo efficiente invece di forzare brutalmente una simulazione perfetta della realtà.

Sintesi Tecnica: Inferenza Attiva Distribuzionale

Definizione del Problema

Il controllo ottimale in ambienti robotici complessi affronta due sfide intrecciate: l'organizzazione efficiente delle informazioni sullo stato sensoriale e la pianificazione di azioni a lungo termine. Mentre l'Apprendimento per Rinforzo (RL) affronta la pianificazione, esso soffre spesso di inefficienza campionaria poiché si concentra tipicamente solo su quest'ultima. L'Inferenza Attiva (AIF), una teoria del processo che spiega l'intelligenza biologica, affronta entrambi i problemi minimizzando l'Energia Libera Attesa (EFE) attraverso un ciclo azione-percezione. Tuttavia, le attuali applicazioni di AIF nell'intelligenza artificiale sono ampiamente limitate ad approcci basati su modelli che richiedono l'apprendimento di dinamiche di transizione esplicite, il che è computazionalmente costoso e spesso impraticabile per simulazioni forward ad alta fedeltà.

Il problema centrale che questo articolo affronta è come integrare i vantaggi prestazionali dell'Inferenza Attiva in un framework che non richieda l'apprendimento di un modello di transizione esplicito, rendendo così l'AIF accessibile a contesti model-free e distribuzionali.

Metodologia

Gli autori propongono un framework teorico e algoritmico in tre fasi per colmare il divario tra l'Inferenza Attiva e il RL Distribuzionale:

1. Formulazione Rigorosa dell'Inferenza Attiva

Gli autori derivano nuovamente l'obiettivo dell'AIF dai primi principi dell'inferenza bayesiana e causale. Applicando il do-calculus alla standard configurazione di inferenza variazionale, dimostrano che l'obiettivo standard dell'AIF ammette una forma equivalente più semplice.

Dimostrano che intervenire sullo stato osservabile $X$ con una distribuzione desiderata $P_R(X)$ (che funge da ricompensa) disconnette l'osservabile dalle variabili latenti $(Y, S)$ sotto la regola del prodotto.
Ciò porta a un ELBO (Evidence Lower Bound) semplificato dove l'obiettivo consiste in un termine di ricostruzione, un termine di entropia della policy e un termine che massimizza la log-probabilità della distribuzione dello stato desiderato sotto la traiettoria prevista.
Fondamentalmente, questa formulazione rivela che l'AIF può essere vista come una forma di codifica predittiva in cui l'agente ottimizza un modello del mondo per adattarsi ai risultati desiderati, senza necessariamente richiedere un'inferenza complessa dei latenti posteriori per ogni singolo passo.

2. Reinforcement Learning Push-Forward

Per integrare l'AIF senza un esplicito modellamento delle transizioni, gli autori introducono il Push-Forward Reinforcement Learning, un framework teorico che generalizza il RL Distribuzionale.

Misure di Traiettoria: Definiscono la distribuzione del ritorno non solo come un'aspettativa, ma come una "push-forward" della misura di traiettoria indotta da una policy attraverso un funzionale di ritorno.
Astrazione dello Stato: Formalizzano la relazione tra astrazioni di stato (spazi latenti) e RL distribuzionale. Definendo un encoder $S$ e un decoder $P_D$ , dimostrano che eseguire il RL distribuzionale in uno spazio latente è equivalente ad applicare un operatore di kernel composito.
Modulo di Contrazione: Un risultato teorico chiave (Teorema 3.5) stabilisce che il modulo di contrazione dell'operatore di Bellman distribuzionale in uno spazio latente è scalato dal prodotto delle costanti di Lipschitz dell'encoder ( $L_E$ ) e del decoder ( $L_D$ ). Se lo spazio latente fornisce una compressione efficiente (piccola $L_E$ ) e cattura una struttura rilevante per la ricompensa (piccola $L_D$ ), la convergenza dei backup di Bellman viene accelerata.
Template Algoritmico: Propongono la Push-Forward Policy Iteration (PPI), che minimizza il residuo di Bellman sullo spazio delle misure di codifica piuttosto che sugli stati grezzi, unificando efficacemente le visioni model-based e model-free.

3. Inferenza Attiva Distribuzionale (DAIF)

Gli autori istanziano la teoria sopra descritta in un algoritmo pratico chiamato Inferenza Attiva Distribuzionale (DAIF).

Meccanismo: DAIF apprende una distribuzione parametrica ammortizzata stato-azione (un encoder) che mappa le osservazioni in uno spazio latente. Successivamente, esegue il quantile matching di differenza temporale su questo spazio latente.
Dettagli di Implementazione:
- Il problema della regressione dei quantili è inquadrato come Massima Verosimiglianza (MLE) di una Distribuzione di Laplace Asimmetrica (ALD).
- L'incertezza attorno alle stime dei quantili è modellata utilizzando un prior Inverse-Gamma sul parametro di scala ( $\sigma_\tau$ ). Questa varianza posteriore agisce come incertezza epistemica implicita, inducendo l'esplorazione in modo simile al Thompson sampling senza richiedi bonus di esplorazione espliciti.
- L'algoritmo utilizza un'architettura deep actor-critic con twin critic, min-clipping per i target di Bellman e aggiornamenti ritardati dell'attore (simile a TD3), ma sostituisce i target di valore standard con i ritorni distribuzionali derivati dall'obiettivo AIF.
Distinzione Chiave: A differenza della tradizionale AIF, DAIF non apprende un modello di transizione forward ( $P(X'|X, A)$ ). Invece, apprende la distribuzione del ritorno direttamente dalle transizioni campionate nello spazio latente, ereditando i benefici dell'astrazione dello stato dell'AIF evitando al contempo il costo della modellazione della dinamica di transizione.

Contributi Principali

Unificazione Teorica: Il documento fornisce un'astrazione formale che abbraccia il RL model-based, distribuzionale e model-free, dimostrando come l'AIF possa essere integrata fluidamente nel framework distribuzionale.
Obiettivo AIF Semplificato: Utilizzando il do-calculus, gli autori derivano un obiettivo AIF semplificato che elimina la necessità di un'inferenza complessa dei latenti posteriori della formulazione standard, allineandolo più strettamente alla strumentazione di inferenza variazionale utilizzata nel RL moderno.
Framework Push-Forward: L'introduzione del "Push-Forward RL" fornisce un legame matematico rigoroso tra le astrazioni di stato e gli operatori di Bellman distribuzionali, mostrando come la compressione dello spazio latente influenzi i tassi di convergenza.
Algoritmo DAIF: La proposta di DAIF, un algoritmo pratico che raggiunge guadagni prestazionali simili all'AIF (pianificazione efficiente tramite astrazione dello stato) senza l'overhead computazionale dell'apprendimento di espliciti modelli di transizione.

Risultati Sperimentali

Gli autori valutano DAIF attraverso compiti di controllo tabulare e continuo:

Esperimenti Tabulari (Latent RiverSwim): In un mondo a griglia dove le dinamiche rilevanti per la ricompensa risiedono su un manifold latente 1D, DAIF supera significativamente sia i baseline model-based (PSRL-PI) che quelli distribuzionali (IQQL) all'aumentare dell'orizzonte di pianificazione. Quando l'astrazione dello stato non offre vantaggi (plain RiverSwim), DAIF si comporta in modo comparabile al RL distribuzionale.
Controllo Continuo: DAIF è stato testato su tre suite di benchmark:
- EvoGym: Locomozione e manipolazione di robot soft.
  - DeepMind Control Suite (DMC): Controllo continuo con morfologie variabili.
- DMC Vision: Controllo da osservazioni di pixel grezzi.
Performance: DAIF ha costantemente raggiunto prestazioni allo stato dell'arte in tutte le suite, particolarmente in ambienti con dinamiche complesse o spazi di stato ad alta dimensionalità (es. "Catcher-v0", "Dog Run", "Quadruped Run").
Efficienza: Sebbene DAIF richieda circa il 12% di tempo di esecuzione (wall-clock time) in più rispetto agli standard distribuzionali actor-critic, questo overhead è inferiore a quello di altri metodi model-based o pesanti in termini di esplorazione come DSAC (26%) e DRND (37%).

Significato e Rivendicazioni

L'articolo sostiene che l'Inferenza Attiva è particolarmente potente quando l'agente possiede capacità computazionali limitate, rispecchiando le condizioni dei cervelli biologici. Inquadrando l'AIF come una semplice estensione del RL distribuzionale, gli autori sostengono che i vantaggi dell'AIF (organizzazione efficiente delle informazioni sensoriali per la pianificazione) possano essere realizzati senza il costo proibitivo dell'apprendimento di espliciti modelli forward.

Il lavoro suggerisce che il "problema duale" dell'organizzazione sensoriale e della pianificazione sia risolto al meglio apprendendo una rappresentazione latente in cui la distribuzione del ritorno è compressa e strutturata, piuttosto che modellando l'intera dinamica di transizione dell'ambiente. Gli autori posizionano DAIF non come un sostituto per tutto il RL, ma come un metodo robusto per il controllo di ambienti impegnativi dove l'efficienza campionaria e i vincoli computazionali sono critici. Riconoscono le limitazioni, notando che DAIF non separa esplicitamente i termini di valore epistemico e strumentale (affidandosi invece all'incertezza implicita) e che la dimensione del bottleneck latente è attualmente dipendente dall'architettura piuttosto che appresa in modo adattivo.