Sintesi Tecnica: Simulazione Proiettiva Multi-Eccitazione con un Bias Induttivo Ispirato alla Fisica Many-Body

1. Definizione del Problema

I modelli di deep learning, pur essendo potenti, spesso funzionano come "oracoli" opachi, rendendo i loro processi decisionali difficili da interpretare. Questa mancanza di trasparenza ha guidato il campo dell'Intelligenza Artificiale Spiegabile (XAI). Un esistente framework XAI, la Simulazione Proiettiva (PS), modella la deliberazione come un cammino casuale di una singola particella su un grafo dove i vertici rappresentano concetti (clip). Sebbene la PS offra interpretabilità e potenziale di quantizzazione, soffre di un limite fondamentale: non può modellare naturalmente pensieri che combinano più concetti simultaneamente. Nella PS standard, un'unica eccitazione deve trasportare tutta l'informazione a breve termine per una decisione, impedendo la scomposizione di strutture di pensiero composte (ad esempio, deduzioni logiche che coinvolgono più variabili).

Inoltre, un'estensione ingenua della PS per gestire più concetti simultanei (Multi-Excitation PS o MEPS) tramite ipergrafi affronta una complessità esponenziale. La dimensione dell'insieme delle parti dei vertici scala esponenzialmente con il numero di clip atomiche, rendendo il numero di parametri addestrabili e il costo computazionale di un singolo passo di cammino casuale intrattabile per grafi che non siano estremamente piccoli.

2. Metodologia

Multi-Excitation Projective Simulation (MEPS)

Gli autori propongono MEPS, una generalizzazione della PS in cui la deliberazione è modellata come un cammino casuale di molteplici particelle (eccitazioni) su un ipergrafo.

• Struttura: La Memoria Episodica e Composizionale (ECM) è un ipergrafo diretto e pesato $G=(V, E, h)$. I vertici $V$ sono clip atomiche (concetti), e gli iperarchi $E$ collegano insiemi di clip in ingresso a insiemi di clip in uscita.
• Stato: Lo stato dell'agente è una configurazione di eccitazione $C \subset V$, che rappresenta l'insieme dei concetti attualmente rilevanti.
• Dinamica: Un passo di deliberazione comporta il campionamento di una transizione dalla configurazione corrente $C_{now}$ a una nuova configurazione $C_{next}$ basata sui pesi degli iperarchi (valori h).
• Apprendimento: L'agente apprende tramite una regola di aggiornamento del reinforcement learning adattata dalla PS, modificando i valori h in base alle ricompense e a un fattore "glow" per le ricompense ritardate.

Il Bias Induttivo Ispirato alla Fisica Many-Body

Per superare la complessità esponenziale di una MEPS ingenua, gli autori introducono un bias induttivo ispirato alla fisica many-body quantistica.

• Concetto Core: Proprio come i fenomeni fisici derivano spesso dalle interazioni tra un piccolo numero di particelle (interazioni few-body), gli autori vincolano le transizioni MEPS a essere composte da transizioni elementari che coinvolgono solo poche eccitazioni alla volta.
• Formalismo: Invece di definire i valori h per arbitrari sottoinsiemi di vertici, il modello definisce parametri addestrabili per transizioni elementari $(i, o)$, dove $i$ eccitazioni in entrata interagiscono per produrre $o$ eccitazioni in uscita.
• Cutoff: Un insieme $IO$ definisce le coppie consentite di $(i, o)$. Viene imposto un cutoff tale che $i + o \leq \text{max\_IO}$.
• Meccanismo: In un singolo passo di cammino casuale, l'agente campiona una transizione elementare $(C^{(i)}_{in} \to C^{(o)}_{out})$ dove $C^{(i)}_{in} \subset C_{now}$. La nuova configurazione è formata rimuovendo le eccitazioni in ingresso e aggiungendo le eccitazioni in uscita: $C_{next} = (C_{now} \setminus C^{(i)}_{in}) \cup C^{(o)}_{out}$.
• Riduzione della Complessità: Gli autori dimostrano che questo bias riduce il numero di parametri addestrabili e la complessità di un passo di deliberazione dalla scala esponenziale ($O(2^{|V|})$) alla scala polinomiale ($O(|V|^{\text{max\_IO}})$). Il grado del polinomio è determinato dal cutoff di interazione.

Ipergrafi Dinamici e Architetture a Strati

• Ipergrafi Dinamici: La storia dell'addestramento è formalizzata come un ipergrafo dinamico, permettendo la visualizzazione di come la struttura della memoria dell'agente evolva nel tempo.
• Varianti Feed-Forward a Strati: Per applicazioni specifiche, gli autori definiscono l'Inductive Bias 2FF (Feed-Forward), che restringe le transizioni al movimento delle eccitazioni tra strati (es. Percep $\to$ Hidden $\to$ Action). Propongono inoltre varianti più rigorose (2SF e 2DP) per garantire limiti superiori polinomiali sulla lunghezza dei cammini casuali, prevenendo "avalanches" patologiche di eccitazioni.

3. Contributi Chiave

1. Framework MEPS: Introduzione di un modello di cammino casuale multi-particella su ipergrafi per rappresentare pensieri composti e strutture di memoria disgiunte.
2. Bias Induttivo Ispirato alla Fisica: Formalizzazione di un bias induttivo classico derivato dalle interazioni few-body nella fisica many-body quantistica. Questo riduce la complessità computazionale di MEPS dall'esponenziale al polinomiale.
3. Dimostrazioni Teoriche: Dimostrazione che il bias induttivo riduce il numero di parametri addestrabili e la complessità dei passi di cammino casuale a un grado polinomiale determinato dal cutoff di interazione.
4. Definizione di Ipergrafo Dinamico: Una nuova definizione per gli ipergrafi dinamici per modellare e visualizzare le storie di addestramento degli agenti.
5. Motivazione Quantistica: Una derivazione formale che collega il bias induttivo classico all'Hamiltoniana dei sistemi many-body quantistici, delineando un percorso verso un'implementazione quantistica di MEPS su simulatori quantistici.

4. Risultati Sperimentali

Gli autori hanno valutato MEPS con vari bias induttivi in tre ambienti sintetici:

• Invasion Game con Distrazione: Un problema di contextual bandit in cui l'azione corretta dipende da due osservabili rilevanti e una "distrazione" irrilevante.
  • Risultato: Gli agenti con un bias induttivo a 2 corpi (coerente con la complessità del problema) hanno appreso la policy ottimale più velocemente. Un agente a 1 corpo non è riuscito a risolvere il problema, mentre un agente a 3 corpi (equivalente alla PS standard) lo ha risolto ma ha appreso significativamente più lentamente a causa del maggiore spazio dei parametri.
• Deceptive Invasion Game: Un'estensione con più azioni e una struttura di ricompensa ingannevole (basata sulla parità).
  • Risultato: L'agente a 2 corpi ha nuovamente superato quello a 3 corpi. L'agente a 1 corpo non è riuscito ad apprendere, rimanendo bloccato in policy subottimali a causa dell'incapacità di modellare la necessaria logica composita.
• Computer Maintenance: Uno scenario complesso che modella la diagnosi e la riparazione di un computer guasto, richiedendo una catena di pensiero multi-livello (Sintomi $\to$ Componenti/Cause $\to$ Soluzioni).
  • Risultato: Un agente MEPS multi-livello con una specifica configurazione di bias induttivo ha raggiunto prestazioni quasi ottimali con circa 16.766 passi. Al contrario, un agente PS standard non ristretto e un agente Q-learning multi-livello ispirato alla PS tabulare hanno richiesto rispettivamente circa 35.817 e 115.261 passi. L'agente con bias induttivo ha utilizzato circa 13 volte meno parametri addestrabili rispetto ai baseline.

5. Significato e Rivendicazioni

Il paper sostiene che MEPS, combinato con il bias induttivo many-body, offra un'alternativa scalabile e interpretabile ai metodi standard di deep learning e di reinforcement learning tabulare per problemi che richiedono ragionamento composito.

• Interpretabilità: Rappresentando esplicitamente molteplici concetti simultaneamente e utilizzando una struttura a ipergrafo, MEPS fornisce una "catena di pensiero" trasparente che può essere visualizzata e analizzata.
• Efficienza: Il bias induttivo permette agli agenti di risolvere compiti complessi con significativamente meno parametri e passi di addestramento rispetto ai modelli non ristretti, evitando la "maledizione della dimensionalità" inerente alle implementazioni naive di ipergrafi.
• Plausibilità Biologica e Fisica: L'approccio è motivato dall'osservazione che la cognizione umana e i sistemi fisici spesso si basano sulla combinazione di un numero limitato di fattori simultaneamente, piuttosto che sull'elaborazione di tutte le possibili combinazioni.
• Potenziale Quantistico: L'analogia formale con la fisica many-body quantistica suggerisce una naturale via per implementare MEPS su hardware quantistico, potenzialmente sfruttando l'accelerazione quantistica per la deliberazione.

Gli autori rimangono modesti, osservando che, sebbene il bias induttivo restringa lo spazio delle ipotesi, esso si allinea con i limiti cognitivi umani e le leggi fisiche, suggerendo che sia un vincolo pratico piuttosto che restrittivo. Riconoscono che ulteriori lavori sono necessari per ottimizzare gli algoritmi di campionamento ed esplorare l'integrazione delle tecniche della letteratura sugli ipergrafi per una maggiore scalabilità.