🤖 machine learning

Neurosymbolic Imitation Learning with Human Guidance: A Privileged Information Approach

Questo lavoro propone un framework di apprendimento per imitazione neuro-simbolico che combina la capacità delle reti neurali di elaborare dati ad alta dimensionalità con le capacità di generalizzazione dei metodi simbolici, sfruttando informazioni privilegiate durante l'addestramento, come i dati dello sguardo, per migliorare l'efficienza e ridurre l'overfitting.

Autori originali: Nikhilesh Prabhakar, Varun Balaji, Athresh Karanam, Kristian Kersting, Sriraam Natarajan

Pubblicato 2026-05-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nikhilesh Prabhakar, Varun Balaji, Athresh Karanam, Kristian Kersting, Sriraam Natarajan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come giocare a un videogioco. Hai due modi principali per farlo, ma entrambi presentano un grave difetto.

Il Problema: Due Insegnanti Difettosi

L'Insegnante "Deep Learning": Questo insegnante è come un genio che ha guardato milioni di ore di gameplay. È eccellente nel vedere lo schermo e reagire istantaneamente. Tuttavia, è una "scatola nera". Non puoi chiedergli perché ha fatto una mossa e non è bravo a generalizzare. Se metti un nuovo nemico sullo schermo che non ha mai visto prima, spesso si blocca o va nel panico. Ha anche bisogno di una quantità enorme di dati per imparare, come uno studente che deve leggere ogni libro in biblioteca prima di comprendere un singolo concetto.
L'Insegnante "Simbolico": Questo insegnante è come un professore di logica. Impara regole chiare e spiegabili (ad esempio, "Se un nemico è a sinistra, vai a destra"). È eccellente nel spiegare le sue mosse e può gestire nuove situazioni con facilità. Ma, è terribile nel guardare uno schermo video grezzo. Non può capire i pixel; ha bisogno che il mondo gli venga descritto in codice perfetto e pre-scritto.

La Soluzione: Un Tutor Ibrido con uno "Sguardo Magico"
Gli autori di questo articolo, GRAIL, propongono un nuovo modo per insegnare al robot che combina il meglio di entrambi gli insegnanti. Lo chiamano Apprendimento per Imitazione Neurosimbolico.

Pensalo come una squadra di due:

Gli Occhi (Parte Neurale): Una rete neurale che guarda lo schermo video grezzo e traduce i pixel in un elenco di fatti logici (ad esempio, "C'è un giocatore", "C'è un nemico", "Il nemico è a sinistra").
Il Cervello (Parte Simbolica): Un motore logico che prende quei fatti e applica regole per decidere cosa fare.

Il Segreto: Informazioni Privilegiate (Lo "Sguardo")
Ecco il colpo di genio. Gli autori hanno realizzato che quando gli umani giocano a questi giochi, i loro occhi non guardano ovunque. Si concentrano sulle cose importanti (come un nemico pronto a sparare) e ignorano il rumore di fondo.

Nel mondo reale, non possiamo sempre vedere cosa sta guardando un umano mentre gioca. Ma, per questo esperimento, i ricercatori avevano accesso ai dati di eye-tracking (una mappa termica che mostra esattamente dove l'umano stava guardando) solo durante la fase di addestramento.

Hanno trattato questi dati di eye-tracking come Informazioni Privilegiate.

Durante l'Addestramento: Il robot può vedere lo schermo del gioco e i movimenti oculari dell'umano. Impara: "Ah, l'umano sta guardando il nemico, quindi quel nemico è importante. L'umano sta ignorando le nuvole nel cielo, quindi dovrei ignorarle anch'io".
Durante il Test (Il Vero Gioco): Il robot non vede più i dati di eye-tracking. Vede solo lo schermo. Ma poiché ha imparato quali cose prestare attenzione durante l'addestramento, ora ignora il rumore di fondo da solo.

Come Funziona nella Pratica
Immagina che il robot stia giocando a un gioco come Seaquest (dove nuoti e spari).

Gli Occhi: Il robot guarda lo schermo e vede 50 oggetti. Crea un elenco di 50 fatti.
Il Filtro dello Sguardo: Il robot ricorda: "Durante l'addestramento, l'umano guardava solo i nemici e i subacquei, non le bolle". Quindi, usa quella memoria per "abbassare il volume" sulle bolle e "alzare il volume" sui nemici.
Il Cervello Logico: Ora, con un elenco pulito e focalizzato di fatti importanti, il cervello logico applica le sue regole: "Se un nemico è vicino, spara".
Il Risultato: Il robot fa una mossa.

Perché è una Grande Notizia
L'articolo ha testato questo sistema su giochi Atari (come Asterix e Seaquest) e ha trovato tre grandi vantaggi:

Migliore Prestazione: Il robot ha giocato meglio dell'insegnante "Deep Learning" e dell'insegnante "Simbolico" presi singolarmente.
Efficienza nel Campionamento: Ha imparato molto più velocemente. Mentre altri robot avevano bisogno di giocare migliaia di volte per diventare bravi, questo robot è diventato bravo con pochissimi tentativi perché lo "sguardo" gli ha aiutato a concentrarsi immediatamente su ciò che contava.
Generalizzazione: Quando il gioco cambiava (ad esempio, improvvisamente c'erano 3 nemici invece di 1), il robot non andava nel panico. Poiché aveva imparato le relazioni (ad esempio, "il nemico è a sinistra") invece di memorizzare semplicemente schemi di pixel, poteva gestire nuove situazioni non viste con facilità.

In Sintesi
L'articolo presenta un sistema che insegna a un robot a giocare a giochi combinando un "traduttore visivo" con un "creatore di regole logiche". L'arma segreta è l'uso dei dati di eye-tracking umano come guida temporanea per l'addestramento per insegnare al robot a cosa prestare attenzione. Una volta addestrato, il robot può giocare da esperto da solo, anche in nuove situazioni, senza più bisogno degli occhi umani. È come insegnare a uno studente a studiare mostrandogli esattamente quali pagine del libro di testo sono più importanti, in modo che impari a studiare efficacemente anche quando non sei lì a indicare le pagine.

Riepilogo Tecnico: Apprendimento per Imitazione Neurosimbolico con Guida Umana: Un Approccio basato su Informazioni Privilegiate

Enunciato del Problema

L'Apprendimento per Imitazione (IL) mira ad apprendere una politica (una mappatura dagli stati alle azioni) a partire da dimostrazioni di esperti. Mentre i metodi puramente neurali (ad esempio, la Clonazione Comportamentale) gestiscono efficacemente dati grezzi ad alta dimensionalità come le immagini, soffrono di inefficienza nel campionamento, sovradattamento e mancanza di generalizzazione in ambienti con numeri variabili di oggetti. Al contrario, i metodi puramente simbolici offrono interpretabilità e una forte generalizzazione, ma faticano a elaborare direttamente input ad alta dimensionalità e spesso richiedono rappresentazioni simboliche predefinite.

Inoltre, i metodi IL esistenti spesso non riescono a sfruttare le Informazioni Privilegiate (PI)—dati ausiliari disponibili durante l'addestramento ma non durante la distribuzione. Sebbene i dati dello sguardo (eye-tracking umano) siano un candidato naturale per le PI nei compiti visivi, gli approcci precedenti applicano tipicamente la guida dello sguardo alle politiche neurali, preservandone la natura di "scatola nera", o la utilizzano semplicemente per la regolarizzazione senza alterare il processo sottostante di ragionamento simbolico.

La sfida centrale affrontata da questo articolo è: Come possiamo sviluppare un framework di apprendimento per imitazione che combini l'elaborazione ad alta dimensionalità delle reti neurali con la generalizzazione e l'interpretabilità del ragionamento simbolico, sfruttando efficacemente le informazioni privilegiate (in particolare lo sguardo umano) per guidare l'apprendimento di politiche robuste e generalizzabili?

Metodologia: Il Framework GRAIL

Gli autori propongono GRAIL (Gaze-guided Relational Imitation Learning), un framework neurosimbolico che integra tre moduli strettamente accoppiati per apprendere regole di logica probabilistica interpretabili da immagini grezze e dati dello sguardo.

1. Grounding Neurosimbolico (Modulo di Percezione)

Invece di assumere input simbolici, GRAIL accetta osservazioni di pixel grezzi ( $o_t$ ). Una rete neurale di percezione ( $f_\theta$ ) mappa queste immagini grezze in un insieme di atomi radicati probabilistici ( $v^{(0)}_t$ ).

Meccanismo: La rete produce un vettore di probabilità di verità per un insieme predefinito di predicati del primo ordine (ad esempio, visibleEnemy, closeToPlayer).
Addestramento: Questo modulo viene addestrato indipendentemente utilizzando etichette binarie ground-truth derivate da un oracolo di estrazione degli oggetti (OCAtari) tramite la funzione di perdita Negative Log-Likelihood (NLL). Una volta addestrato, agisce come un estrattore di caratteristiche fisso.

2. Modulazione Privilegiata dello Sguardo

Questa è l'innovazione centrale che sfrutta il paradigma Learning Using Privileged Information (LUPI).

Previsione dello Sguardo: Una rete separata ( $g_\phi$ ) viene addestrata per prevedere una mappa di calore dello sguardo dal fotogramma grezzo, minimizzando la divergenza di Kullback-Leibler rispetto ai dati ground-truth di eye-tracking.
Ripesatura degli Atomi: Durante l'addestramento della politica, la mappa di calore dello sguardo viene utilizzata per calcolare una "massa dello sguardo" ( $s_i$ ) per ogni entità riferita negli atomi radicati.
Modulazione: Le probabilità iniziali degli atomi vengono ripesate in base ai punteggi dello sguardo: $v^{(g)}_{t,i} = v^{(0)}_{t,i} \cdot s_i$ .
Effetto: Questo meccanismo sopprime le probabilità degli atomi corrispondenti allo sfondo o a entità irrilevanti per il compito su cui l'esperto umano non ha fissato lo sguardo, filtrando efficacemente le correlazioni spurie prima della fase di ragionamento logico.

3. Ragionatore Forward-Chaining Differenziabile (Apprendimento della Politica)

Lo stato simbolico modulato dallo sguardo ( $v^{(g)}_t$ ) viene immesso in un Ragionatore Forward Neurosimbolico (NSFR).

Logica: Il ragionatore esegue un'inferenza forward-chaining differenziabile su una libreria predefinita di clausole definite della Logica del Primo Ordine (FOL) (regole).
Differenziabilità: Le operazioni logiche (congiunzione/disgiunzione) sono approssimate utilizzando la semantica della logica fuzzy (norma T prodotto e co-norma T), permettendo ai gradienti di fluire attraverso il grafo di inferenza.
Ottimizzazione della Politica: Il sistema apprende una matrice di pesi ( $W$ ) per le regole. L'obiettivo è la Clonazione Comportamentale: minimizzare la negative log-likelihood dell'azione dell'esperto data la distribuzione delle azioni inferita derivata dalle attivazioni delle regole.

Contributi Chiave

Nuovo Framework Neurosimbolico: Lo sviluppo di GRAIL, che apprende regole di logica probabilistica interpretabili per l'apprendimento per imitazione direttamente da dati visivi grezzi.
Integrazione delle Informazioni Privilegiate: La formulazione specifica dello sguardo umano come informazione privilegiata per modulare le valutazioni degli atomi simbolici. Questo si distingue dal lavoro precedente che applica lo sguardo a strati neurali; qui, lo sguardo guida la fase di grounding simbolico.
Sintesi Interdisciplinare: L'articolo combina concetti di apprendimento neurale, apprendimento simbolico (Inductive Logic Programming), apprendimento per imitazione e apprendimento basato su consigli (LUPI) in un unico sistema addestrabile end-to-end.
Validazione Empirica: Dimostrazione che il framework è efficiente nel campionamento, apprende politiche robuste e generalizza a scenari di test con un numero sconosciuto di oggetti, superando sia le baseline puramente neurali che quelle puramente simboliche.

Risultati Sperimentali

Il framework è stato valutato su due ambienti Atari 2600 (Asterix e Seaquest) utilizzando il dataset Atari-HEAD (che include dati di eye-tracking umano).

Efficacia (Q1): GRAIL ha ottenuto i punteggi medi di gioco più alti in entrambi i domini, superando significativamente le baseline puramente neurali (Behavioral Cloning, AGIL, BC+Mask) e la baseline neurosimbolica senza modulazione dello sguardo (NSFR-IL).
Efficienza nel Campionamento (Q2): GRAIL ha converguto a livelli di prestazioni più alti con significativamente meno campioni di addestramento. In particolare, GRAIL addestrato solo sul 10% dei dati ha superato la baseline NSFR-IL addestrata sull'intero dataset. Gli autori attribuiscono questo fatto alla modulazione dello sguardo che agisce come regolarizzatore, impedendo al modello di adattarsi a correlazioni spurie nei dati.
Generalizzazione (Q3): Quando testato su ambienti con un numero maggiore di oggetti rispetto a quelli visti durante l'addestramento, GRAIL ha mantenuto alte prestazioni. Le baseline neurali non sono riuscite a generalizzare oltre i conteggi degli oggetti del loro addestramento, mentre la natura relazionale della rappresentazione simbolica di GRAIL le ha permesso di gestire naturalmente conteggi di oggetti non visti.

Significato e Affermazioni

L'articolo afferma che GRAIL rappresenta il primo framework neurosimbolico end-to-end capace di integrare senza soluzione di continuità le informazioni sullo sguardo come informazioni privilegiate per apprendere politiche efficaci, efficienti e generalizzabili.

Robustezza: Utilizzando lo sguardo per filtrare gli atomi simbolici, il sistema evita di apprendere politiche basate su caratteristiche di sfondo irrilevanti, affrontando il problema dello "spostamento della covariata" comune nell'apprendimento per imitazione.
Interpretabilità: A differenza delle politiche neurali, la politica risultante è un insieme di regole logiche ponderate. I pesi stessi forniscono una spiegazione del processo decisionale (ad esempio, quali regole sono più critiche per azioni specifiche).
Modularità: Il framework è descritto come "plug-and-play", capace di integrare apprenditori differenziabili, vari moduli di percezione e diverse forme di informazioni privilegiate (non limitate allo sguardo).

Gli autori concludono che combinare concetti classici dell'IA (neurali, simbolici, basati su consigli) produce un modello che non è solo performante, ma anche trasparente e capace di generalizzare ad ambienti complessi e dinamici dove i metodi simbolici tradizionali faticano e i metodi neurali puri mancano di robustezza.