MINT: Minimal Information Neuro-Symbolic Tree for Objective-Driven Knowledge-Gap Reasoning and Active Elicitation

Riepilogo Tecnico: MINT per il Ragionamento sui Lacuni di Conoscenza Guidato dagli Obiettivi

Dichiarazione del Problema
Nella collaborazione uomo-intelligenza artificiale in mondi aperti, la pianificazione congiunta è frequentemente ostacolata da informazioni incomplete e incognite, come oggetti non visibili, intenzioni umane ambigue o vincoli ambientali incerti. Questi "lacuni di conoscenza" creano incertezze nelle transizioni di stato e nelle funzioni di ricompensa, portando a esecuzioni conservative e piani subottimali. Sebbene i metodi esistenti come l'Apprendimento per Rinforzo con Feedback Umano (RLHF) o l'adattamento few-shot possano elaborare input umani, spesso mancano della capacità di ragionare in modo espressivo su tali lacune o di elicitar attivamente le informazioni specifiche necessarie per colmarle. Al contrario, gli approcci tradizionali Human-in-the-Loop (HITL) si concentrano spesso sul fine-tuning tramite dimostrazioni piuttosto che affrontare la causa radice dei lacuni di conoscenza attraverso un'elicitazione attiva guidata dagli obiettivi.

Metodologia: Albero Neuro-Simbolico a Informazioni Minime (MINT)
Gli autori propongono MINT, un framework che combina ragionamento simbolico, politiche di pianificazione neurale e Modelli Linguistici di Grande Dimensione (LLM) per ottimizzare l'elicitazione degli input umani. La metodologia opera in due fasi principali: addestramento e distribuzione.

1. Addestramento della Politica Neurale (Stima dell'Incertezza):
   Il sistema impiega una Deep Q-Network bootstrapped (nello specifico UA-DQN) per stimare non solo i valori Q ottimali, ma anche l'incertezza aleatoria (varianza) dei risultati della pianificazione causata dai lacuni di conoscenza. Durante l'addestramento, l'agente è esposto a una famiglia di Processi Decisionali di Markov (MDP) estesi in cui il lacuno di conoscenza $u$ maschera parti del descrittore ground-truth $\phi$. La rete impara a stimare la media e la varianza dei valori Q sulla distribuzione dei possibili descrittori $\Phi_u$.

2. Costruzione ed Espansione dell'Albero Simbolico:
   Quando viene rilevato un lacuno di conoscenza (ad esempio, un'alta varianza nei valori Q), MINT costruisce un albero simbolico.

   • Nodi: Rappresentano stati del problema di pianificazione con specifici lacuni di conoscenza, caratterizzati da descrittori (tipo, sottotipo, intervalli di valori).
   • Archi: Rappresentano proposizioni (query) proposte per restringere il lacuno.
   • Espansione: L'albero si espande in modo breadth-first. Per ogni nodo, la politica neurale stima il ritorno medio e la varianza. Se la varianza è alta rispetto al divario di ritorno tra le azioni, il nodo viene espanso dividendo lo spazio dei lacuni di conoscenza (ad esempio, dividendo gli intervalli di valori o ipotizzando diversi tipi di incertezza). Questo processo continua finché la varianza non è sufficientemente bassa o non viene raggiunto un limite di profondità.

3. Curatela Basata su LLM ed Elicitazione Attiva:
   Una volta costruito l'albero, un LLM elabora la struttura per ottimizzare la strategia di interazione:

   • Potatura: L'LLM unisce sotto-alberi o foglie equivalenti che portano a azioni ottimali identiche per eliminare la ridondanza.
   • Generazione di Query: L'LLM sintetizza domande binarie (sì/no) progettate per massimizzare il guadagno informativo riguardo ai candidati di azione ottimali.
   • Interazione: L'agente pone queste domande all'umano. La risposta umana aggiorna il lacuno di conoscenza, potando i rami incoerenti dell'albero. Questo processo iterativo continua finché l'azione ottimale non viene identificata con alta confidenza.

Analisi Teorica
Il documento fornisce una garanzia teorica per le prestazioni di MINT. Definendo una pseudo-metrica tra MDP con diversi kernel di transizione e funzioni di ricompensa, gli autori dimostrano una continuità pseudo-Lipschitz locale delle funzioni Q ottimali. Derivano un limite superiore sul divario di ritorno tra la pianificazione basata su MINT (con elicitazione attiva) e un caso ideale privo di lacuni di conoscenza. Questa analisi dimostra che restringere iterativamente il lacuno di conoscenza attraverso la strategia di query di MINT riduce il divario di ritorno, fornendo una garanzia di prestazione.

Contributi Chiave

1. Framework MINT: La proposta di un albero neuro-simbolico che consulta una politica di pianificazione neurale per ragionare sugli impatti dei lacuni di conoscenza e sfrutta il self-play per ottimizzare le strategie di elicitazione umana.
2. Garanzie Teoriche: La dimostrazione della continuità pseudo-Lipschitz locale per i ritorni della pianificazione e la derivazione di un limite superiore sul divario di ritorno, offrendo una solida base teorica per l'elicitazione attiva umana.
3. Validazione Empirica: Dimostrazione che MINT ottiene ritorni vicini a quelli di esperti con un numero significativamente inferiore di query (1–3 per oggetto) rispetto alle linee di base in ambienti diversificati.

Risultati Sperimentali
Gli autori hanno valutato MINT su tre benchmark con crescente realismo:

• MiniGrid: MINT ha raggiunto tassi di successo quasi perfetti e ricompense medie elevate, superando significativamente gli LLM puri (che erano spesso eccessivamente conservativi) e i metodi RL puri (che faticavano con l'incertezza). MINT ha mantenuto alte prestazioni anche con un budget di query limitato.
• Atari Pacman: In un ambiente con osservazioni di pixel grezzi e zone di ricompensa/transizione sconosciute, MINT ha ottenuto ritorni competitivi rispetto alle linee di base RL Human-in-the-Loop (Query-A) ma ha richiesto un numero significativamente inferiore di query.
• Isaac Gym (Ricerca e Soccorso): In uno scenario di soccorso con droni ad alta fedeltà che coinvolge oggetti oscurati dal fumo e target nascosti, MINT ha superato le strategie di pianificazione basate su LLM, navigando con successo l'incertezza ragionando su specifici lacuni di conoscenza.

Significato e Affermazioni
Il documento afferma di essere il primo lavoro a combinare il ragionamento simbolico sui lacuni di conoscenza, le politiche di pianificazione neurale e gli LLM per abilitare un'elicitazione umana attiva e ottimizzata nella pianificazione basata sul linguaggio. Gli autori affermano che MINT colma efficacemente il divario tra l'interpretabilità dei metodi simbolici e l'adattabilità delle reti neurali. Restringendo sistematicamente i lacuni di conoscenza attraverso query mirate, MINT permette agli agenti AI di funzionare come compagni proattivi piuttosto che come strumenti passivi, raggiungendo prestazioni vicine a quelle di esperti minimizzando al contempo il carico comunicativo sui partner umani. Il lavoro suggerisce che questo approccio è particolarmente vitale per scenari di mondo aperto dove l'informazione perfetta non è disponibile e una pianificazione conservativa porta a risultati non ottimali.