Learning Explicit Behavioral Models with Adaptive Questions and World-Model Probes

Sintesi Tecnica: Apprendimento di Modelli Comportamentali Espliciti con Domande Adattive e Sonde del Modello del Mondo

1. Definizione del Problema

Gli agenti interattivi addestrati esclusivamente sul ritorno del compito (ricompense scalari) spesso ottengono punteggi elevati sfruttando schemi temporali ristretti, scorciatoie locali o peculiarità specifiche dell'ambiente senza sviluppare una rappresentazione robusta dei meccanismi sottostanti. Questo comportamento di "punteggio alto, comprensione bassa" crea un punto cieco nascosto: la politica dell'agente appare efficace ma rimane fragile quando la dinamica dell'ambiente cambia, portando a un recupero lento e a una diagnosi difficile.

Gli approcci attuali, come la riflessione basata su LLM o la riparazione del codice della politica, tipicamente rivedono il comportamento solo dopo l'addestramento o si affidano al successo del compito come giudizio primario di utilità. Inoltre, sebbene esistano benchmark di comprensione del mondo, questi sono solitamente statici e applicati post-hoc, raramente diventando parte del meccanismo che seleziona, ripara o rifiuta una politica durante il processo di apprendimento. La sfida centrale è ottimizzare la "comprensione" come un oggetto testabile ed eseguibile all'interno del ciclo di apprendimento della politica, piuttosto che come un sottoprodotto retorico.

2. Metodologia: L'Explicit Symbolic Behavioral Model (ESBM)

Il documento introduce l'Explicit Symbolic Behavioral Model (ESBM), un modello comportamentale addestrabile che accoppia le prestazioni del compito con il question answering (QA) basato su evidenze e la predizione di meccanismi eseguibili. L'ESBM non è una rete neurale che agisce come politica; piuttosto, è una struttura simbolica esplicita composta da:

• Predicati Tipizzati: Mappano le osservazioni grezze e la memoria in fatti semantici.
• Regole Pesate: Mappano i fatti in azioni o chiamate di opzioni.
• Opzioni Limitate: Incapsulano procedure multi-step (es. rotte, sequenze di soccorso) con contratti definiti e condizioni di terminazione.
• Memoria del Meccanismo ($K$): Un modello del mondo astratto che predice eventi simbolici, cambiamenti di oggetti, ricompense e conseguenze terminali sotto interventi di azione.

Il Ciclo Challenger–Optimizer
Il processo di apprendimento è guidato da un ciclo avversario ma costruttivo:

1. Challenger (Generazione di Sonde): Dopo ogni rollout, il challenger analizza i fallimenti, le recenti modifiche simboliche, gli errori di QA e gli errori di predizione delle transizioni per generare due forme di pressione:
   • Domande Adattive (QA): Domande radicate su entità, pericoli, ricompense e controfattuali. Le risposte devono essere supportate dal contesto esplicito dell'ESBM (predicati, regole, meccanismi).
   • Sonde Attive del Modello del Mondo: Il sistema si dirama da un checkpoint corrispondente in due percorsi: l'ambiente reale e il modello astratto dell'ESBM. Entrambi eseguono la stessa sequenza di azioni (osservata, controfattuale o mista). La memoria del meccanismo dell'ESBM deve predire gli eventi simbolici risultanti, i cambiamenti di punteggio e gli stati degli oggetti.
2. Optimizer (Proposta di Modifica): Un LLM funge da backend per proporre modifiche locali e tipizzate all'ESBM (ad esempio, rivedere una condizione di una regola, aggiornare un'entrata del meccanismo) sulla base del feedback del challenger.
3. Verifier Gate (Selezione): Una regola di accettazione multi-criterio valuta i candidati modelli. Un candidato è accettato solo se migliora almeno una dimensione validata (Punteggio del Compito, Accuratezza QA, Coerenza del Modello del Mondo Passiva/Attiva) pur rimanendo entro le tolleranze di regressione sulle dimensioni protette. Ciò evita che spiegazioni non fondate vengano accettate anche se migliorano il punteggio.

3. Contributi Chiave

• Definizione di ESBM: Gli autori definiscono l'ESBM come un oggetto di ottimizzazione esplicito che combina astrazione dello stato, selezione di azioni simboliche, opzioni limitate e memoria del meccanismo eseguibile.
• Meccanismo di Addestramento Adattivo: Introducono domande adattive alla politica e basate su evidenze e sonde attive del modello del mondo che convertono i fallimenti del modello in vincoli di comprensione riutilizzabili, spostando il QA dalla valutazione post-hoc al nucleo del ciclo di apprendimento.
• Accettazione Multi-Criterio: Una nuova regola di accettazione è formulata che valuta congiuntamente le prestazioni del compito, l'accuratezza del QA e la coerenza interventiva attiva del modello del mondo, garantendo che gli aggiornamenti migliorino sia il comportamento che la comprensione meccanicistica.

4. Risultati Sperimentali

L'approccio è stato valutato su tre ambienti JAXAtari di tipo Atari (Kangaroo, Seaquest, Kingkong), che richiedono pianificazione di rotte, gestione delle risorse ed evitamento di pericoli.

• Prestazioni del Compito (RQ1): L'ESBM ha ottenuto punteggi competitivi o superiori rispetto ai baseline model-free (DQN, PPO), agli apprendisti neuro-simbolici (NUDGE, BlendRL) e a un riferimento simbolico basato solo sul punteggio (EvoSymbol). Notevolmente, l'ESBM ha superato EvoSymbol (che manca di QA e validazione del modello del mondo) in tutti e tre i giochi.
• Comprensione Esplicita (RQ2): Gli ESBM appresi hanno dimostrato un'alta capacità di risposta supportata da evidenze su benchmark di comprensione del gioco tenuti fuori dal set di addestramento. I modelli potevano rispondere a domande sulla struttura del mondo, le meccaniche e i controfattuali, con l'evidenza a supporto (predicati, regole) esplicitamente identificabile.
• Predizione del Modello del Mondo Eseguibile (RQ3): Lo strato del meccanismo ($K$) ha predetto con successo la dinamica simbolica sotto rami controfattuali attivi, superando i baseline di persistenza, dinamica costante e modelli del mondo ad albero decisionale.
• Recupero Dopo Cambiamenti di Meccanismo (RQ4): Quando le dinamiche dell'ambiente sono state alterate (ad esempio, scimmie più veloci, decadimento dell'ossigeno più veloce, bombe più veloci), l'ESBM ha recuperato una frazione significativamente maggiore del punteggio originale rispetto a PPO. Ciò indica che la comprensione meccanicistica esplicita facilita un adattamento più rapido alle nuove dinamiche.

5. Significato e Rivendicazioni

Il documento sostiene che le domande adattive e le sonde attive del modello del mondo possono servire sia come pressione di addestramento che come benchmark riutilizzabili per l'apprendimento di politiche meccanicistiche. Rendendo la comprensione del meccanismo un oggetto eseguibile legato agli aggiornamenti della politica, il framework riesce a separare il comportamento ad alto punteggio dalla conoscenza del meccanismo simbolicamente verificabile.

Gli autori sostengono che questo approccio affronti la fragilità delle politiche basate solo sul punteggio. Invece di fare affidamento su ricompense scalari che possono nascondere meccanismi mancanti o errati, l'ESBM forza l'agente a mantenere un modello che sia auditabile, interrogabile e riparabile. I risultati suggeriscono che ottimizzare per modelli comportamentali espliciti permetta agli agenti non solo di eseguire compiti, ma anche di comprendere perché le loro azioni hanno successo, portando a un adattamento più robusto quando le dinamiche dell'ambiente cambiano.

Il documento rimane modesto riguardo al proprio ambito, notando che l'attuale impostazione utilizza giochi stile Atari come banco di prova controllato e che il trasferimento del metodo alla robotica o ad ambienti open-ended richiederebbe un'astrazione dello stato più ricca e verifier più forti. Riconosce inoltre le dipendenze dalla qualità delle sonde generate e le limitazioni del vocabolario simbolico.