Riepilogo Tecnico: SkillWrapper: Invenzione Predicativa Generativa per la Pianificazione Robotica a Livello di Task

Definizione del Problema

Costruire robot autonomi capaci di pianificazione di task a lungo termine richiede di colmare il divario tra il controllo sensomotorio di basso livello e il ragionamento astratto di alto livello. Mentre gli esseri umani possono ragionare su compiti complessi (ad esempio, cucinare) senza modellare il controllo muscolare, i robot si affidano tipicamente a modelli di livello di task (precondizioni ed effetti) specificati manualmente da esperti di dominio. In contesti reali, l'acquisizione di questi modelli è non banale a causa delle complesse vincoli inter-skill e delle specifiche incarnazioni ambientali.

Gli approcci esistenti per apprendere queste astrazioni affrontano una dicotomia:

1. Metodi bottom-up: Offrono garanzie teoriche (correttezza e completezza), ma spesso si basano su spazi di stato strutturati e ristretti (ad esempio, lo spazio di configurazione) o faticano a scalare da input a livello di pixel senza l'uso di modelli di fondazione (foundation models).
2. Metodi guidati da Modelli di Fondazione (FM): Sfruttano i FM per generare predicati semanticamente significativi da input sensoriali grezzi (un processo termine generative predicate invention). Tuttavia, questi metodi si affidano tipicamente a procedure euristiche o ad hoc, mancando di garanzie formali su quali proprietà le astrazioni apprese debbano soddisfare o su come garantire che i modelli risultanti siano corretti per la pianificazione.

La sfida centrale affrontata da questo articolo è: Come possiamo apprendere autonomamente rappresentazioni simboliche corrette e complete di skill "black-box" da osservazioni RGB grezze, utilizzando modelli di fondazione, fornendo al contempo garanzie formali per la pianificazione a livello di task?

Metodologia: SkillWrapper

Gli autori propongono SkillWrapper, un framework di apprendimento attivo che acquisisce autonomamente modelli simbolici corretti e completi per skill black-box. Il sistema opera su un dominio definito da un insieme di skill centriche sugli oggetti ($\Omega$) e apprende un modello di transizione astratto $M = \langle P, A \rangle$, dove $P$ è un insieme di predicati e $A$ è un insieme di operatori.

Il metodo itera attraverso tre fasi primarie:

1. Raccolta Attiva dei Dati

Invece di un'esplorazione casuale, SkillWrapper seleziona attivamente sequenze di istanze di skill da eseguire. Il sistema sollecita un Modello di Fondazione (FM) per generare sequenze di skill candidate, che vengono poi valutate in base a due assi:

• Bilanciamento ($b$): Prioritizza le sequenze in cui il rapporto tra esecuzioni andate a buon fine e fallite è vicino a un target (ad esempio, 0.5). Ciò assicura la raccolta di sia esempi positivi che negativi, fondamentale per l'apprendimento contrastivo.
• Copertura ($c$): Prioritizza le sequenze che massimizzano l'entropia delle coppie di skill consecutive osservate. Ciò assicura che il sistema osservi diverse dipendenze inter-skill.
  Il sistema seleziona il sottoinsieme di sequenze Pareto-ottimali ed esegue le transizioni $\langle s, \omega, s' \rangle$ che catturano l'eseguibilità e gli esiti.

2. Invenzione Predicativa Generativa

SkillWrapper inizia con un insieme di predicati vuoto ($P = \emptyset$). Inventa nuovi predicati solo quando il modello attuale non riesce a spiegare le transizioni osservate. L'invenzione è attivata da due condizioni formali:

• Condizione 1 (Inconsistenza delle Precondizioni): Il modello prevede che un'istanza di skill avrà successo, ma questa fallisce (o viceversa), e i predicati attuali non riescono a distinguere lo stato di successo dallo stato di fallimento.
• Condizione 2 (Inconsistenza degli Effetti): Il modello non riesce a distinguere tra gli effetti di un'esecuzione riuscita e di un'esecuzione fallita della stessa skill (anche tenendo conto di diversi argomenti oggetto tramite una funzione di lifting).

Quando attivata, il sistema sollecita un FM (specificamente un Modello Vision-Language) per generare un predicato candidato che distingua semanticamente i casi in conflitto. Il candidato viene valutato verificando se migliora la capacità del modello di spiegare il dataset (ovvero, se permette la costruzione di operatori che separano correttamente le transizioni di successo e quelle di fallimento).

3. Apprendimento degli Operatori

Utilizzando i dati accumulati e l'attuale insieme di predicati, SkillWrapper apprende gli operatori (azioni con precondizioni ed effetti).

• Clustering: Le transizioni vengono raggruppate in base ai loro "cambiamenti astratti sollevati" (differenze negli stati astratti).
• Derivazione delle Precondizioni: Per ogni cluster, le precondizioni sono derivate come l'intersezione degli stati iniziali astratti delle transizioni in quel cluster.
• Gestione dei Tipi: Per evitare la sovra-generalizzazione in domini con categorie di oggetti sovrapposte, il sistema assegna conservativamente i parametri dell'operatore utilizzando il livello più basso della gerarchia dei tipi coerente con i dati.

Framework Teorico

Il paper stabilisce una teoria formale per l'invenzione predicativa generativa, fornendo le prime garanzie dimostrabili per questa classe di metodi:

• Correttezza (Soundness): Il modello appreso predice correttamente gli effetti di un piano; se un pianificatore prevede che una sequenza raggiunga uno stato, l'esecuzione conduce effettivamente lì.
• Completezza (Completeness): Il modello non omette mai soluzioni reali; se una soluzione esiste nell'ambiente, il pianificatore può trovare un piano astratto.
• Esattezza (Correctness): Gli autori dimostrano che il modello appreso da SkillWrapper è empiricamente corretto rispetto ai dati osservati (Teorema 1) e converge asintoticamente a un modello corretto sotto un processo $\beta$-mixing stazionario (Teorema 2).

Risultati Sperimentali

Gli autori hanno valutato SkillWrapper sia in simulazione che su robot reali.

Simulazione (Robotouille)

In un ambiente cucina simulato con sei oggetti e cinque skill, SkillWrapper è stato confrontato con:

• Operatori Expert: Modelli PDDL definiti manualmente.
• Predicati di Sistema: Predicati oracle del simulatore.
• ViLa: Un baseline che utilizza il prompting diretto di FM per la selezione delle azioni.
• Ablazioni: Varianti senza gli euristici di raccolta dati attiva o senza l'algoritmo specifico di invenzione dei predicati.

Risultati:

• SkillWrapper ha superato tutti i baseline non privilegiati (incluso ViLa e l'esplorazione casuale).
• Sui problemi "difficili" (fino a 15 step), SkillWrapper ha superato il baseline dei Predicati di Sistema, dimostrando che le astrazioni apprese possono essere più efficaci dei predicati ground-truth del simulatore in scenari di pianificazione complessi.
• Ha identificato correttamente il 100% dei task impossibili, un requisito per la correttezza (soundness).

Esperimenti su Robot Reali

Gli esperimenti sono stati condotti su un Franka Emika Panda (tabletop) e un manipolatore bimanuale Kuka iiwa.

• Generalizzazione: Un modello appreso in ambienti di training ristretti (sottoinsiemi di oggetti) si è generalizzato con successo a un ambiente di test contenente tutti gli oggetti, risolvendo task inediti a lungo termine.
• Efficienza dei Dati: In un contesto bimanuale con vicoli ciechi (dead ends), SkillWrapper ha migliorato le prestazioni attraverso le iterazioni, superando tutti i baseline entro cinque iterazioni. Il sistema ha dimostrato che la raccolta di dati attiva guidata è cruciale per l'apprendimento in ambienti con azioni irreversibili.

Significato e Rivendicazioni

Il paper sostiene di essere il primo lavoro sull'invenzione predicativa generativa che garantisce provabilmente correttezza (soundness) e completezza per la pianificazione a livello di task.

I contributi chiave includono:

1. Teoria Formale: Una caratterizzazione delle condizioni sotto le quali un modello appreso è provabilmente corretto e completo, affrontando la mancanza di rigore teorico nei precedenti approcci basati su FM.
2. Sistema SkillWrapper: Un sistema strutturato che sfrutta i modelli di fondazione per raccogliere dati in modo interattivo, inventare predicati e apprendere rappresentazioni simboliche interpretabili senza specifica manuale.
3. Validazione Empirica: Ampia evidenza del fatto che queste rappresentazioni apprese consentono ai robot di comporre skill black-box per risolvere task inediti a lungo termine nel mondo reale utilizzando pianificatori classici standard.

Gli autori concludono che SkillWrapper offre una strada promettente verso l'apprendimento scalabile di modelli simbolici, permettendo ai robot di ragionare su obiettivi di alto livello senza richiedere astrazioni progettate a mano o conoscenza privilegiata della dinamica dell'ambiente. Il lavoro riconosce limitazioni, come l'assunzione di dinamiche deterministiche e l'impossibilità di controllare direttamente gli output dei FM, suggerendo lavori futuri in contesti probabilistici e gestione del rumore.