Riepilogo Tecnico: L'Apprendimento Congiunto di Predicati e Azioni Abilita la Composizione di Abilità Zero-Shot

1. Definizione del Problema

L'Apprendimento dalla Dimostrazione (LfD) ha permesso ai robot di acquisire comportamenti complessi, tuttavia le attuali politiche visuomotorie generative spesso falliscono nel generalizzare a nuove composizioni di abilità note senza riaddestramento. Gli approcci attuali modellano tipicamente distribuzioni sulle sole traiettorie di azione. Sebbene efficaci nel catturare comportamenti multi-modali, questi modelli mancano della capacità di ragionare sugli esiti simbolici (cambiamenti di stato) indotti dalle azioni. Questa limitazione crea un divario nei compiti a lungo orizzonte, dove lo spostamento della distribuzione si compounding e lo spazio delle variazioni del compito cresce in modo combinatorio.

I lavori precedenti che tentavano di colmare questo divario spesso disaccoppiavano i componenti: addestrando un modello per generare azioni e un modello separato per classificare i predicati dalle osservazioni. Questa separazione ignora il forte accoppiamento tra le azioni di manipolazione e i loro effetti simbolici. Di conseguenza, possono sorgere incoerenze al momento dell'inferenza, dove lo stato simbolico previsto non si allinea con la modalità di azione effettiva, ostacolando una composizione robusta basata sulla pianificazione.

2. Metodologia: Abilità Predicato-Azione (PACTS)

Gli autori propongono le Abilità Predicato-Azione (PACTS), una classe di politiche visuomotorie in ciclo chiuso che modellano le abilità come un processo generativo congiunto sulle traiettorie di azione ($x$) e sulle traiettorie di credenza dei predicati ($z$).

Formulazione Principale

Invece di apprendere $p(x|o)$ e $p(z|o)$ separatamente, PACTS apprende una distribuzione accoppiata:
$$(x, z) \sim p_\theta(x, z | o)$$
dove:

• $x$ è la traiettoria di azione su un orizzonte $H$.
• $z$ è una traiettoria di credenza dei predicati, che rappresenta una traccia compatta di valori di verità soft (punteggi di confidenza in $[0, 1]$) per un insieme di predicati $J$ nel tempo.
• $o$ è l'osservazione corrente.

Campionando da questa distribuzione congiunta, il modello produce coppie coerenti in cui l'impegno verso una specifica modalità di azione implica intrinsecamente l'impegno verso la corrispondente traccia simbolica.

Implementazione Architetturale

• Variabile Congiunta: Il modello definisce una variabile di traiettoria congiunta $y \triangleq [x | z]$ e apprende un singolo modello generativo condizionato $p_\theta(y | o)$.
• Obiettivi: Il framework supporta sia la Modellazione Probabilistica di Diffusione per Denoising (DDPM) che il Flow Matching Condizionale (CFM).
  • DDPM: Addestra una rete di previsione del rumore $\epsilon_\theta$ per denoisare la variabile congiunta $y$.
  • CFM: Addestra un campo vettoriale $v_\theta$ per trasportare il rumore ai dati lungo un percorso di trasporto ottimale.
• Backbone: Il generatore di traiettorie può essere istanziato con una UNet temporale (convoluzioni 1D) o un Transformer (attenzione self sui passi temporali).
• Esecuzione: PACTS opera in modalità a orizzonte ridiscendente. Ad ogni ciclo di controllo, si condiziona sull'osservazione corrente, campiona una rollout congiunta $(x, z)$, esegue un prefisso dell'azione e ricampiona.

Composizione Basata sulla Pianificazione

La traiettoria di credenza dei predicati generata $z$ funge da interfaccia simbolica online per la pianificazione.

1. Stima dello Stato: I valori di credenza continui in $z$ vengono sogliati (es. $>0.5$) per produrre stati di predicato discreti $\hat{p}_t$.
2. Ciclo di Pianificazione: Un pianificatore PDDL standard utilizza questi stati previsti per:
   • Verificare precondizioni ed effetti.
   • Sequenziare le abilità per raggiungere gli obiettivi.
   • Attivare la ripianificazione se gli effetti previsti di un'abilità vengono violati (es. a causa di perturbazioni ambientali).
     Ciò abilita la composizione zero-shot, permettendo ai robot di sequenziare abilità apprese per raggiungere obiettivi nuovi senza riaddestramento.

Strumenti per i Dati

Per facilitare il deployment nel mondo reale, gli autori introducono un toolkit di segmentazione e etichettatura delle abilità. Questo strumento converte dataset di dimostrazione monolitici (es. formato LeRobot) in dataset centrati sulle abilità mediante:

• L'annotazione di fotogrammi chiave sparsi con predicati ancorati.
• L'interpolazione di questi in etichette dense per ogni passo temporale.
• La segmentazione degli episodi in traiettorie per abilità contigue basate su configurazioni di predicati che raggiungono l'obiettivo.

3. Contributi Chiave

Il paper apporta tre contributi principali:

1. Formulazione Generativa Congiunta: Un modello di abilità che tratta le traiettorie di azione e le tracce dei predicati come un processo generativo accoppiato, producendo rollout coerenti di azione-esito all'interno di un singolo modello.
2. Composizione Basata sulla Pianificazione: Un metodo per sequenziare e monitorare le abilità utilizzando le tracce di credenza dei predicati come interfaccia online, abilitando la composizione zero-shot con pianificatori standard.
3. Toolkit Open-Source: Un toolkit di segmentazione e etichettatura che converte dimostrazioni monolitiche in dataset adatti all'apprendimento congiunto $(x, z)$.

4. Risultati Sperimentali

Gli autori hanno valutato PACTS su un benchmark composizionale 2D (PushBarrier), due compiti 3D di RoboMimic (Cucina e Preparazione del Caffè) e un compito reale di imballaggio di cubi.

Performance del Singolo Modello

• Qualità dell'Azione: Nell'ambiente 2D PushBarrier, PACTS ha ottenuto ricompense di compito perfette o quasi perfette (Ricompensa Max $\approx 1.0$) su vari backbone (UNet/Transformer) e obiettivi (DDPM/CFM), superando o eguagliando le baseline basate solo sull'azione. Nei compiti 3D, PACTS è rimasto competitivo con le politiche basate solo sull'azione, dimostrando che l'aggiunta della modellazione dell'esito non degrada le prestazioni di controllo.
• Predizione dei Predicati: PACTS ha costantemente superato le baseline nella classificazione dei predicati (F1, Recall, Precisione, Accuratezza). In particolare, ha superato una baseline multi-task con un encoder condiviso ma testine separate, suggerendo che il campionamento congiunto fornisce un bias induttivo più forte della semplice condivisione dei parametri.

Coerenza e Composizione

• Coerenza Predicato-Azione: Gli esperimenti hanno mostrato che i rollout di credenza previsti da PACTS corrispondevano strettamente agli esiti reali ottenuti eseguendo le azioni generate (bassi punteggi Cross-Brier e Cross-NLL), confermando che la traccia simbolica è dipendente dall'azione e non un prior.
• Composizione Zero-Shot: In simulazione e nel mondo reale, il sistema ha composto con successo sotto-abilità apprese per raggiungere obiettivi nuovi (es. imballare solo cubi di un colore specifico) che non erano stati dimostrati end-to-end.
• Recupero Adversariale: Il sistema ha dimostrato la capacità di rilevare quando gli effetti di un'abilità venivano violati (es. una porta che si chiude a metà esecuzione) tramite l'interfaccia dei predicati, attivando la ripianificazione per recuperare e completare il compito.

5. Significato e Affermazioni

Il paper sostiene che la limitazione fondamentale nell'apprendimento delle abilità attuali è il disaccoppiamento delle azioni dai loro esiti simbolici. Modellando le abilità come rollout congiunti azione-esito, PACTS fornisce un'interfaccia "allineata al pianificatore" che è naturalmente coerente con il comportamento della politica.

Gli autori affermano che questo approccio abilita:

• Generalizzazione Robusta: La capacità di sequenziare abilità per composizioni di compiti non visti senza riaddestramento.
• Monitoraggio Affidabile: Un'interfaccia simbolica online che permette ai pianificatori di verificare i progressi dell'esecuzione e rilevare i fallimenti.
• Bias Induttivo: L'apprendimento della distribuzione accoppiata incoraggia la politica a rappresentare la relazione specifica tra le modalità di azione e le transizioni simboliche, migliorando sia il controllo che la previsione.

Il paper conclude con modestia, riconoscendo che le prestazioni dipendono dalla qualità dell'insieme dei predicati e che l'approccio attuale assume un dominio simbolico definito manualmente. Tuttavia, ipotizza che la modellazione congiunta di azioni ed esiti sia un passo necessario verso abilità robotiche scalabili, affidabili e componibili.