FAWAM: Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation

Sintesi Tecnica: FAWAM – Modelli di Azione del Mondo Sensibili alla Forza per la Manipolazione a Ciclo Chiuso Ricca di Contatto

1. Definizione del Problema

I compiti di manipolazione robotica ricchi di contatto (ad es. pulire una lavagna, sbucciare un cetriolo, spingere) richiedono la regolazione continua dell'interazione con l'ambiente. Sebbene le osservazioni visive siano lo standard, esse sono spesso insufficienti per inferire stati di interazione critici come il contatto debole, la pressione eccessiva o l'inceppamento. I metodi esistenti che incorporano il rilevamento della forza tipicamente la trattano come una modalità di osservazione aggiuntiva per l'apprendimento della policy o la utilizzano per il controllo reattivo di basso livello. Tuttavia, questi approcci non riescono a modellare esplicitamente l'evoluzione dei futuri stati di contatto (ad es. futuri wrench) e mancano di riferimenti predittivi per guidare le correzioni durante l'esecuzione. Di conseguenza, i robot faticano ad anticipare gli esiti del contatto e ad adeguarsi proattivamente quando il feedback rilevato devia dalle aspettative.

2. Metodologia

Gli autori propongono FAWAM (Force-Aware World Action Model), un framework a ciclo chiuso che integra i segnali di forza attraverso tre livelli: percezione, predizione ed esecuzione. Il sistema opera su due frequenze distinte: un Modello di Azione Sensibile alla Forza che gira a 1 Hz per la pianificazione di alto livello e un Correttore Residuo Guidato dalla Forza che gira a 10 Hz per l'aggiustamento online.

A. Modello di Azione Sensibile alla Forza
Questo componente estende un modello di azione del mondo (basato su GE-Act) per incorporare la sensibilità alla forza:

• Condizionamento della Forza: Le recenti storie di forza/coppia a 6 assi ($w_{t-H_f+1:t}$) vengono codificate in una caratteristica di contatto compatta ($c_t$) tramite un MLP leggero. Questa caratteristica modula il percorso di generazione dell'azione utilizzando una modulazione di tipo AdaLN-Zero, dove gli offset condizionati dalla forza vengono aggiunti ai parametri AdaLN-Zero standard (shift, scala, gate) all'interno dei blocchi DiT.
• Predizione Congiunta: Invece di utilizzare una testa di predizione della forza isolata, il modello sostituisce la proiezione dell'azione originale con una proiezione lineare congiunta. Questa produce traiettorie di azioni future concatenate ($A_t$) e traiettorie di wrench futuri ($W_t$). Questo design costringe il decoder a imparare una rappresentazione condivisa che cattura l'accoppiamento tra i movimenti del robot e le loro conseguenze fisiche di contatto.
• Addestramento: Il modello impiega una strategia di addestramento in due fasi. In primo luogo, un modello di generazione video viene perfezionato utilizzando il flow matching nello spazio latente. In secondo luogo, il decoder di azione sensibile alla forza viene addestrato con una funzione di perdita combinata ($L_{stage2} = L_{action} + \lambda_F L_{force}$) per prevedere simultaneamente i futuri movimenti e le forze di contatto sotto lo stesso framework di flow-matching.

B. Correzione Residua Guidata dalla Forza
Per affrontare variazioni di contatto impreviste (ad es. resistenza improvvisa) durante l'esecuzione di un chunk di azione, viene introdotto un correttore residuo:

• Input: Il correttore riceve il base action chunk, il riferimento del wrench predetto, il feedback del wrench in tempo reale e lo stato propriocettivo corrente.
• Calcolo dell'Errore: Esso calcola esplicitamente un errore di tracciamento del wrench ($e^w_t$) confrontando il wrench misurato ($w^{meas}$) con la traiettoria del wrench predetta ($w^{pred}$).
• Meccanismo di Gating: Una testa di gating predice uno scalare gate ($g^{res}_t$) per determinare se è necessaria una correzione. Una maschera binaria ($\kappa_t$) viene applicata in base a una soglia per evitare che il modello residuo perturbi le esecuzioni nominali.
• Output: Il sistema produce un'azione residua ($\Delta a^{res}$) che viene aggiunta all'azione base solo quando il gate è attivo, raffinando l'esecuzione online.
• Raccolta Dati: I dati di correzione sono raccolti utilizzando un sistema di teleoperazione leader-follower con feedback di forza (FACTR). Gli operatori umani intervengono quando si verifica un contatto anomalo, e la differenza tra il comando corretto e il comando della policy base funge da target residuo.

3. Contributi Chiave

1. Framework FAWAM: Un modello di azione del mondo sensibile alla forza che sfrutta i segnali di forza attraverso i livelli di percezione, predizione ed esecuzione per consentire una manipolazione ricca di contatto robusta.
2. Correzione Residua Guidata dalla Forza: Un meccanismo innovativo che utilizza la discrepanza tra le forze predette e il feedback rilevato per correggere le azioni durante l'esecuzione, andando oltre il semplice controllo reattivo verso un aggiustamento proattivo guidato dalla predizione.
3. Validazione Empirica: Esperimenti nel mondo reale estesi che dimostrano significativi miglioramenti rispetto ai baseline allo stato dell'arte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un braccio robotico Franka Research 3 (FR3) su quattro compiti: Cancellare Lavagna, Sbucciare Cetriolo, Ruotare Scatola, Pulire Vaso. I compiti hanno comportato diverse condizioni di contatto indotte da variazioni di inclinazione della superficie, altezze del tavolo e posizioni degli oggetti.

• Prestazioni: FAWAM ha raggiunto un tasso di successo medio (SR) dell'85,00%.
  • Ciò rappresenta un miglioramento del 36,25% rispetto ai baseline basati solo sulla visione (ad es. $\pi0.5$ al 47,50%, GE-Act al 48,75%).
  • Mostra un miglioramento del 21,25% rispetto ai baseline esistenti sensibili alla forza (ForceVLA e TA-VLA, entrambi al 63,75%).
• Analisi Ablativa:
  • La policy di base senza correzione residua (FAWAM w/o Res) ha raggiunto un tasso di successo del 73,75%, indicando che il modello di azione sensibil alla forza fornisce una base solida.
  • L'aggiunta del correttore residuo ha fornito la spinta finale all'85,00%, validando l'efficacia della correzione online.
  • Lo studio ablativo ha confermato che tutti e tre i componenti (Osservazione condizionata dalla forza, Predizione congiunta e Correzione residua) contribuiscono positivamente alle prestazioni.

5. Significato e Rivendicazioni

Il paper sostiene che la manipolazione ricca di contatto non è semplicemente una mappatura reattiva osservazione-azione, ma un paradigma di predizione proattiva. Modellando esplicitamente l'evoluzione dei futuri stati di contatto e utilizzando queste predizioni come riferimenti online, FAWAM consente ai robot di anticipare gli esiti del contatto e correggere le deviazioni prima che si verifichino i fallimenti. Gli autori affermano che la loro integrazione sistematica dei segnali di forza — che va oltre la semplice fusione delle osservazioni alla modellazione predittiva e alla correzione residua — produce comportamenti robusti adattabili a variazioni ambientali dinamiche e disturbi esterni. I risultati suggeriscono che la futura predizione del contatto è un componente critico mancante nelle attuali policy visuomotorie per compiti che richiedono un'interazione fisica sostenuta.