💻 computer science

FAWAM: Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation

FAWAM is een krachtbewust wereldactiemodel dat 6-assige kracht/koppel-signalen integreert over perceptie, voorspelling en closed-loop uitvoering om de evolutie van contact expliciet te modelleren en acties online te verfijnen, waarbij het significant hogere succespercentages bereikt in contactrijke robotische manipulatie vergeleken met visie-alleen en bestaande krachtbewuste baselines.

Oorspronkelijke auteurs: Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die probeert een whiteboard schoon te maken, een komkommer te schillen of een doos te duwen. Voor een mens voelen deze taken natuurlijk aan omdat we een "zesde zintuig" voor tast hebben. We weten direct of we te hard drukken, of er iets wegglijdt, of dat we tegen een hobbel aanstoten. We kijken niet alleen naar het object; we voelen de interactie en passen onze grip of druk in realtime aan.

Huidige robots zijn echter vaak als mensen die deze taken proberen uit te voeren terwijl ze dikke, gevoelloze handschoenen en blinddoeken dragen. Ze vertrouwen voornamelijk op camera's (visie). Als de camera een whiteboard ziet, probeert de robot het schoon te vegen. Maar als de robot te hard drukt en de viltstift uitveegt, of als hij te licht drukt en er niets gebeurt, weet de robot vaak pas waarom het misging als het al te laat is. Het is alsof je een auto probeert te rijden door alleen naar een kaart te kijken, terwijl je het gevoel van het stuur of het geluid van de motor negeert.

FAWAM is een nieuwe "hersenen" voor robots die hen dat gevoel van tast teruggeven, maar met een superkracht: het kan de toekomst voorspellen.

Zo werkt FAWAM, onderverdeeld in drie eenvoudige stappen met een kookanalogie:

1. De "Intuïtie van de Chef" (Perceptie)

De meeste robots kijken alleen naar de ingrediënten (visie). FAWAM is als een chef die niet alleen de pan ziet, maar ook de warmte voelt opstijgen en de stoom ruikt.

Wat het doet: Het neemt de geschiedenis van de krachten (hoe hard de robot de afgelopen paar seconden heeft geduwd of getrokken) en gebruikt die om de huidige situatie te begrijpen.
De analogie: In plaats van alleen een kokende pan te zien, "voelt" de robot de trilling en de hitte om precies te weten hoe de soep reageert op de lepel. Dit helpt het om de "contacttoestand" te begrijpen—glijdt het object? Zit het vast?

2. De "Glazen Bol" (Voorspelling)

Dit is de grootste innovatie van het papier. De meeste robots reageren op wat er nu gebeurt. FAWAM vraat: "Als ik deze actie uitvoer, wat gebeurt er dan met de kracht in de volgende seconde?"

Wat het doet: Het voorspelt niet alleen waar de hand van de robot naartoe zal gaan; het voorspelt de kracht die de hand zal voelen. Het simuleert de toekomstige interactie.
De analogie: Stel je een chef voor die een lepel soep proeft en onmiddellijk voorspelt: "Als ik meer zout toevoeg, is het over 10 seconden te zout." FAWAM doet dit met natuurkunde. Het zegt: "Als ik deze doos naar voren duw, voorspel ik dat ik over 0,5 seconde plotseling weerstand zal voelen." Door de toekomstige "au" of "slip" te voorspellen, kan de robot beter plannen.
De analogie: Stel je een chef voor die een lepel soep proeft en onmiddellijk voorspelt: "Als ik meer zout toevoeg, is het over 10 seconden te zout." FAWAM doet dit met natuurkunde. Het zegt: "Als ik deze doos naar voren duw, voorspel ik dat ik over 0,5 seconde plotseling weerstand zal voelen." Door de toekomstige "au" of "slip" te voorspellen, kan de robot beter plannen.

3. De "Directe Reflex" (Correctie)

Zelfs met een glazen bol kan er iets misgaan. Misschien is de tafel licht ongelijk, of is het object zwaarder dan verwacht.

Wat het doet: Terwijl de robot beweegt, vergelijkt hij constant zijn voorspelling (wat hij dacht dat er zou gebeuren) met de realiteit (wat de sensoren daadwerkelijk voelen). Als er een verschil is, past hij zijn beweging onmiddellijk aan om het te herstellen.
De analogie: Dit is als een koorddanser. Ze hebben een plan om over te steken, maar als ze een plotselinge windvlaag voelen (een afwijking van hun voorspelling), verschuiven ze onmiddellijk hun gewicht om in balans te blijven. FAWAM doet dit 10 keer per seconde. Als de robot een soepele glijbeweging voorspelde maar een plotselinge ruk voelt, past hij zijn grip onmiddellijk aan om een botsing te voorkomen.

De Resultaten: Waarom het ertoe doet

De onderzoekers testten dit op echte robots die rommelige, tast-intensieve taken uitvoerden, zoals het schillen van een komkommer of het afnemen van een vaas.

Visie-alleen robots (de "blindgebonden" varianten) slaagden minder dan de helft van de tijd.
Robots die alleen de kracht "voelden" (zonder de voorspelling en correctie) deden het beter, maar hadden nog steeds moeite.
FAWAM slaagde 85% van de tijd.

Het papier beweert dat door het voelen van het verleden, het voorspellen van de toekomstige kracht en het corrigeren op het moment zelf te combineren, de robot veel robuuster wordt. Het reageert niet alleen op een probleem; het anticipeert erop en lost het op voordat de taak mislukt.

Kortom: FAWAM verandert een robot van een onhandige, enkel op zicht werkende machine in een bekwame ambachtsman die zijn weg door complexe taken kan "voelen", door hobbels te voorspellen voordat ze gebeuren en zijn grip direct aan te passen om de klus gekroond te houden.

Technische Samenvatting: FAWAM – Force-Aware World Action Models voor Closed-Loop Contact-Rich Manipulatie

1. Probleemstelling

Contact-rijke robotische manipulatietaken (bijv. afnemen, schillen, duwen) vereisen een continue regulatie van de interactie met de omgeving. Hoewel visuele observaties de standaard zijn, zijn deze vaak onvoldoende om kritieke interactiestaten zoals zwak contact, excessieve druk of vastlopen (jamming) af te leiden. Bestaande methoden die krachtsensoren integreren, behandelen dit doorgaans als een extra observatiemodaliteit voor beleidsleren (policy learning) of gebruiken het voor laag-niveau reactieve controle. Deze benaderingen falen echter in het expliciet modelleren van de evolutie van toekomstige contactstaten (bijv. toekomstige krachten/wrenches) en missen voorspellende referenties om uitvoeringstijd-correcties te sturen. Hierdoor hebben robots moeite om contactuitkomsten te anticiperen en proactief bij te sturen wanneer de gevoelde feedback afwijkt van de verwachtingen.

2. Methodologie

De auteurs stellen FAWAM (Force-Aware World Action Model) voor, een closed-loop framework dat krachtsignalen integreert over drie niveaus: perceptie, voorspelling en uitvoering. Het systeem werkt op twee verschillende frequenties: een Force-Envisioned Action Model dat op 1 Hz draait voor hoog-niveau planning, en een Force-Guided Residual Corrector die op 10 Hz draait voor online aanpassing.

A. Force-Envisioned Action Model
Deze component breidt een wereld-actiemodel (gebaseerd op GE-Act) uit om krachtbewustzijn te incorporeren:

Force Conditioning: Recente 6-assige kracht/koppel-historieën ( $w_{t-H_f+1:t}$ ) worden via een lichtgewicht MLP gecodeerd naar een compact contactkenmerk ( $c_t$ ). Dit kenmerk moduleert het pad van de actiegeneratie met behulp van AdaLN-Zero-stijl modulatie, waarbij kracht-geconditioneerde offsets worden toegevoegd aan de standaard AdaLN-Zero parameters (shift, scale, gate) binnen de DiT-blokken.
Joint Prediction: In plaats van een geïsoleerde kracht-voorspellingskop, vervangt het model de originele actie-projectie door een gezamenlijke lineaire projectie. Deze geeft geconcateneerde toekomstige actietrajecten ( $A_t$ ) en toekomstige krachttrajecten ( $W_t$ ) uit. Dit ontwerp dwingt de decoder om een gedeelde representatie te leren die de koppeling tussen robotbewegingen en hun fysieke contactgevolgen vastlegt.
Training: Het model maakt gebruik van een tweestaps-trainingsstrategie. Eerst wordt een video-generatiemodel fijngetuned met latent-ruimte flow matching. Vervolgens wordt de krachtbewuste actie-decoder getraind met een gecombineerde verliesfunctie ( $L_{stage2} = L_{action} + \lambda_F L_{force}$ ) om gelijktijdig toekomstige bewegingen en contactkrachten te voorspellen onder hetzelfde flow-matching framework.

B. Force-Guided Residual Correction
Om onverwachte contactvariaties (bijv. plotselinge weerstand) tijdens de uitvoering van een actie-chunk aan te pakken, wordt een residuele corrector geïntroduceerd:

Inputs: De corrector neemt de basis actie-chunk, de voorspelde krachtreferentie, real-time krachtfeedback en de huidige proprioceptieve staat als input.
Error Computation: Het berekent expliciet een kracht-trackingfout ( $e^w_t$ ) door gemeten krachtfeedback ( $w^{meas}$ ) te vergelijken met het voorspelde krachttraject ( $w^{pred}$ ).
Gating Mechanism: Een gating-kop voorspelt een scalaire gate ( $g^{res}_t$ ) om te bepalen of correctie noodzakelijk is. Een binaire maskering ( $\kappa_t$ ) wordt toegepast op basis van een drempelwaarde om te voorkomen dat het residuele model de nominale uitvoering verstoort.
Output: Het systeem geeft een residuele actie ( $\Delta a^{res}$ ) uit die wordt toegevoegd aan de basisactie wanneer de gate actief is, waardoor de uitvoering online wordt verfijnd.
Data Collection: Correctiedata wordt verzameld met behulp van een kracht-feedback leader-follower teleoperatiesysteem (FACTR). Menselijke operators grijpen in wanneer abnormaal contact optreedt, en het verschil tussen het gecorrigeerde commando en het basisbeleid-commando dient als het residuele doel.

3. Belangrijkste Bijdragen

FAWAM Framework: Een krachtbewust wereld-actiemodel dat krachtsignalen gebruikt door de perceptie-, voorspellings- en uitvoeringsniveaus heen om robuuste contact-rijke manipulatie mogelijk te maken.
Force-Guided Residual Correction: Een nieuw mechanisme dat het verschil tussen voorspelde krachten en gevoelde feedback gebruikt om acties tijdens uitvoering te corrigeren, waarmee het verder gaat dan eenvoudige reactieve controle naar proactieve, voorspellingsgestuurde aanpassing.
Empirische Validatie: Uitgebreide real-world experimenten die significante prestatiewinsten laten zien ten opzichte van state-of-the-art baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op een Franka Research 3 (FR3) robotarm over vier taken: een whiteboard uitwissen, een komkommer schillen, een doos kantelen en een vaas afnemen. De taken omvatten diverse contactcondities veroorzaakt door variërende oppervlaktehellingen, tafelhoogtes en objectposities.

Prestaties: FAWAM bereikte een gemiddeld succespercentage (SR) van 85,00%.
- Dit is een verbetering van 36,25% ten opzichte van visie-alleen baselines (bijv. $\pi0.5$ op 47,50%, GE-Act op 48,75%).
- Het laat een verbetering van 21,25% zien ten opzichte van bestaande krachtbewuste baselines (ForceVLA en TA-VLA, beide op 63,75%).
Ablatie-analyse:
- Het basisbeleid zonder residuele correctie (FAWAM w/o Res) behaalde een succespercentage van 73,75%, wat aangeeft dat het kracht-geëenvisionde actiemodel alleen al een sterke basis biedt.
- De toevoeging van de residuele corrector zorgde voor de laatste boost naar 85,00%, wat de effectiviteit van online correctie valideert.
- De ablatie-studie bevestigde dat alle drie de componenten (Force-conditioned Observation, Joint Prediction en Residual Correction) positief bijdragen aan de prestaties.

5. Betekenis en Claims

Het artikel claimt dat contact-rijke manipulatie niet louter een reactieve observatie-naar-actie mapping is, maar een proactief voorspellingsparadigma. Door toekomstige contactstaten expliciet te modelleren en deze voorspellingen als online referenties te gebruiken, stelt FAWAM robots in staat om contactuitkomsten te anticiperen en afwijkingen te corrigeren voordat er fouten optreden. De auteurs stellen dat hun systematische integratie van krachtsignalen — waarbij ze verder gaan dan eenvoudige observatie-fusie naar voorspellende modellering en residuele correctie — leidt tot robuuste gedragingen die aanpasbaar zijn aan dynamische omgevingsvariaties en externe verstoringen. De resultaten suggereren dat toekomstige krachtvoorspelling een kritieke ontbrekende component is in huidige visuomotorische beleidsregels voor taken die een aanhoudende fysieke interactie vereisen.