Technische Samenvatting: TacWAM

Probleemstelling

World Action Models (WAMs) integreren toekomstige staatvoorspelling met robotactiegeneratie om controle te faciliteren. Bestaande WAMs vertrouwen echter overwegend op visuele toekomsten. Hoewel visuele voorspelling de scène-structuur en objectbeweging effectief vastlegt, biedt het beperkte supervisie voor fysieke fenomenen die cruciaal zijn voor contactrijke manipulatie, zoals krachtopbouw, deformatie, afschuiving en beginnende slip. Visuele toestanden kunnen ambigu zijn; bijvoorbeeld een greep die stabiel lijkt, kan op de rand van slippen staan, of een insertie kan uitgelijnd lijken maar mechanisch beperkt zijn.

De kernuitdaging die dit werk aanpakt is tweeledig:

1. Informatieve Tactiele Toekomsten: Tactiele voorspellingen moeten betekenisvolle fysieke informatie dragen (kracht, deformatie) die visuele toekomsten missen.
2. Consistentie bij Implementatie: Deze toekomstige tactiele toestanden moeten dienen als trainingssupervisie zonder "geprivilegieerde" inputs te worden voor actiegeneratie. De actietak moet beperkt blijven tot informatie die beschikbaar is op het moment van implementatie, om een mismatch tussen training en test te voorkomen waarbij het model vertrouwt op toekomstige kennis die het tijdens uitvoering niet kan toegangen.

Methodologie: TacWAM

TacWAM (Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction) is een tactiel-geaugmenteerde WAM die deze uitdagingen aanpakt via drie primaire architecturale componenten en een specifieke aandachtsmethode.

1. Spatiaal Uitgelijnde Fusie (SAF) Tactiele Encoder

Om een verenigde representatie voor tactiele voorspelling te creëren, gebruikt TacWAM een SAF Tactiele Encoder die heterogene gripper-zijde observaties naar een gedeelde latente ruimte mapt.

• Inputs: De encoder fuseert drie ruimtelijk geregistreerde signalen: gecorrigeerde tactiele verschijning ($I_{rect}$), dichte lokale krachtvelden ($F_t$) en mesh-deformatieflux ($M_{flow}$).
• Bilaterale Fusie: Kenmerken van beide gripper-zijden worden gecodeerd en bilateraal gefuseerd.
• Globale Supervisie: Om globale contactmechanica te behouden, wordt de latente representatie gereconstrueerd door een tactiele reconstructor ($R_{tac}$) die dichte krachtvelden, deformatieflux en een bilaterale resultante wrench (3D kracht en 3D koppel voor elke sensor) voorspelt. Deze wrench fungeert als globale mechanica-supervisie, wat ervoor zorgt dat de latente ruimte kracht- en deformatiestructuren vastlegt in plaats van alleen binaire contacttoestanden.

2. Tactiele Geschiedenis-Gemoduleerde Voorspelling

Omdat een enkele frame tactiele observatie vaak ambigu is (bijv. identieke krachtmagnitudes kunnen stabiel contact, toenemende druk of slip impliceren), incorporeert TacWAM temporele context.

• Een Tactile History Encoder vat recente tactiele veranderingen ($z_{tac}$) voorafgaand aan de huidige actie-chunk samen in een compacte contextvector ($c_{tac}$).
• Deze context moduleert de tactiele expert via adaptieve normalisatie, wat het model helpt de huidige interactiefase te disambigueren en de evolutie van kracht en deformatie te voorspellen. Cruciaal is dat deze geschiedenis wordt gebruikt om de voorspelling van toekomstige toestanden te conditioneren, maar niet direct een geprivilegieerde input is voor de actiestroom.

3. Anchor-Guided Tri-Modal (AGT) Attention

De kernmethode die consistentie bij implementatie waarborgt, is de AGT Attention module, die de informatiestroom binnen de Mixture-of-Transformers backbone beheert. Het model verwerkt drie stromen: Visueel ($V$), Tactiel ($T$) en Actie ($A$).

• Anchors: Het huidige visuele frame ($V_0$) en de huidige schone tactiele staat ($T_0$) dienen als anchors.
• Toekomstige Targets: Toekomstige visuele ($V_{1:H}$) en tactiele ($T_{1:H}$) tokens worden behandeld als geruisende voorspellingsvariabelen tijdens flow matching.
• Informatie-isolatie: De AGT-masker dwingt strikt af dat actietokens ($A$) geen toekomstige voorspellings-tokens ($V_{1:H}, T_{1:H}$) kunnen lezen. Actietokens kunnen alleen toegang krijgen tot de huidige anchors ($V_0, T_0$), taalkundige taken en proprioceptie.
• Trainingsdoel: Toekomstige tactiele toestanden dienen als een parallel voorspellend doel om het leren van contact-relevante representaties te superviseren, maar ze conditioneren de actiegeneratie niet direct.

Belangrijkste Bijdragen

1. TacWAM Framework: Een nieuwe WAM die visuele training uitbreidt met tactiele geschiedenis en toekomstige tactiele voorspelling, waardoor het model kan leren van tactiele evolutie voorbij de huidige observatie.
2. SAF Tactiele Encoder: Een mechanisme dat tactiele verschijning, kracht en deformatie naar een gedeelde latente ruimte mapt, terwijl lokale contactpatronen en globale kracht/koppel-informatie behouden blijven door bilaterale wrench-reconstructie.
3. AGT Attention: Een tri-modale aandachtsmethode die toekomstige sensorische targets isoleert van de actietak, wat garandeert dat actiegeneratie uitsluitend steunt op bij implementatie beschikbare informatie, terwijl het nog steeds profiteert van voorspellende tactiele supervisie.
4. Empirische Validatie: Uitgebreide evaluatie op vier real-world contactrijke taken die de effectiviteit van de voorgestelde architectuur aantonen.

Experimentele Resultaten

De auteurs evalueerden TacWAM op een real-world platform (Agilex Piper met Xense G1-WS sensoren) over vier taken: het grijpen van fragiele aardappelchips, het grijpen van kersen met variabele grootte, het voortdurend afvegen van een whiteboard en het dynamisch ronddraaien van twee pennen.

• Prestaties: TacWAM behaalde een gemiddeld succespercentage van 75,0%, waarmee het de sterkste baseline (VT-WAM, een visueel-tactiele WAM) versloeg met 37,5 procentpunt.
• Taakspecifieke Winsten:
  • Grasping van aardappelchips: +40,0% ten opzichte van de beste baseline.
  • Whiteboard afvegen: +40,0% ten opzichte van de beste baseline.
  • Twee pennen ronddraaien: +30,0% ten opzichte van de beste baseline.
• Ablatie-studies:
  • Verwijderen van Tactiele Geschiedenis: De succespercentages daalden aanzienlijk (gemiddeld van 82,5% naar 55,0%), vooral bij taken die vereisen dat er een krachtopbouw wordt afgeleid (bijv. bij het grijpen van chips daalde dit van 90% naar 50%). Dit bevestigt dat temporele context essentieel is voor het disambigueren van contacttoestanden.
  • Ontspannen van AGT-beperkingen: Het toestaan dat actietokens toegang krijgen tot toekomstige tactiele voorspellingen (Attn-AT) of het mogelijk maken van bidirectionele interactie tussen toekomstige tokens (Attn-VT) veroorzaakte een ernstige prestatiedegradatie (tot 7,5% gemiddeld). Dit valideert dat de "geprivilegieerde informatie"-beperking cruciaal is; zonder deze beperking leert het model shortcuts die falen tijdens de uitvoering.
• Voorspellingskwaliteit: De voorspelde krachtmagnitudes van TacWAM volgden de grondwaarheid nauwkeuriger dan varianten zonder geschiedenis, waarbij een verminderde temporele vertraging werd getoond bij het schatten van contactfasen.

Betekenis en Claims

Het artikel claimt dat voorspellende tactiele toestanden een waardevol trainingssignaal zijn voor contactrijke wereldactiemodellering, mits ze worden geïntegreerd met mechanica-bewuste representaties en strikte informatiebeperkingen.

De betekenis van TacWAM ligt in de demonstratie dat:

1. Tactiele Toekomsten Supervisief zijn, Geen Input: Toekomstige tactiele toestanden kunnen de training van wereldmodellen verrijken door de evolutie van kracht en deformatie te superviseren, zonder de causale aard van actiegeneratie in gevaar te brengen.
2. Temporele Context Essentieel is: Een enkele frame tactiele observatie is onvoldoende voor robuuste controle; het samenvatten van recente tactiele geschiedenis is noodzakelijk om huidige toestanden te interpreteren en toekomstige dynamiek accuraat te voorspellen.
3. Informatie-isolatie Mismatch tussen Training en Test Voorkomt: De AGT attention-module bewijst dat het voorkomen dat de actietak "cheat" door toekomstige voorspellingen te lezen, essentieel is voor het implementeren van modellen in real-world, closed-loop scenario's.

De auteurs concluderen dat TacWAM succesvol de kloof overbrugt tussen visuele wereldmodellen en de fysieke realiteit van contactrijke manipulatie, door een framework te bieden waarin tactiele voorspelling de actie-lering verbetert zonder de implementatiebeperkingen te schenden.