RoTri-Diff: A Spatial Robot-Object Triadic Interaction-Guided Diffusion Model for Bimanual Manipulation

Dit artikel introduceert RoTri-Diff, een diffusie-gebaseerd imitatieleringskader dat een nieuwe robot-object triadische interactierepresentatie gebruikt om stabiele en gecoördineerde bimanuele manipulatie te realiseren door de dynamische ruimtelijke relaties tussen twee armen en het object expliciet te modelleren.

De kern

Stel je voor dat je twee handen hebt die samenwerken om een taak te doen, zoals het oppakken van een breekbaar bord. Als je dat alleen doet, is het lastig: je linkerhand moet het bord kantelen terwijl je rechterhand het vastpakt. Als je linkerhand te vroeg loslaat, of als je rechterhand te vroeg grijpt, valt het bord.

Robotarmen hebben hetzelfde probleem. Ze zijn vaak heel goed in één arm laten bewegen, maar twee armen die perfect op elkaar moeten afstemmen, vinden ze lastig. Ze botsen vaak tegen elkaar aan, of ze laten het object vallen omdat ze niet "voelen" hoe de armen en het object met elkaar verbonden zijn.

RoTri-Diff is een nieuwe manier om robots dit te leren, en het werkt als een slimme dansmeester. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De Drie Dansers

In de oude methoden keken robots vaak alleen naar zichzelf (de armen) of alleen naar het object (het bord).

• De "Alleen-Arm"-methode: De robot denkt: "Ik beweeg mijn linkerarm naar links en mijn rechterarm naar rechts." Maar hij vergeet dat het bord er ook is. Resultaat: De armen botsen of het bord valt.
• De "Alleen-Bord"-methode: De robot denkt: "Het bord moet hierheen." Maar hij vergeet dat de armen niet in de weg mogen staan. Resultaat: De armen raken elkaar of het bord glijdt weg.

Het menselijk brein doet dit anders. We denken niet alleen aan onze handen of het object, maar aan de relatie tussen alle drie: Hand A, Hand B en het Object. Dit noemen de onderzoekers de "Triadische Interactie" (een driehoekige relatie).

2. De Oplossing: RoTri-Diff (De Slimme Dansmeester)

De onderzoekers hebben een nieuw systeem bedacht, genaamd RoTri-Diff. Dit systeem is een soort "AI-dansmeester" die de robot leert om die driehoekige relatie te voelen.

Stel je voor dat de robot een danser is die een nieuwe dans moet leren.

• De oude manier: De danser kreeg een lijst met instructies: "Beweeg linkervoet naar voren, beweeg rechterhand omhoog." Als hij een stap verkeerd zette, viel hij.
• De RoTri-Diff manier: De dansmeester (de AI) houdt de hele groep in de gaten. Hij zegt niet alleen waar de voeten moeten zijn, maar ook: "Houd je linkervoet op deze afstand van het object, en zorg dat je rechterhand precies op het juiste moment komt om te vangen."

3. Hoe werkt het technisch? (Met een Metafoor)

Het systeem gebruikt een technologie die "Diffusie" heet. Dat klinkt ingewikkeld, maar stel je voor dat je een foto van een wazige, rommelige tekening hebt en je probeert die stap voor stap helder te maken.

RoTri-Diff doet dit met bewegingen:

1. Het Begin (De Wazige Tekening): De robot begint met een willekeurige, chaotische beweging.
2. De Drie Gidsen (De Hulpjes): Om de beweging helder te maken, gebruikt de robot drie soorten hulp:
   • Sleutelpunten (Keyposes): Dit zijn de "hoofdpunten" van de dans. Bijvoorbeeld: "Op dit moment moet de linkerhand het bord vasthouden." Dit geeft de robot een langdurig plan.
   • Objectbeweging: Dit is hoe het bord zich verplaatst. De robot kijkt mee met het bord, zodat hij niet op een lege plek grijpt.
   • De RoTri (De Driehoek): Dit is het geheim. De robot berekent continu de afstand en hoek tussen Linkerhand, Rechterhand en Bord. Het is alsof er een onzichtbare, elastische band is tussen de drie. Als de band te strak wordt (gevaar voor botsing), past de robot zijn beweging direct aan.
3. Het Eindresultaat (De Helder Foto): Na veel kleine correcties heeft de robot een perfecte, vloeiende beweging die geen botsingen veroorzaakt en het object veilig vastpakt.

4. Waarom is dit zo goed?

In tests hebben ze de robot laten oefenen op 11 verschillende taken, zoals:

• Een bord oppakken (waarbij één arm kantelt en de andere grijpt).
• Een lade openen.
• Voorwerpen overhandigen.

De robot met RoTri-Diff was 10% beter dan de beste robots die er nu zijn. In de echte wereld (met echte robotarmen) lukte het hem om zelfs lastige taken te doen, zoals een bord afwassen terwijl de andere arm het vasthoudt, of een mand met blokken optillen zonder dat de blokken omvallen.

Samenvatting

Kortom: RoTri-Diff leert robots niet alleen wat ze moeten doen, maar hoe ze met elkaar en met het object moeten samenwerken. Het is alsof we de robot een "gevoel" voor de ruimte tussen zijn handen en het object hebben gegeven, waardoor hij niet meer botst en dingen niet meer laat vallen. Het is de eerste stap naar robots die net zo soepel en slim kunnen werken als wij mensen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "RoTri-Diff" in het Nederlands:

Titel: RoTri-Diff: Een Diffusiemodel voor Bimanuele Manipulatie Geleid door Robot-Object Triadische Interactie

1. Het Probleem

Bimanuele manipulatie (het gebruik van twee robotarmen) is essentieel voor complexe taken die menselijke vaardigheden nabootsen, zoals het tillen van een bord of het wassen van een object. Bestaande methoden voor imitatielearning (IL) vallen doorgaans in twee categorieën:

• Robot-centric: Modellen leren direct van robottrajecten (ofwel via sleutelposities/keyposes, ofwel via continue acties). Deze methoden missen vaak een bewustzijn van de objectdynamiek, wat leidt tot instabiele grijpbevelen of het laten vallen van objecten.
• Object-centric: Deze methoden gebruiken objectbeweging als leidraad, maar negeren vaak de expliciete ruimtelijke interactie tussen de twee armen en het object.

De kernbeperking: Bestaande benaderingen modelleren niet expliciet de dynamische geometrische relatie tussen de twee armen en het te manipuleren object. Dit resulteert in:

• Kollities tussen de armen.
• Instabiele grijpen (bijvoorbeeld wanneer één arm het object vasthoudt en de andere het niet correct kan tillen).
• Het "wegglijden" van objecten voordat de tweede arm het kan grijpen.
• Een gebrek aan controle over tussenliggende toestanden.

Mensen lossen dit op door continu bewust te zijn van de triadische ruimtelijke relatie: de afstand tussen de handen, de relatie tussen elke hand en het object, en hun gezamenlijke interactie.

2. Methodologie: RoTri-Diff

De auteurs stellen RoTri-Diff voor, een diffusie-gebaseerd imitatielearning-framework dat centraal staat om de Robot-Object Triadische Interactie (RoTri).

A. De RoTri Representatie
Het hart van de methode is de RoTri-vector, die de relatieve 6D-pose (positie + oriëntatie) tussen de twee end-effectors (grijpers) en het object encodeert.

• De vector wordt samengesteld uit drie relatieve poses: $p_{left \to right}$, $p_{left \to obj}$, en $p_{right \to obj}$.
• Dit creëert een continue driehoekige geometrische constraint die de ruimtelijke stabiliteit garandeert.
• In plaats van absolute posities te voorspellen, leert het model de verandering ($\Delta R_t$) in deze interactie, wat robuuster is voor generalisatie.

B. Hiërarchisch Diffusiemodel
RoTri-Diff is een hiërarchisch model dat drie leidende signalen integreert in een diffusieproces:

1. Robot Keyposes: Voor hoog-niveau planning (sleutelpunten in de trajecten).
2. Object Pointflow: De beweging van het object (afgeleid van de initiële point cloud) om fysieke dynamiek te vangen.
3. RoTri Constraints: De ruimtelijke relaties tussen armen en object.

Het proces verloopt in drie fasen:

1. Perceptie: Extractie van 3D semantische features en de initiële object point cloud ($F_0$) en initiële RoTri ($R_0$) uit multi-view beelden.
2. Parallelle Voorspelling:
   • Het model voorspelt gelijktijdig de object pointflow voor de toekomstige keyposes.
   • Het voorspelt autoregressief een segment van de RoTri-sequentie voor de komende tijdstappen.
3. Actiegeneratie:
   • Op basis van de voorspelde pointflow en RoTri, worden eerst de keypose-acties gegenereerd.
   • Vervolgens worden continue acties gegenereerd die consistent zijn met de keyposes, de objectbeweging en de RoTri-constraints.
   • Dit gebeurt via een Transformer-architectuur met "Synergistic Attention", waarbij alle tokens (scène, taal, object, RoTri, acties) op elkaar inwerken.

3. Belangrijkste Bijdragen

1. RoTri Concept: Introductie van een nieuwe representatie voor bimanuele manipulatie die expliciet de ruimtelijke relaties tussen twee armen en een object encodeert via een driehoekige geometrische constraint.
2. RoTri-Diff Framework: Een hiërarchisch diffusiemodel dat robot-keyposes, objectdynamiek en RoTri-constraints combineert om zowel ruimtelijk als temporair consistente trajecten te genereren.
3. Uitgebreide Validatie: Bewijs dat het model state-of-the-art prestaties bereikt in simulatie en robuust werkt in de echte wereld, zelfs bij taken die zeer nauwkeurige coördinatie vereisen.

4. Resultaten

Simulatie (RLBench2):

• Getest op 11 representatieve bimanuele taken (zoals "Pick Plate", "Lift Tray", "Handover Item").
• Prestatie: RoTri-Diff bereikte een gemiddelde succesratio van 80,9%, wat een verbetering is van 10,2% ten opzichte van de beste bestaande methoden (zoals PPI, 3D Diffuser Actor, en ACT).
• Voorbeeld: Bij de moeilijke "Pick Plate" taak (waarbij één arm het bord kantelt terwijl de andere het vastgrijpt) faalde de vorige state-of-the-art (PPI) volledig (0%), terwijl RoTri-Diff 40,7% haalde.
• Ablatiestudies: Toonden aan dat zowel de hiërarchische structuur (keyposes + continue acties) als de dichte RoTri-guidance essentieel zijn. Het weglaten van RoTri of het gebruik van alleen keyposes leidt tot significante prestatieverlies.

Real-World Experimenten:

• Getest op twee xArm6 robots met vier uitdagende taken: "Pick Tomato & Banana", "Pick Plate", "Wash Plate" en "Lift Basket".
• Resultaten: RoTri-Diff slaagde in 3/5 tot 5/5 van de trials per taak.
• Het model toonde vermogen om botsingen te vermijden in gedeelde werkruimtes en complexe sequentiële taken uit te voeren waarbij strikte ruimtelijke en temporele afhankelijkheden bestaan.

5. Betekenis en Toekomst

RoTri-Diff markeert een doorbraak in bimanuele robotica door de "blinde vlek" van bestaande methoden aan te pakken: het gebrek aan bewustzijn van de onderlinge ruimtelijke interactie tussen armen en object. Door deze interactie expliciet te modelleren, kunnen robots taken uitvoeren die vereisen dat ze niet alleen weten waar het object is, maar ook hoe de armen ten opzichte van elkaar en het object moeten bewegen om stabiliteit te garanderen.

Beperkingen:
Het model is momenteel afhankelijk van rigide lichaam-annames en nauwkeurige 6D-pose schatting, wat generalisatie naar vervormbare objecten (zoals doeken of vloeistoffen) beperkt. Toekomstig werk richt zich op het uitbreiden van de triadische interactie naar deze ongestructureerde omgevingen.

Conclusie:
Dit werk beweert dat het expliciet modelleren van de "Robot-Object Triadische Interactie" de sleutel is tot stabiele, mensachtige bimanuele manipulatie, en biedt een nieuw paradigma voor imitatielearning in complexe robottoepassingen.