💻 computer science

TwinTrack: Bridging Vision and Contact Physics for Real-Time Tracking of Unknown Objects in Contact-Rich Scenes

TwinTrack is een op contactfysica gebaseerd systeem dat real-time 6-DoF-pose-tracking van onbekende objecten in contactrijke scènes mogelijk maakt door visuele waarneming en dynamische contactinformatie te combineren via Real2Sim en Sim2Real-processen.

Oorspronkelijke auteurs: Wen Yang, Zhixian Xie, Yiting Wang, Abhijit Tadepalli, Heni Ben Amor, Shan Lin, Wanxin Jin

Gepubliceerd 2026-03-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wen Yang, Zhixian Xie, Yiting Wang, Abhijit Tadepalli, Heni Ben Amor, Shan Lin, Wanxin Jin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

TwinTrack: De "Tweeling" die Robots helpt om te voelen wat ze niet kunnen zien

Stel je voor dat je een robot bent die een object vasthoudt en beweegt, zoals een blikje of een speelgoed-eend. Plotseling wordt het object bedekt door je eigen vingers, of het botst hard tegen een muur aan. Voor een camera is dit een nachtmerrie: het beeld wordt wazig, het object verdwijnt, en de robot raakt de weg kwijt.

Dit is het probleem dat TwinTrack oplost. Het is een slim systeem dat robots helpt om objecten te volgen, zelfs als ze niet meer te zien zijn. Het doet dit door te leren van de wiskunde van botsingen (fysica) in plaats van alleen te vertrouwen op wat de camera ziet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinddoek" van de Camera

Normaal gesproken vertrouwen robots op hun camera's. Maar als een object snel beweegt, botst of bedekt wordt, is de camera "blind". Het is alsof je probeert een bal te vangen terwijl iemand een doek voor je ogen houdt. Je ziet de bal niet meer, maar je voelt nog steeds dat hij er is en hoe hij beweegt.

2. De Oplossing: De Tweeling (TwinTrack)

TwinTrack werkt met twee helften die samenwerken, net als een tweeling die elkaar helpt.

De Eerste Helft: "Real2Sim" (De Ontdekkingsreiziger)

Stel je voor dat je een nieuwe, onbekende vorm in je handen hebt. Je kijkt ernaar en maakt een schets (dat is de visuele kant). Maar die schets is niet perfect; hij is misschien een beetje rommelig of onvolledig.

Wat doet Real2Sim? Het neemt die rommelige schets en begint te "spelen" met het object in een virtuele wereld (een simulator).
De Magie: Het laat het object in de simulator vallen en botsen. Als het object in de simulator door de vloer zakt of op een rare manier stuitert, weet het systeem: "Hé, mijn schets klopt niet helemaal!"
De Correctie: Het past de schets aan (het maakt het object iets dikker of dunner) en leert ook hoe zwaar het is en hoe glad het oppervlak is. Het blijft dit doen tot de virtuele botsing precies lijkt op de echte botsing in de wereld.
Analogie: Het is alsof je een leemfiguurtje maakt. Je kijkt ernaar, maar het is niet perfect. Je laat het figuurtje in een virtuele modderbad vallen. Als het figuurtje in de modder te diep zakt, knijp je er wat van af. Als het te hoog blijft staan, plak je er wat klei bij. Zo leer je de perfecte vorm en het juiste gewicht.

De Tweede Helft: "Sim2Real" (De Wachter)

Nu dat het systeem de vorm en het gewicht van het object kent, gaat het aan het werk in de echte wereld.

Wat doet Sim2Real? Het kijkt naar de camera, maar als de camera niets ziet (bijvoorbeeld omdat het object bedekt is), kijkt het naar de "virtuele wereld" die het net heeft geleerd.
De Voorspelling: Het zegt: "Oké, de camera ziet niets, maar ik weet dat het object zwaar is en net tegen de muur heeft gebotst. Dus, volgens de natuurwetten, moet het nu hier zijn."
De Mix: Het combineert het beeld van de camera (als dat er is) met de voorspelling van de fysica. Als de camera wazig is, vertrouwt het meer op de fysica. Als de camera scherp is, vertrouwt het meer op de camera.
Analogie: Het is alsof je een bal gooit in een donkere kamer. Je kunt de bal niet zien, maar je weet hoe hard je hem hebt gegooid en hoe hij van de muur moet afstuiten. Je kunt hem dus "voelen" en voorspellen waar hij is, zelfs zonder te kijken.

3. Waarom is dit zo speciaal?

Snelheid: Het gebeurt in echt tempo (meer dan 20 keer per seconde). De robot hoeft niet lang na te denken; het voelt als een reflex.
Robuustheid: Zelfs als het object volledig bedekt is of als er veel wazigheid is door snelle beweging, blijft de robot weten waar het object is.
Onbekende objecten: Je hoeft de robot niet van tevoren te vertellen hoe een object eruitziet of hoe zwaar het is. Het leert het zelf terwijl het gebeurt.

Samenvatting in één zin

TwinTrack is als een robot die niet alleen zijn ogen gebruikt, maar ook zijn "buikgevoel" voor fysica, zodat hij objecten kan volgen die hij niet meer kan zien, door te weten hoe ze zouden moeten bewegen als ze zouden botsen.

Het maakt robots slimmer, veiliger en beter in het hanteren van dingen in een chaotische, echte wereld.

Probleemstelling

Het real-time volgen van 6-DoF (6 vrijheidsgraden) poses van onbekende, dynamische objecten in omgevingen met veel contacten (zoals bij behendige in-hand manipulatie of het laten vallen van objecten) is een grote uitdaging voor de robotica.

Beperkingen van puur visuele systemen: Bestaande visuele trackers falen vaak in situaties met zware occlusie (verduistering) en bewegingsonscherpte (motion blur) die ontstaan door abrupte botsingen en frequente contacten.
Complexiteit: Het systeem moet tegelijkertijd de pose, de geometrie en fysische eigenschappen (massa, traagheid, wrijving) schatten van een onbekend object op basis van monokulaire RGB-D data.
Optimalisatie-uitdagingen: De hoge dimensie van de optimalisatieruimte, de niet-gladde aard van contactdynamica (wat gradient-based learning bemoeilijkt) en de strikte eisen voor real-time prestaties maken dit een complex probleem.

Methodologie: TwinTrack Framework

TwinTrack is een fysica-bewust perceptiesysteem dat een gesloten lus creëert tussen Real2Sim (achterkant) en Sim2Real (voorkant). Het systeem gebruikt monokulaire RGB-D beelden en robot proprioceptieve data als input.

1. Real2Sim (Achterkant / Backend)

Dit onderdeel draait asynchroon op verzamelde observatiegeschiedenis om het objectmodel en de contactdynamica te updaten. Het bestaat uit twee fasen:

Visuele Geometrie Reconstructie:
- Er wordt een dichte geometrische representatie van het object gegenereerd uit RGB-D sleutelframes (keyframes) met behulp van Gaussian Splatting (GS).
- Vervolgens wordt een Neural Signed Distance Function (SDF) geleerd uit de gerenderde dieptekaarten van de GS-modellen. Deze SDF dient als basis voor de fysica-engine.
Contactdynamica en Geometrie Compensatie:
- Het systeem gebruikt een aangepaste versie van de MJX physics engine (GPU-versneld) om contactdynamica te simuleren.
- Geometrisch Residu: Omdat visuele geometrie vaak onnauwkeurig is door ruis of occlusie, wordt een leerbare "geometrie-residu" ( $\delta$ ) toegevoegd aan de visuele SDF om de botsingsgeometrie te verfijnen: $SDF_{collision} = SDF_{vision} - \delta$ .
- Fysische Parameters: Het systeem schat tegelijkertijd de massa, traagheidsmatrix, wrijvingscoëfficiënt en het geometrische residu.
- Optimalisatie: Vanwege de niet-gladde aard van contacten (wat gradient-based methoden onstabiel maakt), wordt er gebruikgemaakt van een sampling-based optimalisatie (variant van de Cross-Entropy Method) op de GPU om de parameters te leren die de simulatie het beste laten overeenkomen met de waargenomen beweging.

2. Sim2Real (Voorkant / Frontend)

Dit is het online module dat in real-time de pose van het object schat voor elke frame.

Adaptieve Fusie: De uiteindelijke pose is een adaptieve combinatie van twee bronnen:
1. Visuele Tracker: Een feature-based tracker (SAM2, SuperPoint, LightGlue) die de huidige frame matcht met geoptimaliseerde sleutelframes.
2. Fysica Simulatie: Een voorspelling van de huidige pose gebaseerd op de geleerde contactdynamica.
Gewogen Optimalisatie: De bijdrage van visuele data versus fysica wordt dynamisch gewogen ( $w_k$ ). Als de visuele data betrouwbaar is (veel overeenkomende features, weinig occlusie), krijgt de visuele schatting meer gewicht. Bij zware occlusie of bewegingsonscherpte schakelt het systeem over naar de fysica-voorspelling om de tracking stabiel te houden.

Kernbijdragen

Gesloten Lus Architectuur: Een uniek framework dat Real2Sim (leren van geometrie en fysica) en Sim2Real (robuste tracking) koppelt, waarbij het fysieke model continu wordt verbeterd op basis van tracking-data.
Geometrie-Refinement via Contact: Een methode om visuele geometrie te verfijnen door een leerbare geometrie-residu te introduceren in de contactdynamica, waardoor de simulatie beter overeenkomt met de realiteit ondanks onvolledige visuele data.
Real-time Implementatie: Een volledig GPU-versnelde implementatie (gebaseerd op MJX) die niet-gladde contactdynamica aanpakt via sampling-based optimalisatie, waardoor real-time prestaties (>20 Hz) mogelijk zijn.

Resultaten

Het systeem is geëvalueerd in twee uitdagende scenario's:

Vallen van objecten: Objecten die vallen en botsen met muren en de grond (veel bewegingsonscherpte).
In-hand manipulatie: Een viervingerige robothand die objecten manipuleert (veel occlusie).

Prestaties: TwinTrack presteert significant beter dan state-of-the-art visuele trackers (zoals FoundationPose) en ablatie-versies zonder contactfysica of zonder geometrie-residu.
- Het bereikt een tracking-nauwkeurigheid (ADD-metriek) van gemiddeld 1.23 cm (tegenover 3.01 cm voor de baseline).
- Het systeem blijft robuust onder zware occlusie en bewegingsonscherpte.
Snelheid: Het systeem draait op >20 Hz op een RTX 4090 GPU, wat voldoet aan real-time eisen.
Fysische Lering: Het systeem leert fysische parameters (zoals massa) die redelijk overeenkomen met de grondwaarheid, hoewel er nog ruimte is voor verbetering door vereenvoudigingen in de contactmodellen.

Betekenis en Toekomst

TwinTrack is een doorbraak in het overbruggen van de kloof tussen visuele waarneming en digitale fysica-simulatie voor onbekende objecten.

Robuustheid: Het lost het probleem op dat visuele systemen faalt bij contactrijke interacties door fysica als een "anker" te gebruiken.
Toepassingen: Het maakt modelgebaseerde, behendige manipulatie en scene-understanding mogelijk in dynamische omgevingen.
Beperkingen & Toekomst: Het systeem werkt momenteel alleen met één star object en vereist een initiële visuele start. Toekomstig werk richt zich op het volgen van meerdere objecten, flexibele objecten en het verbeteren van de ruimtelijke variatie in geometrische correcties.

Samenvattend biedt TwinTrack een nieuwe standaard voor robuuste, real-time tracking in complexe, fysiek interactieve omgevingen door visuele data en contactfysica slim te combineren.