Technische Samenvatting: ForceTwin

Probleemstelling

Robotische manipulatie van gelede objecten (bijv. deuren, laden, ovens) vereist meer dan alleen geometrische en kinematische kennis; het vereist een begrip van de fysieke dynamica die interactie beheerst. Deze dynamica omvat traagheid, wrijving (Coulomb en viskeus) en toestandafhankelijke mechanische krachten (bijv. deurdrangers, veren). Cruciaal is dat deze eigenschappen specifiek zijn voor elk exemplaar en vaak onzichtbaar zijn voor op uiterlijk gebaseerde priors. Visueel identieke objecten kunnen zeer verschillende inertielasten of interne mechanismen bezitten, wat leidt tot fysiek onwaarschijnlijke schattingen wanneer men uitsluitend vertrouwt op visuele of taalgebaseerde modellen.

Bestaande digital twin-pipelines herstellen doorgaans alleen kinematische structuren of kennen statische fysieke parameters toe op basis van visuele priors. Bijgevolg slagen ze er niet in om niet-lineaire, toestandafhankelijke mechanische responsen te vangen, die standaard asset-formaten niet kunnen representeren. Bovendien bestaan er weliswaar methoden voor robot-probing, maar deze vereisen vaak inzet van een robot en herstellen slechts vereenvoudigde, constante wrijvingsmodellen, waarbij de complexe dynamica van mechanismen worden gemist.

Methodologie: ForceTwin

De auteurs stellen ForceTwin voor, een systeem dat fysica-geïnformeerde digital twins van gelede objecten identificeert via geïnstrumenteerde menselijke interactie. De kern van het concept is dat een menselijke operator, met behulp van een handgehouden krachtgevoelige grijper, een object veilig en efficiënt kan beproeven om het volledige dynamische bereik te exciteren, waarbij gegevens worden geleverd die moeilijk met alleen een robot te vangen zijn.

1. Data-acquisitie

Een menselijke operator grijpt een object met een krachtgevoelig gereedschap (Hoi! gripper) en manipuleert dit over een reeks snelheden en versnellingen. Het systeem registreert twee gesynchroniseerde datastromen:

• Tool Pose ($WPTCP$): Het traject van het tool center point in het wereldframe.
• Contact Wrench ($WF$): De 6D kracht/koppel die door het gereedschap op het object wordt uitgeoefend, gecompenseerd voor het eigen gewicht en de traagheid van de grijper.

2. Kinematica Schatting

Het systeem schat eerst de articulatiestructuur (gewrichtstype: revolute of prismatic, en de gewrichtsas).

• Het modelleert de beweging van het gereedschap als een eendimensionale schroefbeweging in product-of-exponentials vorm.
• Het selecteert de articulatieklasse met behulp van de Bayesian Information Criterion (BIC).
• Een factor graph verfijnt de geometrie van het gewricht en de per-sample toestanden, waarbij een nul schroefpitch voor revolute gewrichten wordt afgedwongen.

3. Dynamica Identificatie

Het systeem formuleert de identificatie van de gegeneraliseerde inspanning ($\tau$) als een semi-parametrisch partieel lineair model. De totale inspanning die nodig is om het object te bewegen, wordt gemodelleerd als:
$$\tau = \underbrace{I \ddot{q} + \mu \text{sgn}(\dot{q}) + b \dot{q}}_{\text{Effectieve Parametrische Dynamica}} + \underbrace{g_\theta(q) + c_\phi(q, |\dot{q}|)\dot{q}}_{\text{Gestructureerde Mechanische Residu}} + \epsilon$$

• Parametrische Termen: Traagheid ($I$), Coulomb-wrijving ($\mu$) en viskeuze demping ($b$) worden geschat met behulp van non-negative least squares. Dit garandeert fysiek geldige parameters (bijv. niet-negatieve massa) die direct mappen naar standaard simulators.
• Gestructureerd Neuraal Residu: Het resterende toestandafhankelijke gedrag (mechanismen zoals deurdrangers) wordt gevangen door een gestructureerd neuraal netwerk.
  • $g_\theta(q)$: Een configuratieafhankelijke belasting (bijv. veer kracht).
  • $c_\phi(q, |\dot{q}|)$: Een dempingscoëfficiënt die directionele asymmetrie mogelijk maakt terwijl de niet-negativiteit behouden blijft.
• Fitting Strategie: De parametrische coëfficiënten worden eerst gefit, gevolgd door het trainen van een residu-netwerk op de resterende fout. Deze sequentiële aanpak regulariseert de decompositie, hoewel de auteurs erkennen dat de decompositie niet strikt uniek is (bijv. constante mechanische demping kan worden geabsorbeerd in de viskeuze term).

4. Twin Assemblage

Het geïdentificeerde fysieke model wordt geregistreerd bij een geometrische asset (gereconstrueerd uit dezelfde opname of apart verstrekt). Het model wordt getransformeerd naar het coördinatensysteem van de asset, herparameteriseerd om aan de gewrichtsconventies te voldoen, en geëxporteerd. Het parametrische deel wordt geschreven naar standaard simulatorvelden, terwijl de niet-lineaire mechanische term ofwel als een toestandafhankelijke gewrichtsinspanning wordt geëvalueerd of als een veer-demper wordt benaderd voor export.

Belangrijkste Bijdragen

1. Systeemidentificatie vanuit Menselijke Interactie: Introductie van een pipeline om de specifieke dynamica van gelede objecten te identificeren met behulp van een handgehouden krachtgevoelige grijper, waardoor identificatie wordt losgekoppeld van robotinzet.
2. Semi-Parametrische Modellering: Formulering van een hybride model dat fysiek beperkte parametrische termen (traagheid, wrijving) combineert met een gestructureerd neuraal residu voor niet-lineaire mechanismen. Dit levert simulatiecompatibele parameters en een voorspellend model van de gewrichtsinspanning op.
3. Dubbel Nut (Controle & Simulatie): Demonstratie dat een enkele geïdentificeerde twin zowel dient als een feedforward dynamica-model voor real-world robotcontrole als een hoogwaardige asset voor reinforcement learning.

Experimentele Resultaten

Schattingsgetrouwheid

• Kinematica: ForceTwin presteert beter dan visuele-only baselines (OPDMulti) en verbetert de interactie-gebaseerde baselines (MoMa-SG) licht in as-estimatie, waarbij het 100% nauwkeurigheid in gewrichtstype bereikt en de fout in aspositie met de helft vermindert ten opzichte van MoMa-SG.
• Inertiale Parameters: Vergeleken met een Visual-Language Model (VLM) prior, vermindert ForceTwin de macro gemiddelde absolute relatieve fout in de schatting van inertieparameters van 53,0% naar 29,5%. De VLM prior onderschat de traagheid consequent, vooral bij zwaar belaste objecten, terwijl de schattingen van ForceTwin nauwkeuriger zijn, hoewel ze licht te hoog zijn door niet-gemodelleerde inspanningabsorptie.
• Systeem-niveau Getrouwheid: In "real-to-sim" free-swing experimenten (het vrijlaten van deuren vanuit specifieke hoeken), reduceerden de ForceTwin-twins de fout in de sluitertijd van 57,7% (VLM prior) naar 16,3%.

Real-Robot Manipulatie

De geïdentificeerde twins werden ingezet als feedforward termen in een Cartesian impedance controller op een Spot robot en een Franka FR3 arm over negen object-embodiment paren.

• Doelvoltooiing: ForceTwin bereikte een gemiddelde doelvoltooiingsgraad van 87,3%, wat aanzienlijk beter is dan de VLM prior (59,7%) en de kinematica-only twins (56,9%).
• Sterke Mechanismen: Het prestatieverschil werd groter bij objecten met sterke mechanismen (bijv. ovens, metalen deuren). Baselines kwamen vast te zitten met <5% voltooiing omdat hun feedforward modellen onvoldoende kracht leverden, terwijl ForceTwin 67–100% voltooiing bereikte.
• Tracking Fout: ForceTwin behaalde de laagste tracking RMSE over alle objecten.

Policy Learning

De geïdentificeerde dynamica werden geëxporteerd naar Isaac Lab om whole-body door-traversal policies te trainen voor een ANYmal quadruped.

• Policies getraind met de geïdentificeerde dynamica werden succesvol getransfereerd naar real-world houten en metalen deuren.
• De hout-deur policy voerde een vloeiende traversie uit, terwijl de metaal-deur policy "stop-and-go" gedrag vertoonde door hogere jerk, toegeschreven aan sim-to-real kalibratieverschillen in plaats van het model zelf.

Betekenis en Claims

Het artikel claimt dat ForceTwin een kritieke kloof in robotische manipulatie aanpakt: het onvermogen van huidige digital twin-pipelines om exemplaar-specifieke, toestandafhankelijke dynamica te vangen zonder voorafgaande robotinzet. Door gebruik te maken van menselijke interactie, herstelt het fysieke parameters die bijna twee keer zo nauwkeurig zijn als visuele priors voor traagheid, en modelleert het succesvol niet-lineaire mechanismen die standaard controllers doen falen.

De auteurs benadrukken dat de geïdentificeerde twin niet louter een simulatie-asset is, maar een functionele controlecomponent. Het stelt robots in staat om objecten met sterke interne mechanismen (zoals veerbelaste deuren) te manipuleren die kinematica-only of prior-gebaseerde modellen doen stagneren. Bovidig demonstreert het systeem dat deze geïdentificeerde modellen direct kunnen worden geïntegreerd in reinforcement learning-pipelines, wat de sim-to-real kloof voor contact-rijke whole-body taken overbrugt.

De auteurs blijven bescheiden over de beperkingen: de decompositie van inspannings-termen is niet uniek, het model is geheugenloos (negeert hysteresis en stiction), en identificatie is exemplaar-specifiek, wat actieve probing vereist in plaats van passieve observatie. Ze merken op dat het overdragen van dynamica naar niet-geprobeerde onderdelen een openstaand vraagstuk blijft.