🤖 machine learning

LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation

LM-X is een verklaarbaar actiemodelleringsframework voor generalistische robotmanipulatie dat de prestaties van langetermijncontrole verbetert door expliciet taakvoortgang, semantische gebeurtenissen en lokale betrouwbaarheid te voorspellen, waarmee het superieure succespercentages op real-robot benchmarks bereikt vergeleken met state-of-the-art modellen.

Oorspronkelijke auteurs: Jin Lou, Jingxuan Zhu, Andong Chen, Xupeng Wang, Yuan Xu, Yuexuan Li, Xingdong Zhu, Zhijie Zhu, Yingwei Ji, Wenpeng Nie, Jingyi Li, Liangliang Chen, Jinyan Liu, Zhiqi Song, Jidong Zhang, Hongming Li

Gepubliceerd 2026-08-27

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jin Lou, Jingxuan Zhu, Andong Chen, Xupeng Wang, Yuan Xu, Yuexuan Li, Xingdong Zhu, Zhijie Zhu, Yingwei Ji, Wenpeng Nie, Jingyi Li, Liangliang Chen, Jinyan Liu, Zhiqi Song, Jidong Zhang, Hongming Li, Yuchen Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots die kunnen leren complexe taken uit te voeren door naar mensen te kijken, zijn niet langer sciencefiction; ze zijn een snel evoluerende realiteit in het vakgebied van kunstmatige intelligentie. Deze systemen, vaak generalistische robots genoemd, gebruiken een combinatie van visie en taal om instructies zoals "vouw het shirt op" of "pak de beker op" te begrijpen en die woorden vervolgens te vertalen naar fysieke bewegingen. Jarenlang was de standaardaanpak om deze robots te trainen om de eerstvolgende beweging die ze moeten maken, stap voor stap, te voorspellen. Hoewel deze methode goed werkt voor eenvoudige, korte acties, loopt het tegen een muur aan wanneer taken lang en ingewikkeld worden. De robot ziet de directe opdracht, maar blijft blind voor zijn eigen voortgang, onzeker of hij dichter bij het doel komt of er juist vanaf drijft. De robot kan niet aangeven of een aarzeling een moment van zorgvuldige overweging is of een teken van verwarring, noch kan hij uitleggen waarom hij voor een specifieke beweging heeft gekozen. Dit gebrek aan intern bewustzijn maakt het moeilijk om de robot te vertrouwen in onvoorspelbare omgevingen of om hem te repareren wanneer het misgaat.

Een nieuwe aanpak, die in recent onderzoek wordt beschreven, probeert dit op te lossen door de robot een stem te geven binnen zijn eigen controlesysteem. In plaats van alleen een beweging uit te voeren, is het nieuwe model, genaamd LM-X, ontworpen om constant drie specifieke vragen te beantwoorden over wat het doet. Ten eerste vraagt het: "Kom ik dichter bij het voltooien van de taak?" Ten tweede vraagt het: "Wat is de volgende grote stap die ik probeer te bereiken?" En ten derde vraagt het: "Hoe zeker ben ik ervan dat deze specifieke beweging zal werken?" Door de robot te trainen om deze antwoorden naast zijn fysieke acties te voorspellen, hebben de onderzoekers een systeem gecreëerd dat niet alleen bekwaamere is, maar ook transparant over zijn eigen staat. De robot handelt niet langer alleen; hij monitort zijn eigen voortgang en onzekerheid in realtime, waardoor hij complexe, meerstaps-taken kan afhandelen met een niveau van betrouwbaarheid waar eerdere modellen moeite mee hadden.

De onderzoekers bouwden dit systeem door inspiratie te putten uit de manier waarop biologische hersenen beweging organiseren. In de natuur vuurt het brein niet alleen willekeurig spieren af; het behoudt een hiërarchie van voorspellingen. Het houdt een traag bewegend gevoel van het algemene doel vast, een sneller gevoel van het onmiddellijke subdoel, en een constante controle op de betrouwbaarheid van de motorische commando's die worden verzonden. Het LM-X-model vertaalt dit biologische principe naar software. Het probeert niet de anatomie van een brein te kopiëren, maar neemt de functionele strategie over om verschillende tijdschalen te gebruiken om gedrag te sturen. Het model wordt getraind op een enorme dataset van meer dan 20.000 uur aan echte robotbewegingen, inclusief duizenden uren aan mislukte pogingen. De inclusie van deze mislukkingen is cruciaal. Door te kijken naar de strijd van de robot, het missen van een greep of het vastlopen, leert het systeem te herkennen hoe een terugval eruitziet, in plaats van alleen te memoriseren hoe succes eruitziet.

De kern van het systeem bestaat uit drie afzonderlijke signalen die parallel aan de bewegingen van de robot draaien. Het eerste signaal, dat de onderzoekers "return-to-go" noemen, fungeert als een voortgangsbalk. Het is een enkel getal dat schat hoeveel van de taak nog rest. Als de robot soepel naar het doel beweegt, stijgt dit getal. Als de robot een fout maakt, zoals het laten vallen van een object of in de verkeerde richting bewegen, daalt het getal onmiddellijk. Dit stelt het systeem in staat om een probleem te detecteren op het moment dat het gebeurt, in plaats van te wachten tot de taak volledig is voltooid. Het tweede signaal, "event-to-go", identificeert de volgende betekenisvolle overgang in de taak. Bij een complexe klus zoals het assembleren van een meubelstuk zijn er duidelijke fasen: het oppakken van een onderdeel, het invoegen ervan en het aandraaien van een schroef. Dit signaal vertelt de robot welke van deze fasen hij momenteel nastreeft, waardoor hij op het juiste spoor blijft, zelfs als de onmiddellijke bewegingen erg lijken op een ander deel van het proces. Het derde signaal meet de onzekerheid. Het berekent hoeveel de voorspelling van de robot varieert, wat in feite vraagt hoe zeker hij is over de volgende zet. Wanneer de robot aarzelt of heen en weer oscilleert, schiet dit onzekerheidssignaal omhoog, wat aangeeft dat de robot onzeker is over zijn actie.

Om te testen of deze extra signalen daadwerkelijk hielpen, voerden de onderzoekers eerst een kleiner experiment uit op een set van vijf moeilijke taken voordat ze zich committeerden aan een enorme, dure trainingsronde. Ze vergeleken een standaard robotmodel dat alleen bewegingen voorspelde met versies die één of meer van de nieuwe signalen bevatten. De resultaten waren duidelijk: het model dat alle drie de signalen bevatte, presteerde aanzienlijk beter dan het standaardmodel, en ook beter dan elke versie die slechts één van de nieuwe functies had. Dit bewees dat de signalen samenwerkten om een compleet beeld van de taak te geven. De onderzoekers trainden vervolgens het volledige model op de grote dataset van echte robotgegevens. Bij een test op een benchmark van 50 verschillende taken slaagde het nieuwe model in 74,1% van de pogingen, een substantiële verbetering ten opzichte van het vorige beste model, dat slechts in 55,4% van de gevallen slaagde.

De verbetering was nog prominenter toen het model werd getest op zeven verschillende real-world taken met vier verschillende soorten robots. In deze fysieke tests slaagde het nieuwe model 68,6% van de tijd, vergeleken met 50,7% voor de vorige standaard. De onderzoekers observeerden dat het progressiesignaal zeer responsief was aan de werkelijke prestaties van de robot. In één experiment met een bimanuele taak waarbij de robot objecten met twee handen moest sorteren, steeg de progressiescore naarmate de robot items succesvol op hun plek legde. Echter, op het moment dat de robot een object liet vallen of weg bewoog van het doel, daalde de score onmiddellijk, wat de tegenslag nauwkeurig weerspiegelde. Op dezelfde manier bood het onzekerheidssignaal een helder venster in de aarzeling van de robot. Wanneer de robot probeerde een object te grijpen en steeds de positie aanpaste zonder een definitieve keuze te maken, steeg het onzekerheidssignaal. Zodra de robot een besluit nam en zijn grijper sloot, daalde het signaal, wat duidde op vertrouwen.

Dit werk suggereert dat voor robots om echt betrouwbare partners te worden in complexe omgevingen, ze meer nodig hebben dan alleen het vermogen om hun armen te bewegen. Ze moeten hun eigen staat begrijpen. Door expliciet progressie, intentie en betrouwbaarheid te voorspellen, overbrugt het LM-X-model de kloof tussen rauwe mechanische actie en intelligente besluitvorming. De onderzoekers benadrukken dat deze signalen niet alleen bedoeld zijn voor menselijke waarnemers om te lezen; ze maken deel uit van de eigen controlelus van de robot, die helpt de volgende beweging te vormen op basis van de huidige staat van de taak. Hoewel het systeem niet perfect is en nog steeds worstelt met enkele specifieke taken, laten de resultaten zien dat het toevoegen van deze lagen zelfbewustzijn de robot aanzienlijk robuuster maakt. De studie concludeert dat deze meerlagige aanpak een praktisch pad biedt voor het bouwen van robots die niet alleen moeilijke taken kunnen uitvoeren, maar ook hun eigen gedrag kunnen verklaren en kunnen herstellen van fouten wanneer zaken misgaan.

Technische Samenvatting: LM-X – Verklaarbaar Actiemodellering met Progressie-, Event- en Onzekerheidsvoorspelling

1. Probleemformulering

Het artikel identificeert een dubbele bottleneck in huidige generalistische Vision-Language-Action (VLA) policies voor robotmanipulatie:

Single-Target Supervision Bottleneck: De meeste VLA's comprimeren de volledige gedragshierarchie in één enkele doelstelling voor actievoorspelling met een korte horizon. Bijgevolg worden kritieke intermediaire variabelen—taakprogressie, intermediaire intentie (event-niveau transities) en lokale actiebetrouwbaarheid—niet expliciet gesuperviseerd. Ze moeten impliciet voortkomen uit dezelfde verliesfunctie die wordt gebruikt voor actievoorspelling, wat vaak faalt in het onderscheiden tussen nominale progressie, regressie en ambiguïteit.
Control Observability Bottleneck: Operators kunnen de fysieke acties van de robot observeren, maar hebben geen toegang tot de interne staat van de policy met betrekking tot de vraag of de uitvoering vordert, welke semantische transitie wordt nagestreefd, of de betrouwbaarheid van het lokale commando. Dit gebrek aan transparantie belemmert diagnose en herstel, vooral bij taken met een lange horizon waarbij vergelijkbare visuele configuraties verschillende intenties kunnen vertegenwoordigen (bijv. een mislukte greep versus een nieuw doelwit).

De auteurs stellen dat een actie niet haar eigen verklaring is. Post-hoc natuurlijke taalrationales of visuele attributies staan vaak los van de kenmerken die het commando aansturen. In plaats daarvan vereist nuttige verklaring voor controle het blootleggen van compacte, operationeel gedefinieerde variabelen die beschikbaar zijn vóór de uitvoering van de actie en die inherent zijn aan de berekening van de controle door de policy.

2. Methodologie: LM-X Architectuur

De auteurs stellen LM-X voor, een VLA-policy geïnspireerd door biologische sensorimotorische organisatie, die stelt dat trage contextuele schattingen event-schaal gedrag beperken, wat op zijn beurt weer de snelle motorische voorspellingen beperkt, terwijl onzekerheid de lokale controle reguleert. LM-X vertaalt dit principe naar een computationele architectuur met drie expliciete, gesuperviseerde verklarende signalen:

2.1 Kerncomponenten

Return-to-Go (RTG): Een taak-schaal scalaire signaal dat progressie en staatskwaliteit vertegenwoordigt. Het beantwoordt de vraag: "Vordert de geobserveerde staat op taak-schaal?"
- Definitie: Een empirische return berekend uit de terminale uitkomst en resterende duur. Succesvolle trajecten naderen nul naarmidd met voltooiing; mislukte trajecten ontvangen een duidelijk negatief marginaal.
- Rol: Het biedt een dicht leersignaal voor progressie, waarbij onderscheid wordt gemaakt tussen nominale vooruitgang en regressie (bijv. terugkeren naar een startpositie). Het conditioneert de event-voorspellingskop.
Event-to-Go (ETG): Een event-schaal actie-chunk die de volgende semantische transitie vertegenwoordigt. Het beantwoordt de vraag: "Welke taakrelevante transitie wordt nagestreefd?"
- Definitie: Een actie-chunk die zich uitstrekt tot de volgende geverifieerde semantische grens (bijv. "greep voltooid", "insertie gestart"). Het wordt getraind via conditional flow matching.
- Rol: Het legt de intermediaire intentie van de policy bloot. In tegen tegenstelling tot standaard actie-chunking, is ETG expliciet gekoppeld aan geverifieerde semantische grenzen, waardoor het model in staat is om onderscheid te maken tussen fouten in subdoelselectie en uitvoeringsfouten.
Heteroscedastic Action Flow (Onzekerheid): Een motor-schaal signaal dat de actievariantie voorspelt. Het beantwoordt de vraag: "Hoe betrouwbaar is de motor-schaal voorspelling?"
- Definitie: Een flow-matching kop die zowel de gemiddelde snelheid als de log-variantie van de actieverdeling voorspelt.
- Rol: Het vangt lokale ambiguïteit op. Hoge variantie is geassocieerd met aarzeling, oscillatie of off-manifold staten, terwijl lage variantie duidt op zelfverzekerde uitvoering.

2.2 Architectuur en Informatiestroom

LM-X is gebouwd op de Cosmos-Reason2-2B vision-language backbone. De architectuur dwingt een gerichte factorisatie af (Eq. 3):
$p(R_t, E_t, A_t | x_t) = p(R_t | z_t) \cdot p(E_t | z_t, s_t, R_t) \cdot p(A_t | z_t, s_t, R_t, E_t)$

RTG Expert: Werkt uitsluitend op visuele-linguïstische embeddings ( $z_t$ ) om progressie te beoordelen zonder afhankelijk te zijn van specifieke gewrichtstoestanden, wat generalisatie over verschillende belichamingen stimuleert.
Event Expert: Ontvangt $z_t$ , proprioceptie ( $s_t$ ) en de voorspelde RTG. Het produceert een event-chunk ( $E_t$ ) en een verborgen staat ( $z_{event}$ ).
Action Expert: Een Diffusion Transformer geconditioneerd op $z_t$ , $s_t$ , RTG en $z_{event}$ . Het genereert de fijnmazige actie-chunk ( $A_t$ ) en de bijbehorende onzekerheid ( $q_t$ ).

Deze structuur zorgt ervoor dat semantische beoordeling voorafgaat aan transitievoorspelling, wat weer voorafgaat aan motorische controle, waardoor verklaring inherent is aan de controle-grafiek in plaats van een post-hoc annotatie.

2.3 Training en Data

Dataset: Het model wordt getraind op meer dan 20.000 uur aan real-robot trajecten van 15+ belichamingen (humanoids, dual-arm, single-arm), inclusief 1.000+ uur aan mislukte policy rollouts.
Annotatie: Een pipeline zet diverse fysieke transities om in gedeelde, event-geconditioneerde targets. Mislukte rollouts zijn cruciaal om het model te leren onderscheid te maken tussen progressie en regressie, en tussen commitment en ambiguïteit.
Pretraining Gate: Voordat de kostbare 20-daagse pretraining-run op 64 NVIDIA B200 GPU's plaatsvond, valideerde een gecontroleerde ablatie-studie op 5 RoboTwin2.0 taken dat het behouden van alle drie de modules significante winsten oplevert ten opzichte van single-component varianten.

3. Belangrijkste Bijdragen

Dual-Bottleneck Formulering: Een formele scheiding van de beperkingen van single-target supervisie en de beperkingen van control-state observabiliteit in VLA-leren.
LM-X Model: Een brein-geïnspireerde, verklaarbare VLA die expliciet taakprogressie (RTG), event-niveau intentie (ETG) en lokale betrouwbaarheid (variantie) voorspelt als gesuperviseerde targets binnen de controlepad.
Kostenbewuste Pretraining Strategie: Een "pretraining gate" met behulp van gecontroleerde ablaties om de inclusie van complexe modules te rechtvaardigen voordat men zich vastlegt op grootschalige, resource-intensieve training.
Schaalbare Annotatie: Een methode voor het genereren van dichte progressie- en event-labels uit heterogene real-robot data, inclusief foutgevallen, om multi-timescale leren te ondersteunen.

4. Experimentele Resultaten

4.1 Pretraining Gate (Simulatie)

Op een 5-taak RoboTwin2.0 benchmark bereikte het volledige LM-X model een gemiddelde succesrate van 79,6%, een winst van 16,0 procentpunt (pp) ten opzien van de action-only backbone (63,6%) en een winst van 10,8 pp ten opzien van de sterkste single-head variant. Dit bevestigde de complementaire aard van de drie signalen.

4.2 RoboTwin2.0 Benchmark (Simulatie)

Geëvalueerd op 50 gerandomiseerde harde taken:

LM-X: 74,1% gemiddeld succes.
GR00T N1.7: 55,4% gemiddeld succes.
Resultaat: LM-X presteerde beter dan de baseline op 8 van de 10 getoonde representatieve taken, met significante winsten in complexe taken zoals "stamp_seal" (+52 pp) en "blocks_ranking" (+30 tot +33 pp).

4.3 Real-World Evaluatie

Geëvalueerd op 7 taken over 4 real-world belichamingen (Aloha, Astribot S1, Tianji-Marvin, Loong S1):

LM-X: 68,6% gemiddeld succes.
GR00T N1.7: 50,7% gemiddeld succes.
Resultaat: LM-X verbeterde 5 taken, blonk gelijk bij 1, en presteerde slechter op 1. De grootste winst was bij "tableware organization" (+60 pp). De mediane taakwijze winst was +10 pp.

4.4 Diagnostische Signaalanalyse

RTG: Toonde niet-monotoon gedrag, waarbij het afnam tijdens zichtbare regressies (bijv. gemiste grepen, doelwitswitches) en toenam bij semantische voltooiing. Het reageerde op de staatskwaliteit in plaats van enkel op verstreken tijd.
Onzekerheid: Variantie-pieken correleerden met aarzeling, oscillatie en mislukte episodes. Mislukte rollouts vertoonden frequente periodes van hoge variantie, terwijl succesvolle rollouts stabiel bleven na de initiële transiënten.

5. Betekenis en Claims

Het artikel claimt dat expliciete multi-timescale predictieve staten dienen als een praktische interface tussen sterkere controle en intrinsieke policy-verklaarbaarheid.

Intrinsieke Verklaarbaarheid: In tegen tegenstelling tot losstaande decoders, zijn de verklarende signalen van LM-X operationeel gedefinieerd, online beschikbaar en gekoppeld aan het actiegeneratieproces. Dit maakt proces-niveau inspectie mogelijk (wat de policy gelooft over de staat en intentie) in plaats van enkel outcome-niveau inspectie.
Functioneel, Niet Mechanistisch: De auteurs benadrukken dat LM-X een functionele realisatie is van hiërarchische predictieve staatprincipes waargenomen in de biologie, niet een biologische replica. De "brein-geïnspireerde" term verwijst naar de computationele hiërarchie (trage context $\to$ intermediaire events $\to$ snelle controle), niet naar anatomische correspondentie.
Beperkingen: De auteurs merken op dat de onzekerheidsanalyse kwalitatief is en temporele correspondenties nog geen gekalibreerde detectoren zijn. Het model garandeert geen causale trouw, en voor veiligheidskritische inzetgeving is het combineren van deze signalen met externe beperkingen vereist.

De resultaten ondersteunen de hypothese dat het scheiden van supervisie voor progressie, intentie en betrouwbaarheid zowel de controleprestaties als het vermogen om executiedynamiek in lange-horizon manipulatie te diagnosticeren, verbetert.