💻 computer science

FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor

FORGE-plus introduceert een tweelaags framework dat een bevroren LLM gebruikt om krachtplafonds toe te wijzen en herstelmanoeuvres te selecteren op basis van tekstuele signaturen, waardoor een low-level controller robuuste, breukvrije contactrijke assemblage met nauwe toleranties en slipherstel kan bereiken zonder ooit direct de kracht te regelen of veiligheidslimieten te overschrijden.

Oorspronkelijke auteurs: Kyupaeck Jeff Rah, Midum Oh

Gepubliceerd 2026-07-24

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kyupaeck Jeff Rah, Midum Oh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots lijken op onhandige peuters die proberen te bouwen met een doos LEGO, maar deze LEGO is gemaakt van glas en de instructies zijn geschreven in een taal die de robot niet spreekt. Dit is de uitdaging van contactrijke assemblage: het aanleren aan een machine om onderdelen voorzichtig te duwen, te schuiven en in elkaar te klikken zonder ze te breken. In het verleden leerden robots dit door vallen en opstaan, waarbij ze de onderdelen vaak kapotsloegen totdat ze de juiste kracht hadden ontdekt. Maar wat als de onderdelen te kwetsbaar zijn om te slaan?

Om dit op te lossen, gebruiken wetenschappers een combinatie van Reinforcement Learning (RL) — waarbij een robot leert door punten te krijgen voor succes en strafpunten voor fouten — en Large Language Models (LLMs), dezelfde soort AI die verhalen kan schrijven of vragen kan beantwoorden. De grote vraag is geweest: hoe vertellen we de robot hoe hard hij moet duwen, en wat moet hij doen als hij vastloopt? Als een robot een schroef blokkeert, is de natuurlijke instinct om "harder te duwen". Maar als je een breekbare glazen fles vasthoudt, is harder duwen de snelste manier om het in een hoop scherven te veranderen. Dit artikel verkent een nieuwe manier om robots te leren voorzichtig, slim en veilig te zijn, met behulp van een simulatie waarin de "onderdelen" kunnen breken als de kracht te hoog wordt.

De Robot met een "Niet Aanraken" Bordje

Maak kennis met FORGE-plus, een nieuw systeem ontworpen om robots te helpen bij het assembleren van delicate objecten, zoals het plaatsen van een glazen fles in een wijnrek of het schuiven van een klein tandwiel op een as met bijna geen ruimte om te bewegen. De onderzoekers bouwden een tweelaags brein voor de robot, en het werkt een beetje als een strenge baas en een snel denkende monteur.

De Baas (De bevroren LLM):
Voordat de robot het object zelfs maar aanraakt, kijkt een "bevroren" AI (een slimme tekstlezer die niet leert of verandert tijdens de taak) naar de naam en beschrijving van het object. Het is alsof een baas een label leest waarop staat "Breekbaar Glas" of "Stalen Tandwiel". Op basis van deze tekst stelt de baas een krachtplafond in. Denk aan dit als een snelheidslimiet voor kracht. Als het een fragiele fles is, zegt de baas: "Je mag duwen met een maximale kracht van 8,8 Newton." Als het een stevig stalen tandwiel is, ligt de limiet hoger. Cruciaal is dat de robot de baas niet kan vragen om deze limiet later te wijzigen, zelfs niet als hij vastloopt.

De Monteur (De snelle controlelus):
De eigenlijke hand van de robot beweegt met razendsnelle snelheid, gestuurd door een snelle computerlus. Deze lus heeft een harde "clamp" die werkt als een veiligheidsklep. Ongeacht wat het brein van de robot denkt, de clamp stopt de robot fysiek om niet harder te duwen dan de limiet van de baas. Als de robot probeert te duwen met 10 Newton, snijdt de clamp dit onmiddellijk terug naar de limiet. Dit zorgt ervoor dat zelfs als de robot een fout maakt, hij het object niet kan breken door te hard te duwen.

Wat gebeurt er als het misgaat?

In de echte wereld loopt er wel eens iets vast. Misschien stoot de fles tegen de rand van het rek, of raakt het tandwiel binnen de grijper gekanteld. In het verleden hadden robots misschien geprobeerd de strategie "druk harder" te gebruiken om erdoorheen te dringen. De onderzoekers testten deze "druk harder"-strategie, en het was een ramp. Bij het ene type grijper deed het niets anders dan tijd verspillen; bij een ander verbrijzelde het 96% van de kwetsbare onderdelen.

FORGE-plus hanteert een andere aanpak. Wanneer de robot vastloopt, vraagt hij de baas niet om de limiet te verhogen. In plaats daarvan kijkt hij naar een krachtsignatuur. Stel je voor dat de robot naar het "geluid" van het contact luistert via zijn sensoren. Een vastgelopen fles klinkt anders dan een vastgelopen tandwiel. De robot stuurt dit "geluid" (wat eigenlijk een korte tekstuele beschrijving van de krachten is) naar de baas. De baas kiest vervolgens een herstelbeweging uit een vast menu, zoals "wiebelen", "draaien" of "loslaten en opnieuw proberen".

De magie is dat de robot nooit de krachtlimiet verhoogt. Hij probeert gewoon verschillende bewegingen binnen de veilige limiet. Als de fles klem zit, kan de robot hem licht draaien om een opening te vinden, in plaats van hem erdoorheen te duwen.

De Resultaten: Een Succesverhaal in Simulatie

De onderzoekers testten dit in een zeer realistische computersimulatie (met behulp van Isaac Lab) met twee verschillende robotarmen: een Robotiq-grijper en een Franka Panda-hand. Ze gebruikten twee hoofdtaken:

De Fles: Een fragiele glazen fles in een rek plaatsen.
Het Tandwiel: Een tandwiel op een as schuiven met een minuscule opening van slechts 0,4 mm (dunner dan een menselijke haar).

Het Goede Nieuws:
Het systeem werkte ongelooflijk goed in de simulatie. Eén enkel robot-"brein" (checkpoint) slaagde erin om zowel de fragiele als de stevige tandwielen 256 keer van de 256 keer succesvol te plaatsen zonder één stukje te breken. Het leerde ook perfect wanneer het het object moest loslaten, met nul slechte releases. Zelfs toen de robot utslipte en het tandwiel onder een slechte hoek pakte, gebruikte het systeem de krachtsignatuur om te beseffen: "Hé, ik houd dit scheef," en besloot het terug te leggen op de tafel om het opnieuw op te pakken. Deze "re-grasp"-strategie redde de dag en herstelde 40% tot 64% van de vastlopers, afhankelijk van de robotarm.

Het Slechte Nieuws (en de Belangrijke Lessen):
Het artikel staat ook bekend om wat er niet werkte. De onderzoekers probeerden een standaard leermethode genaamd PPO (die normaal hels bij het laten verkennen van willekeurige bewegingen door robots). Ze ontdekten dat bij een zulke kleine tolerantie van 0,4 mm, de willekeurige "exploratie"-bewegingen van de robot zo groot waren dat ze de fragiele onderdelen braken voordat de robot zelfs maar kon leren hoe hij ze moest passen. Het is alsof je probeert een naald door een draad te rijgen door de naald op de draad te gooien; je zult het nooit goed doen en je breekt de naald.

Ze ontdekten ook dat als je probeert de robot "perfect optimaal" te maken door hem precies tot het breekpunt te laten duwen, hij juist vaker faalt. Omdat de bewegingen van de robot een kleine "overshoot" hebben (hij duwt een fractie te hard voordat hij stopt), resulteert een limiet die exact op het breekpunt ligt nog steeds in gebroken onderdelen. De "veilige" limiet ingesteld door de baas (gebaseerd op de identiteit van het object) was effectiever dan de "perfecte" limiet berekend door een cheat-code.

Waarom dit ertoe doet

Dit artikel beweert niet dat het al een robot heeft gebouwd die dit in een echte fabriek kan; het is volledig een simulatie. Maar het bewijst een krachtig idee: Veiligheid komt niet voort uit de intelligentie van de robot om te weten wanneer hij moet stoppen; het komt voort uit een harde limiet die de robot niet kan overschrijden.

Door het "denken" (de baas die de limiet instelt) te scheiden van het "doen" (de snelle clamp die de limiet afdwingt), zorgt het systeem ervoor dat de robot problemen kan oplossen zonder destructief te worden. Het laat zien dat voor delicate taken de beste strategie niet is om harder te duwen, maar om slimmer te zijn over hoe je duwt, en om een strikte regel te hebben die zegt: "Wat er ook gebeurt, je mag niet zo hard duwen."

Uiteindelijk suggereert FORGE-plus dat de toekomst van delicaat robotwerk niet ligt in het bouwen van sterkere, intelligentere AI die de juiste kracht kan raden, maar in het bouwen van systemen die gedwongen worden om voorzichtig te zijn, gebruikmakend van een "krachtbudget" dat de robot ongeacht alles respecteert.

Technische Samenvatting: FORGE-plus

Probleemstelling

Force-conditioned Reinforcement Learning (RL) vaardigheden hebben succes getoond bij contactrijke assemblage-taken door een gecommandeerd krachtplafond ( $F_{max}$ ) te respecteren. Echter, twee kritieke hiaten blijven bestaan bij het inzetten van deze vaardigheden voor fragiele objecten:

Wie stelt het plafond vast? Huidige methoden autotunen vaak $F_{max}$ om succespercentages te maximaliseren. Deze aanpak faalt wanneer één systeem zowel robuuste (bijv. staal) als fragiele (bijv. nylon of glas) onderdelen moet hanteren, aangezien een plafond dat voldoende is voor de eerste, de laatste zal vernietigen.
Wat te doen bij falen? Wanneer een insertie faalt, is de intuïtieve herstelstrategie — "harder drukken" — precies de actie die fragiele componenten vernietigt. Bestaande visuele faal-redeneerders (bijv. REFLECT, DoReMi) opereren op taalniveau en missen vaak de subtiele verschillen tussen faalmodi (bijv. klemmen versus verkeerd draaien/cross-threading) die alleen zichtbaar zijn in krachtsporen, en niet in visuele pixels.

Methodologie: FORGE-plus Architectuur

FORGE-plus introduceert een tweelaags systeem ontworpen om veiligheid af te dwingen zonder te vertrouwen op de LLM voor real-time controle-autoriteit. Het systeem werkt volledig in simulatie (Isaac Lab) met rigide-lichaam dynamica en gemodelleerde breuk.

1. Het Tweelagige Systeem

Trage Laag (Bevroren LLM Supervisor):
- Budget-Setter: Vóór een episode leest een bevroren, tekstgebaseerde LLM de identiteit van het object (naam, materiaal, geometrie-tags) en geeft een krachtplafond per object ( $F_{max}$ ) uit. De LLM ziet geen afbeeldingen of instantie-specifieke breukdata.
- Recovery-Selector: Bij detectie van een falen leest de LLM een compacte tekstuele "kracht-signatuur" (afgeleid van kracht/koppel-historie, contactduur en slip-events) en selecteert een herstelmanoeuvre uit een vast menu (bijv. retract_and_reapproach, wiggle_search, rotate_align, regrasp, abort).
- Constraint: Het menu sluit expliciet de optie uit om "het plafond te verhogen". De output van de LLM wordt server-zijde overschreven om te garanderen dat $F_{max}$ onveranderlijk blijft tijdens herstel.
Snelle Laag (Force-Conditioned RL Skill):
- Een force-conditioned MLP-policy (getraind via Behavior Cloning en DAgger) voert de insertie uit.
- Hard Clamp: Een veiligheidsclamp in de snelle controleloop (60–120 Hz) verzadigt alle gecommandeerde krachten naar de $F_{max}$ die door de LLM is ingesteld. Dit zorgt ervoor dat de LLM nooit directe autoriteit heeft over de fysiek toegepaste kracht.
- Release Head: Een geleerde lineaire head (die de hoofd-policy trunk omzeilt) beslist wanneer het object wordt losgelaten op basis van ruwe observaties.

2. Evaluatieontwerp (Niet-circulariteit)

De evaluatie is ontworpen om circulaire redenering met betrekking tot fragiliteit te voorkomen:

Verborgen Breuk: De breukkracht ( $F_{break}$ ) wordt per episode gesampled uit een distributie en wordt nooit waargenomen door de policy, de LLM of de signatuur-encoder. Het is alleen zichtbaar voor de evaluator.
Veiligheidsinvarianten: $F_{max}$ is vast tijdens herstel, en de kracht-autoriteit berust strikt in de snelle controleloop.

Belangrijkste Bijdragen

1. Architectuur en Benchmark

Het paper presenteert een uniforme architectuur voor force-budgeted assemblage onder per-object fragiliteit. Het introduceert een niet-circulaire breukmetriek en een benchmark bestaande uit twee verschillende taken:

Fragile Bottle Placement: Het plaatsen van een wijnfles in een rek (gesimuleerde fragiele klasse met $F_{break} \approx 22$ N).
Tight-Clearance Gear Insertion: Het invoegen van een tandwiel met een diameter-tolerantie van 0,4 mm (gesimuleerde fragiele ABS-tandwiel met $F_{break} \approx 38 \pm 5$ N).
Embodiments: Experimenten draaien op twee grijpers: Robotiq 2F-140 en Franka Panda hand.

2. Full-Cycle Resultaten

Een enkele uniforme checkpoint (een "weight soup" van policies getraind op zowel fragiele als robuuste klassen) bereikte:

Clean Gates: 256/256 succesvolle schone inserties met nul breuken op zowel fragiele als robuuste tandwiel-klassen met de Robotiq 2F-140.
Release: 256/256 succesvolle geleerde releases met nul "slechte releases" (voortijdige of mislukte releases).
Physical Flow: Een volledig fysieke table-pick flow (geen teleportatie of kinematische pinning) voltooide 64/64 episodes met een gemiddelde piek-insertiekracht van 5,4 N.

3. Hersteleffectiviteit vs. Baselines

Onder geïnjecteerde verstoringen (rim wedges en 5 mm in-grip slips):

Force-Signature Recovery: Het voorgestelde systeem herstelde 40% van de jams (Robotiq) en 64% van de jams (Franka) door specifieke kracht-signaturen naar de juiste herstel-primitive te routeren (bijv. regrasp voor gekantelde grepen).
Press-Harder Baseline: Deze baseline (gemodelleerd op het gedrag van Tactile-VLA) vertoonde twee duidelijke faalmodi:
- Robotiq 2F-140: 100% futiel (timeouts), omdat de gekantelde boring nooit de belasting raakte, waardoor krachtescalatie nutteloos was.
- Franka Panda: 96% destructief, waarbij fragiele onderdelen werden gebroken door de kracht te escaleren.
Vision-LLM Proxy: Een menu-sampling proxy voor visuele reasoners behaalde lagere succespercentages (28% en 32%) omdat het niet in staat was de kracht-signatuur van een gekantelde grip te onderscheiden van andere fouten.

4. Negatieve Resultaten als Bevindingen

Het paper rapporteert rigoureus wat niet werkt:

PPO Falen: On-policy PPO training faalt bij 0,4 mm tolerantie op de Robotiq 2F-140; de exploratie-ruis die nodig is om de funnel te vinden, is inherent destructief voor fragiele onderdelen.
Tiny-Std Polish: Het fine-tunen van een werkende Behavior Cloning (BC) policy met PPO (lage std) vernietigt de policy binnen 20 iteraties door gradiënt-amplificatie.
Oracle Budget: Zelfs een "oracle" die $F_{max} = F_{break} - \epsilon$ instelt, faalt (50% breuk) omdat de controller-overshoot het budget overschrijdt. Dit bewijst dat een veilig budget rekening moet houden met de distributie van de controller-overshoot, niet alleen met de breukdrempel.
Release Head Ontwerpen: Drie natuurlijke ontwerpen voor een geleerde release head faalden; alleen een input-skip lineaire head (die de trunk omzeilt) slaagde.

Betekenis en Claims

Het paper claimt dat FORGE-plus een structurele oplossing biedt voor de "wie stelt het plafond vast" en "wat te doen bij falen" problemen in contactrijke assemblage:

Identiteit-Afgeleide Budgets: Een conservatief budget afgeleid van objectidentiteit presteert beter dan een "oracle" budget omdat het rekening houdt met de controller-overshoot, wat veiligheid garandeert zonder de specifieke instantie-breukdrempel te hoeven kennen.
Force-Grounded Recovery: Herstelstrategieën moeten gegrond zijn in kracht-signaturen, niet in visie. De kracht-signatuur is het enige signaal dat in staat is om een "regrasp" behoefte (gekantelde grip) te onderscheiden van andere fouten, wat de visuele selectie met een factor ~2 overtreft.
Het Falen van "Press Harder": Het natuurlijke herstel door krachtverhoging is bewezen ofwel futiel of destructief te zijn, afhankelijk van de grijper en de faalmodus, en is nooit de juiste oplossing.
Veiligheidsscheiding: Veiligheid wordt gegarandeerd door de harde clamp in de snelle loop, niet door de LLM. De LLM fungeert enkel als een semantische selector voor bewegingsprimitives, nooit als een kracht-autoriteit.

De auteurs benadrukken dat deze resultaten enkel in simulatie zijn met rigide-lichaam fysica en gemodelleerde breuk. Er wordt geen sim-to-real transfer geclaimd, hoewel de onderliggende FORGE-stijl kracht-conditionering wordt opgemerkt als zijnde succesvol in eerdere transfers. Het werk dient als een rigoureuze benchmark en een verzameling negatieve bevindingen om toekomstig onderzoek in fragiele manipulatie te sturen.