💻 computer science

FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor

FORGE-plus führt ein zweischichtiges Framework ein, das ein eingefrorenes LLM nutzt, um Kraftobergrenzen zuzuweisen und Erholungsmanöver basierend auf textuellen Signaturen auszuwählen, wodurch ein Low-Level-Controller eine robuste, bruchfreie kontaktreiche Montage mit engen Toleranzen und Rutschungserholung ermöglicht, ohne dabei jemals die Kraft direkt zu steuern oder Sicherheitsgrenzwerte zu überschreiten.

Ursprüngliche Autoren: Kyupaeck Jeff Rah, Midum Oh

Veröffentlicht 2026-07-24

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kyupaeck Jeff Rah, Midum Oh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Roboter wie tollpatschige Kleinkinder sind, die versuchen, mit einer Kiste LEGO-Steinen zu bauen, aber diese LEGO-Steine sind aus Glas gemacht und die Anleitung ist in einer Sprache geschrieben, die der Roboter nicht spricht. Dies ist die Herausforderung des kontaktreichen Montierens (contact-rich assembly): einer Maschine beizubringen, Teile sanft zu drücken, zu schieben und zusammenzustecken, ohne sie zu zerbrechen. In der Vergangenheit lernten Roboter dies durch Versuch und Irrtum, wobei sie die Teile oft zertrümmerten, bis sie die richtige Kraft herausgefunden hatten. Aber was, wenn die Teile zu zerbrechlich sind, um sie zu zertrümmern?

Um dies zu lösen, nutzen Wissenschaftler eine Mischung aus Reinforcement Learning (RL) – bei dem ein Roboter lernt, indem er Punkte für Erfolg und Strafen für Fehler erhält – und Large Language Models (LLMs), derselben Art von KI, die auch Geschichten schreiben oder Fragen beantworten kann. Die große Frage war bisher: Wie sagen wir dem Roboter, wie fest er drücken soll, und was soll er tun, wenn er stecken bleibt? Wenn ein Roboter eine Schraube klemmt, ist der natürliche Instinkt: „Drück fester“. Aber wenn man eine zerbrechliche Glasflasche hält, ist „fester drücken“ der schnellste Weg, sie in einen Haufen Scherben zu verwandeln. Dieses Paper untersucht einen neuen Weg, um Roboter sanft, klug und sicher zu lehren, mithilfe einer Simulation, in der die „Teile“ zerbrechen können, wenn die Kraft zu hoch wird.

Der Roboter mit dem „Nicht anfassen!“-Schild

Lernen Sie FORGE-plus kennen, ein neues System, das darauf ausgelegt ist, Robotern dabei zu helfen, empfindliche Dinge zu montieren, wie zum Beispiel eine Glasflasche in ein Weinregal zu setzen oder ein winziges Zahnrad auf eine Welle zu schieben, bei der kaum Platz zum Wackeln ist. Die Forscher haben dem Roboter ein zweischichtiges Gehirn gebaut, das ein wenig wie ein strenger Chef und ein schnell denkender Mechaniker funktioniert.

Der Chef (Das eingefrorene LLM):
Bevor der Roboter das Objekt überhaupt berührt, sieht sich eine „eingefrorene“ KI (ein intelligenter Textleser, der während der Aufgabe nicht lernt oder sich verändert) den Namen und die Beschreibung des Objekts an. Es ist, als würde ein Chef ein Etikett lesen, auf dem steht: „Zerbrechliches Glas“ oder „Stahlzahnrad“. Basierend auf diesem Text legt der Chef eine Kraftobergrenze (force ceiling) fest. Denken Sie an dies als ein Tempolimit-Schild für die Kraft. Wenn es eine zerbrechliche Flasche ist, sagt der Chef: „Du darfst mit maximal 8,8 Newton drücken.“ Wenn es ein robustes Stahlzahnrad ist, liegt das Limit höher. Entscheidend ist, dass der Roboter den Chef später nicht bitten kann, dieses Limit zu ändern, selbst wenn er stecken bleibt.

Der Mechaniker (Der schnelle Regelkreis):
Die eigentliche Hand des Roboters bewegt sich mit blitzschneller Geschwindigkeit, gesteuert durch einen schnellen Computer-Regelkreis. Dieser Kreislauf besitzt eine harte „Klammer“ (clamp), die wie ein Sicherheitsventil wirkt. Unabhängig davon, was das Gehirn des Roboters denkt, verhindert die Klammer physisch, dass der Roboter stärker drückt als das Limit des Chefs. Wenn der Roboter versucht, mit 10 Newton zu drücken, senkt die Klammer den Wert sofort auf das Limit ab. Dies stellt sicher, dass der Roboter selbst dann, wenn er einen Fehler macht, das Objekt nicht zerbrechen kann, indem er zu fest drückt.

Was passiert, wenn etwas schiefgeht?

In der realen Welt klemmen Dinge fest. Vielleicht stößt die Flasche gegen den Rand des Regals oder das Zahnrad gerät innerhalb des Greifers schief. In der Vergangenheit hätten Roboter vielleicht versucht, mit der Strategie „fester drücken“ den Weg zu erzwingen. Die Forscher testeten diese „fester drücken“-Strategie, und sie war eine Katastrophe. Bei einem Typ von Greifern bewirkte sie gar nichts außer Zeitverschwendung; bei einem anderen zertrümmerte sie 96 % der zerbrechlichen Teile.

FORGE-plus verfolgt einen anderen Ansatz. Wenn der Roboter stecken bleibt, bittet er den Chef nicht, das Limit anzuheben. Stattdessen analysiert er eine Kraftsignatur (force signature). Stellen Sie sich vor, der Roboter hört durch seine Sensoren auf das „Geräusch“ des Kontakts. Eine klemmende Flasche klingt anders als ein feststeckendes Zahnrad. Der Robot sendet dieses „Geräusch“ (was nur eine kurze Textbeschreibung der Kräfte ist) an den Chef. Der Chef wählt dann einen Erholungszug aus einem festen Menü aus, wie zum Beispiel „wackeln“, „rotieren“ oder „loslassen und neu versuchen“.

Das Magische daran ist, dass der Roboter das Kraftlimit niemals erhöht. Er versucht stattdessen, verschiedene Bewegungen innerhalb des sicheren Limits auszuführen. Wenn die Flasche verkeilt ist, könnte der Roboter sie leicht rotieren, um eine Lücke zu finden, anstatt sie nach unten zu drücken.

Die Ergebnisse: Eine Erfolgsgeschichte in der Simulation

Die Forscher testeten dies in einer sehr realistischen Computersimulation (unter Verwendung von Isaac Lab) mit zwei verschiedenen Roboterhänden: einem Robotiq-Greifer und einer Franka Panda-Hand. Sie verwendeten zwei Hauptaufgaben:

Die Flasche: Eine zerbrechliche Glasflasche in ein Regal zu setzen.
Das Zahnrad: Ein Zahnrad auf eine Welle zu schieben, die einen winzigen Spalt von nur 0,4 mm hat (dünner als ein menschliches Haar).

Die gute Nachricht:
Das System funktionierte in der Simulation unglaublich gut. Ein einzelnes Roboter-„Gehirn“ (Checkpoint) schaffte es, beide zerbrechlichen und robusten Zahnräder 256 Mal von 256 Mal erfolgreich zu platzieren, ohne auch nur ein einziges zu beschädigen. Es lernte auch perfekt, wann es das Objekt loslassen muss, mit null fehlerhaften Ablösungen. Selbst wenn der Roboter abrutschte und das Zahnrad in einem schlechten Winkel griff, nutzte das System die Kraftsignatur, um zu erkennen: „Hey, ich halte das schief“, und entschied sich, es wieder auf den Tisch zu legen und neu aufzunehmen. Diese „Re-Grasp“-Strategie rettete die Situation und ermöglichte die Rettung von 40 % bis 64 % der feststeckenden Teile, je nach Roboterhand.

Die schlechte Nachricht (und die wichtigen Lektionen):
Das Paper ist auch berühmt für das, was nicht funktionierte. Die Forscher versuchten eine Standard-Lernmethode namens PPO (die normalerweise hilft, dass Roboter durch zufällige Bewegungen lernen), anzuwenden. Sie stellten fest, dass bei einem so winzigen Spalt von 0,4 mm die zufälligen „Explorations“-Bewegungen des Roboters so groß waren, dass sie die zerbrechlichen Teile zerstörten, noch bevor der Roboter überhaupt lernen konnte, wie man sie einpasst. Es ist, als würde man versuchen, eine Nadel einzufädeln, indem man die Nadel auf den Faden wirft; man wird es nie richtig machen und wird die Nadel beschädigen.

Sie fanden auch heraus, dass der Versuch, den Roboter „perfekt optimal“ zu lehren, indem man ihn bis kurz vor den Bruchpunkt drücken lässt, tatsächlich häufiger zum Scheitern führt. Da die Bewegungen des Roboters ein kleines „Überschwingen“ (Overshoot) haben (er drückt ein winziges Stück zu fest, bevor er stoppt), führt ein Limit, das exakt am Bruchpunkt liegt, dennoch zu beschädigten Teilen. Das „sichere“ Limit, das der Chef (basierend auf der Identität des Objekts) setzte, war tatsächlich besser als das „perfekte“ Limit, das durch einen Cheat-Code berechnet wurde.

Warum das wichtig ist

Dieses Paper behauptet nicht, einen Roboter gebaut zu haben, der dies bereits in einer echten Fabrik leisten kann; es handelt sich rein um eine Simulation. Aber es beweist eine kraftvolle Idee: Sicherheit entsteht nicht dadurch, dass der Roboter klug genug ist zu wissen, wann er aufhören muss; sie entsteht durch ein hartes Limit, das der Roboter nicht überschreiten kann.

Indem das System das „Denken“ (der Chef, der das Limit setzt) vom „Tun“ (die schnelle Klammer, die es erzwingt) trennt, stellt es sicher, dass der Roboter versuchen kann, Probleme zu lösen, ohne jemals destruktiv zu werden. Es zeigt, dass für empfindliche Aufgaben die beste Strategie nicht darin besteht, fester zu drücken, sondern klüger darin zu sein, wie man drückt, und eine strikte Regel zu haben, die besagt: „Egal was passiert, du darfst nicht so fest drücken.“

Letztendlich legt FORGE-plus nahe, dass die Zukunft der präzisen Roboterarbeit nicht darin besteht, stärkere, intelligentere KI zu bauen, die die richtige Kraft errät, sondern Systeme zu bauen, die gezwungen sind, sanft zu sein, indem sie ein „Kraftbudget“ respektieren, das der Roboter unter allen Umständen einhält.

Technisches Resümee: FORGE-plus

Problemstellung

Kraftkonditionierte Reinforcement Learning (RL)-Skills haben bei kontaktreichen Montageaufgaben Erfolg gezeigt, indem sie eine vorgegebene Kraftobergrenze ( $F_{max}$ ) respektieren. Es bleiben jedoch zwei kritische Lücken für den Einsatz dieser Skills bei fragilen Objekten:

Wer legt die Obergrenze fest? Aktuelle Methoden optimieren $F_{max}$ oft automatisch, um Erfolgsraten zu maximieren. Dieser Ansatz scheitert, wenn ein einzelnes System sowohl robuste (z. B. Stahl) als auch fragile (z. B. Nylon oder Glas) Teile handhaben muss, da eine Obergrenze, die für Erstere ausreicht, Letztere zerstören würde.
Was tun im Fehlerfall? Wenn eine Insertion fehlschlägt, ist die intuitive Erholungsstrategie – „stärker drücken“ – genau die Aktion, die fragile Komponenten zerstört. Bestehende visuelle Fehleranalysatoren (z. B. REFLECT, DoReMi) operieren auf Aufgabenebene und übersehen oft die subtilen Unterschiede zwischen Fehlermodi (z. B. Verkanten vs. Kreuzgewindebildung), die nur in Kraftverläufen, nicht aber in visuellen Pixeln erkennbar sind.

Methodik: FORGE-plus Architektur

FORGE-plus führt ein zweischichtiges System ein, das darauf ausgelegt ist, Sicherheit zu erzwingen, ohne sich für die Echtzeit-Kontrollautorität auf das LLM zu verlassen. Das System arbeitet vollständig in der Simulation (Isaac Lab) mit Starrkörperdynamik und modelliertem Bruch.

1. Das Zwei-Schichten-System

Slow Layer (Gefrorener LLM-Supervisor):
- Budget-Setter: Vor einer Episode liest ein gefrorenes, rein textbasiertes LLM die Identität des Objekts (Name, Material, Geometrie-Tags) und gibt eine pro Objekt spezifische Kraftobergrenze ( $F_{max}$ ) aus. Es sieht keine Bilder oder instanzspezifischen Bruchdaten.
- Recovery-Selector: Bei Erkennung eines Fehlers liest das LLM eine kompakte Text-"Kraftsignatur" (abgeleitet aus Kraft/Drehmoment-Historie, Kontaktdauer und Slip-Ereignissen) und wählt eine Erholungsmanöver aus einem festen Menü (z. B. retract_and_reapproach, wiggle_search, rotate_align, regrasp, abort).
- Constraint: Das Menü schließt explizit jede Option aus, die "die Obergrenze zu erhöhen" beinhaltet. Die Ausgabe des LLM wird serverseitig überschrieben, um sicherzustellen, dass $F_{max}$ während der Erholung unveränderlich bleibt.
Fast Layer (Kraftkonditionierter RL-Skill):
- Eine kraftkonditionierte MLP-Policy (trainiert via Behavior Cloning und DAgger) führt die Insertion aus.
- Hard Clamp: Ein Sicherheits-Clamp im schnellen Kontrollzyklus (60–120 Hz) sättigt alle befohlenen Kräfte auf das vom LLM gesetzte $F_{max}$ . Dies stellt sicher, dass das LLM niemals direkte Autorität über die physikalisch angewendete Kraft hat.
- Release Head: Ein gelernter linearer Head (der den Haupt-Policy-Trunk umgeht) entscheidet, wann das Objekt losgelassen wird, basierend auf Rohbeobachtungen.

2. Evaluierungsdesign (Nicht-Zirkularität)

Die Evaluierung ist so konzipiert, dass zirkuläre Argumentationen bezüglich der Fragilität verhindert werden:

Verborgener Bruch: Die Bruchkraft ( $F_{break}$ ) wird pro Episode aus einer Verteilung gezogen und ist niemals dem Policy, dem LLM oder dem Signature-Encoder bekannt. Sie ist nur dem Evaluator sichtbar.
Sicherheits-Invarianten: $F_{max}$ bleibt während der Erholung fix, und die Kraftautorität liegt strikt im Fast-Control-Loop.

Kernbeiträge

1. Architektur und Benchmark

Das Paper präsentiert eine einheitliche Architektur für kraftbudgetierte Montage unter Berücksichtigung der pro Objekt variierenden Fragilität. Es führt eine nicht-zirkuläre Bruchmetrik und einen Benchmark ein, der zwei unterschiedliche Aufgaben umfasst:

Fragile Flaschenplatzierung: Einsetzen einer Weinflasche in ein Regal (simulierte fragile Klasse mit $F_{break} \approx 22$ N).
Engtolerante Zahnradinsertion: Einsetzen eines Zahnrads mit 0,4 mm Durchmesser-Freimachung (simuliertes fragiles ABS-Zahnrad mit $F_{break} \approx 38 \pm 5$ N).
Embodiments: Experimente laufen auf zwei Greifern: Robotiq 2F-140 und Franka Panda Hand.

2. Full-Cycle Ergebnisse

Ein einziger einheitlicher Checkpoint (eine "Weight Soup" von Policies, die auf sowohl fragilen als auch robusten Klassen trainiert wurden) erreichte:

Clean Gates: 256/256 erfolgreiche saubere Insertionen mit null Brüchen auf sowohl fragilen als auch robusten Zahnradklassen mit dem Robotiq 2F-140.
Release: 256/256 erfolgreiche gelernte Releases mit null "Bad Releases" (vorzeitige oder fehlgeschlagene Releases).
Physical Flow: Ein voll physischer Tisch-Pick-Flow (kein Teleportation oder kinematische Fixierung) schloss 64/64 Episoden mit einer mittleren Spitzen-Insertionskraft von 5,4 N ab.

3. Erholungseffizienz vs. Baselines

Unter injizierten Störungen (Rand-Verkeilungen und 5 mm In-Grip-Slips):

Force-Signature Recovery: Das vorgeschlagene System konnte 40 % der Blockaden (Robotiq) und 64 % der Blockaden (Franka) durch das Routing spezifischer Kraftsignaturen an das korrekte Erholungs-Primitiv (z. B. regrasp für gekippte Griffe) beheben.
Press-Harder Baseline: Diese Baseline (modelliert nach dem Verhalten von Tactile-VLA) zeigte zwei distinkte Fehlermodi:
- Robotiq 2F-140: 100 % nutzlos (Timeouts), da die gekippte Bohrung nie in die Last eingriff, was eine Kraftsteigerung wirkungslos machte.
- Franka Panda: 96 % destruktiv, indem sie fragile Teile durch Eskalation der Kraft brach.
Vision-LLM Proxy: Ein Menü-Sampling-Proxy für visuelle Reasoner erreichte niedrigere Erfolgsraten (28 % und 32 %), da er nicht in der Lage war, die Kraftsignatur eines gekippten Griffs von anderen Fehlern zu unterscheiden.

4. Negative Ergebnisse als Erkenntnisse

Das Paper berichtet rigoros darüber, was nicht funktioniert:

PPO Versagen: On-Policy PPO Training versagt bei 0,4 mm Clearance auf dem Robotiq 2F-140; das für die Exploration benötigte Rauschen ist inhärent destruktiv für fragile Teile.
Tiny-Std Polish: Das Fine-Tuning einer funktionierenden Behavior Cloning (BC) Policy mit PPO (niedrige Standardabweichung) zerstört die Policy innerhalb von 20 Iterationen aufgrund von Gradienten-Amplifikation.
Oracle Budget: Selbst ein "Oracle", das $F_{max} = F_{break} - \epsilon$ setzt, scheitert (50 % Bruch), weil der Controller-Overshoot das Budget überschreitet. Dies beweist, dass ein sicheres Budget die Overshoot-Verteilung des Controllers berücksichtigen muss, nicht nur den Bruchschwellenwert.
Release Head Designs: Drei natürliche Designs für einen gelernten Release Head scheiterten; nur ein Input-Skip-Linear-Head (der den Trunk umgeht) war erfolgreich.

Bedeutung und Ansprüche

Das Paper behauptet, dass FORGE-plus eine strukturelle Lösung für die Probleme „Wer setzt die Obergrenze?“ und „Was tun im Fehlerfall?“ bei kontaktreichen Montagen bietet:

Identitäts-basierte Budgets: Ein konservatives Budget, das aus der Objektidentität abgeleitet wird, übertrifft ein „Oracle“-Budget, da es den Controller-Overshoot berücksichtigt und somit Sicherheit gewährleistet, ohne die spezifische Bruchschwelle der Instanz kennen zu müssen.
Kraft-fundierte Erholung: Erholungsstrategien müssen in Kraftsignaturen fundiert sein, nicht in Vision. Die Kraftsignatur ist das einzige Signal, das in der Lage ist, die Notwendigkeit eines „Regraspens“ (gekippter Griff) von anderen Fehlern zu unterscheiden, und übertrifft die visuelle Auswahl um den Faktor ~2.
Das Scheitern von „Press Harder“: Die natürliche Erholung durch Erhöhung der Kraft wird als entweder nutzlos oder destruktiv bewiesen, abhängig vom Greifer und Fehlermodus, und ist niemals die korrekte Lösung.
Sicherheits-Trennung: Sicherheit wird durch den Hard-Clamp im Fast-Loop garantiert, nicht durch das LLM. Das LLM fungiert lediglich als semantischer Selektor für Bewegungs-Primitive, niemals als Kraftautorität.

Die Autoren betonen, dass diese Ergebnisse rein simulationsbasiert mit Rigid-Body-Physik und modelliertem Bruch sind. Ein Sim-to-Real Transfer wird nicht beansprucht, obwohl die zugrunde liegende FORGE-artige Kraftkonditionierung auf vorangegangene Transfer-Erfolge hinweist. Die Arbeit dient als rigoroser Benchmark und als Quelle für negative Erkenntnisse zur Führung zukünftiger Forschung in der fragilen Manipulation.