IROSA: Interactive Robot Skill Adaptation using Natural Language

Das Paper stellt IROSA vor, ein Framework, das große Sprachmodelle nutzt, um Robotern über natürliche Sprache und eine schützende Werkzeugarchitektur anpassungsfähige Fähigkeiten wie Geschwindigkeitsregelung und Hindernisvermeidung ohne Feinabstimmung zu ermöglichen.

Das Wesentliche

Hier ist eine einfache Erklärung des Papers „IROSA" auf Deutsch, die technische Begriffe durch anschauliche Vergleiche ersetzt:

Das Grundproblem: Der Roboter ist ein stures Schulkind

Stellen Sie sich vor, Sie haben einen sehr talentierten Roboterarm, der eine Aufgabe perfekt gelernt hat – zum Beispiel einen kleinen Metallring in eine Maschine einzulegen. Er hat das durch „Nachahmen" gelernt (ein Mensch hat ihm die Bewegung gezeigt).

Das Problem: Wenn Sie dem Roboter jetzt sagen: „Hey, mach das mal etwas langsamer, bevor du den Ring absetzt" oder „Meide bitte die blaue Kiste dort", versteht er das nicht. Er ist wie ein Schüler, der nur die eine Aufgabe auswendig gelernt hat. Um ihn zu ändern, müssten Sie normalerweise einen Programmierer rufen, der den Code umschreibt. Das ist langsam, teuer und kompliziert.

Die Lösung: IROSA – Der Dolmetscher mit Werkzeugkasten

Die Forscher haben ein System namens IROSA entwickelt. Man kann sich das wie einen intelligenten Dolmetscher vorstellen, der zwischen Ihnen (der natürliche Sprache spricht) und dem Roboter (der nur strenge Befehle versteht) sitzt.

Aber dieser Dolmetscher ist nicht einfach nur ein Chatbot, der wild herumphantasiert. Er hat einen strengen Werkzeugkasten.

1. Der Werkzeugkasten (Die „Tools")

Stellen Sie sich vor, der Roboter hat einen Kasten mit nur drei oder vier sehr spezifischen Werkzeugen:

• Das Geschwindigkeits-Regler: „Mach hier langsamer" oder „Dort schneller".
• Der Weg-Korrektor: „Geh einen Schritt nach links" oder „Füge einen Zwischenstopp ein".
• Der Abwehr-Schild: „Weiche diesem Hindernis aus".

Der Roboter darf nur diese Werkzeuge benutzen. Er darf nicht plötzlich entscheiden, einen Salto zu machen oder die Farbe zu ändern. Das ist wichtig für die Sicherheit in Fabriken.

2. Der Dolmetscher (Die KI / LLM)

Wenn Sie sagen: „Pass auf, die blaue Kiste ist im Weg, weiche ihr aus!", schaut sich der Dolmetscher (eine große Sprach-KI) Ihren Satz an.

• Er erkennt: „Aha, der Nutzer will eine Kiste vermeiden."
• Er greift in den Werkzeugkasten und nimmt das Werkzeug „Abwehr-Schild".
• Er füllt die Schrauben des Werkzeugs mit den richtigen Werten: „Kiste ist blau, Position ist X, Sicherheitsabstand 2 cm."

Der Clou: Der Dolmetscher schreibt keinen neuen Code für den Roboter. Er steuert nur die vorhandenen, sicheren Werkzeuge. Das ist wie ein Dirigent, der einem Orchester sagt, wie laut oder leise es spielen soll, ohne selbst ein neues Instrument zu erfinden.

Warum ist das so cool? (Die Vorteile)

• Kein Neulernen nötig: Der Roboter muss nicht jedes Mal neu trainiert werden. Er behält sein gelerntes Können, wird aber durch Ihre Worte flexibel.
• Sicher wie ein Schweizer Taschenmesser: Da der Roboter nur vordefinierte Werkzeuge benutzt, kann er nichts „Verrücktes" tun. Die KI kann nicht plötzlich den Roboter gegen die Wand fahren lassen, weil sie nur Werkzeuge auswählen darf, die sicher sind.
• Verständlich: Wenn etwas schiefgeht, können Sie genau nachvollziehen, welches Werkzeug die KI gewählt hat. Es ist keine „Black Box", bei der man nicht weiß, was passiert.

Ein konkretes Beispiel aus dem Papier

In dem Experiment musste ein Roboter einen Ring von einer Box holen und in eine Messvorrichtung legen.

1. Normal: Der Roboter macht es schnell.
2. Ihr Befehl: „Mach langsamer, bevor du den Ring absetzt."
3. Die Aktion: Die KI wählt das Werkzeug „Geschwindigkeit anpassen", berechnet den richtigen Zeitpunkt und der Roboter verlangsamt sich genau in diesem Bereich – ohne dass jemand den Code ändern musste.
4. Hindernis: Dann kommt eine blaue Kiste in den Weg. Sie sagen: „Weiche der blauen Kiste aus." Die KI wählt das Werkzeug „Abwehr-Schild", berechnet einen neuen Weg, der über die Kiste führt, und der Roboter erledigt die Aufgabe trotzdem.

Zusammenfassung in einem Satz

IROSA ist wie ein sicherer Übersetzer, der Ihre alltäglichen Sätze („Mach das langsamer", „Weiche dem Hindernis aus") in präzise, sichere Bewegungen für einen Roboter verwandelt, ohne dass dieser dabei sein gelerntes Können vergisst oder gefährlich wird.

Es ist der erste Schritt dazu, dass Roboter in Fabriken so einfach zu steuern sind wie ein Smartphone per Sprachbefehl – aber mit der Sicherheit, die für Industrieumgebungen nötig ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „IROSA: Interactive Robot Skill Adaptation using Natural Language" auf Deutsch:

1. Problemstellung

Die Robotik steht vor der Herausforderung, flexible und anpassungsfähige Systeme zu entwickeln, die sich leicht für verschiedene Aufgaben und Umgebungen neu konfigurieren lassen. Während Large Language Models (LLMs) das Potenzial haben, Robotiksteuerungen für Nicht-Experten durch natürliche Sprache zugänglicher zu machen, bestehen in industriellen Anwendungen strenge Anforderungen an Interpretierbarkeit, Verifizierbarkeit und Sicherheit.

Bestehende Ansätze wie End-to-End-Lösungen (z. B. VLA-Modelle) oder Code-Generierung (z. B. OVITA) leiden oft unter mangelnder Transparenz, benötigen umfangreiche Trainingsdaten oder bieten keine garantierte Sicherheit für den industriellen Einsatz. Zudem erfordern viele modulare Ansätze nach jeder sprachlichen Korrektur ein Neulernen (Retraining) oder Offline-Optimierungsschleifen, was Echtzeit-Anpassungen verhindert.

2. Methodik: IROSA-Framework

Das vorgestellte Framework IROSA (Interactive Robot Skill Adaptation using Natural Language) adressiert diese Probleme durch eine tool-basierte Architektur, die eine strikte Trennung zwischen Sprachverständnis (LLM) und Roboterkontrolle (Hardware/Algorithmus) gewährleistet.

Kernkomponenten:

• Tool-basierte Architektur: Anstatt dass das LLM direkt Trajektorien generiert oder Code schreibt, erhält es einen vordefinierten Satz von „Werkzeugen" (Tools). Das LLM wählt basierend auf der natürlichen Sprache des Nutzers ein Tool aus und parametrisiert es. Dies verhindert Halluzinationen, die zu unsicheren Bewegungen führen könnten.
• Kernelized Movement Primitives (KMPs): Als zugrundeliegende Repräsentation für die Roboterkompetenz dienen KMPs. Dies ist ein nicht-parametrisches, probabilistisches Imitationslern-Framework, das aus wenigen Demonstrationen (2–5) eine Referenz-Trajektorie lernt. KMPs ermöglichen eine prinzipielle Trajektorienanpassung durch die Einbeziehung von Constraints (z. B. Via-Points), ohne das Modell neu trainieren zu müssen.
• Workflow (5 Schritte):
  1. User Query: Der Nutzer gibt eine Sprachanweisung (z. B. „langsamer werden vor dem Kasten").
  2. Tool Selection: Das LLM analysiert die Anweisung und den Kontext (Umgebungsdaten) und wählt ein passendes Tool aus dem JSON-basierten Schema aus (z. B. SpeedUpRobot, ViaPointInsertion, RepulsionPoint).
  3. Tool Parameterization: Das LLM extrahiert die Parameter (z. B. Geschwindigkeitsfaktor, Zeitfenster, Objektpositionen).
  4. Tool Execution: Die validierten Parameter werden an das KMP-Modell übergeben, das die interne Trajektorienrepräsentation deterministisch anpasst.
  5. Feedback: Der Roboter führt die angepasste Bewegung aus, und der Zyklus kann iterativ fortgesetzt werden.

Angepasste Werkzeugtypen:

• Speed Modulation: Temporale Anpassung der Ausführungsgeschwindigkeit in bestimmten Trajektorienabschnitten.
• Via-point Insertion: Räumliche Korrektur durch Einfügen von Zwischenpunkten (z. B. Umleitung um ein Hindernis).
• Repulsion Point Generation: Kollisionsvermeidung durch Erzeugung abstoßender Felder basierend auf Hindernisgeometrien (Signierte Distanzfelder, SDF).

3. Wichtige Beiträge

1. Tool-basierte Architektur: Ein neuartiger Ansatz, der Zero-Shot-Anpassungen von Roboterkompetenzen durch strukturierte Funktionsaufrufe ermöglicht und dabei eine strikte Trennung zwischen Sprache und Kontrolle aufrechterhält.
2. Erweiterungen von KMPs: Neue Methoden zur sprachgesteuerten Geschwindigkeitsmodulation und Hindernisvermeidung via Repulsionsfeldern, die über traditionelle Via-Point-Beschränkungen hinausgehen.
3. Experimentelle Validierung: Erfolgreicher Einsatz an einem 7-DoF-Drehmoment-gesteuerten Roboter (DLR SARA) in einer industriellen Aufgabe (Einsetzen von Lagerringen). Das System demonstriert zuverlässige Anpassungen ohne Fine-Tuning des LLM oder iterative Benutzerkorrekturen.

4. Ergebnisse

Die Evaluation wurde an einem 7-DoF-Roboter mit dem lokalen LLM Qwen2.5-VL-72B-Instruct durchgeführt. Drei Experimente wurden getestet:

• Geschwindigkeitsanpassung: Befehl „langsamer werden zwischen Kasten und Station".
• Trajektoriekorrektur: Befehl „Prüfe den Ring mit der Kamera links".
• Hindernisvermeidung: Befehl „Vermeide die blaue Box".

Quantitative Metriken:

• IROSA erreichte in allen Szenarien eine 100%ige Erfolgsrate (Command Success Rate, Task Completion Rate) und eine sehr hohe Interpretationsrate (ISR), selbst bei lokalen LLMs.
• Vergleich mit OVITA (Code-Generierung):
  • OVITA mit Cloud-LLM funktionierte gut, brach jedoch bei Verwendung desselben lokalen LLMs stark ein (z. B. nur 10% ISR bei Geschwindigkeitsanpassung, 0% TCR bei Hindernisvermeidung).
  • IROSA zeigte mit dem lokalen LLM eine 43% kürzere Reaktionszeit und überlegene Stabilität.
  • Der strukturierte Tool-Ansatz erwies sich als robuster gegen die Limitationen kleinerer oder lokaler LLMs als Code-Generierung.

5. Bedeutung und Fazit

IROSA demonstriert, dass natürliche Sprache effektiv für die Echtzeit-Anpassung von Roboteraufgaben in industriellen Umgebungen genutzt werden kann, ohne die Sicherheitsstandards zu gefährden.

• Sicherheit durch Abstraktion: Da das LLM nur vordefinierte, validierte Funktionen aufruft und keine direkten Trajektorien berechnet, sind die Risiken von Halluzinationen minimiert.
• Interpretierbarkeit: Jeder Schritt (welches Tool, welche Parameter) ist nachvollziehbar, was für die Zertifizierung und das Vertrauen von Operatoren entscheidend ist.
• Praktische Anwendbarkeit: Das System benötigt kein Neulernen des Modells, funktioniert mit lokalen LLMs (wichtig für Datenschutz und Offline-Einsatz in Fabriken) und ermöglicht sofortige Anpassungen an sich ändernde Umgebungen.

Das Paper schließt, dass dieser modulare Ansatz einen vielversprechenden Weg für die Integration von Foundation Models in die sichere, industrielle Robotik darstellt, indem er die Stärken von LLMs (Sprachverständnis) mit den Stärken etablierter probabilistischer Methoden (KMPs) kombiniert.