IROSA: Interactive Robot Skill Adaptation using Natural Language

Dit paper introduceert IROSA, een nieuw framework dat foundation modellen en imitatielearning combineert om robots via natuurlijke taal instructies veilig en zonder fine-tuning vaardigheden aan te passen voor industriële taken zoals het invoegen van lagers.

De kern

Titel: Hoe je een robot kunt leren praten zonder hem te herschrijven

Stel je voor dat je een zeer getalenteerde, maar stijve robot hebt. Deze robot is een meester in één specifieke taak, bijvoorbeeld het oppakken van een ring en het plaatsen ervan in een machine. Hij heeft dit echter alleen geleerd door te kijken hoe een mens het een paar keer doet. Hij is als een pianist die één stuk perfect kan spelen, maar als je vraagt: "Speel dit iets langzamer" of "Ga een beetje linksom om die vaas heen", weet hij niet wat hij moet doen.

In het verleden moest je, om dit te veranderen, de robot "herscheppen". Dat betekent dat je als programmeur diep in de code moest duiken, formules moest aanpassen en opnieuw moest testen. Dat is duur, tijdrovend en gevaarlijk als je een fout maakt.

De auteurs van dit artikel (IROSA) hebben een slimme oplossing bedacht. Ze noemen het een "vertaler met een veiligheidsnet".

Hoe werkt het? (De Analogie)

Stel je voor dat de robot een chef-kok is die een recept (de beweging) al kent. Jij bent de klant die zegt: "Ik wil dit gerecht, maar maak het een beetje minder pittig en serveer het iets sneller."

In oude systemen moest de klant de chef-kok dwingen om het hele recept uit het hoofd te herschrijven. Dat is riskant; de chef kan vergeten hoe het gerecht er oorspronkelijk uitzag.

Bij dit nieuwe systeem (IROSA) gebeurt er iets anders:

1. De Vertaler (De AI): Je spreekt tegen een slimme computer (een Large Language Model, of LLM). Deze computer is als een vertaler die jouw dagelijkse taal begrijpt.
2. Het Veiligheidsnet (De Toolbox): De vertaler mag niet zelf het recept herschrijven. Dat is te gevaarlijk. In plaats daarvan heeft de vertaler een toolbox met vooraf goedgekeurde, veilige gereedschappen.
   • Heb je het "sneller" nodig? Dan pakt de vertaler het gereedschap "Snelheid aanpassen".
   • Moet hij om een obstakel heen? Dan pakt hij het gereedschap "Obstakel vermijden".
   • Moet hij ergens anders langs? Dan gebruikt hij "Route corrigeren".
3. De Chef (De Robot): De vertaler geeft de chef-kok alleen de instructie: "Gebruik gereedschap 'Snelheid' en zet de knop op 50%." De chef past dit toe op zijn bestaande recept. Omdat de gereedschappen veilig zijn ontworpen, kan de robot nooit iets geks doen, zoals tegen een muur rijden of zichzelf breken.

Wat kunnen ze nu doen?

In hun experimenten lieten ze een robot een industriële taak uitvoeren (een ring in een gat steken) en gaven ze hem commando's in gewoon Nederlands (of Engels):

• "Ga langzamer voordat je bij de doos komt."
  • Wat gebeurt er: De robot vertraagt precies op dat stukje, maar blijft de rest van de beweging normaal doen.
• "Kijk even naar de camera links."
  • Wat gebeurt er: De robot past zijn route aan zodat hij even naar de camera toegaat voordat hij verder gaat.
• "Vermijd die blauwe doos."
  • Wat gebeurt er: De robot ziet de doos en trekt zijn route netjes om die heen, alsof hij een onzichtbare muur voelt.

Waarom is dit zo belangrijk?

• Geen programmeurs nodig: Je hoeft geen code te schrijven. Je praat gewoon tegen de robot.
• Veiligheid: Omdat de AI alleen mag kiezen uit een lijstje met veilige opties (de toolbox), kan hij geen gekke dingen verzinnen. Dit is cruciaal in fabrieken waar mensen en robots naast elkaar werken.
• Snelheid: Het werkt direct. Je hoeft de robot niet opnieuw te trainen met duizenden voorbeelden.
• Betrouwbaarheid: Zelfs als de AI (de vertaler) een beetje slordig is, zorgt het systeem ervoor dat de robot niet uit de bocht vliegt.

Samenvattend

Dit artikel laat zien hoe we robots kunnen leren om te luisteren naar onze wensen, zonder dat we ze als computers moeten programmeren. Het is alsof je een robot niet meer als een dure machine behandelt, maar als een slimme assistent die je gewoon kunt vertellen wat je wilt, terwijl hij zichzelf veilig houdt dankzij een slim systeem van "veilige gereedschappen".

Het is een stap in de richting van fabrieken waar mensen en robots samenwerken alsof ze goede vrienden zijn, waarbij de mens de leiding neemt met een simpel gesprek.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "IROSA: Interactive Robot Skill Adaptation using Natural Language" in het Nederlands.

Titel: IROSA: Interactieve Robotvaardigheidsadaptatie met Natuurlijke Taal

Auteurs: Markus Knauer et al. (DLR & TU München)
Publicatie: IEEE Robotics and Automation Letters (Preprint)

---

1. Het Probleem

Robotica-applicaties in industriële omgevingen vereisen steeds vaker flexibele systemen die eenvoudig kunnen worden herschikt voor verschillende taken. Hoewel Foundation Models (zoals Large Language Models of LLM's) en Imitatie-Leren (Imitation Learning) veelbelovend zijn, zijn er aanzienlijke uitdagingen bij het combineren van deze technologieën voor industriële inzet:

• End-to-end benaderingen: Modellen die direct sensorimotorische data leren, missen vaak de vereiste interpreteerbaarheid, verifieerbaarheid en veiligheid die cruciaal zijn in industriële settings.
• Bestaande modulaire benaderingen: Methoden die taal en robotbesturing scheiden, vereisen vaak opnieuw trainen (retraining) na elke correctie, werken op symbolisch niveau in plaats van op continue trajecten, of vertrouwen op onbetrouwbare code-generatie (zoals OVITA) die afhankelijk is van cloud-API's.
• Doel: Er is behoefte aan een systeem dat natuurlijke taal gebruikt voor aanpassingen, maar wel strikte veiligheidsmarges en deterministisch gedrag garandeert zonder dat het robotmodel opnieuw getraind hoeft te worden.

2. Methodologie

De auteurs presenteren IROSA, een raamwerk dat natuurlijke taalcommando's omzet in veilige aanpassingen van robotvaardigheden via een tool-gebaseerde architectuur.

Kernarchitectuur

Het systeem onderhoudt een strikte scheiding tussen taalbegrip (LLM) en robotbesturing. De LLM heeft geen directe toegang tot de hardware of het genereren van trajecten. In plaats daarvan selecteert en parameteriseert de LLM vooraf gedefinieerde, gevalideerde tools (functies) die een onderliggend bewegingsgeneratiemodel aanpassen.

• Basis voor Beweging: Het systeem gebruikt Kernelized Movement Primitives (KMPs). Dit is een niet-parametrisch, probabilistisch imitatie-leerframework dat vaardigheden leert uit een klein aantal demonstraties (2-5). KMPs bieden de mogelijkheid om trajecten aan te passen via startpunten, eindpunten en via-points, terwijl de onzekerheid en de structuur van de oorspronkelijke vaardigheid behouden blijven.
• Tool-gebaseerde Interface: De LLM werkt met een "toolbox" van JSON-gedefinieerde functies. De LLM kiest de juiste tool en vult parameters in op basis van de tekstuele beschrijving van de tool en de gebruikersinstructie (Zero-shot learning, geen fine-tuning nodig).

De Vijf-Stappen Workflow

1. Gebruikersquery: De gebruiker geeft een commando in natuurlijke taal (bijv. "vertraag voor de doos") en het systeem ontvangt omgevingsobservaties (objectposities).
2. Tool Selectie: De LLM analyseert de intentie en selecteert de juiste tool uit de toolbox (bijv. SpeedUpRobot of RepulsionPointGenerator).
3. Tool Parameterisatie: De LLM extrahert parameters (bijv. snelheidspercentage, tijdstippen) uit de instructie. Numerieke berekeningen (zoals het vinden van exacte tijdstippen op basis van objectposities) worden overgelaten aan deterministische algoritmen binnen de tool om fouten te minimaliseren.
4. Tool Executie: De tool past het KMP-model aan. De drie hoofdmechanismen zijn:
   • Snelheidsmodulatie: Aanpassen van de tijdsintervallen tussen trajectpunten (temporele aanpassing).
   • Via-point Invoeging: Het toevoegen van nieuwe punten om het traject ruimtelijk te sturen (bijv. "ga linksom").
   • Repulsie-punt Generatie: Het creëren van afstotende krachten (via een Signed Distance Field) om botsingen met obstakels te voorkomen.
5. Feedback: De robot voert het aangepaste traject uit en de gebruiker kan iteratief verder aanpassen.

3. Belangrijkste Bijdragen

1. Tool-gebaseerde Architectuur: Een nieuw raamwerk dat Zero-shot aanpassing van robotvaardigheden mogelijk maakt via gestructureerde function calls, met een strikte scheiding tussen taal en controle voor veiligheid.
2. Nieuwe KMP-extensies: Innovaties in KMP's voor natuurlijke taal-gedreven snelheidsmodulatie en obstakelontwijking via repulsievelden, wat uitbreidt boven traditionele via-point beperkingen.
3. Experimentele Validatie: Succesvolle demonstratie op een 7-DoF torque-controlled robot (DLR SARA) in een industriële taak (het invoegen van een lagerschijf), waarbij aanpassingen voor snelheid, trajectcorrectie en obstakelontwijking werden uitgevoerd zonder model-finetuning.

4. Resultaten

De methode werd getest op een 7-DoF robot met een taak waarbij een lagerschijf uit een doos wordt gehaald en in een meetapparaat wordt geplaatst. De LLM die werd gebruikt was Qwen2.5-VL-72B-Instruct (lokaal gedraaid).

• Prestatiemetingen:
  • Commando Success Rate (CSR), Interpretation Success Rate (ISR), Task Completion Rate (TCR): IROSA behaalde 100% op alle drie de metrieken voor snelheidsaanpassing en obstakelontwijking. Voor trajectcorrectie was de ISR 80% (soms werd ongevraagd ook snelheid aangepast, maar de taak werd wel succesvol voltooid).
  • Vergelijking met OVITA: In vergelijking met de state-of-the-art methode OVITA (die code genereert), presteerde IROSA aanzienlijk beter, vooral bij gebruik van een lokale LLM. OVITA faalde vaak in taakvoltooiing (TCR) bij lokale modellen en had een langere responstijd.
  • Snelheid: IROSA was 43% sneller dan OVITA met dezelfde lokale LLM.
• Veiligheid en Transparantie: Het systeem garandeert dat de robot zich binnen veilige operationele grenzen beweegt door validatie binnen de tools. Gebruikers kunnen precies zien welke tool is geselecteerd en welke parameters zijn gebruikt.

5. Betekenis en Conclusie

IROSA biedt een onmiddellijk inzetbare, kosteneffectieve en veilige oplossing voor industriële robotica. Door de LLM te beperken tot het selecteren van gevalideerde tools in plaats van het genereren van code of directe acties, worden de risico's van "hallucinaties" van de LLM geminimaliseerd.

• Industriële Toepasbaarheid: Het systeem werkt lokaal (geen cloud-afhankelijkheid), vereist geen opnieuw trainen van het robotmodel en biedt volledige traceerbaarheid van beslissingen.
• Toekomstperspectief: Hoewel het systeem beperkt is tot de vooraf gedefinieerde tools (wat flexibiliteit beperkt ten gunste van veiligheid), biedt het een solide basis voor interactieve robotbesturing. Toekomstig werk richt zich op het uitbreiden van de toolset, het selecteren van verschillende vaardigheden via taal, en het onderzoeken van de combinatie van fysieke feedback en natuurlijke taal.

Kortom, IROSA demonstreert dat het combineren van krachtige taalmodellen met robuuste, probabilistische bewegingsrepresentaties (KMPs) via een gestructureerde interface een haalbare weg is naar veilige en intuïtieve robotbesturing in complexe omgevingen.