Human-in-the-Loop Uncertainty Analysis in Self-Adaptive Robots Using LLMs

Dit artikel introduceert RoboULM, een methode en hulpmiddel met menselijke tussenkomst die grote taalmodellen benut om praktici te helpen systematisch onzekerheden in zelfadaptieve robots tijdens de ontwerpfase te identificeren, analyseren en mitigeren, zoals gevalideerd door positieve feedback van industriële praktici uit vier gebruiksscenario's.

De kern

Stel je voor dat je een robot bouwt die een drukke stad moet navigeren, een laptop moet repareren of een schip moet varen. De wereld is rommelig, onvoorspelbaar en vol verrassingen. Als je robot niet voorbereid is op deze verrassingen (die het artikel 'onzekerheden' noemt), kan hij crashen, iets breken of vastlopen.

Het probleem is dat het uitzoeken van alle mogelijke dingen die mis kunnen gaan, ongelooflijk moeilijk is. Het is alsof je probeert elke enkele manier te lijsten waarop een huis in brand kan vliegen, nog voordat je het zelfs maar bouwt. Meestal moeten ingenieurs gokken op basis van hun ervaring, wat vaak verborgen gevaren mist.

Dit artikel introduceert een nieuw hulpmiddel genaamd RoboULM om dit op te lossen. Denk aan RoboULM als een super-slimme, onvermoeibare assistent die ingenieurs helpt bij het brainstormen over elk mogelijk 'wat als'-scenario voordat de robot ooit wordt gebouwd.

Hier is hoe het werkt, met eenvoudige analogieën:

1. De 'Meesterlijst' (De Taxonomie)

Eerst hebben de onderzoekers een enorme, georganiseerde 'Meesterlijst' gemaakt genaamd UncerTax.

• De Analogie: Stel je een handleiding voor een monteur die niet alleen auto-onderdelen opsomt, maar elke mogelijke fout categoriseert: Is het een lekke band (hardware)? Is het een verwarrende kaart (software)? Is het een plotselinge regenbui (omgeving)?
• Wat het doet: Deze lijst helpt de menselijke ingenieurs van de robot en de computerassistent om dezelfde taal te spreken. Het zorgt ervoor dat ze niet alleen denken aan 'kapotte onderdelen', maar ook aan 'verwarrende data' of 'ethische kwesties'.

2. De 'Brainstormpartner' (De LLM)

Het hulpmiddel gebruikt een Large Language Model (LLM), wat een zeer kennisrijk maar soms praatgrage AI is.

• De Analogie: Stel je voor dat je een naald in een hooiberg probeert te vinden. Je vraagt een vriend (de AI) om hulp. Als je alleen zegt: 'Vind de naald', missen ze hem misschien. Maar als je hen een specifieke strategie geeft, worden ze er veel beter in.
• Wat het doet: RoboULM vraagt de AI niet zomaar om te 'gokken'. Het geeft de AI een specifieke set instructies (prompts) gebaseerd op de Meesterlijst. Het vertelt de AI: 'Kijk naar de eisen van de robot en vertel me precies waar de risico's liggen, gebruikend deze 12 specifieke categorieën.'

3. De 'Mens in de Lus' (De Verfijning)

Dit is het belangrijkste deel. De AI wordt niet alleen gelaten om het werk te doen; een mens zit altijd achter het stuur.

• De Analogie: Denk aan de AI als een stagiair die enthousiast is maar soms fouten maakt. Jij (de senior ingenieur) beoordeelt hun werk.
  • Ranking: Je geeft de stagiair een score. 'Je hebt het 'veiligheid'-gedeelte goed (10/10), maar je 'hardware'-gok was zwak (3/10). Probeer het opnieuw.'
  • Voorbeelden: Je zegt: 'Herinner je die keer dat de robot uitgleed op een natte vloer? Denk daarover na als je de risico's gokt.'
  • Checklist: Je wijst naar de Meesterlijst en zegt: 'Je hebt de 'omgeving'-categorie gemist. Ga terug en vul dat in.'
• Wat het doet: Het hulpmiddel laat de menselijke ingenieur de antwoorden van de AI blijven verfijnen totdat ze perfect zijn. Het is een wisselend gesprek, geen eenmalige opdracht.

4. De Realiteitstest

De onderzoekers testten dit hulpmiddel met 16 echte experts die werken met vier verschillende soorten robots:

1. Autonome Mobiele Robots (zoals bezorgrobots in magazijnen).
2. Industriële Demontage-robots (robots die laptops uit elkaar halen).
3. Collaboratieve Productierobots (robots die zij aan zij werken met mensen in fabrieken).
4. Autonome Vaartuigen (zelfrijdende schepen).

De Resultaten:

• De experts vonden het hulpmiddel zeer nuttig en makkelijk te begrijpen.
• Ze waren dol op de gestructureerde prompts (de duidelijke instructies aan de AI).
• Ze vonden de iteratieve verfijning (de mogelijkheid om de AI te beoordelen en te vragen het opnieuw te proberen met voorbeelden) het meest behulpzame deel.
• De experts voelden dat dit hulpmiddel hen hielp risico's te vinden die ze anders misschien hadden gemist, waardoor de robots veiliger werden voordat ze de echte wereld in gingen.

Samenvatting

Kortom, RoboULM is een digitale werkplaats waar menselijke ingenieurs en een slimme AI samenwerken. De mens levert de ervaring en het oordeel, terwijl de AI fungeert als een krachtige motor die door een enorme 'Meesterlijst' scant om potentiële gevaren te vinden. Door samen te werken in een lus van vragen, controleren en verfijnen, kunnen ze veiligere, betrouwbaardere robots bouwen die klaar zijn voor de onvoorspelbare echte wereld.

Technische samenvatting

Technische Samenvatting: Mens-in-de-lus Onzekerheidsanalyse in Zelfadaptieve Robots met LLM's

Probleemstelling
Zelfadaptieve robots (SAR's) opereren in dynamische, onvoorspelbare omgevingen waar onopgeloste onzekerheden kunnen leiden tot schendingen van de veiligheid en operationele storingen. Hoewel het vroegtijdig identificeren van onzekerheden tijdens de ontwerpfase kosteneffectiever is dan correcties na de implementatie, blijft het systematisch analyseren van deze onzekerheden een aanzienlijke uitdaging. Bestaande benaderingen vertrouwen vaak op intuïtie, eerdere ervaringen of statische taxonomieën, die slechts beperkte subsets van onzekerheden blootleggen en moeite hebben om gelijke tred te houden met de evoluerende robottechnologieën en de integratie van Large Language Models (LLM's). Het kernprobleem is het ontbreken van een systematische, rigoureuze en schaalbare methode voor practitioners om onzekerheden in complexe SAR's tijdens het ontwerpstadium te verkennen en te categoriseren.

Methodologie: RoboULM
Om dit aan te pakken, stellen de auteurs RoboULM voor, een mens-in-de-lus methodologie en tool die is ontworpen om practitioners te ondersteunen bij het systematisch verkennen van onzekerheden met behulp van LLM's. De methodologie integreert drie nieuwe componenten:

1. Onzekerheidstaxonomie (UncerTax): Een gestructureerde categorisering van onzekerheden afgeleid uit vier industriële casestudies en gevalideerd door practitioners. UncerTax organiseert onzekerheden over 12 dimensies: aard (statisch/dynamisch), type (epistemisch/aleatorisch), fase (ontwerp/ontwikkeling/testen/operationeel), tijdsduur, bron van voorkomen (hardware/omgeving/software), bron van adaptatie, reikwijdte (lokaal/globaal), risicoseverity, beïnvloede kwaliteitsattributen, propagatiepatronen, datakarakteristieken en ethische implicaties.
2. LLM-gedreven Verkenning: De tool maakt gebruik van LLM's om te redeneren over systeemvereisten en onzekerheden te identificeren. Het hanteert vier specifieke promptingstrategieën:
   • Rolgebaseerde prompting: Vestigt een door een persona gedreven context.
   • Rubriekgebaseerde prompting: Integreert door mensen toegewezen rangschikkingen voor kwalitatieve verfijning.
   • Few-shot prompting: Biedt voorbeelden voor ervaring-gebaseerde begeleiding.
   • Ontologie-gedwongen prompting: Leidt het model met behulp van UncerTax-elementen.
3. Iteratief Verfijningswerkstroom: RoboULM werkt via een drie-staps proces:
   • Contextbegrip: De gebruiker verstrekt systeemvereisten en roldefinities; de LLM vat zijn begrip van de robotcontext samen.
   • Initiële Query: De gebruiker stelt een vraag gerelateerd aan onzekerheid. De LLM reageert met een gestructureerde output die is gecategoriseerd volgens de 12 UncerTax-dimensies, met redenering voor elk onderdeel.
   • Iteratieve Verfijning: Als de initiële reactie onbevredigend is, verfijnt de gebruiker de output met een van de drie methoden:
     • Rangschikking-gebaseerde verfijning: De gebruiker scoort reactie-segmenten (1–10) om verbeterpunten te benadrukken.
     • Voorbeeldgedreven verfijning: De gebruiker levert concrete real-world scenario's om beoogde interpretaties te verduidelijken.
     • Taxonomie-gestuurde verfijning: De gebruiker selecteert specifieke taxonomie-elementen om de redenering van de LLM te sturen.

De tool is geïmplementeerd als een webapplicatie (React frontend, Express backend) met het Gemini 2.5 Flash-model (gekozen voor zijn hybride redenering en groot contextvenster), hoewel het compatibel is met andere modellen zoals ChatGPT en Llama.

Belangrijkste Bijdragen

• UncerTax: Een uitgebreide onzekerheidstaxonomie specifiek voor SAR's, die identificatiemethoden, bronnen, impacten en mitigatiestrategieën over 12 dimensies in detail beschrijft.
• RoboULM Tool: Een functioneel prototype dat mens-in-de-lus onzekerheidsanalyse operationaliseert, gestructureerde prompting combineert met mogelijkheden voor iteratieve verfijning.
• Promptingstrategieën: Een suite van geavanceerde promptingtechnieken (rangschikking, voorbeeldgedreven en taxonomie-gestuurd) die zijn ontworpen om door LLM's gegenereerde onzekerheidsanalyses iteratief te verfijnen.

Evaluatie en Resultaten
De auteurs hebben RoboULM geëvalueerd met 16 practitioners (waaronder onderzoekers, software-engineers en robot-engineers) over vier industriële use-cases: Autonomous Mobile Robot (AMR), Industrial Disassembly Robot (IDR), Collaborative Manufacturing Robot (CMR) en Autonomous Vessel (AV).

• Gebruiksvriendelijkheid: De tool werd over het algemeen nuttig en makkelijk te begrijpen bevonden. De AMR-casestudy ontving de hoogste beoordelingen (mediaan 4,5/5 voor nut en begrip).
• Voorkeur voor Functies: Gestructureerde prompting was de meest consequent gewaardeerde functie (Gemiddelde: 4,25, Top-Two-Box-score: 87,5%). Iteratieve verfijning (Stap 3) werd door deelnemers geïdentificeerd als het meest behulpzame aspect.
• Verfijningsmethoden: Rangschikking-gebaseerde verfijning was de meest gebruikte en werd als rechttoe rechtaan ervaren. Voorbeeldgedreven verfijning ontving sterke beoordelingen wanneer deelnemers relevante voorbeelden konden geven. Taxonomie-gestuurde verfijning werd door sommige deelnemers minder gewaardeerd (met name in CMR- en AV-cases) vanwege de uitdaging om relevante taxonomie-elementen te identificeren en de af en toe voorkomende focus van de LLM op het uitleggen van de taxonomie in plaats van het verfijnen van de reactie.
• Interactielogboeken: De meeste deelnemers voltooiden de taken en verkeerden meerdere onzekerheidsvragen. De analyse bevestigde dat deelnemers een breed scala aan bronnen van onzekerheid (omgeving, hardware, software, mens) en impacten bestreken.

Betekenis en Claims
Het artikel stelt dat RoboULM de praktijktoepasbaarheid aantoont van het gebruik van LLM's voor systematische onzekerheidsanalyse in complexe robots. De bevindingen suggereren dat het combineren van gestructureerde prompting met door mensen geleide iteratieve verfijning practitioners in staat stelt onzekerheden uitgebreider te verkennen dan traditionele methoden. De auteurs positioneren RoboULM als een levensvatbare oplossing voor het aanpakken van de uitdaging van rigoureuze onzekerheidsanalyse in SAR's, met name door het redeneervermogen van LLM's te benutten terwijl menselijk toezicht wordt behouden via de taxonomie en verfijningslussen.

De auteurs blijven bescheiden over hun claims, met de opmerking dat dit werk een "eerst werkend prototype" en een gebruiksgemakstudie presenteert. Ze erkennen beperkingen in de externe validiteit vanwege de steekproefgrootte (16 deelnemers), maar betogen dat de diversiteit van industriële cases en deelnemersrollen de bevindingen versterkt. Voor toekomstig werk is gepland om door deelnemers voorgestelde functies op te nemen en de tool te evalueren over aanvullende robotcases en LLM's.