Human-in-the-Loop Uncertainty Analysis in Self-Adaptive Robots Using LLMs

Dieser Beitrag stellt RoboULM vor, eine Mensch-im-Loop-Methodik und ein Werkzeug, das auf großen Sprachmodellen basiert, um Praktizierenden dabei zu helfen, Unsicherheiten in selbstadaptierenden Robotern während der Entwurfsphase systematisch zu identifizieren, zu analysieren und zu mindern, was durch positives Feedback von industriellen Praktizierenden in vier Anwendungsfällen validiert wurde.

Das Wesentliche

Stellen Sie sich vor, Sie bauen einen Roboter, der eine belebte Stadt navigieren, einen Laptop reparieren oder ein Schiff steuern muss. Die Welt ist chaotisch, unvorhersehbar und voller Überraschungen. Wenn Ihr Roboter nicht auf diese Überraschungen (die in der Arbeit als „Unsicherheiten" bezeichnet werden) vorbereitet ist, könnte er einen Unfall haben, etwas beschädigen oder stecken bleiben.

Das Problem besteht darin, dass es unglaublich schwierig ist, alle möglichen Dinge herauszufinden, die schiefgehen könnten. Es ist wie der Versuch, jede einzelne Möglichkeit aufzulisten, wie ein Haus Feuer fangen könnte, bevor man es überhaupt baut. In der Regel müssen Ingenieure basierend auf ihrer Erfahrung raten, was oft verborgene Gefahren übersehen lässt.

Diese Arbeit stellt ein neues Werkzeug namens RoboULM vor, das zur Lösung dieses Problems hilft. Betrachten Sie RoboULM als einen überintelligenten, unermüdlichen Assistenten, der Ingenieuren hilft, jedes mögliche „Was-wäre-wenn"-Szenario zu brainstormen, bevor der Roboter überhaupt gebaut wird.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Meister-Checkliste" (Die Taxonomie)

Zunächst erstellten die Forscher eine riesige, organisierte „Meister-Checkliste" namens UncerTax.

• Die Analogie: Stellen Sie sich ein Mechaniker-Handbuch vor, das nicht nur Autoteile auflistet, sondern jede mögliche Fehlerquelle kategorisiert: Ist es ein platter Reifen (Hardware)? Ist es eine verwirrende Karte (Software)? Ist es ein plötzlicher Regenschauer (Umwelt)?
• Was es bewirkt: Diese Checkliste hilft den menschlichen Ingenieuren des Roboters und dem Computer-Assistenten, dieselbe Sprache zu sprechen. Sie stellt sicher, dass sie nicht nur an „defekte Teile" denken, sondern auch an „verwirrende Daten" oder „ethische Fragen".

2. Der „Brainstorming-Partner" (Das LLM)

Das Werkzeug nutzt ein Large Language Model (LLM), das wie ein sehr wissender, aber manchmal schwatzhafter KI-Assistent ist.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Nadel im Heuhaufen zu finden. Sie bitten einen Freund (die KI) um Hilfe. Wenn Sie nur sagen: „Finde die Nadel", könnte er sie übersehen. Aber wenn Sie ihm eine spezifische Strategie geben, wird er viel besser darin.
• Was es bewirkt: RoboULM bittet die KI nicht einfach nur zu „raten". Es gibt der KI eine spezifische Reihe von Anweisungen (Prompts) basierend auf der Meister-Checkliste. Es sagt der KI: „Schauen Sie sich die Anforderungen des Roboters an und sagen Sie mir genau, wo die Risiken liegen, unter Verwendung dieser 12 spezifischen Kategorien."

3. Der „Mensch im Kontrollkreis" (Die Verfeinerung)

Dies ist der wichtigste Teil. Die KI wird nicht allein gelassen, um die Arbeit zu erledigen; ein Mensch sitzt immer am Steuer.

• Die Analogie: Betrachten Sie die KI als einen motivierten, aber manchmal fehleranfälligen Praktikanten. Sie (der leitende Ingenieur) überprüfen seine Arbeit.
  • Rangfolge: Sie geben dem Praktikanten eine Bewertung. „Sie haben den Teil 'Sicherheit' richtig gemacht (10/10), aber Ihre 'Hardware'-Schätzung war schwach (3/10). Versuchen Sie es erneut."
  • Beispiele: Sie sagen: „Erinnern Sie sich an das Mal, als der Roboter auf einem nassen Boden ausrutschte? Denken Sie daran, wenn Sie die Risiken einschätzen."
  • Checkliste: Sie zeigen auf die Meister-Checkliste und sagen: „Sie haben die Kategorie 'Umwelt' übersehen. Gehen Sie zurück und füllen Sie das aus."
• Was es bewirkt: Das Werkzeug ermöglicht es dem menschlichen Ingenieur, die Antworten der KI so lange zu verfeinern, bis sie perfekt sind. Es ist ein Hin-und-Her-Gespräch, kein einmaliger Befehl.

4. Der Realwelt-Test

Die Forscher testeten dieses Werkzeug mit 16 echten Experten, die mit vier verschiedenen Robotertypen arbeiten:

1. Autonome mobile Roboter (wie Lieferroboter in Lagerhäusern).
2. Industrielle Demontage-Roboter (Roboter, die Laptops zerlegen).
3. Kollaborative Fertigungsroboter (Roboter, die in Fabriken Seite an Seite mit Menschen arbeiten).
4. Autonome Fahrzeuge (selbstfahrende Schiffe).

Die Ergebnisse:

• Die Experten fanden das Werkzeug sehr nützlich und leicht zu verstehen.
• Sie schätzten die strukturierten Prompts (die klaren Anweisungen an die KI).
• Sie empfanden die iterative Verfeinerung (die Möglichkeit, die KI zu bewerten und sie mit Beispielen zu bitten, es erneut zu versuchen) als den hilfreichsten Teil.
• Die Experten waren der Meinung, dass dieses Werkzeug ihnen half, Risiken zu finden, die sie sonst übersehen hätten, und machte die Roboter sicherer, bevor sie jemals in die reale Welt kamen.

Zusammenfassung

Kurz gesagt ist RoboULM eine digitale Werkstatt, in der menschliche Ingenieure und eine intelligente KI zusammenarbeiten. Der Mensch liefert die Erfahrung und das endgültige Urteil, während die KI als leistungsstarke Maschine fungiert, die durch eine riesige „Meister-Checkliste" scannt, um potenzielle Gefahren zu finden. Durch die Zusammenarbeit in einem Kreislauf aus Fragen, Überprüfen und Verfeinern können sie sicherere, zuverlässigere Roboter bauen, die bereit sind für die unvorhersehbare reale Welt.

Technische Zusammenfassung

Technisches Fazit: Mensch-im-Loop-Unsicherheitsanalyse bei selbstadaptiven Robotern unter Verwendung von LLMs

Problemstellung
Selbstadaptive Roboter (SARs) operieren in dynamischen, unvorhersehbaren Umgebungen, in denen unbehandelte Unsicherheiten zu Sicherheitsverletzungen und Betriebsausfällen führen können. Zwar ist die frühzeitige Identifizierung von Unsicherheiten während der Designphase kosteneffektiver als eine Nachbesserung nach dem Einsatz, doch bleibt die systematische Analyse dieser Unsicherheiten eine erhebliche Herausforderung. Bestehende Ansätze verlassen sich häufig auf Intuition, vorherige Erfahrungen oder statische Taxonomien, die nur begrenzte Teilmengen von Unsicherheiten aufdecken und Schwierigkeiten haben, mit der Entwicklung robotischer Technologien und der Integration von Large Language Models (LLMs) Schritt zu halten. Das Kernproblem besteht im Fehlen einer systematischen, rigorosen und skalierbaren Methode für Praktiker, Unsicherheiten in komplexen SARs bereits im Designstadium zu explorieren und zu kategorisieren.

Methodik: RoboULM
Um dies zu adressieren, schlagen die Autoren RoboULM vor, eine Mensch-im-Loop-Methodik und ein Werkzeug, das Praktiker dabei unterstützt, Unsicherheiten systematisch unter Verwendung von LLMs zu explorieren. Die Methodik integriert drei neuartige Komponenten:

1. Unsicherheits-Taxonomie (UncerTax): Eine strukturierte Kategorisierung von Unsicherheiten, die aus vier industriellen Fallstudien abgeleitet und von Praktikern validiert wurde. UncerTax organisiert Unsicherheiten über 12 Dimensionen hinweg: Natur (statisch/dynamisch), Typ (epistemisch/aleatorisch), Phase (Design/Entwicklung/Test/Betrieb), zeitliche Dauer, Ursprung des Auftretens (Hardware/Umwelt/Software), Adaptionsquelle, Umfang (lokal/global), Risikogravität, betroffene Qualitätsattribute, Ausbreitungsmuster, Datenmerkmale und ethische Implikationen.
2. LLM-gesteuerte Exploration: Das Werkzeug nutzt LLMs, um über Systemanforderungen zu reasoning und Unsicherheiten zu identifizieren. Es setzt vier spezifische Prompting-Strategien ein:
   • Rollenbasiertes Prompting: Etabliert einen persona-getriebenen Kontext.
   • Rubrikbasiertes Prompting: Integriert vom Menschen zugewiesene Rangfolgen zur qualitativen Verfeinerung.
   • Few-Shot-Prompting: Liefert Beispiele zur erfahrungsbasierten Anleitung.
   • Ontologie-gesteuertes Prompting: Führt das Modell unter Verwendung von UncerTax-Elementen.
3. Iterativer Verfeinerungs-Workflow: RoboULM arbeitet über einen dreistufigen Prozess:
   • Kontextverständnis: Der Nutzer liefert Systemanforderungen und Rollendefinitionen; das LLM fasst sein Verständnis des robotischen Kontexts zusammen.
   • Initiale Abfrage: Der Nutzer stellt eine unsicherheitsbezogene Frage. Das LLM antwortet mit einer strukturierten Ausgabe, die gemäß den 12 UncerTax-Dimensionen kategorisiert ist und für jede eine Begründung liefert.
   • Iterative Verfeinerung: Falls die initiale Antwort unbefriedigend ist, verfeinert der Nutzer die Ausgabe mittels einer von drei Methoden:
     • Rangfolgebasierte Verfeinerung: Der Nutzer bewertet Antwortsegmente (1–10), um Verbesserungsbereiche hervorzuheben.
     • Beispielgesteuerte Verfeinerung: Der Nutzer liefert konkrete reale Szenarien, um beabsichtigte Interpretationen zu klären.
     • Taxonomiegesteuerte Verfeinerung: Der Nutzer wählt spezifische Taxonomieelemente aus, um das Reasoning des LLMs zu lenken.

Das Werkzeug ist als Webanwendung (React-Frontend, Express-Backend) implementiert und nutzt das Gemini-2.5-Flash-Modell (gewählt aufgrund seines hybriden Reasonings und seines großen Kontextfensters), ist jedoch mit anderen Modellen wie ChatGPT und Llama kompatibel.

Hauptbeiträge

• UncerTax: Eine umfassende Unsicherheits-Taxonomie speziell für SARs, die Identifizierungsmethoden, Quellen, Auswirkungen und Minderungsstrategien über 12 Dimensionen hinweg detailliert.
• RoboULM-Werkzeug: Ein funktionaler Prototyp, der die Mensch-im-Loop-Unsicherheitsanalyse operationalisiert und strukturiertes Prompting mit Fähigkeiten zur iterativen Verfeinerung kombiniert.
• Prompting-Strategien: Eine Suite fortschrittlicher Prompting-Techniken (rangfolgebasiert, beispielgesteuert und taxonomiegesteuert), die entwickelt wurden, um von LLMs generierte Unsicherheitsanalysen iterativ zu verfeinern.

Evaluation und Ergebnisse
Die Autoren evaluierten RoboULM mit 16 Praktikern (darunter Forscher, Softwareingenieure und Robotikingenieure) über vier industrielle Anwendungsfälle hinweg: Autonome Mobile Roboter (AMR), Industrieroboter für die Demontage (IDR), Kollaborative Fertigungsroboter (CMR) und Autonomes Schiff (AV).

• Usability: Das Werkzeug wurde allgemein als nützlich und leicht verständlich wahrgenommen. Die AMR-Fallstudie erhielt die höchsten Bewertungen (Median 4,5/5 für Nützlichkeit und Verständnis).
• Feature-Präferenz: Strukturiertes Prompting war das am konsistentesten geschätzte Feature (Mittelwert: 4,25, Top-Two-Box-Score: 87,5 %). Die iterative Verfeinerung (Schritt 3) wurde von den Teilnehmern als hilfreichster Aspekt identifiziert.
• Verfeinerungsmethoden: Die rangfolgebasierte Verfeinerung wurde am häufigsten genutzt und als unkompliziert wahrgenommen. Die beispielgesteuerte Verfeinerung erhielt starke Bewertungen, wenn Teilnehmer relevante Beispiele liefern konnten. Die taxonomiegesteuerte Verfeinerung wurde von einigen Teilnehmern weniger favorisiert (insbesondere in den CMR- und AV-Fällen), aufgrund der Herausforderung, relevante Taxonomieelemente zu identifizieren, und gelegentlicher Fokussierung des LLMs auf die Erklärung der Taxonomie statt auf die Verfeinerung der Antwort.
• Interaktionsprotokolle: Die meisten Teilnehmer schlossen die Aufgaben ab und erkundeten mehrere Unsicherheitsfragen. Die Analyse bestätigte, dass die Teilnehmer ein breites Spektrum an Unsicherheitsquellen (Umwelt, Hardware, Software, Mensch) und Auswirkungen abdeckten.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass RoboULM die Praktikabilität des Einsatzes von LLMs für die systematische Unsicherheitsanalyse in komplexen Robotern demonstriert. Die Ergebnisse deuten darauf hin, dass die Kombination aus strukturiertem Prompting und menschengeleiteter, iterativer Verfeinerung es Praktikern ermöglicht, Unsicherheiten umfassender zu explorieren als traditionelle Methoden. Die Autoren positionieren RoboULM als eine gangbare Lösung für die Herausforderung der rigorosen Unsicherheitsanalyse in SARs, insbesondere durch die Nutzung der Reasoning-Fähigkeiten von LLMs bei gleichzeitiger Aufrechterhaltung menschlicher Aufsicht durch die Taxonomie und Verfeinerungsschleifen.

Die Autoren bleiben bezüglich ihrer Behauptungen bescheiden und weisen darauf hin, dass diese Arbeit einen „ersten funktionierenden Prototyp" und eine Usability-Studie darstellt. Sie räumen Einschränkungen in der externen Validität aufgrund der Stichprobengröße (16 Teilnehmer) ein, argumentieren jedoch, dass die Vielfalt der industriellen Fälle und der Teilnehmerrollen die Ergebnisse stärkt. Für die Zukunft ist geplant, von Teilnehmern vorgeschlagene Funktionen zu integrieren und das Werkzeug über zusätzliche robotische Fälle und LLMs hinweg zu evaluieren.