Mixed-Initiative Dialog for Human-Robot Collaborative Manipulation

Die Arbeit stellt MICoBot vor, ein System für die menschlich-robotische Zusammenarbeit, das durch einen Mixed-Initiative-Dialog und eine dreistufige Entscheidungsarchitektur die Aufgabenerfüllung und das Nutzererlebnis im Vergleich zu reinen LLM-Baselines signifikant verbessert.

Das Wesentliche

Stell dir vor, du möchtest mit einem Freund ein großes Abendessen vorbereiten. Du bist ein Meister im Kochen, aber dein Freund ist besser im Mixen von Cocktails. Vielleicht magst du es, den Tisch zu dekorieren, während ihr beide gemeinsam über das Putzen der Küche verhandelt, weil es niemand besonders mag.

Jetzt stell dir vor, dein Freund ist ein Roboter.

Bisher waren Roboter in solchen Situationen oft wie sture Gehilfen: Der Mensch gibt einen Befehl, der Roboter führt ihn aus – oder scheitert daran, weil er nicht weiß, wie man etwas macht, und schweigt dann einfach. Oder der Roboter versucht alles selbst, obwohl er es gar nicht kann, und am Ende ist das Essen verbrannt.

Die Forscher um Albert Yu haben nun MICoBot entwickelt. Das ist kein einfacher Befehlsausführer, sondern ein echter Gesprächspartner, der mit dir zusammenarbeiten kann. Hier ist die Idee, einfach erklärt:

1. Das große Problem: Wer macht was?

Bei langen Aufgaben (wie dem Kochen für eine Party) muss ständig entschieden werden: Wer macht den nächsten Schritt?

• Der Roboter? (Vielleicht kann er das gut, vielleicht auch nicht.)
• Der Mensch? (Will er das überhaupt machen? Hat er Zeit?)

Bisherige Systeme haben das oft falsch gemacht. Sie haben entweder alles dem Roboter aufgebürdet (und er hat versagt) oder alles dem Menschen (und der Roboter war nur ein Zuschauer).

2. Die Lösung: Ein ständiges "Gespräch" (Mixed-Initiative)

MICoBot nutzt eine Technik, die sie "Mixed-Initiative" nennen. Das klingt kompliziert, ist aber einfach: Beide dürfen das Wort ergreifen.

• Der Roboter kann sagen: "Hey, ich kann das Glas nicht öffnen, ich bin zu schwach. Kannst du das übernehmen?"
• Der Mensch kann sagen: "Ich bin gerade beschäftigt, du könntest mir aber die Schere bringen."

Es ist wie ein Tanz, bei dem beide Partner den Takt vorgeben dürfen. Wenn einer stolpert, passt der andere sich sofort an.

3. Wie funktioniert MICoBot im Inneren? (Die drei Köpfe)

Stell dir MICoBot wie ein kleines Team mit drei Spezialisten vor, die im Hintergrund arbeiten:

• Der Chef (Meta-Planner): Er hört dem Gespräch zu. Wenn du sagst: "Ich mag es nicht, wenn du die Schere benutzt", merkt sich der Chef das. Er schreibt dann einen kleinen "Code" (eine Art Bauplan), der festlegt, wie die Zusammenarbeit heute aussehen soll. Er passt die Strategie an deine Stimmung an.
• Der Taktiker (Planner): Er schaut sich an, was der Roboter wirklich kann (basierend auf Simulationen) und wie willig du gerade bist. Er rechnet aus: "Wenn ich das mache, dauert es 10 Sekunden und klappt zu 100%. Wenn der Mensch das macht, dauert es 5 Sekunden, aber er hat nur 50% Chance, es zu wollen." Er teilt die Aufgaben dann so auf, dass es für alle am besten läuft.
• Der Ausführende (Action Executor): Er führt das aus. Entweder bewegt er den Roboter-Arm, um etwas zu greifen, oder er formuliert einen freundlichen Satz, um Hilfe zu bitten.

4. Ein konkretes Beispiel aus dem Papier

Stell dir vor, ihr sollt ein Geschenk verpacken.

• Roboter: "Ich kann das Geschenk in die Schachtel legen." (Er tut es).
• Mensch: "Super! Aber ich brauche das Band."
• Roboter: "Ich hole das Band." (Er holt es).
• Roboter: "Jetzt muss ich das Band um das Geschenk wickeln. Das ist für mich zu schwierig, ich kann die Schleife nicht binden. Kannst du das übernehmen?"
• Mensch: "Klar, mach ich."

Wenn der Roboter versucht, etwas zu tun, wofür er nicht gebaut ist (z.B. eine Schere zu benutzen, um ein Paket aufzuschneiden), sagt er nicht einfach "Fehler". Er sagt: "Ich kann das nicht, aber ich kann dir die Schere bringen."

5. Was haben die Forscher herausgefunden?

Sie haben MICoBot mit 18 echten Menschen getestet (z.B. beim Zusammenbauen eines Spielzeugautos oder beim Verpacken von Geschenken).

• Erfolg: MICoBot schaffte es, die Aufgaben in 78% der Fälle erfolgreich zu Ende zu bringen. Ein einfacher KI-Roboter (ohne diese Gesprächsfähigkeit) schaffte nur 28%.
• Zufriedenheit: Die Menschen mochten MICoBot viel lieber. Sie fühlten sich nicht wie Befehlsempfänger, sondern wie echte Teammitglieder.
• Der Trick: MICoBot lernt während des Gesprächs dazu. Wenn du einmal "Nein" sagst, merkt er sich das und fragt beim nächsten Mal vielleicht anders oder bietet eine andere Lösung an.

Zusammenfassung

MICoBot ist wie ein fahrender Butler, der nicht nur zuhört, sondern auch mitredet. Er weiß, was er kann, und er weiß, was du magst. Statt stur Befehle auszuführen, verhandelt er mit dir, wer was macht, damit am Ende alle glücklich sind und die Aufgabe erledigt ist. Es ist der erste Schritt zu Robotern, die nicht nur Werkzeuge sind, sondern echte Partner im Haushalt.

Technische Zusammenfassung

Titel: MICoBot: Ein System für gemischte Initiative in der Mensch-Roboter-Kollaboration

1. Problemstellung

Effektive robotische Systeme für langfristige Mensch-Roboter-Kollaboration (HRI) müssen sich an eine Vielzahl menschlicher Partner anpassen, deren physisches Verhalten, Hilfsbereitschaft und Verständnis der Roboterfähigkeiten sich im Laufe der Zeit ändern können.

• Herausforderung: Bestehende Systeme basieren oft auf einseitigen Interaktionen (der Mensch gibt Befehle, der Roboter führt aus) oder festen Kollaborationsplänen. Dies fehlt an Flexibilität, wenn menschliche Präferenzen, Fähigkeiten oder die Verfügbarkeit schwanken.
• Ziel: Es wird ein Paradigmenwechsel hin zu einem Dialog mit gemischter Initiative (Mixed-Initiative Dialog) gefordert. Dabei können sowohl der Mensch als auch der Roboter Initiativen ergreifen, Vorschläge unterbreiten, diese akzeptieren oder ablehnen, um die Arbeit optimal aufzuteilen. Das System muss physische Manipulation mit natürlichsprachlicher Verhandlung verbinden, um die Gesamterfolgsrate zu maximieren und gleichzeitig den menschlichen Aufwand zu minimieren.

2. Methodik: Das MICoBot-Framework

MICoBot (Mixed-Initiative Collaborative roBot) ist ein hierarchisches System, das Entscheidungen auf drei Ebenen trifft, um eine adaptive Kollaboration zu ermöglichen.

A. Mathematische Formulierung (MDP & Optimierung)
Das Problem wird als Markov-Entscheidungsprozess (MDP) modelliert, bei dem Agenten physische Aktionen ($A_p$) und freie sprachliche Aktionen ($A_v$) ausführen können.

• Zielfunktion: Das System löst ein optimiertes Zuordnungsproblem, um die beste Aufteilung der verbleibenden Aufgaben ($G^*$) zwischen Mensch ($H$) und Roboter ($R$) zu finden.
• Optimierungsziel: Maximierung der Erfolgswahrscheinlichkeit unter Minimierung des menschlichen Aufwands.
• Q-Funktionen: Es werden agentenspezifische Q-Funktionen ($Q_R$ für den Roboter, $Q_H$ für den Menschen) verwendet, die den erwarteten Zeitaufwand und die Erfolgswahrscheinlichkeit einer Aufgabe schätzen.
  • $Q_R$ wird durch Simulation (OmniGibson) trainiert, um die Fähigkeiten des Roboters realistisch abzubilden.
  • $Q_H$ wird durch einen LLM geschätzt, der die Zeit für einen Menschen basierend auf Distanzen und Aufgabenbeschreibungen berechnet.
• Dynamische Anpassung: Die Optimierung berücksichtigt:
  1. Einen Faktor $\alpha$, der menschlichen Aufwand höher gewichtet als robotischen.
  2. Eine geschätzte Wahrscheinlichkeit $p_{H,t}$, dass der Mensch einer Bitte zustimmt (abgeleitet aus dem Dialogverlauf mittels Sentiment-Analyse).
  3. Constraints aus dem Dialog (z. B. explizite menschliche Wünsche).

B. Die drei Entscheidungsebenen

1. Meta-Planer (L1):
   • Ein LLM-basierter Code-Generator (GPT-4o), der basierend auf dem aktuellen Dialog, dem Zustand der Welt und dem Aufgabenplan adaptive Python-Code-Snippets generiert.
   • Dieser Code definiert die Kollaborationsstrategie, wandelt Dialoge in Constraints um und bestimmt, wie die nächste Aktion ausgewählt wird.
2. Iterativer Planer (L2):
   • Führt den generierten Code aus.
   • Schritt 1: Führt eine eingeschränkte Optimierung durch, um die beste Aufgabenverteilung basierend auf den Q-Werten und Constraints zu finden. Wenn keine Lösung existiert (z. B. Roboter kann eine Aufgabe nicht), werden Constraints iterativ gelockert und der Roboter erklärt seine Unfähigkeit.
   • Schritt 2: Wählt die konkrete nächste Aktion aus: Entweder eine physische Manipulation oder eine sprachliche Aktion (Hilfe anfordern, Vorschlag zur Aufteilung, Antwort auf menschliche Anfrage).
3. Aktions-Executor (L3):
   • Physisch: Generiert Trajektorien für Navigation und Greifen (unter Verwendung von ROS, Grounding DINO für Objekterkennung und inverser Kinematik).
   • Sprachlich: Ein LLM generiert freie, kontextbezogene natürliche Sprache basierend auf der gewählten Dialogabsicht.

C. Hierarchische Planung
Um den Dialog effizient zu halten, werden niedrigstufige Schritte zu semantisch sinnvollen abstrakten Aktionen gruppiert. Der Roboter diskutiert nur auf der feinkörnigen Ebene, wenn eine Verhandlung über die Zuweisung notwendig ist.

3. Wichtige Beiträge

1. Neues Problemsetting: Integration von gemischter Initiative in natürlichsprachlichen Dialog mit physischer Mensch-Roboter-Interaktion.
2. Optimierungsframework: Ein neuartiges Verfahren zur Aufgabenverteilung, das menschlichen und robotischen Aufwand sowie den Erfolg durch eine einheitliche Metrik (Q-Werte) balanciert.
3. Simulationsumgebung: Eine kollaborative Umgebung auf Basis von MiniBehavior mit LLM-gesteuerten virtuellen Menschen.
4. Robustes System: MICoBot als erstes System, das gemischte Initiative (Sprache zu Sprache) in der physischen Welt ermöglicht und sich an diverse menschliche Partner anpasst.

4. Ergebnisse

Die Evaluation umfasste Simulationen und reale Experimente mit 18 Teilnehmern an einem TIAGo mobilen Manipulator bei drei Haushaltsaufgaben (Paket öffnen/einschenken, Spielauto zusammenbauen, Geschenkbox packen).

• Erfolgsrate: MICoBot erreichte eine 77,8 % Erfolgsrate im Vergleich zu nur 27,8 % bei einem reinen LLM-Baseline. Dies ist statistisch signifikant ($p=0.007$).
• Aufgabenabschlüsse: MICoBot schloss 93,8 % der Teilschritte ab, der Baseline nur 58,2 %.
• Menschlicher Aufwand: MICoBot forderte mehr menschliche Hilfe (40,5 % der Schritte), was notwendig war, um Aufgaben zu erfüllen, die der Roboter nicht allein bewältigen konnte. Im Vergleich zu einem „Oracle"-Baseline (perfekter Roboter, perfekter Mensch) war MICoBot dennoch effizienter im Verhältnis von Erfolg zu Aufwand.
• Benutzerzufriedenheit: Über 75 % der Teilnehmer bevorzugten MICoBot gegenüber dem LLM-Baseline. Die Bewertungen für „Kommunikationsfähigkeit", „Bewusstsein für eigene Grenzen" und „Gesamtzufriedenheit" waren signifikant höher.
• Dialog-Dynamik: MICoBot initiierte deutlich mehr Dialogwechsel (2,4 pro Versuch vs. 1,1 beim Baseline) und konnte die Akzeptanz von Hilfsanfragen durch Verhandlung von 55 % auf 86 % steigern.

5. Bedeutung und Ausblick

MICoBot demonstriert, dass gemischte Initiative für langfristige, komplexe Mensch-Roboter-Aufgaben unerlässlich ist. Durch die Kombination von physischen Fähigkeiten (modelliert durch Simulation) und sprachlicher Verhandlung (modelliert durch LLMs und Q-Learning) kann das System flexibel auf menschliche Präferenzen und Fähigkeiten reagieren.

• Limitationen: Das System geht derzeit von sequentieller Ausführung aus (kein paralleles Arbeiten am selben Objekt) und nutzt einen festen Aufgabenplan. Die Schätzung der menschlichen Hilfsbereitschaft ($p_{H,t}$) könnte durch Analyse von Stimmlage und Mimik verbessert werden.
• Zukunft: Die Arbeit ebnet den Weg für Systeme, die räumlich-zeitliches Feedback austauschen, in unvollständigen Informationsumgebungen agieren und Aufgaben dynamisch neu definieren können.

Zusammenfassend stellt MICoBot einen bedeutenden Fortschritt dar, der die Lücke zwischen reinen Chatbot-Interaktionen und physischer Robotik schließt, indem es beide Agenten als gleichberechtigte Partner in einem dynamischen Verhandlungsprozess etabliert.