💻 Informatik

InteLiPlan: An Interactive Lightweight LLM-Based Planner for Domestic Robot Autonomy

InteLiPlan ist ein interaktives, leichtgewichtiges und roboteragnostisches, auf LLMs basierendes Framework, das die Autonomie häuslicher Roboter durch Echtzeit-Onboard-Computing und Human-in-the-Loop-Intervention verbessert und eine Erfolgsquote von 95 % bei komplexen Aufgaben einschließlich Fehlerbehebung sowohl in Simulationen als auch auf realen Plattformen erreicht.

Ursprüngliche Autoren: Kim Tien Ly, Kai Lu, Ioannis Havoutis

Veröffentlicht 2026-01-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kim Tien Ly, Kai Lu, Ioannis Havoutis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Roboter-Butler namens InteLiPlan. Seine Aufgabe ist es, Ihnen im Haushalt zu helfen, etwa indem er ein Getränk holt oder aufräumt. Es gibt jedoch einen Haken: Dieser Roboter besitzt keinen Supercomputer in seinem Kopf und kann nicht immer alles perfekt sehen. Manchmal ist er verwirrt oder versucht, etwas zu greifen, das eigentlich zu weit entfernt ist.

Dieses Papier stellt InteLiPlan als eine Lösung vor, um Haushaltsroboter intelligenter, sicherer und unabhängiger zu machen, ohne massenhaft Daten oder teure Hardware zu benötigen. So funktioniert es, unterteilt in einfache Konzepte:

1. Das „leichtgewichtige“ Gehirn

Die meisten fortschrittlichen Robotergehirne von heute sind wie riesige Bibliotheken, die auf einem Cloud-Server weit weg gespeichert werden müssen. Sie sind schwer, langsam zu laden und benötigen riesige Datensätze, um zu lernen.

InteLiPlan ist anders. Betrachten Sie es als eine taschengroße Enzyklopädie, die direkt in den Computer des Roboters passt. Es verwendet eine „leichtgewichtige“ Version eines Large Language Models (LLM) – die gleiche Art von KI, die Chatbots antreibt – aber es wurde speziell darauf trainiert, Roboterbefehle zu verstehen. Es muss nicht das Internet um Hilfe anrufen; es kann direkt dort auf dem Roboter denken und entscheiden.

2. Das „Drei-Check“-System

Bevor der Roboter sich bewegt, rät InteLiPlan nicht einfach. Es agiert wie ein sorgfältiger Projektmanager, der vor der Erteilung eines Befehls drei schnelle Prüfungen durchführt:

Die Augen (Vision): „Kann ich das Objekt, nach dem du gefragt hast, tatsächlich sehen?“
Der Körper (Machbarkeit): „Selbst wenn ich es sehe, kann mein Arm es physisch erreichen, ohne gegen den Tisch zu stoßen?“
Das Gedächtnis (Historie): „Haben wir das schon einmal versucht und sind gescheitert? Was ist beim letzten Mal passiert?“

Wenn die Antwort auf eine dieser Fragen „Nein“ lautet, stürzt der Roboter nicht ab oder gibt nicht einfach auf. Er hält inne und sagt: „Das kann ich noch nicht tun.“

3. Das „Human-in-the-Loop“-Sicherheitsnetz

Dies ist der einzigartigste Teil. Stellen Sie sich vor, Sie bitten den Roboter: „Bring mir ein Getränk.“

Szenario A: Der Roboter sieht eine Coke und eine Pepsi. Er weiß nicht, welche Sie wollen.
Szenario B: Der Roboter sieht die Coke, aber sie steht hinter einem schweren Stuhl, den er nicht bewegen kann.

Anstatt zu raten und potenziell zu scheitern, verfügt InteLiPlan über eine „Human-in-the-Loop“-Funktion. Es agiert wie ein Schüler, der die Hand hebt, um dem Lehrer eine Frage zu stellen. Es sagt Ihnen: „Ich sehe zwei Getränke, welches davon?“ oder „Ich sehe die Coke, aber ich kann sie nicht erreichen.“

Sie geben dann eine kurze Korrektur (z. B. „Nimm die Pepsi“ oder „Beweg zuerst den Stuhl“). Der Roboter aktualisiert sofort seinen Plan und versucht es erneut. Dies macht das System robust, da es zugibt, wenn es feststeckt, und Anleitung sucht, anstatt einen Fehler zu begehen.

4. Lernen ohne eine massive Bibliothek

Normalerweise benötigt man tausende Stunden an Videodaten, um einem Roboter einen neuen Trick beizubringen. InteLiPlan ist wie ein Chamäleon. Es wurde mit einem kleinen, spezifischen Satz von Beispielen trainiert (mittels einer Technik namens „Fine-Tuning“), die ihm beibringt, wie es mit den Sensoren und Motoren des Roboters kommuniziert.

Da es die Sprache des Roboters lernt und nicht spezifische Bewegungen für einen ganz bestimmten Roboter auswendig lernt, kann es nahtlos von einem Toyota Human Support Robot (der wie ein kleiner Wagen mit Armen aussieht) zu einem ANYmal D (einem vierbeinigen Roboter-Hund mit einem Arm) wechseln und perfekt funktionieren, ohne neu trainiert werden zu müssen. Es ist wie ein universeller Übersetzer, der für jeden Roboterkörper funktioniert.

5. Ergebnisse aus der realen Welt

Die Forscher haben dies an echten Robotern in echten Räumen getestet.

Erfolgsquote: Bei einer „Hol mir“-Aufgabe war der Roboter in 95 % der Fälle erfolgreich, selbst wenn er aus Fehlern lernen oder um Hilfe bitten musste.
Geschwindigkeit: Es kann eine ganze Abfolge von Aktionen in weniger als 7 Sekunden planen, wobei es nur den im Roboter eingebauten Computer nutzt.
Vergleich: Es schnitt genauso gut ab wie viel größere, teurere Systeme (wie das berühmte SayCan-System), benötigte dafür aber nur einen winzigen Bruchteil der Rechenleistung.

Zusammenfassung

InteLiPlan ist ein intelligenter, leichtgewichtiger Planer, der Haushaltsrobotern ermöglicht, selbstständig zu denken, aber auch zu wissen, wann sie um Hilfe bitten müssen. Es prüft, ob es Dinge sehen und erreichen kann, gibt zu, wenn es verwirrt ist, und nutzt menschliche Anleitung, um Probleme im laufenden Betrieb zu lösen. Es beweist, dass man keinen Supercomputer braucht, um einen hilfreichen, sicheren und anpassungsfähigen Roboter für das eigene Zuhause zu erschaffen.

Technische Zusammenfassung von „InteLiPlan: Ein interaktiver, leichtgewichtiger LLM-basierter Planer für die autonome Domestik von Robotern“

Problemstellung
Die Integration von Large Language Models (LLMs) und Vision-Language Models (VLMs) in die Robotik hat die verkörperte KI (Embodied AI) vorangebracht, doch es bestehen weiterhin erhebliche Herausforderungen bei der Implementierung dieser Modelle für die autonome Domestik. Aktuelle Ansätze verlassen sich oft auf massive Datensätze, externe Rechenressourcen oder handgefertigte Domänenspezifikationen (z. B. PDDL), was die Skalierbarkeit und Echtzeit-Einsatzfähigkeit einschränkt. Darüber hinaus versagen bestehende Planer häufig bei der Berücksichtigung von Roboterkinematik und geometrischen Beschränkungen, was zu Plänen führt, die zwar semantisch korrekt, aber physisch nicht durchführbar sind. Zudem haben rein autonome Systeme Schwierigkeiten mit teilweiser Beobachtbarkeit, zweideutigen Benutzeranweisungen und Ausführungsfehlern, da ihnen robuste Mechanismen zur Wiederherstellung ohne umfangreiches Nachtraining oder menschliche Aufsicht fehlen.

Methodik
Die Autoren schlagen InteLiPlan vor, ein leichtgewichtiges, roboteragnostisches Framework, das vollständig lokal (onboard) unter Verwendung von Echtzeit-Rechenressourcen betrieben werden kann. Das System fungiert als zentralisierter, multimodaler Planer, der natürliche Sprachbefehle, visuelle Wahrnehmung und Bewegungsrealisierbarkeit überbrückt.

Multimodale Input-Formulierung: Der Planer akzeptiert drei primäre Eingaben:
1. Benutzerbefehl ( $T_{user}$ ): Natürliche Sprachanfragen oder Anleitung zur Fehlerbehebung.
2. Visuelle Beobachtung ( $f_{seen}$ ): Textuelles Feedback, das aus einer onboard RGB-D-Kamera (unter Verwendung von YOLO zur Objekterkennung) abgeleitet wurde und die Präsenz sowie den Standort von Zielobjekten angibt.
3. Machbarkeitswert ( $f_{score}$ ): Ein binäres Signal, das von einem Bewegungsverifizierungsmodul (unter Verwendung eines Erreichbarkeitsgraphen aus R-LGP) generiert wird, welches bestimmt, ob eine kollisionsfreie Ganzkörper-Trajektorie zum Ziel existiert.
4. Historie ( $T_{hist}$ ): Ein Protokoll des Gesprächs und früherer Fehlersituationen, um den Kontext aufrechtzuerhalten.
Architektur und Fine-Tuning: Der Kern ist ein fein abgestimmtes, leichtgewichtiges LLM (speziell Mistral 7B und Deepseek 8B). Anstatt sich auf Zero-Shot-Prompting oder massives End-to-End-Training zu verlassen, nutzen die Autoren Low-Rank Adaptation (LoRA) für ein parametereffizientes Fine-Tuning. Der Trainingsdatensatz besteht aus reinen Textbeispielen, die als multimodale Konversationen formatiert sind (z. B. <history>, <user>, <vision>, <feasibility> $\rightarrow$ <robot>), wobei die Ausgabe eine direkte Sequenz von Aktionsprimitiven (z. B. go, pick, place) ist. Dieser Ansatz ermöglicht es dem Modell, die Abbildung von multimodalen Beschränkungen auf ausführbare API-Aufrufe zu erlernen, ohne roboterspezifische Daten zu benötigen.
Human-in-the-Loop (HITL) Mechanismus: Eine kritische Komponente des Frameworks ist die Fähigkeit, Fehler durch menschliche Intervention zu bewältigen. Das System kategorisiert Fehler in Planung (Vision/Machbarkeit), Aufgabenverwirrung (Ambiguität) und Ausführungsfehler. Bei der Erkennung eines Fehlers meldet der Roboter den Kontext des Problems an den Benutzer. Der Mensch kann dann korrigierende Anweisungen geben, die das LLM zur Neuplanung nutzt. Dieser Mechanismus gewährleistet Sicherheit und Robustheit in komplexen, teilweise beobachtbaren häuslichen Umgebungen.

Wesentliche Beiträge

Leichtgewichtige Onboard-Planung: Es wird demonstriert, dass ein 7B-Parameter-LLM, wenn es mit einer spezifischen multimodalen Struktur fein abgestimmt wurde, eine State-of-the-Art-Planungsleistung erzielen kann, während es vollständig auf lokaler Hardware (NVIDIA RTX 2070) läuft, wodurch die Abhängigkeit von der Cloud eliminiert wird.
Roboteragnostische Pipeline: Das Framework erfordert kein erneutes Training für unterschiedliche Roboter-Embodiments. Durch die Abstraktion der Roboterfähigkeiten in einen gemeinsamen Satz von Fähigkeiten und die Verwendung von Erreichbarkeitsgraphen für Machbarkeitsprüfungen wurde dasselbe Modell erfolgreich auf zwei verschiedenen Plattformen eingesetzt: dem Toyota Human Support Robot (HSR) und dem ANYmal D mit einem Unitree Z1 Arm.
Interaktive Fehlerbehebung: Im Gegensatz zu früheren Arbeiten, die sich ausschließlich auf Selbstheilung oder High-Level-Task-Planung konzentrieren, integriert InteLiPlan explizit menschliche Führung für Grenzfälle (z. B. mehrdeutige Referenzen, lichtbedingte Sichtfehler), was die Erfolgsraten in Fehlerszenarien signifikant verbessert.
Textualisierte multimodale Daten: Die Autoren führen eine Methode ein, um visuelle und geometrische Beschränkungen in textuelle Signale für das LLM-Training umzuwandeln, was es dem Modell ermöglicht, über die physische Machbarkeit zu urteilen, ohne Rohsensordaten direkt verarbeiten zu müssen.

Experimentelle Ergebnisse
Das Framework wurde in der Simulation und an realen Robotern anhand von drei Metriken evaluiert: Aufgabenplanungs-Erfolg, Fehlererklärung und Fehlerbehebung.

Robustheit gegenüber Fehlern: In der „Fetch me“-Aufgabe erreichte InteLiPlan eine Erfolgsquote von 95 % in Szenarien, die eine Fehlerbehebung erforderten. Im Gegensatz dazu sanken die Erfolgsraten der Prompt-basierten Baselines (Mistral-Prompt, Deepseek-Prompt) erheblich (z. B. von 100 % auf ~50 % oder weniger), wenn sie mit ungesehenen Objekten oder Befehlen konfrontiert wurden, die eine Fehlerbehebung erforderten.
Generalisierung: Die Methode erreichte einen Erfolg von 100 % in „No-Failure“-Szenarien sowohl bei gesehenen als auch bei ungesehenen Befehlen/Objekten. In „Failure“-Szenarien übertrafen die fein abgestimmten Modelle (Mistral-Ours) ihre Prompt-basierten Gegenstücke konsistent, insbesondere beim Umgang mit Aufgabenverwirrung und Ausführungsfehlern.
Skalierbarkeit (SayCan Benchmark): Bei der Evaluierung auf 101 Aufgaben aus dem SayCan-Datensatz erreichte InteLiPlan (Mistral-7B) eine Planungserfolgsrate von 83 % und eine Ausführungserfolgsrate von 82 %. Diese Leistung ist vergleichbar mit dem 504B Parameter starken PaLM-SayCan-System (84 % Planung, 74 % Ausführung), obwohl ein Modell mit deutlich weniger Parametern und ohne roboterspezifische Trainingsdaten verwendet wurde.
Cross-Embodiment: Das System generalisierte erfolgreich über die HSR (11-DoF) und Anytree (12-DoF) Plattformen ohne zusätzliches Fine-Tuning, was die roboteragnostische Natur validiert.
Latenz: Das System generiert ausführbare Aktionssequenzen in weniger als 7 Sekunden auf lokaler Hardware, wobei die Machbarkeitsprüfung die zeitaufwendigste Komponente darstellt (~5s).

Bedeutung und Behauptungen
Das Paper behauptet, dass InteLiPlan die kritische Lücke zwischen den Denkfähigkeiten von LLMs und den physischen Beschränkungen von Robotersystemen schließt. Durch die Kombination eines leichtgewichtigen, fein abgestimmten LLMs mit einer strukturierten multimodalen Input-Pipeline und einem Human-in-the-Loop-Fehlerbehebungsmechanismus demonstrieren die Autoren einen Weg zu robuster, interpretierbarer und einsetzbarer autonomer Domestik für Roboter. Die Arbeit hebt hervor, dass High-Level-Planung nicht zwangsläufig massive Modelle oder umfangreiche Datensätze erfordert; vielmehr ermöglicht die effektive Integration von Wahrnehmung, Machbarkeitsprüfungen und menschlicher Führung, dass leichte Modelle eine Zuverlässigkeit erreichen, die mit wesentlich größeren State-of-the-Art-Systemen vergleichbar ist. Die Autoren kommen zu dem Schluss, dass ihr Ansatz den Aufwand zur Definition traditioneller Aufgabenbereiche reduziert und eine praktische Lösung für ressourcenbeschränkte, reale Roboteranwendungen bietet.