Embodied AI with Foundation Models for Mobile Service Robots: A Systematic Review

Diese systematische Übersicht untersucht die Integration von Foundation-Modellen in mobile Serviceroboter, indem sie technische Fortschritte bei der Aufgabenausführung und multimodalen Wahrnehmung analysiert, reale Anwendungsbereiche beleuchtet und ethische sowie zukünftige Forschungsfragen im Kontext sicherer und vertrauenswürdiger Mensch-Roboter-Interaktionen diskutiert.

Das Wesentliche

🤖 Der Roboter-Helfer mit dem „Super-Gehirn": Eine Reise in die Zukunft

Stellt euch vor, ihr habt einen neuen Hausmeister-Roboter. Vor ein paar Jahren war dieser Roboter wie ein starrer Automat: Er konnte nur tun, was er exakt eingegeben bekam. Wenn ihr sagtet: „Geh zur Küche und hol mir das rote Glas", und das Glas stand hinter einem Stuhl, war er verloren. Er wusste nicht, was „rot" ist, wenn es nicht genau so aussah wie auf seinem Foto, und er konnte nicht raten, dass „das Glas" gemeint war, wenn ihr nur auf die Theke zeigten.

Dieses Papier beschreibt, wie wir diesen Roboter jetzt mit einem modernen „Super-Gehirn" ausstatten, das auf sogenannten Fundamentmodellen (wie den großen KI-Sprachmodellen, die ihr vielleicht als Chatbots kennt) basiert.

Hier ist, was das Papier sagt, in vier einfachen Abschnitten:

1. Das Problem: Der Roboter ist oft zu stur

Der Autor erklärt, dass mobile Roboter (die herumfahren können) heute an vier großen Hindernissen scheitern:

• Die Sprache-Maschine-Lücke: Wenn ihr sagt: „Mach mal den Raum sauber", weiß der Roboter nicht, ob er staubsaugen, aufräumen oder den Müll rausbringen soll. Er versteht die Absicht nicht, nur die Worte.
• Die Sinnes-Salat-Situation: Roboter haben Kameras, Mikrofone und Sensoren. Aber wenn das Licht schlecht ist, jemand schreit im Hintergrund oder ein Kind vor die Kamera läuft, verlieren sie den Überblick. Sie können diese Sinne nicht gut zusammenführen.
• Das „Ich-bin-sicher"-Problem: Oft sind Roboter zu sicher. Sie glauben, sie sehen einen Weg, obwohl da eigentlich eine Person steht. Sie wissen nicht, wann sie unsicher sind und Hilfe brauchen.
• Der schwache Akku: Diese „Super-Gehirne" brauchen viel Rechenleistung. Aber Roboter haben nur kleine Batterien und kleine Computer im Inneren. Sie können nicht alles in die Cloud schicken, weil das zu langsam ist.

2. Die Lösung: Das „Allround-Talent" im Kopf

Das Papier zeigt, wie neue KI-Modelle diese Probleme lösen. Stellt euch vor, wir geben dem Roboter nicht nur eine Anleitung, sondern ein ganzes Universum an Wissen.

• Verstehen statt Befolgen: Statt nur Befehle abzuarbeiten, versteht der Roboter den Kontext. Wenn ihr sagt: „Hol mir das Ding, mit dem man die Zähne putzt", weiß er, dass ihr eine Zahnbürste meint, auch wenn er das Wort nie gehört hat. Er nutzt sein Wissen über die Welt.
• Der Multitalent-Sensor: Die neuen Modelle können Bilder, Sprache und Töne gleichzeitig verstehen. Es ist, als hätte der Roboter nicht nur Augen und Ohren, sondern ein Gehirn, das beides sofort verknüpft. Wenn jemand sagt: „Da ist etwas!", und zeigt, weiß der Roboter sofort, wohin er schauen muss, selbst wenn es dunkel ist.
• Die „Zweifel"-Funktion: Der Roboter lernt, zu sagen: „Ich bin mir nicht sicher, ob ich hier durchfahren kann." Anstatt krachend gegen eine Wand zu fahren, fragt er: „Soll ich vorsichtig sein?" Das macht ihn sicherer.
• Der schlafsparende Computer: Die Forscher zeigen, wie man diese riesigen Gehirne so verkleinert, dass sie auf dem kleinen Computer des Roboters laufen, ohne den Akku sofort zu leeren.

3. Wo wird das eingesetzt? (Die drei Hauptbereiche)

Das Papier beschreibt drei Bereiche, in denen diese Roboter bald unser Leben verändern:

• 🏠 Zu Hause (Der perfekte Hausmeister):
  • Beispiel: Ihr kommt müde nach Hause und sagt: „Räum mal auf." Der Roboter sortiert nicht nur Spielzeug weg, sondern weiß auch, dass die Socken in die Wäsche gehören und die Bücher ins Regal. Er kann sogar kochen, indem er Zutaten erkennt und versteht, was „schneiden" oder „rühren" bedeutet.
• 🏥 Im Krankenhaus (Der fürsorgliche Pfleger):
  • Beispiel: Ein Roboter bringt Medikamente. Er weiß, dass er nicht durch einen vollen Flur fahren darf, wenn dort gerade ein Arzt mit einem Patienten spricht. Er kann Patienten beobachten und sagen: „Der Patient sieht verwirrt aus, ich rufe eine Schwester."
• 🛍️ In der Öffentlichkeit (Der hilfsbereite Wegweiser):
  • Beispiel: In einem Einkaufszentrum oder Flughafen kann ein Roboter nicht nur „zum Gate A1" navigieren, sondern auch verstehen: „Der Weg ist versperrt, ich nehme den Umweg und erkläre dem Passagier, warum."

4. Die Schattenseiten: Was wir beachten müssen

Das Papier warnt aber auch: Ein so mächtiges Gehirn braucht Regeln.

• Datenschutz: Der Roboter sieht und hört alles in eurer Wohnung. Wir müssen sicherstellen, dass diese Daten nicht gestohlen oder missbraucht werden.
• Verantwortung: Wenn der Roboter etwas Falsches macht (z. B. eine Vase umstößt), wer ist schuld? Der Hersteller? Der Programmierer? Wir brauchen klare Regeln.
• Vertrauen: Wir dürfen den Roboter nicht zu sehr wie einen Menschen behandeln, damit wir uns nicht emotional abhängig machen. Er ist ein Werkzeug, kein Freund.

🚀 Das Fazit: Wohin geht die Reise?

Das Papier ist wie eine Landkarte für die nächsten Jahre. Es sagt uns:
Die Technologie ist da, um Roboter von „dummen Automaten" zu „klugen Helfern" zu machen. Aber wir müssen sie langsam und sicher einführen. Wir brauchen Roboter, die nicht nur Befehle ausführen, sondern verstehen, zweifeln, wenn sie unsicher sind, und respektvoll mit Menschen umgehen.

Kurz gesagt: Wir bauen Roboter, die nicht nur sehen und hören, sondern wirklich begreifen, was wir meinen – und das alles, ohne uns zu stören oder unsere Geheimnisse zu verraten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Artikels „Embodied AI with Foundation Models for Mobile Service Robots: A Systematic Review" auf Deutsch:

Titel: Embodied AI mit Foundation Models für mobile Serviceroboter: Eine systematische Übersicht

1. Problemstellung

Mobile Serviceroboter (z. B. in Haushalten, Krankenhäusern oder öffentlichen Einrichtungen) stehen vor der Herausforderung, in dynamischen, unvorhersehbaren und menschzentrierten Umgebungen flexibel zu agieren. Traditionelle Ansätze stoßen an ihre Grenzen, insbesondere bei der Übersetzung natürlicher Sprachbefehle in physische Aktionen, der multimodalen Wahrnehmung in komplexen Szenarien und der sicheren Entscheidungsfindung unter Unsicherheit.

Der Artikel identifiziert vier fundamentale Herausforderungen, die den Einsatz von „Embodied AI" (verkörperte KI) in mobilen Servicerobotern behindern:

1. Übersetzung natürlicher Sprache in ausführbare Aktionen: Die Fähigkeit, mehrdeutige, umgangssprachliche oder unvollständige Anweisungen (z. B. „Bring mir das von dort") in präzise Navigations- und Manipulationsaufgaben zu zerlegen und zu kontextualisieren.
2. Multimodale Wahrnehmung: Die Integration heterogener Sensordaten (Vision, Sprache, Taktiles, LiDAR) in Echtzeit, trotz Störungen wie schlechter Beleuchtung, Verdeckungen, Menschenmengen und Hintergrundgeräuschen.
3. Unsicherheitsschätzung: Die Notwendigkeit, sowohl sensorische (aleatorische) als auch modellbedingte (epistemische) Unsicherheiten zu quantifizieren, um in sicherheitskritischen Umgebungen keine übermütigen oder gefährlichen Entscheidungen zu treffen.
4. Rechenkapazitäten: Die Beschränkung durch die begrenzte Hardware an Bord der Roboter, die eine Echtzeit-Inferenz großer Modelle erschwert, ohne auf Cloud-Computing angewiesen zu sein (was Latenz und Datenschutzprobleme mit sich bringt).

2. Methodik

Die Autoren führen eine systematische Übersichtsstudie durch, die sich spezifisch auf die Integration von Foundation Models (FM) in die mobile Servicerobotik konzentriert.

• Datenbasis: Eine Analyse von 7.506 relevanten wissenschaftlichen Arbeiten (1968–2025) mittels der Plattform OpenAlex, wobei autonome Fahrzeuge und Drohnen ausgeschlossen wurden.
• Analyse-Rahmen: Die Arbeit strukturiert den Forschungsstand um die vier oben genannten Kernherausforderungen. Sie vergleicht klassische Pipeline-Ansätze (z. B. STRIPS, PDDL, DWA) mit modernen Architekturen, die auf Large Language Models (LLMs), Vision-Language Models (VLMs), Multimodal Large Language Models (MLLMs) und Vision-Language-Action Models (VLAs) basieren.
• Bewertungskriterien: Die Leistung verschiedener Modelle (z. B. GPT-4, LLaMA, CLIP-CAP, RT-2, Magma, SAM-2) wird anhand von Erfolgsraten bei Aufgaben, Wahrnehmungsgenauigkeit, Latenz, Unsicherheitskalibrierung und Rechenaufwand (GFLOPs) verglichen.

3. Wichtige Beiträge und Ergebnisse

A. Technische Lösungen durch Foundation Models

Die Studie zeigt, wie Foundation Models die vier Kernherausforderungen adressieren:

• Sprache-zu-Aktion (Language-to-Action): Modelle wie CLIP-CAP und LLM-Planner überbrücken die Lücke zwischen symbolischer Sprache und robotischer Steuerung. Sie ermöglichen das Zerlegen komplexer Befehle in Teilaufgaben, das Beibehalten des Kontexts über lange Zeiträume (Long-Horizon Planning) und die Anpassung an dynamische Umgebungen. CLIP-CAP erreichte beispielsweise eine Manipulationserfolgsrate von 71 % in realen Roboteraufgaben.
• Multimodale Wahrnehmung: Modelle wie Magma und SAM-2 nutzen einheitliche latente Räume, um visuelle, sprachliche und räumliche Daten zu fusionieren. Dies verbessert die Robustheit gegenüber Verdeckungen und Lichtwechseln. SAM-2 bietet dabei die höchste visuelle Wahrnehmungsgenauigkeit mit geringer Latenz (~50 ms).
• Unsicherheitsschätzung: Neue Architekturen wie DeepSeek-R1 und GPT-4o integrieren explizite Konfidenzmodelle und Reinforcement-Learning-Signale, um Unsicherheiten zu quantifizieren. Dies ermöglicht es Robotern, bei Unsicherheit proaktiv nachzufragen oder konservativ zu handeln, was die Sicherheit in HRI (Human-Robot Interaction) erhöht.
• Rechenleistung und Effizienz: Durch Techniken wie Model Compression, Distillation (z. B. DeiT) und Mixture-of-Experts (MoE) Architekturen (z. B. Switch Transformer) können große Modelle auf eingebettete Hardware (Edge Devices) skaliert werden. Perceiver-Actor wird als besonders effizient hervorgehoben (niedrigster GFLOPs-Wert bei robuster Leistung).

B. Anwendungsbereiche

Die Autoren kategorisieren reale Anwendungen in drei Domänen und zeigen konkrete Implementierungen:

1. Haushaltsassistenz: Aufgaben wie „Fetch-and-Carry" (z. B. mit Octo und Stretch RE-1), Putzen und Aufräumen (z. B. TidyBot mit RT-2) sowie Kinderbetreuung und Kochen.
2. Gesundheitswesen: Lieferung von Medikamenten, Patientenüberwachung am Bett und Infektionskontrolle. Modelle wie ProgPrompt und SayPlan ermöglichen hier die sichere Navigation in überfüllten Krankenhäusern und die Interpretation klinischer Anweisungen.
3. Service-Automatisierung: Kundenberatung, Wegweisung in Flughäfen/Malls und Aufbau von Veranstaltungsorten. Frameworks wie LM-Nav und ViNG nutzen Sprachmodelle für die räumliche Navigation in komplexen öffentlichen Räumen.

C. Ethische und gesellschaftliche Implikationen

Der Artikel hebt hervor, dass die technische Machbarkeit nicht ausreicht. Es werden kritische Aspekte diskutiert:

• Datenschutz: Sensible Daten in Privathaushalten und Krankenhäusern erfordern On-Device-Inferenz und datensparsame Architekturen.
• Verantwortlichkeit: Klärung der Haftung bei Fehlentscheidungen autonomer Systeme.
• Soziale Akzeptanz: Die Notwendigkeit, kulturelle Normen zu respektieren und Transparenz über die Fähigkeiten und Grenzen des Roboters zu schaffen, um Vertrauen zu fördern.

4. Signifikanz und Ausblick

Diese Arbeit ist die erste systematische Übersicht, die sich ausschließlich auf die Integration von Foundation Models in die mobile Servicerobotik konzentriert (im Gegensatz zu stationären Manipulatoren oder allgemeinen Robotik-Übersichten).

• Paradigmenwechsel: Sie dokumentiert den Übergang von starren, regelbasierten Systemen hin zu adaptiven, generalisierbaren Robotern, die durch Foundation Models „Verstand" und „Intuition" erhalten.
• Zukünftige Forschungsrichtungen: Die Autoren identifizieren drei kritische Pfade für die Zukunft:
  1. Zuverlässigkeit und lebenslanges Lernen: Vermeidung von Halluzinationen und katastrophalem Vergessen bei kontinuierlicher Anpassung an neue Umgebungen.
  2. Privatsphäre und ressourcenschonender Einsatz: Entwicklung von Modellen, die unter strengen Datenschutzauflagen und mit begrenzter Rechenleistung funktionieren.
  3. Governance und Human-in-the-Loop: Etablierung von Standards, Benchmarks und Überwachungsprotokollen, um den sicheren und vertrauenswürdigen Einsatz in menschlichen Umgebungen zu gewährleisten.

Fazit: Foundation Models bieten das Potenzial, mobile Serviceroboter von spezialisierten Werkzeugen zu allgemeinen, kontextbewussten Assistenten zu transformieren. Der Erfolg hängt jedoch davon ab, die verbleibenden Lücken in Bezug auf Sicherheit, Recheneffizienz und ethische Governance zu schließen.