Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation

Serviceroboter sind nicht länger nur ein Konzept der Zukunft; sie beginnen in Krankenhäusern, Hotels und öffentlichen Räumen aufzutauchen, mit der Aufgabe, Menschen zu führen und einfache Aufgaben zu erledigen. Damit diese Maschinen wirklich nützlich sein können, müssen sie mehr tun, als nur einem vorprogrammierten Pfad zu folgen. Sie müssen verstehen, was ein Mensch von ihnen verlangt, die Welt um sie herum sehen, um Hindernissen auszuweichen oder bestimmte Gegenstände zu finden, und dann herausfinden, wie sie sich bewegen müssen, um die Aufgabe zu erledigen. Die Herausforderung bestand lange darin, wie man diese drei Fähigkeiten – das Verstehen von Sprache, das Sehen der Umgebung und die Planung von Bewegungen – in ein einziges System kombiniert, das intelligent genug ist, um hilfreich zu sein, aber gleichzeitig klein und schnell genug, um auf dem eigenen Bordcomputer eines Roboters zu laufen.

Jahrelang haben Forscher versucht, dies zu lösen, indem sie massive, allumfassende KI-Systeme bauten, die versuchen, alles gleichzeitig zu erledigen. Diese Systeme, oft als Vision-Language-Modelle bezeichnet, sind unglaublich leistungsstark, da sie gleichzeitig ein Bild betrachten und einen Satz lesen können. Sie sind jedoch auch unglaublich schwerfällig und erfordern enorme Rechenleistung, die einfach nicht in einen kleinen, batteriebetriebenen Roboter passt. Dies schafft ein Dilemma: ein Roboter, der intelligent genug ist, um komplexe Anweisungen zu verstehen, aber zu langsam, um in Echtzeit zu reagieren, oder ein Roboter, der schnell ist, aber zu dumm, um zu verstehen, was er sieht.

Ein Team von Forschern aus Indonesien, Japan und Belgien hat einen anderen Weg vorgeschlagen. Anstatt zu versuchen, ein einziges riesiges Gehirn alles machen zu lassen, haben sie ein System entwickelt, das die Arbeit in zwei spezialisierte Teile aufteilt, die miteinander kommunizieren. In ihrem neuen Framework übernimmt ein schnelles, leichtgewichtiges visuelles System die Aufgabe des Erkennens von Objekten, während ein separates Sprachmodell die Aufgabe übernimmt, Anweisungen zu verstehen und Pläne zu erstellen. Diese Trennung ermöglicht es dem Roboter, auf einem kleinen, eingebetteten Computer zu laufen, ohne einen massiven externen Server zu benötigen. Die Forscher testeten diesen Ansatz an einem Leitroboter, der darauf ausgelegt ist, Menschen in öffentlichen Gebäuden zu navigieren, und fanden heraus, dass der Roboter durch die Trennung der Aufgaben komplexe Befehle verstehen, Objekte finden und sich mit hoher Genauigkeit zu bestimmten Orten bewegen konnte, während er gleichzeitig viel schneller reagierte als die All-in-One-Systeme.

Der verwendete Roboter basierte auf einer Standard-Mobilbasis, war jedoch mit einer einzelnen Kamera und einem kompakten Computerchip namens Jetson Orin Nano ausgestattet. Dieser Chip ist leistungsstark genug, um moderne Software auszuführen, aber klein genug, um auf einen Roboter zu passen, der sich frei bewegen muss, ohne an eine Steckdose gekettet zu sein. Die Forscher programmierten das System so, dass es natürliche Sprachbefehle von einem Menschen entgegennimmt, wie zum Beispiel: „Gehe zum Empfang und finde eine Person.“ Wenn der Roboter einen solchen Befehl erhält, zerlegt der Sprachteil des Systems diesen in eine Liste von Schritten. Er entscheidet, dass der Roboter zu einem bestimmten Ort fahren muss und dann nach einer Person suchen muss. Entscheidend ist, dass er dem visuellen Teil des Systems genau sagt, wonach es suchen soll, anstatt das visuelle System raten zu lassen, was wichtig sein könnte.

Diese Arbeitsteilung ist der Schlüssel zur Geschwindigkeit des Systems. In herkömmlichen All-in-One-Systemen muss der Computer das gesamte Bild und den gesamten Satz gleichzeitig verarbeiten, was viel Zeit in Anspruch nimmt. In diesem neuen Setup entscheidet das Sprachmodell schnell, dass der Roboter nach einer „Person“ suchen muss, und sendet dann eine einfache, kurze Anweisung an den visuellen Detektor, um nur dieses spezifische Objekt zu finden. Der visuelle Detektor, der für sehr schnelle Operationen konzipiert ist, scannt den Kamerafeed und meldet zurück, ob er eine Person sieht. Da das visuelle System keine Zeit damit verschwendet, jedes einzelne Ding im Raum zu analysieren, und das Sprachsystem keine Zeit damit verschwendet, die Pixel zu interpretieren, geschieht der gesamte Prozess viel schneller. Die Forscher maßen diesen Geschwindigkeitsunterschied und fanden heraus, dass ihr getrenntes System zwischen drei- und zwanzigmal schneller war als die All-in-One-Systeme, je nachdem, ob der Computer lokal lief oder mit einem Cloud-Server verbunden war.

Um zu sehen, ob dieser Ansatz in der realen Welt tatsächlich funktionierte, führte das Team eine Reihe von Tests durch. Zuerst testeten sie die Fähigkeit des Roboters, allein Bewegungsbefehlen zu folgen, indem sie ihn baten, zum nächstgelegenen Raum oder zum Empfang zu gehen. In diesen Tests plante der Roboter seine Route erfolgreich und erreichte das Ziel in 9-6 Prozent der Fälle. Als Nächstes fügten sie die visuelle Komponente hinzu und baten den Roboter, zu einem Ort zu gehen und dann ein bestimmtes Objekt zu finden, wie etwa einen Hydranten, einen Stuhl oder eine Person. In diesen komplexeren Szenarien, in denen der Roboter navigieren und dann suchen musste, war das System in 84 Prozent der Fälle erfolgreich. Die wenigen Fehler, die auftraten, lagen meist daran, dass die einzelne Kamera des Roboters Schwierigkeiten hatte, die genaue Entfernung zu einem Objekt einzuschätzen, was dazu führte, dass er etwas zu früh oder zu spät stoppte, anstatt dass er den Befehl missverstand oder das Objekt nicht sah.

Die Forscher brachten das System auch aus der Computersimulation heraus und platzierten es auf dem tatsächlichen physischen Roboter in einer echten Gebäudeempfangshalle. Sie gaben ihm dieselben Arten von Befehlen, und der Roboter führte die Aufgaben zuverlässig aus, navigierte durch den Raum, hielt an, um nach Menschen zu suchen, und sprach zum Benutzer zurück. Dieser Realwelt-Test bestätigte, dass das System die Unordnung einer echten Umgebung, einschließlich vorbeigehender Menschen und wechselnder Lichtverhältnisse, bewältigen konnte, ohne dass strukturelle Änderungen an der Software nötig waren. Die Ergebnisse zeigten, dass der Roboter die Stimme eines Menschen interpretieren, herausfinden konnte, wohin er gehen muss, das Benötigte finden und die Aufgabe ausführen konnte, während er auf einem kleinen Computer lief, der direkt auf dem Roboter selbst sitzt.

Die Studie legt nahe, dass die Zukunft der Serviceroboter möglicherweise nicht darin liegt, die Gehirne der Roboter größer und komplexer zu machen, sondern vielmehr darin, die Art und Weise zu organisieren, wie sie denken. Durch die Trennung der Aufgabe des Sehens von der Aufgabe des Schlussfolgerns zeigten die Forscher, dass ein Roboter sowohl hochfähig als auch effizient sein kann. Während die All-in-One-Systeme beeindruckend sind, sind sie für den praktischen Einsatz auf mobilen Robotern oft zu schwerfällig. Dieser hybride Ansatz bietet einen Weg nach vorn, auf dem Roboter in Krankenhäusern, Hotels und Büros eingesetzt werden können, um Menschen zu unterstützen, indem sie schnell auf Anweisungen reagieren und sich sicher durch überfüllte Räume bewegen. Die Arbeit behauptet nicht, jedes Problem der Robotik gelöst zu haben, aber sie liefert eine klare und bewiesene Methode, um Roboter zu bauen, die intelligent genug sind, um zu helfen, und schnell genug, um nützlich zu sein.