NPU-Accelerated Neuro-Fuzzy Safety Assistance with Decision-Level Multimodal Fusion for Teleoperated Assistive Robots
Dieses Paper präsentiert ein Edge-AI-Shared-Control-Framework für teleoperierte assistive Roboter, das eine Hailo-8L NPU nutzt, um simultan ein Adaptive Neuro-Fuzzy Inference System und einen YOLOX-S-Detektor auszuführen und deren Ausgaben zu fusionieren, um Kollisionsraten sowie Notfallinterventionen signifikant zu reduzieren und gleichzeitig den vollen lokalen Betrieb aufrechterhalten zu können.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Roboter vor, der einer Person hilft, sich in einem Raum zu bewegen, aber der Roboter entscheidet nicht selbst, wohin er fährt. Stattdessen sitzt ein Mensch an einer Fernsteuerung, beobachtet eine Videoübertragung und steuert den Roboter mit einem Joystick. Dieser Aufbau ist bei Aufgaben wie der Überprüfung von älteren Verwandten oder der Inspektion gefährlicher Bereiche üblich, hat aber einen gefährlichen Makel. Der menschliche Bediener sieht nur das, was die Kamera zeigt, was oft nur ein schmaler Ausschnitt des Raumes ist. Er sieht vielleicht eine Glastür, einen niedrigen Tisch oder eine Person, die sich kurz außerhalb des Sichtfelds der Kamera befindet. Wenn der Bediener den Roboter vorwärts drückt, könnte er kollidieren, noch bevor der Mensch die Gefahr überhaupt erkennt. Die Lösung besteht nicht darin, den Roboter autonom fahren zu lassen, was die menschliche Kontrolle aufheben und komplexe, teure Kartierungssysteme erfordern würde. Die Lösung besteht darin, den Menschen lenken zu lassen, während eine intelligente Sicherheitsebene den Pfad überwacht und den Roboter sanft abbremst, wenn etwas zu nah ist.
Forscher der National Engineering School of Tunis haben genau diese Art von System für kleine, radgetriebene Roboter entwickelt und getestet. Ihr Ziel war es, ein Sicherheitsnetz zu schaffen, das vollständig auf dem Roboter selbst arbeitet, ohne Daten an einen Cloud-Server senden zu müssen oder auf einen leistungsstarken Computer angewiesen zu sein. Sie kombinierten zwei verschiedene Arten, die Welt wahrzunehmen. Erstens nutzt der Roboter Infrarotsensoren, die wie der Stock eines Blinden funktionieren und Signale von Objekten abprallen lassen, um die Entfernung zu messen. Zweitens nutzt er eine Kamera und ein visuelles Erkennungssystem, um zu identifizieren, um was für Objekte es sich handelt. Die Forscher brachten einem Computerprogramm bei, diese beiden Informationsströme zu verschmelzen. Das Programm lernt, den Roboter abzubremsen, basierend darauf, wie weit ein Objekt entfernt ist, aber es hört auch auf die Kamera. Wenn die Kamera eine Person oder einen Stuhl mit hoher Konfidenz sieht, reduziert das Programm die Geschwindigkeit des Roboters noch weiter und fungiert so als ein zweites Paar Augen, das niemals blinzelt.
Um dieses System schnell genug zu machen, um nützlich zu sein, standen das Team vor einer bedeutenden Herausforderung. Das gleichzeitige Ausführen komplexer Bildverarbeitungssoftware und Sicherheitsberechnungen erfordert normalerweise einen schweren, stromhungrigen Computer. Stattdessen verwendeten sie einen spezialisierten Chip, der für künstliche Intelligenz entwickelt wurde, eine sogenannte Neural Processing Unit (NPU), die klein genug ist, um auf einen Standard-Einplatinencomputer zu passen. Dieser Chip ermöglichte es dem Roboter, visuelle Daten und Sicherheitsentscheidungen gleichzeitig zu verarbeiten und seine Geschwindigkeit fünfzig Mal pro Sekunde zu aktualisieren. Das System plant keine Route oder wählt ein Ziel; es nimmt einfach die Richtung, die der menschliche Bediener wählt, und entscheidet, wie schnell der Roboter in dieser Richtung fahren darf. Wenn der Roboter einem Hindernis zu nahe kommt, überschreibt das System den Befehl des Bedieners, vorwärts zu fahren, und zwingt den Roboter dazu, zurückzufahren, um einen sicheren Stopp zu gewährleisten.
In ihren Experimenten testete das Team dieses System an einem eigens konstruierten vierrädrigen Roboter in einer kontrollierten Umgebung. Sie baten einen menschlichen Bediener, den Roboter durch einen Parcours voller Hindernisse unter drei verschiedenen Bedingungen zu steuern: das Fahren ohne Hilfe, das Fahren mit dem Infrarotsensor-Sicherheitssystem und das Fahren mit dem kombinierten Infrarot- und Kamerasystem. Die Ergebnisse zeigten eine deutliche Verbesserung der Sicherheit. Wenn der Bediener ohne Unterstützung fuhr, kollidierte der Roboter in vierzig Prozent der Versuche mit Hindernissen. Wenn das kombinierte Sicherheitssystem aktiv war, sank diese Kollisionsrate auf nur zehn Prozent. Darüber hinaus hielt der Roboter einen viel sichereren Abstand zu den Hindernissen ein, wobei er einen Spalt von etwa zehn Zentimetern wahrte, statt der fünf Zentimeter, die bei den ununterstützten Durchläufen beobachtet wurden. Das System reduzierte auch die Anzahl der Male, in denen der menschliche Bediener den Not-Aus-Knopf drücken musste, von durchschnittlich fast zwei Interventionen pro Durchgang auf nur ein Fünftel einer Intervention.
Die Forscher fanden heraus, dass das System reibungslos funktionierte, ohne die Fähigkeit des Roboters zu beeinträchtigen, auf die Lenkbefehle des Menschen zu reagieren. Der gesamte Prozess, vom Erkennen eines Hindernisses bis zur Anpassung der Geschwindigkeit, dauerte weniger als eine Hundertstelsekunde. Das visuelle System war besonders effektiv beim Erkennen von Objekten, die die Distanzsensoren möglicherweise übersehen würden, wie etwa Oberflächen mit geringem Kontrast, und es passte die Geschwindigkeit des Roboters basierend auf der Konfidenz an, mit der es das Gesehene wahrnahm. Dennoch stellten die Forscher fest, dass das System nicht perfekt ist. Die Sicherheitsregeln wurden in einem Labor mit statischen Objekten und einem einzelnen Bediener getestet, daher könnten die Ergebnisse in einem belebten Zuhause mit sich bewegenden Menschen variieren. Zudem, falls die visuelle Pipeline stockt oder ein Frame verzögert wird, verwirft das System die veralteten visuellen Daten und greift statisch nur auf die Distanzsensoren zurück, anstatt eine spezifische Blockade der Kamera zu erkennen. Trotz dieser Einschränkungen zeigt die Studie, dass es möglich ist, einem teleoperierten Roboter eine zuverlässige, lokale Sicherheitsebene zu geben, die vor Kollisionen schützt, ohne die Kontrolle des Menschen zu übernehmen.
Diese Arbeit ist wichtig, weil sie einen praktischen Weg für assistive Roboter aufzeigt, die erschwinglich und sicher sein müssen. Indem sie bewiesen haben, dass komplexe Sicherheitsberechnungen auf einem kleinen, stromsparenden Chip laufen können, haben die Forscher gezeigt, dass diese Roboter nicht an das Internet gebunden sein oder teure Hardware benötigen, um sicher zu sein. Das System respektiert die Absicht des menschlichen Bedieners und fügt gleichzeitig eine Schutzschicht hinzu, die immer aufmerksam ist. In Zukunft könnte diese Technologie es älteren Menschen ermöglichen, ferngesteuerte Roboter einzusetzen, um Gegenstände zu holen oder ihre Häuser zu überwachen, ohne die ständige Angst davor, dass die Maschine gegen Möbel oder Menschen prallt. Die Forscher planen, das System mit mehr Bedienern und in dynamischeren Umgebungen zu testen, um zu sehen, wie es sich behauptet, wenn die Welt weniger vorhersehbar ist als in einem Labor. Für den Moment haben sie gezeigt, dass ein Roboter sowohl gehorsam gegenüber einem Menschen als auch klug genug sein kann, um sich selbst zu schützen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.