Adaptive Cost-Sensitive Machine Learning for Autonomous Robot Navigation Failure Prediction: When Not All Errors Are Equal

Autonome Roboter werden in Lagern, Krankenhäusern und sogar auf Stadtstraßen immer häufiger zu einem gewohnten Anblick, wobei sie die Aufgabe haben, sich ohne menschliche Hilfe von einem Punkt zum anderen zu bewegen. Um dies zu tun, verlassen sie sich auf eine komplexe Mischung aus Sensoren und Software, die eine Karte der Welt erstellt und einen Kurs hindurch plant. Jahrelang war das primäre Ziel der Forscher, diese Maschinen schneller und präziser zu machen. Doch ein anderes Problem ist entstanden: Wie wissen wir, wann ein Roboter kurz davor steht, einen gefährlichen Fehler zu begehen, bevor es passiert? In der Welt der Sicherheit sind nicht alle Fehler gleich. Ein Roboter, der seinen beabsichtigten Pfad leicht verfehlt, ist eine Unannehmlichkeit, aber ein Roboter, der in einen Menschen oder eine Wand kracht, ist eine Katastrophe. Traditionelle Computerprogramme behandeln diese beiden Ausgänge oft einfach als „Fehler“ und versäumen es, zwischen einer geringfügigen Unannehmlichkeit und einem lebensbedrohlichen Ereignis zu unterscheiden. Diese Lücke im Verständnis hat Forscher dazu veranlasst, eine dringlichere Frage zu stellen: Können wir Roboter lehren, ihre eigenen Ausfälle vorherzusagen, und noch wichtiger, können wir sie lehren, sich mehr um die Ausfälle zu kümmern, die wirklich zählen?

Rifa Ferzana, eine Forscherin an der Universität Edinburgh, hat diese Herausforderung angegangen, indem sie überdacht hat, wie Roboter lernen, Gefahr zu antizipieren. Anstatt einen Roboter einfach nur vorhersagen zu lassen, ob er scheitern wird, fragt der neue Ansatz den Roboter, die Schwere dieses Scheiterns vorherzusagen. Stellen Sie sich einen Roboter vor, der durch einen Raum voller Hindernisse navigiert. Wenn er leicht vom Kurs abweicht, verschwendet er ein wenig Zeit. Wenn er zu nah an eine Wand gerät, riskiert er einen Stoß. Wenn er mit Geschwindigkeit gegen eine Wand prallt, verursacht er einen Schaden. Ferzanas Arbeit baut ein System auf, in dem der Roboter trainiert wird, zu erkennen, dass diese drei Szenarien völlig unterschiedliche Gewichtungen tragen. Die Forschung bewegt sich weg von einem einfachen „Bestanden oder Nicht bestanden“-Test und schafft stattdessen eine Trainingsumgebung, in der der Roboter lernt, dass das Verpassen eines Beinahe-Unfalls weitaus kostspieliger ist als das Verpassen einer geringfügigen Pfadabweichung.

Um diese Idee zu testen, erschuf die Forscherin eine virtuelle Welt, in der ein kleiner, radgetriebener Roboter eine zwanzig-mal-zwanzig-Meter große Arena durchqueren musste, die mit acht zufällig platzierten kreisförmigen Hindernissen gefüllt war. Dem Roboter wurden ein Ziel und eine Reihe von Sensoren gegeben, um seine Umgebung wahrzunehmen, ähnlich wie bei einem Auto mit einem Fahrer. Das Team generierte zweitausend separate Fahrten, oder Episoden, die der Roboter absolvieren musste, was insgesamt etwa eine Million Bewegungsmomente ergab. In dieser simulierten Welt wurde der Roboter verschiedenen Bedingungen ausgesetzt, wie etwa verrauschten Sensoren, die unscharfe Messwerte lieferten, oder plötzlichen Änderungen in seinen eigenen Bewegungsbefehlen. Das Ziel war nicht nur zu sehen, ob der Roboter die Reise abschließen konnte, sondern zu sehen, ob ein Computerprogramm den aktuellen Zustand des Roboters betrachten und vorhersagen konnte, ob er kurz davor steht, einen schwerwiegenden Fehler zu begehen.

Der Kern der Entdeckung liegt darin, wie das Computerprogramm lernt. Im Standardtraining betrachtet ein Computer tausende Beispiele und versucht, so oft wie möglich die richtige Antwort zu erhalten. Wenn er einen Fehler macht, erhält er eine Strafe. In diesem neuen System ist die Strafe nicht für jeden Fehler gleich. Wenn der Roboter einen geringfügigen Fehler machte, war die Strafe klein. Wenn er ein Beinahe-Unfall war, war die Strafe fünfmal größer. Wenn er kurz vor einer Kollision stand, war die Strafe fünfundzwanzigmal größer. Diese einfache Änderung in der Art und Weise, wie der Computer unterrichtet wurde, zwang ihn, viel genauer auf die gefährlichen Situationen zu achten. Die Ergebnisse waren beeindruckend. Als die Forscher dieses „kostensensitive“ Training verwendeten, sprang die Fähigkeit des Systems, hochgradig schwerwiegende Ausfälle zu erkennen, von etwa fünfundachtzig Prozent auf fast neunundneunzig Prozent.

Die Studie ging noch einen Schritt weiter und fügte eine Ebene des Kontextes hinzu. Die Forscher erkannten, dass ein Beinahe-Unfall nicht immer gleichermaßen gefährlich ist. Eine langsame Annäherung an eine Wand mit klaren Sensoren ist weniger riskant als eine schnelle Annäherung mit unscharfen Sensoren. Um dies zu berücksichtigen, wurde das System aktualisiert, um seine Wachsamkeit basierend auf der Geschwindigkeit des Roboters, der Nähe zu Hindernissen und der Unsicherheit seiner Sensoren anzupassen. Wenn der Roboter schnell fuhr oder die Sensoren Schwierigkeiten hatten, wurde das System automatisch konservativer und schlug eher Alarm. Dieser adaptive Ansatz steigerte die Erkennungsrate noch weiter und erfasste fast jedes einzelne schwerwiegende Ereignis in der Simulation.

Die Forscher waren jedoch sorgfältig darauf bedacht, ehrlich über die Kompromisse zu sein. Indem sie das System so sensibel für Gefahren machten, begann es auch häufiger Alarm zu schlagen, wenn keine reale Gefahr bestand. Dies ist als Fehlalarm bekannt. Die Studie ergab, dass das adaptive System zwar exzellent darin war, fast jeden Crash abzufangen, dies jedoch dadurch erreichte, dass es viele sichere Momente als riskant markierte. Als die Forscher die Systeme unter denselben Bedingungen verglichen, war die adaptive Methode nur geringfügig besser darin, zwischen realer Gefahr und Sicherheit zu unterscheiden, als die einfachere Methode. Der Hauptvorteil bestand nicht darin, dass das System klüger darin wurde, Risiken einzustufen, sondern dass es bereit war, vorsichtiger zu sein. Es entschied sich dafür, öfter Alarm zu schlagen, um sicherzustellen, dass kein gefährliches Ereignis übersehen wird.

Um sicherzustellen, dass diese Ergebnisse nicht nur das Resultat der Computersimulation waren, testete das Team seine Methode mit Realdaten eines Roboters, der in früheren Studien verwendet worden war. Dieser Roboter, ausgestattet mit vierundzwanzig Ultraschallsensoren, hatte die Aufgabe, einer Wand zu folgen. Obwohl dieser Roboter nicht darauf ausgelegt war, zu kollidieren, ordneten die Forscher seine Bewegungen ihrer Schwere-Skala zu. Die Ergebnisse hielten stand: Das kostensensitive Training ermöglichte es dem System, Notfallmanöver mit perfekter Genauigkeit zu erkennen, was eine signifikante Verbesserung gegenüber Standardmethoden darstellte. Dies bestätigte, dass der Ansatz nicht nur in einer virtuellen Welt funktioniert, sondern auch mit Daten von tatsächlichen Maschinen.

Die Studie untersuchte auch, was passiert, wenn ein Roboter tatsächlich kollidiert. In der Hauptsimulation waren die Sicherheitskontrollen des Roboters so gut, dass er nichts traf. Um die Fähigkeit des Systems zu testen, echte Kollisionen vorherzusagen, erschufen die Forscher eine zweite, schwierigere Simulation, in der der Roboter wahrscheinlicher gegen Hindernisse prallte. In dieser härteren Umgebung verbesserte sich die Fähigkeit des Systems, eine Kollision vorherzusagen, von fünfundachtzig Prozent auf fast neunundneunzig Prozent. Die Kosten für das Übersehen einer Kollision sank drastisch von eintausend Einheiten potenziellen Schadens auf nur einhundert. Dies bewies, dass die Methode selbst für die schwerste Art von Ausfall effektiv ist, wenngleich dies mit einer hohen Rate an Fehlalarmen einherging, die fast achtzig Prozent der sicheren Momente als riskant markierten.

Die Forscher kamen zu dem Schluss, dass der wertvollste Aspekt dieser Arbeit nicht nur die Zahlen sind, sondern der Perspektivwechsel. Sie argumentierten, dass die Robotik-Gemeinschaft aufhören muss, alle Fehler als gleich zu behandeln. Ein System, das zu neunundneunzig Prozent genau ist, aber den einen Crash übersieht, der einen Roboter zerstört, ist in einer sicherheitskritischen Welt ein Versagen. Indem wir Maschinen lehren, ihre Fehler nach ihren Konsequenzen zu gewichten, können wir Systeme bauen, die den Schutz von Menschen und Ausrüstung über die bloße Effizienz stellen. Die Studie legt nahe, dass dieser Ansatz eine fundierte Methode bietet, um zu entscheiden, wie vorsichtig ein Roboter sein sollte, wodurch Ingenieure das Sicherheitsniveau je nach Umgebung anpassen können. Während das System einen Kompromiss in Form von häufigeren Fehlalarmen erfordert, argumentieren die Forscher, dass dies in Situationen, in denen ein Crash katastrophal ist, ein Preis ist, den man bereit ist zu zahlen. Die Arbeit steht als Beweis dafür, dass Maschinen mit dem richtigen Training lernen können, zu verstehen, dass nicht alle Fehler gleich sind.