Am I Still Coupled to My Environment? Task-agnostic Runtime Telemetry from the Reinforcement-learning Interaction Loop

Stellen Sie sich einen Roboter vor, der lernt, durch eine komplexe Welt zu laufen. Er trifft Entscheidungen basierend auf dem, was er sieht, führt Aktionen aus und beobachtet dann, was als Nächstes passiert. Dieser Zyklus ist der Herzschlag der modernen künstlichen Intelligenz, die als Reinforcement Learning bekannt ist. Jahrelang haben sich Ingenieure auf eine einzige Zahl verlassen, um ihnen zu sagen, ob der Roboter gut abschneidet: eine Punktzahl namens „Belohnung“ (Reward). Wenn die Punktzahl steigt, ist der Roboter erfolgreich. Wenn sie sinkt, stimmt etwas nicht. Aber diese Punktzahl beantwortet nur eine Frage: Hat der Roboter sein Ziel erreicht? Sie kann keine subtilere, aber entscheidendere Frage beantworten: Interagiert der Roboter noch immer auf die Art und Weise mit der Welt, wie er es eigentlich sollte? Ein Roboter könnte stolpern, seine Sensoren könnten glitchen oder seine Motoren könnten verschleißen, und dennoch könnte er es schaffen, die Ziellinie zu erreichen und eine hohe Punktzahl zu erzielen. In solchen Fällen lügt das Belohnungssignal und verbirgt die Tatsache, dass die Maschine in einem fragilen oder defekten Zustand arbeitet.

Dies ist das Problem, das die Forscher Wael Hafez und Chenan Wei zu lösen versuchten. Sie stellten die Frage, ob sie eine andere Art von Monitor bauen könnten – einen, der nicht auf die Endpunktzahl schaut, sondern statlich dem Gespräch zwischen dem Roboter und seiner Umgebung lauscht. Ihre Arbeit, die in einer simulierten Welt durchgeführt wurde, in der digitale Geparden über eine flache Ebene laufen, führt eine neue Art und Weise ein, diese Maschinen zu beobachten. Anstatt darauf zu warten, dass der Roboter eine Aufgabe misslingt, wollten sie den Moment erkennen, in dem der interne Rhythmus des Roboters beginnt, von seinem gesunden Muster abzuweichen. Sie entwickelten ein System, das jeden Schritt des Roboters als eine kleine Geschichte behandelt: was er sah, was er tat und was als Nächstes geschah. Durch die Analyse des Flusses dieser Geschichten fanden sie einen Weg, Probleme zu entdecken, die das traditionelle Score-System oft übersieht.

Die Forscher testeten ihre Idee an einundzwanzig verschiedenen digitalen Geparden, von denen jeder darauf trainiert war, unter Verwendung von zwei verschiedenen Lernmethoden so schnell wie möglich zu laufen. Nachdem diese Agenten vollständig trainiert worden waren, frierten die Forscher deren Lernen ein, damit sie sich während des Tests nicht veränderten. Dann führten sie verschiedene Probleme oder „Perturbationen“ ein, um zu sehen, ob ihr neuer Monitor diese erkennen konnte. Einige Probleme wurden dem Gehirn des Roboters selbst hinzugefügt, wie etwa das Hinzufügen von zufälligem Rauschen zu den Befehlen, die er an seine Beine sendete. Andere wurden der Welt selbst hinzugefügt, wie etwa die Änderung der Schwerkraft oder das Drücken des Roboters durch eine externe Kraft. Insgesamt führten sie einhundertachtundsechzig verschiedene Versuche durch, bei denen etwas nicht stimmte, neben einundzwanzig Versuchen, bei denen alles perfekt blieb.

Um zu verstehen, wonach sie suchten, konzentrierten sich die Forscher auf die Beziehung zwischen den drei Teilen der Erfahrung des Roboters. Bei einem gesunden Lauf gibt es eine enge, vorhersehbare Verbindung zwischen dem, was der Roboter sieht, der Aktion, die er wählt, und dem Ergebnis, das er erzielt. Die Forscher schufen ein Maß für diese Verbindung, das sie „Kopplungsanteil“ (coupling share) nannten. Stellen Sie sich dies als eine Methode vor, um zu prüfen, wie viel der gesamten Aktivität des Roboters tatsächlich mit dem Ergebnis verknüpft ist, das er produziert. Wenn der Roboter gesund ist, ist diese Verbindung stark und konsistent. Wenn etwas schiefgeht, lockert sich diese Verbindung. Der Roboter bewegt sich vielleicht immer noch, und die Welt reagiert vielleicht immer noch, aber der spezifische, charakteristische Tanz zwischen beiden hat sich verändert. Der neue Monitor verfolgt diese Veränderung in Echtzeit, indem er nur den Datenstrom nutzt, den der Roboter bei seiner Bewegung generiert. Er muss nicht wissen, was das Ziel des Roboters ist, und er muss auch die Belohnungspunktzahl nicht kennen. Er fragt einfach: Spricht der Roboter noch immer mit derselben Stimme zur Welt, wie er es tat, als er gesund war?

Die Ergebnisse zeigten, dass dieser Ansatz bemerkenswert effektiv ist. Als die Forscher ihren neuen Monitor mit der traditionellen Belohnungspunktzahl verglichen, war der Unterschied deutlich. Das Standard-Belohnungssystem erkannte nur vierundvierzig Prozent der Probleme. Es übersah oft die subtilen Veränderungen, bei denen der Roboter zwar kämpfte, aber es dennoch schaffte, den Lauf zu beenden. Im Gegensatz dazu detektierte der neue Monitor neunundsechzig Prozent der Probleme. Das bedeutet, dass er fünfundzwanzig Prozentpunkte mehr Fehler als das Belohnungssystem entdeckte, während er dieselbe Anzahl an Fehlalarmen bei den gesunden Robotern auslöste. In einem spezifischen Test, bei dem die Schwerkraft um zehn Prozent erhöht wurde, erkannte das Belohnungssystem das Problem nur in vierundzwanzig Prozent der Versuche, während der neue Monitor es in fast der Hälfte der Fälle fand.

Entscheidend ist, dass die Forscher sorgfältig erklärten, was ihr System ist und was es nicht ist. Sie haben keinen Zauberstab erschaffen, der kaputte Roboter repariert, und auch kein Kristallorn, das die Zukunft vorhersagt. Das System sagt dem Bediener nicht genau, was defekt ist, etwa ob ein Sensor schmutzig oder ein Motor schwach ist. Es warnt auch nicht immer wesentlich früher vor einem Problem als die Belohnungspunktzahl; in vielen Fällen lösten der neue Monitor und die Belohnungspunktzahl den Alarm zur gleichen Zeit aus. Stattdessen fungiert das System als ergänzende Prüfung. Es liefert eine Zweitmeinung zur Gesundheit des Betriebs der Maschine. Wenn die Belohnungspunktzahl sagt, dass der Roboter in Ordnung ist, aber dieser neue Monitor meldet, dass sich die Interaktion verändert hat, signalisiert dies, dass der Roboter auf eine Weise arbeitet, die nicht mehr charakteristisch für seinen gesunden Zustand ist. Dies gibt menschlichen Bedienern die Chance, genauer nachzuforschen, bevor ein totaler Ausfall eintritt.

Die Studie wurde vollständig in einer Computersimulation durchgeführt, und die Forscher räumten ein, dass reale Roboter mit viel komplexeren und unvorhersehbaren Herausforderungen konfrontiert sind. Die spezifischen Zahlen, die sie fanden, sind an die digitalen Geparden und die spezifischen Arten von Problemen gebunden, die sie eingeführt haben. Die Kernidee jedoch bleibt ein bedeutendes Versprechen für die Zukunft autonomer Systeme. Wenn wir mehr Roboter in die reale Welt entsenden, wird es möglicherweise nicht ausreichen, sich allein darauf zu verlassen, ob sie ihre Ziele erreichen. Wir müssen möglicherweise verifizieren, dass der zugrunde liegende Prozess, wie sie mit der Welt interagieren, intakt bleibt. Diese Forschung legt nahe, dass wir, indem wir auf den Rhythmus der Interaktion selbst hören, ein Sicherheitsnetz knüpfen können, das die subtilen Anzeichen des Verfalls erfasst, lange bevor die Maschine aufhört, sich zu bewegen.