Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO

In der Welt der künstlichen Intelligenz gibt es einen Zweig, der sich dem Lehren von Maschinen widmet, wie sie sich bewegen und mit der physischen Welt interagieren. Dieses Feld, bekannt als kontinuierliche Steuerung (Continuous Control), fordert Computer heraus, das Gehen, Laufen oder Aufstehen zu erlernen, ganz ähnlich wie ein Kind, das lernt, das Gleichgewicht zu halten. Um dies zu tun, verwendet der Computer einen mathematischen Leitfaden namens Policy, der vorschlägt, welche Aktion als Nächstes zu erfolgen hat, basierend auf dem, was er sieht. Seit Jahrzehnten ist das Standardwerkzeug für diesen Leitfaden eine glockenförmige Kurve – eine statistische Form, die eine wahrscheinlichste Aktion suggeriert, während sie gleichzeitig eine gewisse zufällige Variation zulässt. Doch die reale Welt hat Grenzen. Das Bein eines Roboters kann sich nicht über einen bestimmten Punkt hinaus nach hinten beugen, und ein Muskel kann nicht mit unendlicher Kraft kontrahieren. Wenn die glatten, unbegrenzten Vorschläge des Computers auf diese harten Wände treffen, werden sie gezwungen, abgeschnitten oder gestaucht zu werden, um hineinzupassen. Lange Zeit nahmen Forscher an, dass es nicht entscheidend sei, wie der Computer mit diesen Grenzen umgeht, solange der Roboter gut performte: Es zählte nur die Endpunktzahl – ging der Roboter schnell? Blieb er aufrecht stehen?

Eine neue Studie stellt diese Annahme infrage, indem sie genau untersucht, was im „Geist“ des Computers geschieht, wenn er lernt, auf einem simulierten Bein mit achtzig Muskeln zu gehen. Die Forscher entdeckten, dass die Art und Weise, wie der Computer seine eigene Unsicherheit misst, die Form des Pfades verändert, den er zu lernen versucht. Sie fanden heraus, dass, wenn der Computer in einer Weise unsicher sein darf, die die physischen Grenzen des Roboters ignoriert, er lernt, seine Aktionen direkt gegen die Wände seines erlaubten Bereichs zu drücken. Es ist, als würde der Roboter ständig seine Hände gegen die Kanten einer Box drücken, selbst wenn er problemlos in der Mitte stehen könnte. Dieses Verhalten wird nicht dadurch verursacht, dass die Muskeln des Roboters langsam sind oder die Grenzen zu eng gesetzt wurden. Es ist vielmehr ein direktes Resultat der Art und Weise, wie der Lernalgorithmus seine eigene „Neugier“ oder Zufälligkeit berechnet. Die Studie zeigt: Wenn man den Ort verändert, an dem diese Neugier gemessen wird – weg von den internen, unbegrenzten Gedanken des Computers hin zu den tatsächlichen, physischen Aktionen des Roboters –, lernt der Roboter eine völlig andere Geometrie. Er hört auf, gegen die Wände zu drücken, und lernt stattdessen, sich bequem in der Mitte aufzuhalten, während er eine ähnliche oder sogar bessere Leistung erbringt.

Die Untersuchung begann mit einer komplexen Simulation eines menschenähnlichen Beins, das mit achtzig verschiedenen Muskeln ausgestattet war und die Aufgabe hatte zu gehen. Die Forscher trainierten eine künstliche Intelligenz unter Verwendung einer populären Lernmethode, um dieses Bein in Bewegung zu setzen. Dabei beobachteten sie ein seltsames Phänomen: Der Computer lernte zwar erfolgreich zu gehen, tat dies jedoch, indem er Befehle sendete, die fast immer am äußersten Rand dessen lagen, was die Muskeln leisten konnten. Ungefähr achtundachtzig Prozent der Zeit lagen die Muskelbefehle innerhalb von fünf Prozent ihrer maximalen oder minimalen Grenzwerte. Es war, als würde der Walker ständig gegen seine eigenen Fesseln stemmen. Das Team vermutete zuerst ein physisches Problem, das vielleicht durch die Art und Weise verursacht wurde, wie Muskeln natürlich aktivieren und deaktivieren, oder durch die spezifische Art, wie die Simulation die Signale filterte. Sie testeten diese Ideen, indem sie die Physik der Simulation änderten, die Aktivierungszeiten symmetrisch gestalteten und Filter entfernten. Keine dieser Änderungen löste das Problem. Der Roboter drückte immer noch gegen die Wände. Dies schloss die physische Welt als Verursacher aus und lenkte den Verdacht auf den Lernalgorithmus selbst.

Um zu verstehen, warum der Roboter sich so verhielt, zerlegten die Forscher das Problem in zwei Teile: die durchschnittliche Richtung, in die der Robot gehen wollte, und die Menge an Zufälligkeit oder Variation, die er zu dieser Richtung hinzufügte. Sie stellten eine einfache Frage: Ist der Roboter nahe der Wand, weil er wild herumrät, oder weil er gezielt auf die Wand abzielt? Durch das Durchführen eines Kontrafaktualitätstests zum exakt gleichen Zeitpunkt fanden sie heraus, dass selbst wenn sie die gesamte Zufälligkeit entfernt hätten und den Roboter gezwungen hätten, seinem Durchschnittsplan perfekt zu folgen, er immer noch in der Nähe der Wand sein wollte. Tatsächlich zeigte der Durchschnittsplan oft außerhalb des möglichen Bewegungsbereichs, was den Computer dazu zwang, die Aktion auf das nächstgelegene Limit zu kürzen (Clipping). Der „Geist“ des Roboters war nach außen gerichtet (extruded) und drückte seine beabsichtigten Aktionen über die Grenzen hinaus; die physischen Grenzen fingen sie lediglich ab. Dies bedeutete, dass es nicht ausreichen würde, dem Roboter einfach zu sagen, er solle weniger zufällig sein; der Roboter musste lernen, von vornherein auf die Mitte zu zielen.

Der Schlüssel zur Lösung lag darin, wie der Computer seine eigene Unsicherheit maß. Im Standardsetup berechnet der Computer seine Zufälligkeit basierend auf seinen internen, unbegrenzten Gedanken, bevor diese in physische Aktionen übersetzt werden. In diesem internen Raum behandelt die Mathematik das Zentrum und die Ränder als identisch und bietet keinen Grund, von den Wänden fernzubleiben. Die Forscher erkannten jedoch, dass sich die Mathematik ändern würde, wenn der Computer seine Unsicherheit messen würde, nachdem die Aktionen in die physische Welt übersetzt worden waren. Da die physische Welt harte Grenzen hat, sehen die Ränder des Raums anders aus als das Zentrum. Wenn der Computer seine Unsicherheit in diesem physischen Raum berechnet, erzeugt die Mathematik natürlich eine Kraft, die die Durchschnittsaktion von den Wänden weg und zurück in die Mitte zieht. Es ist eine subtile Verschiebung der Perspektive: die Messung des Rauschens dort, wo es relevant ist, statt dort, wo es generiert wird.

Um dies zu testen, ließen die Forscher drei verschiedene Versionen des Lernalgorithmus denselben Geh-Aufgabe durchlaufen. In der ersten Version maß der Computer die Unsicherheit in seinen internen Gedanken. In der zweiten maß er gar keine Unsicherheit. In der dritten maß er die Unsicherheit in den physischen Aktionen. Die Ergebnisse waren frappierend. Die Version, die die Unsicherheit in ihren internen Gedanken maß, lernte, sehr zufällig zu agieren und hielt ihre Aktionen gegen die Wände gedrückt. Die Version ohne Unsicherheit lernte, sehr präzise zu sein, zielte aber dennoch nahe an den Wänden. Nur die Version, die die Unsicherheit in den physischen Aktionen maß, lernte, ihre Durchschnittsaktionen bequem in der Mitte des erlaubten Bereichs zu halten. Diese Version besaß die meiste „innere“ Geometrie, was bedeutete, dass der Roboter nicht gegen seine Grenzen kämpfte.

Das Team wiederholte das Experiment mit einer völlig anderen Aufgabe: dem Erlernen des Aufstehens eines simulierten Hundes. Diese Aufgabe beinhaltete achtunddreißig verschiedene Gelenke und nutzte eine andere Software-Codebasis, um sicherzustellen, dass die Ergebnisse kein Zufall der ersten Simulation waren. Dasselbe Muster trat zutage. Die Version, die die Unsicherheit in den physischen Aktionen maß, lernte, ihre Bewegungen zentral zu halten, während die anderen Versionen zu den Rändern abdrifteten. Dies bestätigte, dass der Befund nicht spezifisch für das Gehbein oder die erste Software war. Die Forscher testeten auch, ob es funktionieren würde, den Computer einfach durch eine direkte Strafe (Penalty) anzuweisen, auf die Mitte zu zielen. Sie fanden heraus, dass eine direkte Strafe zwar auch den Roboter in die Mitte drücken konnte, aber eine andere Art von Verhalten in Bezug auf Zufälligkeit und Gesamtleistung erzeugte. Dies zeigte, dass das Messen der Unsicherheit im physischen Raum eine effektive Methode war, das Problem zu lösen, aber nicht die einzige; es koppelt die Zielsetzung des Roboters und seine Variation auf natürliche Weise, doch das daraus resultierende Gleichgewicht von Zufälligkeit und Leistung kann sich signifikant von anderen Methoden unterscheiden, die dasselbe Ziel der Zentrierung erreichen.

Die Studie kommt zu dem Schluss, dass für Roboter, die in der realen Welt lernen zu bewegen, die Entscheidung, wo die Unsicherheit gemessen wird, eine kritische Designentscheidung ist. Es reicht nicht aus, lediglich eine hohe Punktzahl bei einer Aufgabe zu erreichen; die Art und Weise, wie der Roboter lernt sich zu bewegen, ist entscheidend für seine Stabilität und Sicherheit. Wenn der Roboter lernt, ständig gegen seine Grenzen zu drücken, könnte er fragil sein oder bei geringfügigen Änderungen der Umgebung versagen. Durch das Messen der Unsicherheit im physischen Raum lernt der Roboter eine Geometrie, die ihn sicher und zentriert hält. Diese Erkenntnis legt nahe, dass die Standardmethode, Roboter die Bewegung beizubringen, aktualisiert werden muss. Anstatt die physischen Grenzen während des Lernprozesses zu ignorieren, sollte der Algorithmus sie berücksichtigen, um sicherzustellen, dass der Roboter lernt, sich mit einer natürlichen, zentrierten Anmut zu bewegen, anstatt in einem ständigen, kraftvollen Drücken gegen die Wände zu verharren.