Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
Dieses Paper führt Similarity as Reward Alignment (SARA) ein, ein robustes kontrastives Framework für präferenzbasiertes Reinforcement Learning, das latente Repräsentationen lernt, um Belohnungen als Ähnlichkeiten zu berechnen, und eine überlegene Stabilität sowie Rauschresistenz im Vergleich zu Baselines auf Benchmarks zur kontinuierlichen Steuerung demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man geht, tanzt oder eine Mahlzeit kocht. In der Welt der Künstlichen Intelligenz nennt man das Reinforcement Learning (Bestärkendes Lernen). Normalerweise lernt der Roboter durch Ausprobieren und erhält dafür eine Punktzahl oder eine „Belohnung“ von einem menschlichen Programmierer. Wenn der Robot etwas Gutes macht, bekommt er einen Punkt; wenn er umfällt, verliert er einen. Aber hier liegt der Haken: Ein perfektes Bewertungssystem zu schreiben, ist unglaublich schwer. Es ist, als würde man versuchen, ein Regelwerk für „gutes Kochen“ zu schreiben, das jeden möglichen Fehler abdeckt, den ein Koch machen könnte, ohne versehentlich vorzuschreiben, dass er das Haus niederbrennen soll.
Um dies zu lösen, entwickelten Wissenschaftler eine clevere Abkürzung namens Preference-based Reinforcement Learning (PbRL). Anstatt ein Regelwerk zu schreiben, fragt man Menschen einfach, sie sich zwei verschiedene Versuche des Roboters anzusehen und zu sagen: „Ich mag diesen hier lieber als jenen.“ Der Roboter versucht dann herauszufinden, welche verborgenen Regeln dazu führen, dass das „gute“ Beispiel besser ist. Es ist viel einfacher zu sagen: „Ich bevorzuge diese Pizza“, als ein Handbuch darüber zu schreiben, wie viel Käse exakt perfekt ist. Es gibt jedoch ein großes Problem: Menschen sind nicht perfekt. Wir werden müde, wir werden verwirrt und manchmal machen wir Fehler. Wenn der Roboter von einem Lehrer lernt, der oft falsch liegt, kann der Roboter lernen, tollpatschig oder gefährlich zu sein. Diese Arbeit befasst sich mit der chaotischen Realität, Roboter mit menschlichen Lehrern zu unterrichten, die manchmal falsch liegen.
Die Forscher hinter dieser Studie, Sara Rajaram, R. James Cotton und Fabian H. Sinz, bemerkten, dass sich die meisten aktuellen Methoden zum Unterrichten von Robotern durch menschliche Präferenzen auf einen spezifischen mathematischen Trick verlassen, den Bradley-Terry-Modell. Denken Sie bei diesem Modell an einen strengen Schiedsrichter, der nur head-to-head-Duelle betrachtet. Wenn Sie dem Schiedsrichter sagen: „Roboter A ist besser als Robbot B“, nimmt der Schiedsrichter an, dass dies eine absolute Wahrheit ist, und passt das Gehirn des Roboters entsprechend an. Aber was, wenn Sie nur geraten haben? Oder wenn Sie müde waren und den falschen gewählt haben? Das alte Modell behandelt jeden Fehler als Tatsache, was den Roboter verwirren und dazu führen kann, dass er sich sehr schlecht verhält, wenn der menschliche Lehrer einen Ausrutscher hat.
Um dies zu beheben, stellte das Team eine neue Methode namens SARA (Similarity as Reward Alignment) vor. Anstatt wie ein strenger Schiedsrichter zu agieren, der nur Paare betrachtet, agiert SARA eher wie ein weiser Kunstkritiker, der eine ganze Galerie von Gemälden betrachtet. SARA vergleicht nicht nur zwei Roboter zur Zeit; es betrachtet alle „guten“ Beispiele, die der Mensch mochte, und findet die gemeinsamen Muster, die sie besonders machen. Es erstellt einen mentalen „Fingerabdruck“ dessen, was eine perfekte Leistung ausmacht. Wenn der Roboter dann etwas Neues ausprobiert, fragt SARA: „Wie sehr ähnelt dies unserem Fingerabdruck?“ Wenn es ähnlich aussieht, erhält der Roboter eine Belohnung. Wenn es anders aussieht, erhält er eine niedrigere Punktzahl.
Das Schöne an SARA ist, dass es das Rauschen ignoriert. Wenn ein Mensch versehentlich eine schlechte Leistung als „gut“ bezeichnet, gerät SARA nicht in Panik. Da es sich so viele andere „gute“ Beispiele angesehen hat, erkennt es, dass dieses eine schlechte Beispiel nicht zum Muster der anderen passt. Es ist wie ein Musiklehrer, der tausende perfekter Klavierstücke gehört hat; wenn ein Schüler ein Stück mit einem falschen Ton spielt und der Lehrer versehentlich klatscht, weiß das Gehirn des Lehrers: „Warte, das klang nicht wie die anderen großartigen Stücke“, und lässt den Schüler nicht glauben, dass er es perfekt gemacht hat.
Das Team testete diese Idee bei einer Vielzahl von Roboteraufgaben, wie etwa dem Springen eines virtuellen Hoppers oder der Vorwärtsbewegung eines Walkers. Sie manipulierten das menschliche Feedback absichtlich, indem sie den Robotern sagten, dass schlechte Bewegungen eigentlich gut seien, mit Fehlerraten von 0 % bis hin zu 40 %. In diesen Tests begannen die alten Methoden (die strengen Schiedsrichter) mit zunehmenden Fehlern zu scheitern, wobei ihre Leistung auf einigen Aufgaben um bis zu 73 % einbrach. SARA hingegen blieb stabil. Selbst wenn das menschliche Feedback verrauscht war, zeigten SARA's Roboter eine gute Leistung und wiesen statistisch signifikante Verbesserungen gegenüber den älteren Methoden auf.
Die Forscher überprüften auch, wie gut SARA das tatsächliche Ziel der Aufgabe verstand, nicht nur das, was der Mensch sagte. Sie fanden heraus, dass die von SARA berechneten Belohnungen viel enger mit der tatsächlichen Physik der Umgebung übereinstimmten als die Belohnungen, die durch die älteren Methoden berechnet wurden. Dies deutet darauf an, dass SARA besser darin ist, das menschliche Chaos herauszufiltern und das wahre „gute“ Verhalten darunter zu finden.
Kurz gesagt legt diese Arbeit nahe, dass es beim Unterrichten von Robotern mit menschlichem Feedback besser ist, nach dem „Vibe“ einer guten Leistung über viele Beispiele hinweg zu suchen, anstatt sich auf jeden einzelnen Vergleich zu versteifen. Indem es eine Methode nutzt, die aus der kollektiven Weisheit einer Gruppe von „guten“ Beispielen lernt, anstatt nur aus Paar-Duellen, macht SARA Roboter wesentlich robuster gegenüber menschlichen Fehlern. Das bedeutet nicht, dass der menschliche Lehrer perfekt sein muss; es bedeutet nur, dass der Roboter klug genug ist, um zu wissen, wenn der Lehrer einen schlechten Tag hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.