Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light
Dieses Paper argumentiert, dass die Artificial-Life-Community grundlegende Kritiken an den Kernprinzipien des Reinforcement Learning adressieren kann, indem sie die offene Suche nach Neuheit (open-ended novelty search) mit thermodynamischen Theorien der Agency integriert, um einen biologisch getreuen Rahmen vorzuschlagen, der Lernen als Adaptation statt als Belohnungsoptimierung neu definiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie ein Lebewesen zu handeln. Seit Jahrzehnten beruht das Standardrezept dafür (genannt Reinforcement Learning oder RL) auf drei strengen Regeln, oder „Dogmen“:
- Die Welt ist ein Spielbrett: Die Umgebung ist ein berechenbares Raster, in dem jede Bewegung zu einem spezifischen Ergebnis führt.
- Lernen ist das Finden des besten Pfades: Der Roboter lernt, indem er nach der einzigen, perfekten Lösung für ein Problem sucht, wie etwa dem Finden des kürzesten Weges zu einer Schatzkiste.
- Das Ziel ist eine einzige Punktzahl: Der Roboter wird von einer einfachen Zahl (einem Belohnungswert) angetrieben. Er möchte die höchstmögliche Zahl erreichen, genau wie ein Videospieler, der versucht, die höchste Punktzahl zu erzielen.
Die Autoren dieser Arbeit, Mani Hamidi und Terrence Deacon, argumentieren, dass diese drei Regeln zu starr sind. Sie sagen, dass das wahre Leben nicht wie ein Videospiel mit einer einzigen hohen Punktzahl ist. Stattdessen schlagen sie vor, dass wir das Lernen durch die Linse der Evolution und der Physik betrachten sollten, um zu verstehen, was es wirklich bedeutet, ein „Agent“ (ein Wesen, das aus eigenem Antrieb handelt) zu sein.
Hier ist eine einfache Aufschlüsselung ihres Arguments unter Verwendung alltäglicher Analogien:
1. Lernen ist nicht nur „Suche“, sondern „Exploration“ (Die Garten-Analogie)
Die alte Sichtweise besagt, dass Lernen wie ein Wanderer ist, der versucht, den Gipfel eines einzelnen Berges zu finden (die beste Lösung). Wenn man den Gipfel gefunden hat, hört man auf.
Die Autoren sagen, dass echte Anpassung eher wie ein Gärtner ist, der einen wilden, offen stehenden Garten pflegt.
- Der alte Weg: Man pflanzt nur Blumen, die am höchsten wachsen. Sobald man die höchste Blume hat, ist man fertig.
- Der neue Weg: Man sucht nicht nur nach der „besten“ Blume. Man fördert das Wachstum verschiedener Arten von Pflanzen in verschiedenen Ecken des Gartens, damit sie nicht miteinander konkurrieren. Einige Pflanzen sind vielleicht klein, aber sehr farbenfroh; andere sind vielleicht hoch, aber karg.
- Warum das wichtig ist: In der realen Welt weiß man oft noch nicht, was die „beste“ Lösung ist. Man muss weiter explorieren und neue Arten von Lösungen erschaffen (Neuheit), anstatt nur eine alte zu perfektionieren. Dies wird „Open-Ended Novelty Search“ genannt. Es geht darum, ein vielfältiges Ökosystem an Ideen zu schaffen, nicht nur einen einzelnen Gewinner zu finden.
2. Die „Punktzahl“ funktioniert nicht für Lebewesen (Die Multitasking-Analogie)
Die alte Sichtweise besagt, dass ein Agent von einer einzigen Zahl angetrieben wird (wie ein Punktestand in einem Spiel). Die Autoren argumentieren, dass dies für Lebewesen unmöglich ist, da das Leben Multitasking betreibt.
Stellen Sie sich vor, Sie sind als Mensch ums Überleben bemüht. Sie versuchen nicht nur, „Glück zu maximieren“. Sie versuchen gleichzeitig:
- Warm zu bleiben (Thermoregulation).
- Den Salzgehalt im Körper richtig zu halten (Osmoregulation).
- Nahrung zu finden.
- Einem Raubtier auszuweichen.
Dies sind alles verschiedene „Ziele“, die manchmal gegeneinander arbeiten. Wenn ein Tiger auftaucht, wird Ihr Ziel, „Nahrung zu finden“, plötzlich weniger wichtig als Ihr Ziel, „wegzulaufen“.
- Das Problem: Man kann all diese verschiedenen, sich verschiebenden Bedürfnisse nicht in eine einzige Zahl (einen skalaren Reward) pressen.
- Die Lösung: Lebewesen operieren durch Homöostase (Aufrechterhaltung des inneren Gleichgewichts). Sie versuchen nicht, eine hohe Punktzahl zu erreichen; sie versuchen, ihre interne „Thermostat- und Kraftstoffanzeige“ innerhalb eines sicheren Bereichs zu halten. Die „Belohnung“ ist keine Zahl; sie ist das Gefühl der Erleichterung, wenn ein Bedürfnis gestillt wird.
3. Woher kommen Ziele? (Die „Wer hat das Haus gebaut?“-Analogie)
Wenn wir sagen, ein Roboter lernt, weil er eine Punktzahl maximieren will, wer hat ihm diese Punktzahl gegeben? In der aktuellen KI schreibt ein menschlicher Ingenieur den Code. In der Biologie sagen wir, die „Evolution“ hat uns unsere Ziele gegeben.
Aber die Autoren fragen: Woher hat die Evolution ihre Ziele bekommen?
Sie argumentieren, dass man nicht einfach „Evolution“ sagen kann und dann aufhört. Die Evolution braucht etwas, an dem sie arbeiten kann. Sie braucht ein System, das sich selbst kopieren und lange genug am Leben bleiben kann, um sich fortzupflanzen.
- Die Physik des Lebens: Bevor es die Evolution geben kann, braucht man ein physikalisches System, das gegen die natürliche Tendenz ankämpft, auseinanderzufallen (Entropie). Denken Sie an ein Lagerfeuer im Vergleich zu einem Bakterium.
- Ein Lagerfeuer verbrennt Brennstoff und schafft für einen Moment Ordnung, aber es brennt sich einfach selbst aus. Es versucht nicht, am Leben zu bleiben.
- Ein Bakterium ist eine Maschine, die aktiv ihre eigenen Wände baut und sich selbst repariert, um den Brennstoffverbrauch aufrechtzuerhalten. Es ist eine „selbsterhaltende“ Schleife.
- Die große Erkenntnis: Die Autoren argumentieren, dass wahre Agency (die Fähigkeit, im eigenen Namen zu handeln) nur existiert, wenn ein System physisch darauf ausgelegt ist, sich selbst zu erhalten. Das „Ziel“ ist keine Zahl; das Ziel ist schlichtweg am Leben zu bleiben.
Die „Sperrklinken“-Metapher (The Ratchet Metaphor)
Das Paper endet mit einem kraftvollen Bild. Stellen Sie sich eine Sperrklinke (ein Werkzeug, das sich in eine Richtung dreht, aber nicht zurückrutscht) vor.
- Die meisten Theorien des Lernens sind wie ein Ball, der einen Hügel hinaufrollt; er kann auch leicht wieder hinunterrollen.
- Die Autoren schlagen vor, dass wahre Agency wie eine Sperrklinke ist. Es ist ein System, das sich selbst aufbaut, seine Form gegen den Wind hält (den zweiten Hauptsatz der Thermodynamik) und diese Form dann an die nächste Generation weitergibt.
- Diese „Sperrklinke“ ist das, was Evolution überhaupt erst ermöglicht. Oh\ne ein System, das sich selbst zusammenhalten kann, gibt es kein „Selbst“, das evolvieren könnte.
Zusammenfassung
Das Paper behauptet, dass wir, um wirklich intelligente, autonome Maschinen zu bauen, aufhören müssen, sie als Videospiel-Charaktere zu betrachten, die einer hohen Punktzahl hinterherjagen. Stattdessen sollten wir sie als lebende Systeme betrachten, die:
- Viele verschiedene Möglichkeiten erkunden (nicht nur einen perfekten Pfad).
- Mehrere interne Bedürfnisse ausbalancieren (nicht nur eine einzige Punktzahl).
- Physisch darauf ausgelegt sind, sich selbst zu erhalten und sich fortzupflanzen (gegen die natürliche Tendenz anzukämpfen, auseinanderzufallen).
Indem wir die Physik dessen verstehen, wie ein System am Leben bleibt, können wir endlich verstehen, woher „Ziele“ und „Lernen“ tatsächlich kommen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.