Identifying potentiating events in evolutionary search using replay experiments
Dieses Paper führt Experimente des analytischen Replays in das Evolutionary Computing ein und bietet eine Methodik sowie ein demonstratives Beispiel, um aufzuzeigen, wie die historische Trajektorie einer Population den zukünftigen Problemlösungserfolg unabhängig von unmittelbaren Fitnessverbesserungen potenzieren kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen ein Videospiel, in dem ein Charakter versucht, ein riesiges Rätsel zu lösen. Sie sehen, wie er den Code schließlich knackt und gewinnt, aber Sie haben keine Ahnung, wie er dorthin gelangt ist. Ist er durch einen glücklichen Trick gestolpert? Hat er auf halbem Weg eine geheime Fähigkeit gelernt, die den Rest des Spiels einfacher gemacht hat? In der Welt der Informatik gibt es ein Feld namens Evolutionäre Computerberechnung. Es ist wie ein digitales Petrischälchen, in dem wir Computerprogramme züchten, anstatt Bakterien. Wir lassen diese Programme im Laufe der Zeit „evolvieren“, indem wir sie mischen und mutieren lassen, um zu sehen, ob sie besser darin werden, Probleme zu lösen, wie etwa das Beheben von Softwarefehlern oder das Entwerfen von Roboterbewegungen.
Normalerweise feiern wir den Sieg, wenn ein Computerprogramm schließlich ein schwieriges Problem löst. Aber Wissenschaftler sind neugierig: Warum hat es dieses Mal funktioniert und beim letzten Mal nicht? War es eine spezifische Änderung im Code, die den späteren Erfolg ermöglicht hat? Hier kommt die Idee der Potenzierung ins Spiel. Denken Sie an sie wie an ein „Power-up“ in einem Videospiel. Sie sehen vielleicht nicht sofort, dass das Power-up etwas bewirkt, aber es verändert den Charakter so, dass er später, wenn er einen bestimmten Schlüssel findet, eine Tür öffnen kann, die er zuvor nicht öffnen konnte. Die Frage, die diese Arbeit behandelt, laute: Wie können wir in die Geschichte eines Computers zurückblicken, um diese verborgenen Power-ups zu finden, die eine Lösung möglich gemacht haben, selbst wenn der Computer zu diesem Zeitpunkt noch nicht „schlauer“ aussah?
Den Band des digitalen Lebens zurückspulen
In dieser Arbeit führen Austin Ferguson und Alexander Lalejini eine coole neue Methode vor, um diese digitalen Evolutionen mit etwas zu untersuchen, das sie Replay-Experimente nennen. Man kann sich das wie das Drücken der „Rückspul“-Taste bei einem Film vorstellen, aber anstatt denselben Film einfach nur noch einmal anzuschauen, pausiert man ihn an verschiedenen Momenten, macht eine Kopie der Charaktere genau in diesem Augenblick und startet eine Reihe neuer Filme ab genau diesem Punkt.
In der realen Welt haben Wissenschaftler dies mit Bakterien getan. Sie frieren Proben von Bakterien aus verschiedenen Tagen eines Laborexperiments ein. Später tauen sie diese auf und lassen sie erneut evolvieren, um zu sehen, ob sie bereits ein neues Merkmal entwickeln können, wie zum Beispiel das Essen einer neuen Art von Nahrung. Wenn sie das können, bedeutet das, dass die Bakterien sich bereits mit einigen verborgenen Veränderungen „vorbereitet“ haben.
Die Autoren bringen diese Idee in die Welt der Computerprogramme. Sie argumentieren, dass wir dasselbe auch mit Software tun können. Anstatt nur ein einziges Programm evolvieren zu sehen und auf das Beste zu hoffen, können wir „Snapshots“ des Programms bei jedem Schritt speichern. Dann können wir diese Snapshots nehmen und hunderte von neuen, leicht veränderten Versionen der Evolution von diesem Punkt aus weiterlaufen lassen. Indem wir sehen, wie oft diese neuen Versionen erfolgreich sind, können wir das Potenzial (oder die „Potenzierung“) eines Programms messen, ein Problem zu lösen.
Die große Überraschende Entdeckung: Erfolg bedeutet nicht immer, „stärker“ zu werden
Die Autoren führten eine Demonstration unter Verwendung einer einfachen Art von Computerprogramm namens Genetisches Programmieren durch. Sie richteten 1.000 verschiedene Gruppen dieser Programme ein und ließen sie versuchen, ein spezifisches Rätsel zu lösen: Zahlen in „klein“, „groß“ oder „weder noch“ zu sortieren.
Hier ist der Twist, den sie fanden, und das ist der wichtigste Teil ihrer Geschichte: Besser zu werden in dem Problem zu sein, bedeutet nicht immer, dass man dem Sieg näher kommt.
In ihrem Experiment verfolgten sie zwei Dinge:
- Fitness: Wie gut das Programm im Moment abschneidet (wie ein Score in einem Spiel).
- Potenzierung: Die Chance, dass das Programm das Rätsel perfekt lösen würde, wenn man die Evolution fortsetzt.
In einer ihrer Testgruppen (Population A) erreichten die Programme ein „lokales Optimum“. Das ist wie ein Spieler, der auf einem Plateau in einem Videospiel feststeckt. Ihr Score verbesserte sich nicht und blieb lange Zeit bei 75 % stehen. Für einen Beobachter sah es so aus, als würden die Programme nur auf der Stelle treten. Doch dann drückten die Autoren auf „Rückspulen“ und ließen die Replays laufen.
Sie entdeckten, dass in einem spezifischen Moment in der Geschichte dieser Gruppe die Potenzierung plötzlich von 1 % auf 40 % sprang. Die Programme waren plötzlich viel wahrscheinlicher in der Lage, das Rätsel perfekt zu lösen, obwohl sich ihr Score (die Fitness) überhaupt nicht verändert hatte! Sie steckten immer noch bei 75 % fest, aber sie hatten heimlich ein „Power-up“ erworben, das eine perfekte Lösung möglich machte.
Dies ist eine große Sache, denn es deutet darauf hin, dass man nicht einfach nur den aktuellen Score betrachten kann, um zu wissen, ob man gewinnt. Ein Programm könnte so aussehen, als würde es scheitern oder feststecken, aber es könnte auf einer Goldmine an Potenzial sitzen, das sich im Score noch nicht gezeigt hat.
Wie sie es gemacht haben (Das „engineered Replay“)
Um dies zu beweisen, nutzten die Autoren einen cleveren Trick namens „engineered Replay“ (konstruiertes Replay). Stellen Sie sich vor, Sie haben zwei Versionen eines Charakters: einen mit einem roten Hut und einen mit einem roten Hut und einem blauen Schal. Sie wollen wissen, welcher Gegenstand ihnen geholfen hat zu gewinnen.
In einem normalen Replay würden Sie einfach neue Spiele von der „roten Hut“-Version und der „roten Hut + blauer Schal“-Version starten. Aber um super präzise zu sein, erstellten die Autoren „konstruierte“ Versionen. Sie erschufen einen neuen Charakter mit nur dem blauen Schal (der in der ursprünglichen Historie nie existiert hatte) und ließen von dort aus ebenfalls Replays laufen. Dies half ihnen herauszufinden, welche winzige Änderung im Code das geheime Power-up war.
Was dies für die Zukunft bedeutet
Die Arbeit behauptet nicht, alle Geheimnisse der Evolution gelöst zu zu haben, aber sie legt nahe, dass Replay-Experimente ein mächtiges Werkzeug sind, das wir bisher nicht genug genutzt haben. Es zeigt:
- Verborgene Geschichte zählt: Der Pfad, den ein Programm nahm, um zu einer Lösung zu gelangen, ist genauso wichtig wie die Lösung selbst.
- Fitness ist eine Lügnerin: Ein hoher Score bedeutet nicht immer, dass ein Programm bereit ist, die schwierigsten Probleme zu lösen, und ein niedriger Score bedeutet nicht, dass es hoffnungslos ist.
- Wir können das „Warum“ finden: Durch Rückspulen und Replay können wir den exakten Moment bestimmen, in dem ein Programm das „Power-up“ erhielt, das es brauchte.
Die Autoren hoffen, dass Wissenschaftler in Zukunft diese Replay-Experimente nutzen werden, um zu verstehen, warum manche Computersuchen scheitern und andere erfolgreich sind. Vielleicht können wir eines Tages bessere Algorithmen entwerfen, die wissen, wann sie weitermachen müssen, selbst wenn der Score schlecht aussieht, weil sie spüren können, dass ein verborgenes Power-up direkt vor der Tür steht. Für den Moment jedoch ist diese Arbeit eine großartige Erinnerung daran, dass im digitalen Dschungel die wichtigsten Veränderungen vielleicht diejenigen sind, die man auf der Bestenliste nicht sehen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.