ELMER: Evolutionary Language Model that Explores and Refines
Das Papier stellt ELMER vor, ein evolutionäres Sprachmodell, das ein feinabgestimmtes Qwen3-8B mittels Direct Preference Optimization nutzt, um natürliche Sprach-Policy-Mutationen nach Stärke zu steuern, wobei demonstriert wird, dass sprachbasierte Repräsentationen im Vergleich zu traditionellen syntaktischen Edit-Metriken eine überlegene Verhaltenskalibrierung und Sucheffizienz in der Programmevolution bieten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Videospiel zu spielen, aber anstatt ihm einen Joystick zu geben, müssen Sie jedes Mal, wenn er einen Fehler macht, einen neuen Satz von Regeln für ihn schreiben. Dies ist die Welt der Programmevolution, ein Bereich, in dem Wissenschaftler Computer nutzen, um bessere Software zu „züchten“, indem sie winzige Änderungen vornehmen, diese testen und die Gewinner behalten. Lange Zeit glich dieser Prozess eher dem Werfen von Dartpfeilen im Dunkeln. Wissenschaftler konnten zwar feststellen, ob eine neue Version des Codes besser oder schlechter war, hatten aber keine Möglichkeit zu kontrollieren, wie stark er sich veränderte. Eine winzige Anpassung an einem einzigen Wort im Code konnte versehentlich einen sanft gehenden Roboter in ein chaotisches, abstürzendes Wrack verwandeln, während ein massives Umschreiben den Roboter genau dasselbe tun lassen könnte. Die große Frage, die Forscher gestellt haben, lautet: Können wir ein System bauen, das nicht nur versteht, was zu ändern ist, sondern auch, wie weit es das Verhalten des Roboters bewegen muss, damit wir ihn präzise auf ein Ziel zusteuern können?
Hier kommt das Paper „ELMER: Evolutionary Language Model that Explores and Refines“ ins Spiel. Die Forscher Matthew Siper, Ahmed Khalifa und Julian Togelius haben ein cleveres neues System entwickelt, das ein großes Sprachmodell (eine superintelligente KI, die menschliche Sprache versteht) als „Mutationsoperator“ nutzt. Anstatt Computercode blind zu editieren, editiert die KI eine natürliche Sprachbeschreibung einer Handelsstrategie – vergleichbar mit einem Rezept für den Kauf und Verkauf von Aktien. Die KI wird darauf trainiert, drei spezifische Aufgaben zu verstehen: das Übersetzen eines Rezepts in Code, das Zurückübersetzen von Code in ein Rezept und, am wichtigsten, das Mutieren des Rezepts basierend auf einem „Stärke“-Befehl. Wenn Sie der KI sagen, sie solle eine Änderung mit „geringer Stärke“ vornehmen, passt sie das Rezept nur leicht an. Wenn Sie „hohe Stärke“ sagen, schreibt sie das Ganze komplett um.
Das Team testete dies am Finanzhandel unter Verwendung historischer Marktdaten, um zu sehen, wie gut die neuen Strategien abschnitten. Sie fanden heraus, dass sie die KI darauf trainieren konnten, darauf zu achten, wie sehr sich die tatsächlichen Handlungen des Roboters veränderten („behavioral displacement“), wodurch sie die „Stärke“-Befehle funktionsfähig machten. Wenn sie um eine kleine Änderung baten, machte die KI meist eine kleine Änderung; wenn sie um eine große Änderung baten, machte sie eine große. Dies ist eine große Sache, denn es verwandelt den chaotischen Prozess der Programmevolution in etwas, das eher dem Steuern eines Autos gleicht. Das Paper zeigt, dass die Verwendung natürlicher Sprachbeschreibungen der KI hilft, intelligentere und kontrolliertere Schritte zu machen, als wenn sie den rohen Code direkt editieren würde. In ihren Tests fand das sprachbasierte System die bestperformende Handelsstrategie aller von ihnen getesteten Methoden und erreichte dabei effizienter gute Ergebnisse mit weniger Versuchen. Obwohl das System nicht perfekt ist und noch gewisse Zufälligkeit aufweist, deuten die Ergebnisse darauf, dass die Lehre der KI, Veränderungen in menschlicher Sprache zu „sprechen“, uns einen viel besseren Weg bietet, sie durch den riesigen Raum möglicher Computerprogramme zu führen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.