Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering
Dieses Paper stellt OpenMLE vor, ein offenes Full-Stack-System für rekursive Selbstverbesserung im Machine-Learning-Engineering, und präsentiert Frontis-MA1, einen 35B Meta-Evolutions-Agenten, der durch ausführungsgestütztes Training und Langzeit-Suche (Long-Horizon Search) führende Modelle auf MLE-Benchmarks signifikant übertrifft und gleichzeitig eine starke Transferierbarkeit auf nicht enthaltene Aufgaben demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der die Menschen, die die Werkzeuge für die Zukunft bauen, selbst von diesen Werkzeugen gebaut werden. Dies ist das Reich von „KI für KI“, eine faszinierende Ecke der Informatik, in der künstliche Intelligenz nicht nur Spiele spielt oder Gedichte schreibt, sondern tatsächlich andere KIs entwirft, baut und verbessert. Der große Traum hierbei ist die „rekursive Selbstverbesserung“, ein Science-Fiction-Konzept, bei dem ein intelligentes System besser darin wird, intelligente Systeme zu erschaffen, welche wiederum noch besser darin werden, die nächste Generation zu erschaffen, was eine Eskalationsschleife der Intelligenz erzeugt. Aber um dorthin zu gelangen, benötigen wir einen sicheren, realen Spielplatz, um diese Ideen zu testen. Hier kommt „Machine Learning Engineering“ (MLE) ins Spiel. Betrachten Sie MLE als den unordentlichen, praktischen Job des Bauens von realen KI-Modellen: Daten sammeln, sie trainieren, Fehler beheben und sie so lange optimieren, bis sie funktionieren. Es ist der Unterschied zwischen einem theoretischen Bauplan und einem funktionierenden Auto. Wenn wir einer KI beibringen können, diesen Engineering-Job immer besser und autonomer zu erledigen, könnten wir den Code für diese selbstverbessernde Zukunft knacken.
Dieses Paper stellt einen neuen, offenen Spielplatz namens OpenMLE und einen Star-Schüler namens Frontis-MA1-35B vor, um zu sehen, ob eine KI wirklich lernen kann, ein besserer Ingenieur zu sein als die Menschen, die sie gelehrt haben. Die Forscher haben nicht nur einen einzelnen smarten Roboter gebaut; sie haben eine ganze Fabrik errichtet. Zuer Sie schufen OpenMLE-Gym, ein riesiges digitales Fitnessstudio mit fast 6.000 verschiedenen „Workout“-Aufgaben (wie der Vorhersage von Aktienkursen oder der Klassifizierung von Bildern), bei denen die KI versuchen kann, Probleme zu lösen, und sofortiges, ehrliches Feedback erhält, ob sie erfolgreich war oder gescheitert ist. Dann brachten sie ihrer KI, Frontis-MA1, vier spezifische „Muskelbewegungen“ bei: Draft (neuen Code schreiben), Improve (es verbessern), Debug (Fehler beheben) und Crossover (zwei gute Ideen miteinander kombinieren).
Die Magie geschieht, wenn sie die KI diese Bewegungen üben lassen. Anstatt nur zu raten, lässt Frontis-MA1 seinen Code im Gym laufen, sieht die Ergebnisse und lernt aus seinen Fehlern. Die Forscher fanden heraus, dass die KI nicht nur ein wenig besser wurde, sondern dramatisch besser wurde, wenn sie dieses Training mit einer intelligenten Suchstrategie namens OpenMLE-Evo kombinierte. In einem harten Test namens MLE-Bench Lite erreichte das Basismodell (die KI vor dem Training) nur bei etwa 39 % der Aufgaben eine „Medaille“ (eine Spitzenpunktzahl). Aber nach dem Trainings- und Suchzyklus sprang Frontis-MA1-35B auf 60,61 %. Als sie den Suchregler mit einem speziellen „Max“-Modus noch weiter aufdrehten, erreichte es 71,21 %.
Dies ist nicht nur ein kleiner Sieg; das Paper legt nahe, dass dieses System einige der berühmtesten und leistungsstärksten KI-Modelle der Welt (wie GPT-5.5 und Codex) bei diesen spezifischen Engineering-Aufgaben tatsächlich übertroffen hat und die Leistung von Kimi K3 fast erreichte, obwohl Frontis-MA1 auf einem kleineren Rückgrat von 35 Milliarden Parametern aufgebaut wurde. Die entscheidende Entdeckung ist, dass die KI lernte, ihre vergangenen Erfahrungen zu nutzen, um ihre zukünftigen Suchen zu leiten. Sie probierte nicht einfach nur zufällige Dinge aus; sie erinnerte sich daran, welche „Zweige“ ihres Problemlösungsbaums funktionierten, welche scheiterten und wie man die Gewinner miteinander kombiniert. Die Autoren zeigen, dass dieser „Lernen zu Lernen“-Ansatz es der KI ermöglicht, sich auch dann noch weiter zu verbessern, wenn sie bereits eine funktionierende Lösung gefunden hat, indem sie eine einfache Korrektur in eine Goldmedaille verwandelt. Während das Paper nicht den Anspruch erhebt, dass die KI eine vollständige, unendliche Selbstverbesserung erreicht hat, liefert es starke Beweise dafür, dass wir uns von KIs, die nur Anweisungen befolgen, hin zu KIs bewegen, die tatsächlich in der Lage sind, ihre eigenen Engineering-Fähigkeiten zu entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.