🤖 AI

MARS: Modular Agent with Reflective Search for Automated AI Research

MARS ist ein neuartiges Framework für autonome KI-Forschung, das die Engpässe komplexer Machine-Learning-Ingenieurarbeit überwindet, indem es budgetbewusste Monte-Carlo-Baumsuchplanung, eine modulare Pipeline für Entwurf, Zerlegung und Implementierung sowie vergleichende reflexive Erinnerung integriert, um auf MLE-Bench State-of-the-Art-Leistung zu erzielen.

Ursprüngliche Autoren: Jiefeng Chen, Bhavana Dalvi Mishra, Jaehyun Nam, Rui Meng, Tomas Pfister, Jinsung Yoon

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiefeng Chen, Bhavana Dalvi Mishra, Jaehyun Nam, Rui Meng, Tomas Pfister, Jinsung Yoon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Kochwettbewerb mit hohen Einsätzen zu gewinnen, aber Sie unterliegen einer sehr strengen Regel: Sie haben nur 24 Stunden Zeit zum Kochen, und jede Minute, die Sie mit dem Schneiden von Zwiebeln verbringen, kostet Sie Geld.

Die meisten Computerprogramme, die versuchen, dieses Problem zu lösen, sind wie Hobbyköche, die einfach anfangen, alles gleichzeitig zu schneiden. Sie schreiben ein riesiges, unübersichtliches Rezept (ein „monolithisches Skript"), das versucht, alles auf einmal zu erledigen. Wenn sie die Suppe verbrennen, werfen sie den ganzen Topf weg und beginnen von vorne. Ihnen ist egal, wie lange es dauert, das Wasser zum Kochen zu bringen; sie wollen nur, dass die Suppe gut schmeckt. In der realen Welt der KI-Forschung ist dies eine Katastrophe, denn das Trainieren von KI-Modellen ist wie das Kochen eines riesigen Topfes Suppe – es erfordert viel Zeit und Strom.

Die Arbeit stellt MARS (Modular Agent with Reflective Search) vor, das wie ein Meisterkoch mit einem Team von Spezialisten und einem intelligenten Notizbuch ist.

Hier ist, wie MARS funktioniert, aufgeteilt in drei einfache Teile:

1. Die „budgetbewusste" Suche (Der intelligente Planer)

Stellen Sie sich vor, Sie spielen ein Spiel namens „Errate das beste Rezept", aber Sie haben ein begrenztes Budget für Zutaten und Zeit.

Der alte Weg: Sie probieren jedes Rezept aus, das Ihnen einfällt, auch wenn eines 10 Stunden Kochzeit benötigt. Wenn es etwas besser schmeckt, wählen Sie es aus, selbst wenn Ihnen die Zeit ausgeht, um etwas anderes zu kochen.
Der MARS-Weg: MARS verwendet eine Strategie namens Budget-Aware MCTS. Stellen Sie sich dies als einen intelligenten Planer vor, der auf die Uhr schaut. Wenn Rezept A 1 Stunde dauert und „okay" schmeckt, und Rezept B 10 Stunden dauert und etwas besser schmeckt, wählt MARS Rezept A aus. Es weiß, dass 9 Stunden für eine winzige Verbesserung zu verschwenden ein schlechter Deal ist. Es fragt ständig: „Ist diese Verbesserung den zusätzlichen Zeit- und Geldaufwand wert?"

2. Modulare Konstruktion (Das Fließband)

Anstatt ein einziges riesiges 50-seitiges Rezept zu schreiben, zerlegt MARS den Kochprozess in kleine, separate Stationen.

Der alte Weg: Ein Koch schreibt ein einziges, verwirrendes Skript. Wenn die Sauce falsch ist, müssen sie das gesamte 50-seitige Dokument neu schreiben, um es zu reparieren.
Der MARS-Weg: MARS verwendet eine „Design-Zerlegen-Implementieren"-Pipeline. Es weist verschiedene „Agenten" (Spezialistenköche) bestimmten Aufgaben zu:
- Agent A kümmert sich um das Gemüse (Daten).
- Agent B kümmert sich um die Gewürze (Modellarchitektur).
- Agent C kümmert sich um das Kochen (Training).
  Wenn die Suppe zu salzig ist, ändert MARS nur die Anweisungen des „Gewürz-Agenten". Es berührt weder das Gemüse noch das Fleisch. Dies macht den Code einfacher zu reparieren, einfacher zu testen und viel weniger wahrscheinlich, das gesamte System zum Absturz zu bringen.

3. Vergleichendes reflektives Gedächtnis (Das „Aha!"-Notizbuch)

Dies ist der magischste Teil. In einer normalen Küche würden Sie, wenn ein Gericht misslingt, vielleicht nur sagen: „Das hat nicht funktioniert", und weitermachen.

Der alte Weg: KI-Agenten vergessen oft, warum ein Gericht misslungen ist. Sie versuchen denselben Fehler möglicherweise erneut, weil sie die spezifische Ursache nicht gelernt haben.
Der MARS-Weg: MARS führt ein „Vergleichendes reflektives Gedächtnis". Wenn ein neues Gericht besser ist als das alte, sagt MARS nicht einfach „Gute Arbeit". Es agiert wie ein Detektiv. Es vergleicht den exakten Unterschied zwischen dem alten und dem neuen Rezept.
- Beispiel: „Ah! Das neue Gericht ist besser, weil wir eine Prise Salz hinzugefügt und es 2 Minuten länger gekocht haben. Das Salz war der Schlüssel, nicht die Zeit."
- Es schreibt dies als „Lehre" auf. Später, wenn es ein völlig anderes Gericht versucht, kann es sagen: „Hey, ich habe gelernt, dass Salz bei dieser Art von Problem hilft", und diese Lehre auf einen völlig anderen Ast der Suche anwenden.
- Die Studie ergab, dass 63 % der Lehren, die MARS verwendete, aus diesen „übergreifenden Transferen" stammten – das bedeutet, es lernte von einer Art von Problem und wandte es erfolgreich auf ein anderes an. Dies ist der „Aha!"-Moment.

Das Ergebnis

Die Forscher testeten MARS auf MLE-Bench, das wie ein riesiger, schwieriger Kochwettbewerb mit 75 verschiedenen Herausforderungen ist (von der Textanalyse bis zur Bilderkennung).

Der Wettbewerb: Andere KI-Agenten (wie AIDE oder AIRA) versuchten, diese Probleme zu lösen, gerieten jedoch oft in Sackgassen, schrieben unordentlichen Code oder verschwendeten Zeit an teuren Experimenten, die sich nicht auszahlen.
Der Gewinner: MARS gewann mehr Medaillen (Gold, Silber, Bronze) als jedes andere Open-Source-System. Es hatte nicht nur Glück; es war effizienter. Es fand schneller bessere Lösungen, indem es keine Zeit mit teuren, wenig wertvollen Experimenten verschwendete und indem es auf strukturierte Weise aus seinen Fehlern lernte.

Zusammenfassend: MARS ist ein KI-Forscher, der nicht einfach „zufällige Dinge versucht". Es plant seine Zeit sorgfältig, zerlegt große Probleme in kleine, handhabbare Teile und führt ein detailliertes Notizbuch darüber, genau warum Dinge funktioniert haben oder gescheitert sind, was es ermöglicht, viel schneller zu lernen und sich zu verbessern als seine Konkurrenten.

Technische Zusammenfassung: MARS (Modularer Agent mit Reflektiver Suche) für automatisierte KI-Forschung

1. Problemstellung

Die Automatisierung der KI-Forschung stößt bei der Ausführung komplexer Machine-Learning-Engineering-Aufgaben (MLE) an eine kritische Engpassgrenze. Im Gegensatz zur allgemeinen Softwareentwicklung, bei der Korrektheit oft binär ist und die Verifikation rechnerisch günstig erfolgt, ist MLE ein probabilistisches, ressourcenintensives Unterfangen. Es erfordert die Navigation durch eine Landschaft, die definiert ist durch:

Rechenintensive Evaluierung: Das Training von Modellen und die Datenverarbeitung verbrauchen enorme Ressourcen, was „Trial and Error" (Versuch und Irrtum) kostspielig macht.
Undurchsichtige Leistungsattribution: Wenn ein Experiment bessere Ergebnisse liefert, ist die Isolierung der spezifischen kausalen Faktoren (Credit Assignment) schwierig.
Architektonische Komplexität: Forschungs-Repositories erfordern eine nahtlose Interaktion zwischen Datenladung, Modellarchitektur und Trainingsloops.

Aktuelle Large-Language-Model-Agenten (LLM) haben in diesem Bereich Schwierigkeiten. Sie generieren typischerweise monolithische Skripte, die Ausführungskosten ignorieren, die für eine rigorose Ingenieursarbeit erforderliche Modularität vermissen lassen und aufgrund ihrer Unfähigkeit, das Problem der Credit Assignment zu lösen, nicht effektiv aus vergangenen Versuchen lernen.

2. Methodik: Das MARS-Framework

MARS (Modularer Agent mit Reflektiver Suche) reformuliert den Forschungsprozess als Suche nach einem optimalen Software-Repository. Es basiert auf drei Säulen, die speziell zur Bewältigung der Einschränkungen autonomer wissenschaftlicher Entdeckung entwickelt wurden:

A. Budgetbewusste Planung (Ressourcenbewusster MCTS)

Um die hohen Kosten der Evaluierung zu adressieren, setzt MARS einen kostenbeschränkten Monte-Carlo-Baumsuche (MCTS) ein. Im Gegensatz zu Standard-Suchalgorithmen, die ausschließlich die Aufgabenleistung optimieren, integriert MARS eine Effizienz-gesteuerte Belohnungsfunktion direkt in den Suchbaum.

Mechanismus: Die Belohnungsfunktion $R(v)$ balanciert Leistungsgewinne ( $G(v)$ ) mit Ausführungs-Latenz ( $t(v)$ ) aus und bestraft Lösungen, die Zeitbudgets überschreiten oder rechnerisch ineffizient sind.
Aktionsraum: Der Suchbaum nutzt drei Operatoren:
1. Entwurf (Drafting): Generierung einer neuen Lösung von Grund auf.
2. Verbesserung: Modifikation gültiger Knoten zur Maximierung der Ziele.
3. Debugging: Behebung von Laufzeitfehlern in fehlgeschlagenen Knoten.
Ergebnis: Dies ermöglicht dem Agenten, effiziente Lösungen zu priorisieren (z. B. ein 1-stündiger Trainingslauf gegenüber einem 4-stündigen Lauf mit vergleichbarer Leistung) und so die Entdeckungsrate innerhalb eines festen Budgets zu optimieren.

B. Modulare Konstruktion

MARS ersetzt fragile, monolithische Skripterstellung durch eine strukturierte Softwarearchitektur auf Repository-Ebene.

Pipeline: Es verwendet einen „Design-Zerlegen-Implementieren"-Workflow mit spezialisierten Agenten:
1. Idee-Generierung: Formuliert einen umfassenden Plan in natürlicher Sprache.
2. Modul-Zerlegung: Zerlegt den Plan in logische, unabhängige Funktionsmodule.
3. Komponenten-Implementierung: Implementiert und validiert Module sequenziell.
Diff-basierte Verfeinerung: Code-Änderungen werden in einem standardisierten Diff-Format strukturiert, was atomare, multi-Datei-Aktualisierungen ermöglicht. Dieser Ansatz umgeht Token-Grenzen, reduziert Kontext-Rauschen, ermöglicht Code-Caching/Wiederverwendung und verbessert die Testbarkeit erheblich, indem das Debugging auf spezifische Dateien lokalisiert wird.

C. Vergleichende Reflektive Erinnerung

Um das Problem der Credit Assignment zu lösen, führt MARS einen Mechanismus namens Vergleichende Reflektive Erinnerung ein, der hochsignifikante, kausale Erkenntnisse aus dem Explorationsprozess destilliert.

Lektionen-Destillation: Anstatt lediglich Protokolle zusammenzufassen, führt das System eine vergleichende Analyse zwischen der aktuellen Lösung und der besten bekannten Lösung durch. Es isoliert spezifische algorithmische Änderungen, die Leistungsverschiebungen antreiben.
Lektionen-Typen:
- Lösungsverbesserungs-Lektionen: Abgeleitet von gültigen Lösungen, identifizieren sie kausale Änderungen und generalisierte Regeln.
- Debugging-Lektionen: Abgeleitet von fehlgeschlagenen Ausführungen, erklären sie die Fehlerlogik und bieten Richtlinien, um ähnliche Fehler zu verhindern.
Nutzung: Der Agent behält die neuesten Lektionen im Gedächtnis und zitiert sie explizit, wenn er sie auf neue Lösungen anwendet, was den branchenübergreifenden Transfer von Erkenntnissen ermöglicht.

3. Hauptbeiträge

Einführung des Frameworks: Der Vorschlag von MARS, einem Framework, das durch die Kombination von budgetbewusstem MCTS, einer modularen Implementierungspipeline und vergleichender reflektiver Erinnerung explizit für die autonome KI-Forschung optimiert wurde.
State-of-the-Art-Leistung: Umfassende Evaluierung am MLE-Bench-Benchmark zeigt, dass MARS unter vergleichbaren Bedingungen die State-of-the-Art-Leistung unter Open-Source-Frameworks erreicht und mit den Führern globaler Leaderboards konkurrieren kann.
Qualitative „Aha!"-Momente: Das System zeigt qualitative Durchbrüche, bei denen 63 % der genutzten Lektionen aus branchenübergreifendem Transfer stammen, was die Fähigkeit des Agenten demonstriert, Erkenntnisse über verschiedene Suchpfade hinweg effektiv zu generalisieren.
Offene Veröffentlichung: Die Autoren veröffentlichen Prompts, generierten Code und Trajektorien, um zukünftige Forschung zu erleichtern.

4. Experimentelle Ergebnisse

Die Evaluierung wurde am MLE-Bench durchgeführt, der 75 herausfordernde Kaggle-Wettbewerbe in den Bereichen NLP, Computer Vision und tabellarische Daten umfasst.

Leistungsmetriken: MARS erzielte die höchste Goldmedaillen-Rate (31,1 %) unter allen gemeldeten Agenten in der kontrollierten Evaluierung.
Wettbewerbsfähigkeit:
- Mit Gemini-3-Pro-Preview erreichte MARS eine Medaillen-Rate (Any Medal) von 56,0 % und eine Über-Median-Rate von 65,8 %.
- Die skalierte Variante, MARS+ (unter Verwendung von 2x H100 GPUs), erreichte eine Medaillen-Rate (Any Medal) von 62,7 % und eine Goldmedaillen-Rate von 33,8 % und übertraf starke Konkurrenten wie ML-Master 2.0.
Ablationsstudien:
- Modulare Zerlegung: Das Entfernen dieser Komponente verschlechterte den Erfolg erheblich und validierte ihre Rolle bei der Reduzierung von Kontext-Rauschen und der Verbesserung der Testbarkeit.
- Erinnerungsmechanismen: Die vollständige Entfernung des Gedächtnisses führte zu einem drastischen Leistungsabfall. Es wurde gezeigt, dass die vergleichende Destillation im Vergleich zur einfachen empirischen Analyse für die Isolierung kausaler Faktoren unerlässlich ist.
- Budgetbewusster MCTS: Die vorgeschlagene Suchstrategie übertraf konsistent Vanilla MCTS und Greedy Search, was bestätigt, dass die Bestrafung der Ausführungszeit die Entdeckung optimaler Lösungen verbessert.
Kosteneffizienz: Eine 4-Stunden-Version von MARS erreichte eine höhere Medaillen-Rate (Any Medal, 28,4 %), während sie deutlich weniger ausgaben ($9,6) als 24-Stunden-Baselines, was zeigt, dass Leistungsgewinne aus architektonischer Effizienz und nicht lediglich aus erhöhter Ressourcenallokation stammen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MARS die Grenzen aktueller autonomer Agenten in der KI-Forschung mit langem Horizont adressiert, indem es Forschung als rigorose, auf Repository-Ebene angesiedelte Ingenieursaufgabe behandelt. Durch die Integration von ressourcenbewusster Planung, modularer Konstruktion und vergleichender reflektiver Erinnerung löst MARS effektiv das Problem der Credit Assignment, während es Exploration mit rechnerischer Effizienz in Einklang bringt.

Die Autoren behaupten, dass dieser strukturierte Ansatz, der die strategische Weitsicht menschlicher Ingenieure nachahmt, State-of-the-Art-Leistung bei komplexen Machine-Learning-Engineering-Aufgaben ermöglicht. Die Fähigkeit des Systems, durch branchenübergreifenden Lektionen-Transfer „Aha!"-Momente zu erleben, deutet auf einen Wandel hin zu Agenten, die nicht nur Code ausführen, sondern auch wissenschaftliche Erkenntnisse autonom lernen und generalisieren können.

Die Arbeit erkennt Einschränkungen an und stellt fest, dass die Evaluierung derzeit auf MLE-Bench beschränkt ist und die Rechenkosten für iterative Suche und Destillation weiterhin eine Hürde darstellen. Für die Zukunft wird vorgeschlagen, das Framework auf breitere wissenschaftliche Domänen zu erweitern und die wirtschaftliche Tragfähigkeit durch fortschrittliches Kontext-Caching und frühes Stoppen zu optimieren.