🤖 AI

MARS: Modular Agent with Reflective Search for Automated AI Research

MARS is een nieuw raamwerk voor autonoom AI-onderzoek dat de knelpunten van complexe machine learning-engineering overwint door het integreren van budgetbewuste Monte Carlo Tree Search-planning, een modulaire ontwerp-decompositie-implementatiepijplijn en vergelijkende reflectieve geheugenfuncties om state-of-the-art prestaties op MLE-Bench te bereiken.

Oorspronkelijke auteurs: Jiefeng Chen, Bhavana Dalvi Mishra, Jaehyun Nam, Rui Meng, Tomas Pfister, Jinsung Yoon

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiefeng Chen, Bhavana Dalvi Mishra, Jaehyun Nam, Rui Meng, Tomas Pfister, Jinsung Yoon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te winnen in een kookwedstrijd met hoge inzetten, maar je hebt een zeer strikte regel: je hebt slechts 24 uur om te koken, en elke minuut die je besteedt aan het snijden van uien kost je geld.

De meeste computerprogramma's die proberen dit probleem op te lossen, lijken op amateurkoks die gewoon alles tegelijk beginnen te snijden. Ze schrijven één gigantisch, rommelig recept (een "monolithisch script") dat probeert alles in één keer te doen. Als ze de soep verbranden, gooien ze de hele pot weg en beginnen ze opnieuw vanaf nul. Ze geven niet om hoe lang het duurt om het water te laten koken; ze willen gewoon dat de soep lekker smaakt. In de echte wereld van AI-onderzoek is dit een ramp, omdat het trainen van AI-modellen lijkt op het koken van een gigantische pot soep: het kost veel tijd en elektriciteit.

Het artikel introduceert MARS (Modular Agent with Reflective Search), wat lijkt op een Meesterkok met een Team van Specialisten en een Slim Notitieboek.

Zo werkt MARS, opgesplitst in drie eenvoudige delen:

1. De "Budgetbewuste" Zoeking (De Slimme Planner)

Stel je voor dat je het spel "Raad het Beste Recept" speelt, maar je hebt een beperkt budget voor ingrediënten en tijd.

Oude Manier: Je probeert elk recept dat je kunt bedenken, zelfs als er één 10 uur kost om te koken. Als het iets beter smaakt, kies je het, zelfs als je geen tijd meer over hebt om iets anders te koken.
MARS Manier: MARS gebruikt een strategie genaamd Budget-Aware MCTS. Denk hierbij aan een slimme planner die naar de klok kijkt. Als Recept A 1 uur kost en "oké" smaakt, en Recept B 10 uur kost en iets beter smaakt, kiest MARS Recept A. Het weet dat 9 uur verspillen aan een kleine verbetering een slechte deal is. Het vraagt zich voortdurend af: "Is deze verbetering de extra tijd en het extra geld waard?"

2. Modulaire Constructie (De Assemblagelijn)

In plaats van één gigantisch 50-pagina's tellend recept te schrijven, breekt MARS het kookproces op in kleine, aparte stations.

Oude Manier: Een kok schrijft één verwarrend script. Als de saus verkeerd is, moeten ze het hele 50-pagina's tellende document herschrijven om het te repareren.
MARS Manier: MARS gebruikt een "Ontwerp-Decompose-Implementeren"-piplijn. Het wijst verschillende "agenten" (specialist-koks) toe aan specifieke taken:
- Agent A regelt het groente (data).
- Agent B regelt de kruiden (modelarchitectuur).
- Agent C regelt het koken (training).
  Als de saus te zout is, verandert MARS alleen de instructies van de "Kruiden-Agent". Het raakt het groente of het vlees niet aan. Dit maakt de code makkelijker te repareren, makkelijker te testen en veel minder waarschijnlijk dat het hele systeem crasht.

3. Comparatief Reflectief Geheugen (Het "Aha!"-Notitieboek)

Dit is het meest magische deel. In een normale keuken, als een gerecht mislukt, zeg je misschien gewoon: "Dat werkte niet," en ga je verder.

Oude Manier: AI-agenten vergeten vaak waarom een gerecht mislukt. Ze proberen dezelfde fout misschien opnieuw omdat ze de specifieke oorzaak niet hebben geleerd.
MARS Manier: MARS houdt een "Comparatief Reflectief Geheugen" bij. Wanneer een nieuw gerecht beter blijkt dan het oude, zegt MARS niet gewoon "Goed gedaan". Het treedt op als een detective. Het vergelijkt het exacte verschil tussen het oude recept en het nieuwe.
- Voorbeeld: "Ah! Het nieuwe gerecht is beter omdat we een snufje zout hebben toegevoegd en het 2 minuten langer hebben gekookt. Het zout was de sleutel, niet de tijd."
- Het schrijft dit op als een "Les". Later, als het een compleet ander gerecht probeert, kan het zeggen: "Hé, ik heb geleerd dat zout helpt bij dit type probleem," en die les toepassen op een totaal andere tak van de zoektocht.
- Het artikel vond dat 63% van de lessen die MARS gebruikte, afkomstig was van deze "cross-branch transfers" – wat betekent dat het leerde van het ene type probleem en dit succesvol toepaste op een ander. Dit is het "Aha!"-moment.

Het Resultaat

De onderzoekers testten MARS op MLE-Bench, wat lijkt op een gigantische, moeilijke kookwedstrijd met 75 verschillende uitdagingen (van het analyseren van tekst tot het herkennen van afbeeldingen).

De Wedstrijd: Andere AI-agenten (zoals AIDE of AIRA) probeerden deze problemen op te lossen, maar bleven vaak vastzitten, schreven rommelige code, of verspillen tijd aan dure experimenten die niet opleverden.
De Winnaar: MARS won meer medailles (Goud, Zilver, Brons) dan enig ander open-source systeem. Het had niet alleen geluk; het was efficiënter. Het vond sneller betere oplossingen door geen tijd te verspillen aan dure, laagwaardige experimenten en door op gestructureerde wijze te leren van zijn fouten.

Samenvattend: MARS is een AI-onderzoeker die niet zomaar "willekeurige dingen probeert". Het plant zijn tijd zorgvuldig, breekt grote problemen op in kleine, beheersbare stukjes, en houdt een gedetailleerd notitieboek bij van precies waarom dingen werkten of faalden, waardoor het veel sneller kan leren en verbeteren dan zijn concurrenten.

Technische Samenvatting: MARS (Modulaire Agent met Reflectieve Zoeking) voor Geautomatiseerd AI-onderzoek

1. Probleemstelling

De automatisering van AI-onderzoek loopt vast in een kritieke knelpunt bij het uitvoeren van complexe Machine Learning Engineering (MLE)-taken. In tegenstelling tot algemene software-engineering, waar correctheid vaak binair is en verificatie computatiegoedkoop, is MLE een probabilistische, resource-intensieve onderneming. Het vereist het navigeren door een landschap dat wordt gedefinieerd door:

Computationeel Duurzame Evaluatie: Modeltraining en gegevensverwerking verbruiken enorme hoeveelheden middelen, waardoor "trial and error" kostbaar is.
Ondoorzichtige Prestatie-toeschrijving: Wanneer een experiment betere resultaten oplevert, is het moeilijk om de specifieke causale factoren te isoleren (toewijzing van krediet).
Architecturale Complexiteit: Onderzoeksrepositories vereisen een naadloze interactie tussen datalading, modelarchitectuur en trainingslussen.

Huidige Large Language Model (LLM)-agenten worstelen in dit domein. Ze genereren doorgaans monolithische scripts die uitvoeringskosten negeren, de modulariteit missen die nodig is voor rigoureuze engineering, en niet effectief leren van eerdere pogingen vanwege hun onvermogen om het probleem van krediettoewijzing op te lossen.

2. Methodologie: Het MARS-kader

MARS (Modulaire Agent met Reflectieve Zoeking) herformuleert het onderzoeksproces als een zoektocht naar een optimale software-repository. Het is gebaseerd op drie pijlers die zijn ontworpen om de specifieke beperkingen van autonome wetenschappelijke ontdekking aan te pakken:

A. Budgetbewuste Planning (Resource-bewuste MCTS)

Om de hoge kosten van evaluatie aan te pakken, hanteert MARS een kostenbeperkte Monte Carlo Tree Search (MCTS). In tegenstelling tot standaard zoekalgoritmen die uitsluitend optimaliseren voor taakprestaties, integreert MARS een Efficiëntie-gestuurde Beloningsfunctie direct in de zoekboom.

Mechanisme: De beloningsfunctie $R(v)$ weegt prestatiewinst ( $G(v)$ ) af tegen uitvoeringslatentie ( $t(v)$ ), en straft oplossingen die tijdslimieten overschrijden of computationeel inefficiënt zijn.
Actieruimte: De zoekboom maakt gebruik van drie operatoren:
1. Opstellen: Het genereren van een nieuwe oplossing van scratch.
2. Verbetering: Het aanpassen van geldige knopen om doelen te maximaliseren.
3. Debuggen: Het oplossen van runtime-fouten in gefaalde knopen.
Resultaat: Dit stelt de agent in staat om efficiënte oplossingen te prioriteren (bijvoorbeeld een trainingsrun van 1 uur boven een run van 4 uur met vergelijkbare prestaties), waardoor de ontdekkingsrate binnen een vast budget wordt geoptimaliseerd.

B. Modulaire Constructie

MARS vervangt fragiele, monolithische scripting door een gestructureerde, repository-niveau software-architectuur.

Pijplijn: Het hanteert een "Ontwerp-Decompose-Implementeren"-workflow met gespecialiseerde agenten:
1. Idee-generatie: Formuleert een uitgebreid plan in natuurlijke taal.
2. Module-decompositie: Ontleedt het plan in logische, onafhankelijke functionele modules.
3. Component-implementatie: Implementeert en valideert modules sequentieel.
Diff-gebaseerde verfijning: Code-aanpassingen worden gestructureerd in een gestandaardiseerd diff-formaat, wat atomaire, multi-file updates mogelijk maakt. Deze aanpak omzeilt tokenlimieten, vermindert contextruis, maakt code-caching/hergebruik mogelijk en verbetert de testbaarheid aanzienlijk door debugging te lokaliseren tot specifieke bestanden.

C. Comparatieve Reflectieve Geheugen

Om het probleem van krediettoewijzing op te lossen, introduceert MARS een Comparatief Reflectief Geheugen-mechanisme dat hoog-signaliserende, causale inzichten distilleert uit het verkenningsproces.

Lessen-distillatie: In plaats van louter logs te samenvatten, voert het systeem een comparatieve analyse uit tussen de huidige oplossing en de best bekende oplossing. Het isoleert specifieke algoritmische veranderingen die prestatieverschuivingen veroorzaken.
Lessentypes:
- Oplossingsverbeteringslessen: Afgeleid van geldige oplossingen, waarbij causale veranderingen en gegeneraliseerde regels worden geïdentificeerd.
- Debuglessen: Afgeleid van gefaalde uitvoeringen, waarbij de faallogica wordt uitgelegd en richtlijnen worden geboden om vergelijkbare fouten te voorkomen.
Gebruik: De agent behoudt de meest recente lessen in het geheugen en citeert deze expliciet bij toepassing op nieuwe oplossingen, wat de overdracht van inzichten tussen verschillende takken faciliteert.

3. Belangrijkste Bijdragen

Kaderintroductie: Het voorstellen van MARS, een kader dat expliciet is geoptimaliseerd voor autonoom AI-onderzoek door Budget-bewuste MCTS, een modulaire implementatiepijplijn en Comparatief Reflectief Geheugen te combineren.
State-of-the-art Prestaties: Uitgebreide evaluatie op de MLE-Bench-benchmark toont aan dat MARS state-of-the-art prestaties bereikt onder open-source kaders onder vergelijkbare omstandigheden, en concurrerend blijft met leiders op de wereldwijde ranglijst.
Kwalitatieve "Aha!"-momenten: Het systeem vertoont kwalitatieve doorbraken waarbij 63% van de gebruikte lessen voortkomt uit overdracht tussen takken, wat het vermogen van de agent aantoont om inzichten effectief te generaliseren over verschillende zoekpaden.
Open Release: De auteurs publiceren prompts, gegenereerde code en trajecten om toekomstig onderzoek te faciliteren.

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op MLE-Bench, bestaande uit 75 uitdagende Kaggle-wedstrijden op het gebied van NLP, computer vision en tabulaire data.

Prestatiemetingen: MARS behaalde het hoogste Gouden Medaille-aandeel (31,1%) onder alle gerapporteerde agenten in de gecontroleerde evaluatie.
Concurrentiekracht:
- Met behulp van Gemini-3-Pro-Preview behaalde MARS een Medaille-aandeel (Any Medal) van 56,0% en een Boven-mediane-aandeel van 65,8%.
- De geschaalde variant, MARS+ (met gebruik van 2x H100 GPU's), behaalde een Medaille-aandeel van 62,7% en een Gouden Medaille-aandeel van 33,8%, en presteerde beter dan sterke concurrenten zoals ML-Master 2.0.
Ablatiestudies:
- Modulaire Decompositie: Het verwijderen van dit component degradeerde het succes aanzienlijk, wat de rol ervan valideert in het verminderen van contextruis en het verbeteren van testbaarheid.
- Geheugmechanismen: Volledige verwijdering van geheugen veroorzaakte een drastische daling in prestaties. Comparatieve distillatie bleek essentieel voor het isoleren van causale factoren in vergelijking met eenvoudige empirische analyse.
- Budget-bewuste MCTS: De voorgestelde zoekstrategie presteerde consequent beter dan Vanilla MCTS en Greedy Search, wat bevestigt dat het straffen van uitvoeringstijd de ontdekking van optimale oplossingen verbetert.
Kostenefficiëntie: Een 4-uurs versie van MARS behaalde een hoger Medaille-aandeel (28,4%) terwijl het aanzienlijk minder uitgaf ($9,6) dan 24-uurs baselines, wat aantoont dat prestatiewinsten voortkomen uit architecturale efficiëntie en niet louter uit verhoogde resource-allokatie.

5. Betekenis en Beweringen

Het artikel stelt dat MARS de beperkingen van huidige autonome agenten in lang-horizon AI-onderzoek aanpakt door onderzoek te behandelen als een rigoureuze, repository-niveau engineering-uitdaging. Door resource-bewuste planning, modulaire constructie en comparatief reflectief geheugen te integreren, lost MARS effectief het probleem van krediettoewijzing op terwijl het exploratie in evenwicht brengt met computationele efficiëntie.

De auteurs stellen dat deze gestructureerde aanpak, die de strategische vooruitziendheid van menselijke ingenieurs nabootst, state-of-the-art prestaties mogelijk maakt in complexe Machine Learning Engineering-taken. Het vermogen van het systeem om "Aha!"-momenten te ervaren door overdracht van lessen tussen takken, suggereert een beweging naar agenten die niet alleen code kunnen uitvoeren, maar ook wetenschappelijke inzichten autonoom kunnen leren en generaliseren.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de evaluatie momenteel beperkt is tot MLE-Bench en dat de computationele kosten van iteratieve zoektochten en distillatie een barrière blijven. Er wordt voorgesteld om het kader uit te breiden naar bredere wetenschappelijke domeinen en de economische levensvatbaarheid te optimaliseren via geavanceerde context-caching en vroegtijdige stopzetting.