🤖 AI

Learning the ARTS of Search for Automated Discovery

Het artikel introduceert ARTS, een agentisch redeneerframework dat een taalmodel gebruikt om onderscheid te maken tussen foutieve hypothesen en uitvoeringsfouten, terwijl het test-time training inzet om contextlimieten te overwinnen, waardoor het superieur presteert aan leidende zoekalgoritmen en de frontier-modellen evenaart met aanzienlijk lagere inferentiekosten over wetenschappelijke ontdevingstaken heen.

Oorspronkelijke auteurs: Gurusha Juneja, Arnav Kumar Jain, Deepak Nathani, William Yang Wang, Xin Eric Wang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gurusha Juneja, Arnav Kumar Jain, Deepak Nathani, William Yang Wang, Xin Eric Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe puzzel probeert op te lossen, maar je hebt de afbeelding op de doos niet. Je moet raden hoe de stukjes eruitzien, proberen ze in elkaar te passen en kijken of ze werken. Als een stukje niet past, moet je beslissen: Is het stukje zelf de verkeerde vorm, of heb ik het gewoon op de verkeerde manier geprobeerd te forceren?

Dit is de kern van de uitdaging van geautomatiseerde wetenschappelijke ontdekking, en het artikel introduceert een nieuw systeem genaamd ARTS (Agentic Reasoning for Tree Search) om dit op te lossen.

Hier is hoe ARTS werkt, uitgelegd via eenvoudige analogieën:

1. Het Probleem: De "Goed Idee vs. Slechte Uitvoering" Valstrik

Bij eerdere methoden probeerde een AI-wetenschapper een hypothese (een nieuw idee), schreef code om het te testen en kreeg een score.

De Fout: Als de score laag was, gooide de oude AI het idee direct weg en probeerde het iets totaal anders.
De Realiteit: Soms krijgt een briljant idee een lage score, simpelweg omdat de code een kleine bug had, de training niet was afgerond, of de instellingen net niet helemaal goed waren. Het is alsof een chef een perfect recept kookt, maar het toastje aanbrandt omdat de oven te heet stond. De oude AI zou zeggen: "Dit recept is slecht!" en het weggooien, zonder ooit te beseffen dat het recept eigenlijk geweldig was.

2. De Oplossing: De "Detective Wetenschapper"

ARTS introduceert een Wetenschapper (een slimme AI-redeneerder) en een Executor (een snelle AI-programmeur). Ze werken samen als een detective en een laborant.

De Detective (Wetenschapper): In plaats van alleen naar de eindscore te kijken, bekijkt de Detective de volledige geschiedenis van het experiment. Ze lezen de logs, controleren de code en bekijken de trainingscurves.
- De Analogie: Als een auto een test niet doorstaat, zegt de Detective niet alleen: "Deze auto is troep." Ze controleren de logs en zeggen: "De motor is prima, maar de monteur is vergeten olie toe te voegen."
- Het Resultaat: Als het idee goed was maar de uitvoering slecht, vertelt de Detective de Executor om hetzelfde idee opnieuw te proberen, maar dan met betere instructies. Dit redt de "veelbelovende" ideeën die andere methoden voortijdig zouden hebben weggegooid.
De Laborant (Executor): Deze AI is snel en goed in het schrijven van code. Het neemt de specifieke instructies van de Detective aan en bouwt het experiment op.

3. Het Vermijden van de "Echo Chamber"

Oude zoekmethoden raken vaak gevangen in een lus. Ze vinden één idee dat redelijk werkt, en maken dan steeds weer kleine, saaie aanpassingen aan dat idee (zoals de kleur van een auto veranderen, maar nooit de motor repareren).

ARTS' Truc: Het gebruikt een techniek genaamd "Verbalized Sampling." In plaats van alleen het enkele "beste" idee te kiezen, somt de Wetenschapper verschillende mogelijkheden op (bijv. "Probeer een nieuwe motor," "Probeer een nieuwe brandstof," "Probeer een nieuw wielontwerp") en wijst daar waarschijnlijkheden aan toe.
De Analogie: In plaats van alleen het pad te verkennen dat er nu het meest veelbelovend uitziet, stuurt ARTS verkenners uit over veel verschillende paden om te zien of er ergens een verborgen vallei is. Dit zorgt ervoor dat ze geen doorbraak missen, simpelweg omdat ze te gefocust waren op één plek.

4. Het "Geheugen" Probleen: Wanneer het Notitieblok te Vol is

Terwijl de AI zoekt, genereert het een enorme geschiedenis van experimenten. Uiteindelijk wordt deze geschiedenis te lang voor de AI om te onthouden (het raakt zijn "context window", of mentale ruimte, kwijt).

De Oude Manier: De AI zou oude aantekeningen verwijderen om ruimte te maken, waardoor het vergeet waarom bepaalde dingen zijn geprobeerd.
De ARTS Manier (Test-Time Training): Wanneer het notitieblok te vol raakt, verwijdert ARTS niet zomaar aantekeningen. Het neemt de lessen die geleerd zijn uit de eerdere experimenten en "bakt" ze in het brein van de AI.
- De Analogie: Stel je een student voor die duizend boeken heeft gelezen. In plaats van al die boeken met zich mee te dragen, legt hij een test af die hem dwingt de belangrijkste lessen op te schrijven. Zodra hij de test heeft gehaald, maken die lessen permanent deel uit van zijn geheugen.
- Het Resultaat: Een kleinere, goedkopere AI (Qwen3-4B) die de zoekgeschiedenis heeft "bestudeerd", kan net zo goed presteren als een gigantische, dure AI (zoals GPT-o3 of Gemini), maar tegen een fractie van de kosten.

5. De Resultaten: Slimmer, Niet Alleen Harder

De paper heeft ARTS getest op 22 verschillende machine learning uitdagingen (zoals het voorspellen van huizenprijzen, het herkennen van ziekten op röntgenfoto's of het spelen van games).

Prestaties: ARTS versloeg de vorige beste methoden op 16 van de 22 taken.
Efficiëntie: Het werd niet alleen gelukkig; het vond betere oplossingen door slimmer te zijn over waarom experimenten faalden.
Kosten: Door de "Test-Time Training" truc te gebruiken, kon een klein, open-source AI-model de prestaties evenaren van de duurste, gesloten super-AI's, wat tot wel 5 keer de kosten op rekenkracht bespaart.

Samenvatting

ARTS is een nieuwe manier voor AI om wetenschap te bedrijven. In plaats van blindelings dingen te proberen en alles wat niet direct werkt weg te gooien, gedraagt het zich als een nieuwsgierige detective. Het onderzoekt waarom dingen misgingen, redt veelbelovende ideeën die slechts slecht werden uitgevoerd, verkent tegelijkertijd vele verschillende paden en leert van zijn eigen fouten zodat het geen gigantisch geheugen nodig heeft om door te gaan. Dit stelt het in staat om sneller en goedkoper betere wetenschappelijke ontdekkingen te doen dan voorheen.

Technische Samenvatting: Agentic Reasoning for Tree Search (ARTS)

Probleemstelling

Wetenschappelijke ontdekking, met name binnen Machine Learning (ML), kan worden geformuleerd als een iteratieve zoektocht over een ruimte van hypothesen en experimenten. Huidige methoden voor geautomatiseerde ontdekking vertrouwen vaak op heuristieken zoals Monte Carlo Tree Search (MCTS) of evolutionaire algoritmen. Deze benaderingen lijden aan twee primaire beperkingen:

Conflatie van Hypothese-merite en Executiekwaliteit: Score-gebaseerde heuristieken rangschikken knopen op basis van hun uiteindelijke executiescores. Dit vervaagt het onderscheid tussen de kwaliteit van de onderliggende hypothese en de kwaliteit van de bijbehorende code-implementatie. Bijgevolg wordt een veelbelovende hypothese met een voorlopige of gebrekkige executie vaak verworpen ten gunste van een bescheiden hypothese met een verfijnde implementatie.
Beperkingen van het Contextvenster: Naarmate de zoektocht vordert, overschrijdt de geaccumuleerde geschiedenis van logs, code en scores het contextvenster van de reasoning modellen. Bestaande methoden ofwel inkorten deze geschiedenis (waardoor cruciale informatie verloren gaat) of vatten deze samen (wat de betrouwbaarheid van de reasoning vermindert), wat leidt tot een verlies van globale backtracking-mogelijkheden.

Methodologie: Agentic Reasoning for Tree Search (ARTS)

De auteurs stellen ARTS voor, een framework dat een Large Reasoning Model (LRM) inzet als een "agentic scientist" om door de zoekruimte te navigeren. In tegenstelling tot eerdere methoden die vaste heuristieken gebruiken voor knoopselectie, gebruikt ARTS een reasoning model om de eerdere executielogs te inspecteren, de oorzaken van fouten te diagnosticeren en de meest veelbelovende weg vooruit te selecteren.

Kernarchitectuur

ARTS scheidt het zoekproces in twee afzonderlijke componenten:

De Wetenschapper (The Scientist): Een reasoning model (bijv. OpenAI o3) verantwoordelijk voor de besluitvorming op hoog niveau. Het inspecteert de zoekboom, analyseert code en logs, diagnosticeert of een lage score voortkomt uit een gebrekkige hypothese of een corrigeerbare implementatiefout, en selecteert de ouderknoop voor expansie.
De Uitvoerder (The Executor): Een coding agent (bijv. Gemini 3 Flash) verantwoordelijk voor het implementeren van de hypothese van de wetenschapper in code, het draaien ervan in een sandbox, en het teruggeven van de score.

Kernmechanismen

Knoopinspectie en Diagnose: De wetenschapper gebruikt een INSPECT-tool om de code, trainingscurves en logs van elke knoop in de boom te lezen. Dit stelt het systeem in staat om onderscheid te maken tussen een "slecht idee" en een "slechte implementatie". Als een model bijvoorbeeld onderpresteert door onvoldoende trainingstijd in plaats van een zwakke architectuur, behoudt de wetenschapper de hypothese en verfijnt de executie.
Baseline Audit: Voordat de boom wordt uitgebreid, voert de wetenschapper een audit-fase uit waarbij de taakdata en de baseline-code worden gelezen zonder iets te wijzigen. Dit zorgt ervoor dat de agent structurele biases (bijv. sparse labels) begrijpt voordat er oplossingen worden voorgesteld.
Verbalized Sampling: Om diversiteitscollaps te voorkomen, genereert de wetenschapper een distributie van $K$ kandidaat-hypothesen met bijbehorende waarschijnlijkheden. Een externe sampler selecteert er één, wat ervoor zorgt dat de zoektocht diverse richtingen verkent in plaats van gulzig het pad met de hoogste waarschijnlijkheid te volgen.
Geheugenmodule: Een bewerkbare geheugenmodule slaat korte inzichten (bijv. faalmodi, scores) van elke expansie op, waardoor de wetenschapper cruciale informatie kan behouden zonder de volledige boom opnieuw te hoeven lezen.

ARTS*: Test-Time Training

Om context-overflow bij lange zoektochten aan te pakken, introduceren de auteurs ARTS*, dat gebruikmaakt van Test-Time Training (TTT).

Mechanisme: Het wetenschapper-model wordt gefinetuned met LoRA-adapters op de zoekgeschiedenis die het tot nu toe heeft gegenereerd. Deze "destilleert" de zoekervaring in de gewichten van het model, wat fungeert als een geheugenmechanisme.
Trainingslus: Het model wordt bijgewerkt met behulp van Group Relative Policy Optimization (GRPO). Het samplet meerdere acties (ouderknoop + hypothese), voert deze uit en ontvangt beloningen op basis van de percentielprestatie relatief aan de huidige scores in de boom.
Doel: Dit stelt kleinere, open-source modellen (bijv. Qwen3-4B) in staat om de prestaties van frontier closed-source modellen te evenaren door de kennis van de zoekboom te internaliseren, waardoor de afhankelijkheid van lange contextvensters wordt verminderd.

Belangrijkste Bijdragen

Agentic Reasoning for Tree Search (ARTS): Een nieuw zoekframework waarbij een LRM executietrajecten inspecteert om te redeneren over fouttoerekening, waarbij de kwaliteit van de hypothese wordt gescheiden van de kwaliteit van de uitvoering.
ARTS met Test-Time Training:* Een methode om context-overflow aan te pakken door de wetenschapper te finetunen op zijn eigen zoekgeschiedenis, waardoor kleinere modellen de zoekervaring kunnen behouden en de prestaties van grotere modellen kunnen evenaren.
Empirische Superieuriteit: Aangetoond verbeteringen over 22 taken van MLGym en MLEBench, waaruit blijkt dat reasoning-gebaseerde zoektochten superieur zijn aan lineaire, boom-gebaseerde en evolutionaire baselines.

Resultaten

De paper evalueert ARTS en ARTS* tegen vooraanstaande baselines (Linear Search, AIRA/MCTS, MLEvolve) en menselijke best scores.

Prestatiewinst: ARTS presteert beter dan leidende algoritmen op 16 van de 22 taken. Het bereikt een relatieve verbetering van 15,3% in de genormaliseerde gemiddelde score vergeleken met de sterkste baseline.
Betrouwbaarheid: ARTS behaalt de hoogste Inter-Quartile Mean (IQM) en de laagste optimaliteitskloof, wat duidt op consistente prestaties in plaats van afhankelijkheid van gelukkige uitschieters.
Diversiteit en Kwaliteit:
- ARTS verkent een breder scala aan hypothesefamilies (4,43 assen per run versus ~4,05 voor baselines) en vertoont een hogere entropie in zijn voorsteldistributie.
- Menselijke analyse laat zien dat 45% van de ARTS-expansies volledig nieuwe hypothesen introduceert, vergeleken met slechts 3% voor AIRA.
- Het systeem slaagt erin veelbelovende richtingen te herstellen (bijv. recurrent memory oplossingen in gedeeltelijk observeerbare RL-taken) die door score-gebaseerde heuristieken voortijdig worden verwijderd vanwege vroege instabiliteit.
Kostenefficiëntie: Met test-time training evenaart een Qwen3-4B wetenschapper de prestaties van de o3 wetenschapper op verschillende taken, terwijl de inferentiekosten 5× lager zijn. Op de MetaMaze taak overtreft de TTT-getrainde Qwen3-4B zelfs de o3 wetenschapper door menselijke best-solutions te herontdekken die andere methoden hadden opgegeven.

Betekenis en Claims

De paper beweert dat de primaire betekenis van ARTS ligt in het vermogen om de merite van de hypothese te ontkoppelen van de kwaliteit van de uitvoering. Door een agentic wetenschapper te gebruiken om over logs en code te redeneren, voorkomt het systeem de "voortijdige verwerping" van veelbelovende ideeën die de score-gebaseerde heuristieken teistert.

Verder demonstreert het werk dat test-time training een levensvatbare strategie is voor het schalen van geautomatiseerde ontdekking. Het stelt kleinere, kosteneffectievere modellen in staat om complexe zoekstrategieën te internaliseren, waardoor ze effectief de beperkingen van de contextlengte overwinnen zonder de noodzaak voor enorme contextvensters. De auteurs positioneren dit als een stap naar meer efficiënte en betrouwbare geautomatiseerde wetenschappelijke ontdekking, met name in domeinen waar experimenten duur zijn en de zoekruimte enorm is.

De paper concludeert dat hoewel ARTS afhankelijk is van de kwaliteit van de onderliggende modellen, het modulaire ontwerp onafhankelijke upgrades van de reasoning en coding componenten mogelijk maakt, wat een schaalbaar pad biedt voor AI-gestuurd onderzoek.