Technische Samenvatting: Auto-Discovery-Bench

Probleemstelling

Hoewel Large Language Models (LLMs) sterke prestaties hebben getoond bij statische redeneertaken (bijv. rekenkunde, coderen, literatuur synthese), blijft hun vermogen om te opereren in interactieve wetenschappelijke ontdekking ondergewaardeerd. Echte wetenschappelijke workflows vereisen iteratieve, door feedback gedreven cycli waarbij agenten hypothesen voorstellen, experimenten ontwerpen, resultaten observeren en overtuigingen bijwerken. Bestaande benchmarks verwarren vaak meerdere faalmodi — zoals exploratiestrategie, domeinkennis, stochastische feedback en geheugenbeperkingen — wat het moeilijk maakt om specifieke vereiste capaciteiten te isoleren.

De centrale vraag die wordt behandeld is: Kunnen huidige LLM-agenten gestructureerde overtuigingen behouden en bijwerken over lange interactie-horizonten wanneer de grondwaarheid deterministisch is en de feedback helder is?

Methodologie: Auto-Discovery-Bench

De auteurs introduceren Auto-Discovery-Bench, een deterministische, door orakels geleide diagnostische benchmark die is ontworpen om het vermogen van gestructureerde staat-tracking in gesloten loops te isoleren. De benchmark vermijdt het simuleren van volledige realistische wetenschap (bijv. ruwe chemie of sociologie) om in plaats daarvan een reproduceerbare, met weinig verwarrende variabelen voorzien testomgeving te bieden.

Kernprincipes van het ontwerp

1. Diagnostische Controle: Alle taken maken gebruik van deterministische orakels met bekende grondwaarheid en exacte evaluatiemetrieken, waardoor verwarrende factoren zoals stochastiek of taalgronding-fouten worden geëlimineerd.
2. Gesloten Loop-structuur: In tegen tegenover single-shot taken moeten agenten herhaaldelijk acties kiezen, feedback observeren en gestructureerde hypothesen herzien binnen een interactiebudget.
3. Blootstelling aan de Ondergrens van Falen: Door te testen in schone, volledig geobserveerde omgevingen, beoogt de benchmark fundamentele beperkingen in staat-onderhoud bloot te leggen die waarschijnlijk zouden worden verergerd in ruisgevoelige, realistische omgevingen.

Taartypes (Archetypes)

De benchmark instantiëert drie gecontroleerde ontdekkingsabstracties:

1. Directed Graph Discovery (Ontdekking van Gerichte Grafen): Agenten leiden een verborgen Directed Acyclic Graph (DAG) af die moleculaire afhankelijkheden representeert.
   • Actie: Interventie op een specifieke node.
   • Feedback: Veranderingen in de staat van kind-nodes na interventie.
   • Doel: Het herstellen van de adjacency matrix.
2. Undirected Relational Discovery (Ontdekking van Ongerichte Relaties): Agenten leiden verborgen randen (edges) af in een ongericht netwerk (bijv. relaties tussen huizen uit Game of Thrones).
   • Actie: Perturbatie (aanval) op een node.
   • Feedback: Propagatie van staatveranderingen (woedeniveaus) naar buren.
   • Doel: Het herstellen van de ongerichte adjacency matrix.
3. Symbolic Equation Discovery (Ontdekking van Symbolische Vergelijkingen): Agenten herstellen een verborgen symbolische vergelijking (bijv. natuurkundige formules) die variabelen (massa, snelheid, etc.) relateert aan een doelgrootheid.
   • Actie: Meting (het toekennen van waarden aan variabelen).
   • Feedback: Geobserveerde outputs vergeleken met de verborgen formule.
   • Doel: De correcte vergelijking identificeren, waarbij relevante variabelen worden onderscheiden van distractoren.

Aanvullende Diagnostiek: Trajectory Tracking

Om staat-tracking te isoleren van hypothesegeneratie en exploratie, introduceren de auteurs een trajectory-tracking diagnostiek. In deze taak krijgen modellen een volledige observatiematrix en moeten ze simpelweg identificeren welke variabelen veranderden tussen opeenvolgende tijdstappen. Dit test het vermogen om langdurige gestructureerde informatie te integreren zonder de complexiteit van actieve experimentatie.

Belangrijkste Bijdragen

1. Introductie van de Benchmark: De creatie van Auto-Discovery-Bench, een gecontroleerde, door orakels geleide benchmark voor het evalueren van gestructureerd behoud van overtuigingen onder herhaalde feedback.
2. Taakinstantiatie: Implementatie van drie verschillende taartypes (Directed Graph, Undirected Relational, Symbolic Equation) met exacte grondwaarheid en deterministische evaluatie.
3. Diagnostisch Inzicht: De introductie van een trajectory-tracking diagnostiek die staat-tracking-fouten scheidt van exploratie- of planningsfouten.
4. Empirische Analyse: Een uitgebreide evaluatie van state-of-the-art modellen (inclusief GPT-4o, Claude-3.5, Llama-3.1, Qwen2.5, Grok-4 en Gemini-2.5-pro) over variërende niveaus van complexiteit.

Experimentele Resultaten

De auteurs evalueerden meerdere modellen over verschillende schalen (aantal nodes, staten, variabelen en distractoren).

Prestatietrends

• Schaalbaarheidslimieten: Prestaties verslechteren aanzienlijk naarmate het probleem groter wordt (meer nodes, langere trajecten, meer distractoren).
• Modelvariantie:
  • Top Performers: Grok-4 en Gemini-2.5-pro vertoonden de meest robuuste prestaties en behaalden vaak succespercentages van 100%, zelfs in complexe settings (bijv. 10-node grafen, vergelijkingen met distractoren).
  • Middenklasse: GPT-4o en Qwen2.5 presteerden goed op kleinere grafen, maar vertoonden een scherpe daling in succespercentages naarmate de complexiteit toenam (bijv. GPT-4o daalde naar 15% succes op 10-node gerichte grafen; Qwen2.5 faalde volledig op 10-node ongerichte grafen).
  • Lagere Performers: Claude-3.5-haiku en Llama-3.1-70b hadden grote moeite en faalden vaak volledig (0% succes) op grotere of complexere taken.
• Efficiëntie: Zelfs onder succesvolle modellen vereiste Grok-4 over het algemeen minder iteraties (interventies) om te convergeren vergeleken met Gemini-2.5-pro, wat wijst op een hogere interactie-efficiëntie.

Bevindingen Trajectory Tracking

• Horizon-gevoeligheid: De nauwkeurigheid daalt scherp naarmate de trajectlengte toeneemt. Bijvoorbeeld, op een trajectlengte van 10 daalde de nauwkeurigheid van veel modellen (inclusclusief GPT-4o zonder Chain-of-Thought) naar bijna nul.
• Temporele Declinatie: Analyse van de gemiddelde traject-nauwkeurigheid onthulde een monotone afname in prestaties voor latere stappen in een sequentie, wat wijst op temporele aandacht-decay.
• Chain-of-Thought (CoT): CoT-prompting verbeterde de prestaties op korte sequenties, maar bood afnemende meeropbrengsten op langere trajecten, en slaagde er niet in om de bottleneck in het behouden van langdurige gestructureerde informatie volledig te mitigeren.

Betekenis en Claims

De paper positioneert Auto-Discovery-Bench niet als een vervanging voor realistische wetenschappelijke omgevingen, maar als een noodzakelijke intermediaire diagnostiek.

• Isoleren van Bottlenecks: De resultaten suggereren dat langdurige gestructureerde staat-tracking een kritieke bottleneck is voor door orakels geleide ontdekking. Zelfs wanneer feedback helder en deterministisch is, falen veel modellen in het behouden en integreren van gestructureerde informatie over uitgebreide interactie-horizonten.
• Voorbij Exploratie: Falen in deze gecontroleerde settings geeft aan dat beperkingen niet uitsluitend te wijten zijn aan slechte exploratiestrategieën of een gebrek aan domeinkennis, maar voortkomen uit fundamentele moeilijkheden bij het bijhouden van overtuigingen (belief maintenance).
• Toekomstige Richtingen: De auteurs concluderen dat voor LLMs om te slagen in interactieve wetenschappelijke ontdekking, toekomstig werk zich moet richten op de integratie van bewijs over lange horizonten en het verbeteren van betrouwbare multi-step inferentie, in plaats van enkel te vertrouren op CoT of prompt engineering.

De auteurs erkennen expliciet de beperkingen: de benchmark gebruikt discrete staten en vereenvoudigde dynamiek, waarbij ruis en gedeeltelijke observeerbaarheid uit de echte wereld worden weggelaten. Daarom diagnosticeren de bevindingen specifieke capaciteiten binnen een gecontroleerde loop, in plaats van de gereedheid van een model voor realistische wetenschappelijke ontdekking te bewijzen.