Technische Samenvatting: ScientistOne: Naar Menselijk Niveau Autonoom Onderzoek via Bewijsketen

Probleemstelling

Autonome onderzoeksagenten hebben snel vooruitgang geboekt in hun vermogen om concurrerende oplossingen en professioneel ogende manuscripten te genereren voor complexe optimalisatietaken van systemen. Er bestaat echter een kritieke structurele spanning tussen generatie en verificatie. Huidige autonome systemen werken als meerstapspijplijnen waarbij fouten die in vroege stadia worden geïntroduceerd (bijvoorbeeld literatuuroverzicht of hypothesevorming), worden behouden en versterkt in latere stadia (experimentatie en schrijven).

Het kernprobleem dat is geïdentificeerd, is een verifieerbaarheidsgat: bestaande evaluatieprotocollen beoordelen de oppervlaktepresentatie (bijvoorbeeld schrijfkwaliteit, voltooiing van procedures), maar falen erin om te controleren of individuele beweringen worden ondersteund door bewijs. Bijgevolg produceren autonome agenten vaak outputs die bevatten:

• Gehallucineerde referenties: Citaten die niet overeenkomen met echte publicaties.
• Niet-reproduceerbare scores: Gerapporteerde metrieken die niet overeenkomen met resultaten wanneer ze opnieuw worden uitgevoerd op canonieke evaluatoren.
• Afwijking tussen methode en code: Beschrijvingen van algoritmen in het paper die fundamenteel verschillen van de ingediende code.
• Schendingen van specificaties: Oplossingen die gebruikmaken van gaten in de evaluator in plaats van de onderliggende taak op te lossen.

Deze fouten vloeien voort uit een gebrek aan mechanismen om beweringen terug te traceren naar hun grondslagbronnen (bijvoorbeeld uitvoeringslogboeken, opgehaalde PDF's of code-artefacten).

Methodologie: Bewijsketen (Chain-of-Evidence, CoE)

Om dit aan te pakken, stellen de auteurs Chain-of-Evidence (CoE) voor, een verifieerbaarheidskader dat analoog is aan ACID-eigenschappen in databasetransacties. CoE definieert dat elke onderzoeksclaim traceerbaar moet zijn, via een opgenomen keten van ondersteunende claims en bewijs, naar een grondslagbron.

Het kader wordt geïnstancierd door drie primaire bijdragen:

1. De CoE-standaard

Een taxonomie van claimtypen (Citaat, Numeriek, Methodologisch, Conclusie) en de specifieke bewijsketenstructuur die voor elk vereist is. Bijvoorbeeld: een numerieke claim moet traceren van de gerapporteerde waarde naar een opgenomen uitvoeringslogboek, en een citaat moet traceren naar een opgehaalde PDF uit een academische database.

2. ScientistOne-systeem

Een end-to-end autonoom onderzoekssysteem dat is ontworpen om CoE bij constructie te voldoen. De pijplijn bestaat uit drie stadia:

• Stadium 1: Literatuurgrounding (Probleemonderzoeker): In plaats van te vertrouwen op parametrisch geheugen, haalt het systeem tot 100 volledige teksten in PDF-per-topic op via academische API's (bijvoorbeeld Semantic Scholar), bouwt een citatiegrafiek en produceert een gestructureerd onderzoeksrapport. Dit zorgt ervoor dat alle citaten zijn verankerd in opgehaalde artefacten.
• Stadium 2: Ontdekking (Ideator & Parallelle Explore-Exploit): Het systeem genereert kandidaatbenaderingen en evalueert deze in parallelle takken. Cruciaal is dat het uitvoeringslogboeken, scores en solvercode bijhoudt als gestructureerde artefacten die naar het volgende stadium worden doorgegeven.
• Stadium 3: Paperschrijven & Verificatie: De Paper Writer werkt volgens het principe "provenance voor proza". Het genereert een gestructureerd markdown-narratief waarbij elke feitelijke claim een inline bewijstags draagt die deze koppelt aan een specifiek artefact (logregel, scorebestand of citatiesleutel). Een Claim Verifier controleert vervolgens elke claim in het concept tegen de gedeclareerde bron voordat het finale LaTeX wordt geproduceerd, en markeert niet-ondersteunde claims, gehallucineerde citaten of numerieke afwijkingen.

3. CoE-integriteitsaudit

Een post-hoc auditprotocol dat uniform wordt toegepast op elk autonoom onderzoekssysteem. Het voert vier integriteitscontroles uit op ingediende artefacten (paper, code, bibliografie):

• I1 Scoreverificatie: Voert de oplossing opnieuw uit op een gouden evaluator om gerapporteerde scores te verifiëren.
• I2 Schending van specificaties: Detecteert of code gebruikmaakt van de logica van de evaluator of de regels van de taak schendt.
• I3 Referentieverificatie: Queryt academische API's om het bestaan en de nauwkeurigheid van bibliografische vermeldingen te verifiëren.
• I4 Uitlijning tussen methode en code: Gebruikt LLM's om te beoordelen of de methodebeschrijving in het paper de ingediende code getrouw weerspiegelt.

Experimentele Opzet

De auteurs hebben ScientistOne en vier baselinesystemen (Sakana AI-Scientist v2, AutoResearchClaw, DeepScientist, AI-Researcher) geëvalueerd over 75 papers (15 per systeem) die zijn gegenereerd voor vijf grensverleggende system-onderzoekstaken uit de ADRS-benchmark (Prism, Cloudcast, EPLB, LLM-SQL, TXN). Alle systemen zijn aangepast om dezelfde backbone LLM (Gemini 3.1 Pro) en identieke resourcebudgetten te gebruiken om een eerlijke vergelijking te waarborgen.

Belangrijkste Resultaten

1. Integriteit en Verifieerbaarheid

ScientistOne was het enige systeem dat perfecte of bijna-perfecte scores behaalde op alle vier de integriteitscontroles:

• Scoreverificatie: 12/12 (100%) van de papers had scores die exact reproduceerden. Baselines varieerden van 42% tot 92%.
• Referentieverificatie: 0/337 gehallucineerde referenties. Baselines vertoonden hallucinatiepercentages tot 21% (DeepScientist).
• Uitlijning tussen methode en code: 14/15 (93%) papers waren uitgelijnd. Baselines varieerden van 20% tot 80%.
• Schendingen van specificaties: 0/15 schendingen.

In tegenstelling hiermee vertoonde elk baselinesysteem minstens één systematische faalmodus. Bijvoorbeeld, DeepScientist hallucineerde referenties in 21% van zijn bibliografische vermeldingen, en Sakana AI-Scientist v2 plukte vaak scores uit verschillende stadia van zijn zoekboom, wat leidde tot niet-reproduceerbare resultaten.

2. Prestaties bij Oplossingsontdekking

ScientistOne kwam overeen met of overtrof de prestaties van menselijke experts op alle vijf ADRS-taken.

• Het behaalde de beste totaalscores op Cloudcast en EPLB.
• Het toonde nul gehallucineerde referenties en perfecte scoreverificatie, wat bewijst dat het handhaven van strikte bewijsketens niet ten koste gaat van de concurrentiekracht van de solver.
• Bij een "Best-of-3"-selectie behaalde ScientistOne een algehele beoordeling van 6,6 van een geautomatiseerd peer-reviewsysteem (ScholarPeer), wat aanzienlijk beter was dan de baselines.

3. Generaliseerbaarheid

Het systeem werd getest op zes extra taken buiten het ADRS-domein, waaronder medische beeldvorming, fijnmazige herkenning, 3D-perceptie en taalkundige modellering met parameterbeperkingen (Parameter Golf).

• MLE-Bench: ScientistOne behaalde Gouden Medailles op twee taken met hoge moeilijkheidsgraad (3D Object Detection, RSNA Brain Tumor) waar een baseline (DeepScientist) volledig faalde op 3D Object Detection.
• Parameter Golf: ScientistOne behaalde State-of-the-Art (SOTA) prestaties (score 1,0600) onder strikte groottebeperkingen, terwijl de baseline geen geldige indiening kon produceren vanwege het overschrijden van de groottegrens.

Betekenis en Claims

Het paper stelt dat de differentiator voor autonoom onderzoek niet langer alleen de kwaliteit van de oplossingcode is, maar de betrouwbaarheid van het onderzoeksoutput.

• Verifieerbaarheid is een architecturale beperking: De auteurs beweren dat systemen die zijn ontworpen om bewijsketens te onderhouden op het moment van claimproductie (zoals ScientistOne), aanzienlijk meer verifieerbare outputs produceren dan die welke proberen grondslag achteraf te reconstrueren.
• Het "Verifieerbaarheidsgat" is reëel en meetbaar: De audit van 75 papers toont aan dat huidige state-of-the-art autonome systemen vatbaar zijn voor systematische integriteitsfouten die ondetecteerbaar zijn door oppervlakkige evaluaties.
• CoE als Standaard: Het paper stelt CoE niet alleen voor als een functie voor één systeem, maar als een standaard voor het veld, en suggereert dat toekomstige autonome onderzoekssystemen per ontwerp auditabel moeten zijn om als betrouwbaar te worden beschouwd.

De auteurs concluderen dat hoewel uitdagingen blijven bestaan (bijvoorbeeld het verifiëren van kwalitatieve claims of citatieondersteuning in open-ended domeinen), het Chain-of-Evidence-kader een hanteerbare weg biedt naar autonoom onderzoek op menselijk niveau dat betrouwbaar is.