🤖 AI

Historical Backtesting for Scientific Question Discovery: A Protocol and Astronomy Pilot

Dit artikel introduceert een model-agnostisch "historisch backtesting"-protocol dat wetenschappelijke vraaggeneratoren evalueert door vragen te bevriezen tegen een historische corpus en ze objectief te scoren tegen een temporeel geïsoleerde toekomstige corpus, waarbij wordt aangetoond dat generatie gebaseerd op bewijsstructuur eerst beter presteert dan louter LLM-prompting, terwijl het onthult dat menselijke annotatoren meer moeite hebben met het eens worden over uitkomsttaxonomieën dan zelfs AI-beoordelaars.

Oorspronkelijke auteurs: Hui Mao

Gepubliceerd 2026-08-18

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hui Mao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wetenschap is altijd gedreven door vragen. Een onderzoeker kijkt naar de wereld, ziet iets verwarrends en vraagt zich af: "Wat als?" of "Waarom?". Decennialang is kunstmatige intelligentie geleerd om enorme bibliotheken aan wetenschappelijke artikelen te lezen en ze samen te vatten. Nu wordt een nieuwe generatie AI gevraagd om iets moeilijkers te doen: naar diezelfde bibliotheken te kijken en de volgende grote vragen te bedenken die mensen zouden moeten stellen. Maar hoe weten we of een AI hier werkelijk goed in is? Als een computer een nieuwe onderzoeksvraag voorstelt, is dat dan een briljant inzicht of slechts een gelukkige gok? Tot nu toe was de enige manier om deze systemen te beoordelen, door menselijke experts naar hun mening te vragen of door andere computers de ideeën te laten beoordelen. Beide methoden zijn subjectief. Ze vertrouwen op wat mensen op dit moment interessant vinden klinken, niet op of het idee daadwerkelijk tot nieuwe ontdekkingen leidt.

Deze onzekerheid is belangrijk omdat de wetenschappelijke gemeenschap tijd en geld investeert in het volgen van deze door AI gegenereerde sporen. Als de vragen slecht zijn, is die investering verspild. Als de vragen briljant zijn, kunnen ze ons begrip van het universum versnellen. De kernuitdaging is dat we de waarde van een wetenschappelijke vraag pas kunnen kennen wanneer de toekomst arriveert en de wetenschappelijke gemeenschap deze beantwoordt. Een vraag die vandaag wordt gesteld, kan tien jaar lang genegeerd worden, of het kan volgende maand al worden opgelost. Zonder een manier om de toekomst te zien, hebben we geen manier om te bepalen of een AI werkelijk vooruitziend is of slechts de stijl van recente artikelen nabootst.

Een team van onafhankelijke onderzoekers heeft een oplossing voor dit probleem voorgesteld door de klok achteruit te draaien. In plaats van te proberen de toekomst te voorspellen, bouwden zij een systeem om het verleden te testen. Ze noemen dit "historische backtesting". Het idee is simpel maar krachtig: neem een momentopname van alle wetenschappelijke kennis die beschikbaar was tot een specifieke datum in het verleden. Geef een AI-systeem alleen die oude kennis en vraag het om nieuwe onderzoeksvragen te genereren. Bevries vervolgens die vragen zodat ze niet meer gewijzigd kunnen worden. Kijk daarna naar de wetenschappelijke artikelen die na die datum zijn gepubliceerd — artikelen die de AI nooit heeft gezien — om te zien wat er daadwerkelijk is gebeurd. Werd de vraag beantwoord door de gemeenschap? Werd deze genegeerd? Kwamen ze onafhankelijk gezien tot dezelfde vraag? Of bewezen ze dat de uitgangsveronderstelling van de vraag onjuist was? Door de bevroren vragen van de AI te vergelijken met de werkelijke geschiedenis die volgde, creëerden de onderzoekers een manier om de kwaliteit van wetenschappelijke vragen te meten met harde gegevens in plaats van meningen.

Om deze methode te testen, richtten de onderzoekers zich op de studie van exoplaneet-atmosferen, een snel bewegend vakgebied waarbij wetenschappers het licht van verre werelden analyseren om te bepalen welke gassen ze bevatten. Ze stelden een afsluitdatum vast op 31 december 2020. Ze verzamelden elk relevant artikel dat vóór die datum was gepubliceerd en voedden deze aan een systeem dat ontworpen is om spanningen en tegenstrijdigheden in de bestaande gegevens te vinden. Dit systeem, dat niet vertrouwt op een standaard taalmodel om ideeën te "dromen", maar in plaats daarvan zoekt naar specifieke structurele conflicten in het bewijs, genereerde tien bevroren vragen. De onderzoekers onderzochten vervolgens de literatuur die tussen 2021 en 2026 werd gepubliceerd. De resultaten waren opmerkelijk. Elke vraag van de tien die door het systeem gegenereerd waren, werd in de daaropvolgende jaren door de wetenschappelijke gemeenschap opgepakt. Twee werden volledig beantwoord, zeven werden gedeeltelijk geadresseerd, en één werd onafhankelijk gesteld door wetenschappers werkzaam in het veld, maar bleef openstaan. Het meest significant was dat één vraag een breed geaccepteerde conclusie over de waterinhoud van een specifieke planeet, HD 209458 b, uitdaagde. De gemeenschap voerde vervolgens exact de tests uit waar de vraag om vroeg en bewees dat de oorspronkelijke conclusie onjuist was, wat aantoonde dat de lage waterwaarden een artefact van de meetmethode waren, en niet een kenmerk van de planeet zelf.

De onderzoekers stopten daar niet. Ze realiseerden zich dat een kleine steekproef van tien vragen misschien niet het hele verhaal vertelt, dus breidden ze de test uit door honderden vragen te genereren met verschillende methoden. Ze vergeleken hun op bewijs gebaseerde systeem met andere benaderingen, waaronder een standaard kunstmatige intelligentie die simpelweg de oude artikelen leest en probeert nieuwe vragen te schrijven, en een systeem dat simpelweg de meest beroemde resultaten uit het verleden kiest en vraagt of die nog steeds waar zijn. Toen ze naar de grotere groep van 424 vragen keken, zagen ze dat de standaard AI erg goed was in het stellen van brede, modieuze vragen die aandacht trokken. Echter, het leidde zelden tot een definitief antwoord of een weerlegging van oude ideeën. De vragen waren als een breed net dat alles vangt, maar niets specifiek vasthoudt. In contrast hiermee was het systeem dat zocht naar structurele conflicten in het bewijs veel beter in het vinden van vragen die leidden tot concrete antwoorden of gevestigde overtuigingen omverwierpen.

Een cruciaal onderdeel van hun werk was het testen of de kunstmatige intelligentie simpelweg de antwoorden "onthield" uit haar trainingsdata. Omdat moderne AI-modellen getraind zijn op enorme hoeveelheden tekst, inclusief artikelen gepubliceerd na de cutoff van 2022, was er een bezorgdheid dat ze de toekomst simpelweg herinnerden in plaats van deze te voorspellen. De onderzoekers ontwierpen een stresstest om echt vooruitziend vermogen te scheiden van geheugen. Ze draalden dezelfde systemen tegen verschillende tijdperken, inclusief een periode waarin de toekomst plaatsvond nadat de AI zelfs getraind was. Ze ontdekten dat de standaard AI goed presteerde alleen wanneer de toekomst dicht bij de trainingsdata lag, wat suggereert dat het vertrouwde op geheugen. Maar het op bewijs gebaseerde systeem bleef specifieke, waardevolle vragen vinden, zelfs in tijdperken waarin de AI de antwoorden niet had kunnen weten. Dit bewees dat het vermogen om goede vragen te vinden voortkwam uit de structuur van het bewijs zelf, en niet uit het geheugen van de AI over de toekomst.

De studie onthulde ook een verrassende tekortkoming in hoe we deze systemen momenteel evalueren. De onderzoekers probeerden zowel menselijke experts als verschillende AI-modellen te gebruiken om de vragen te beoordelen. Ze ontdekten dat menselijke experts vaak van mening verschilden, en dat verschillende AI-modellen veel meer met elkaar overeenstemden dan met mensen. Dit suggereert dat de standaardmanier om deze vragen te beoordelen — door te vertrouwen op een enkele AI of een kleine groep mensen — onbetrouwbaar is. De onderzoekers concludeerden dat de manier waarop we een "goede" vraag definiëren duidelijker en consistenter moet zijn voordat we een enkele rechter, mens of machine, kunnen vertrouwen om ze te scoren.

Uiteindelijk biedt dit werk een nieuwe manier om de waarde van wetenschappelijke ideeën te meten. Het verplaatst het veld van subjectieve meningen over wat interessant klinkt naar een meetbaar verslag van wat er daadwerkelijk is gebeurd. De onderzoekers hebben hun gegevens, hun code en hun bevroren vragen publiek gemaakt, waardoor iedereen dezelfde tests kan uitvoeren. Ze hebben ook een nieuw experiment opgezet waarbij vragen die vandaag worden gegenereerd, zullen worden bevroren en gescoord tegen de wetenschappelijke literatuur van de komende vier jaar. Deze prospectieve test zal een contaminatievrije maatstaf bieden voor de vraag of AI wetenschappers echt kan helpen de toekomst te zien. De bevindingen suggereren dat hoewel kunstmatige intelligentie uitstekend is in formuleren en samenvatten, de echte kracht om nieuwe wetenschappelijke vragen te ontdekken ligt in het systematisch zoeken naar tegenstrijdigheden en hiaten in het bewijs, een taak die een gestructureerde aanpak vereist in plaats van enkel een krachtig taalmodel.

Technische Samenvatting: Historische Backtesting voor de Ontdekking van Wetenschappelijke Vragen

Probleemstelling

Huidige evaluatiemethoden voor AI-systemen die wetenschappelijke onderzoeksvragen genereren, vertrouwen op subjectieve metrieken: beoordelingen door expertspanels, LLM-als-rechter-ratings, of gecureerde casestudy's. Deze benaderingen zijn inherent niet-falsifieerbaar; ze meten de opinie op het moment van generatie in plaats van de werkelijke bruikbaarheid of de waarheidswaarde van de vragen naarmate de wetenschappelijke gemeenschap evolueert. Er bestaat geen bestaande standaard om te bepalen of een gegenereerde vraag daadwerkelijk inzichtelijk was, werd beantwoord door toekomstig onderzoek, of gebaseerd was op een premisse die later werd weerlegd.

Methodologie: Het Historische Backtesting Protocol

Het artikel stelt Historische Backtesting voor, een protocol dat analoog is aan financiële backtesting, om wetenschappelijke vraaggeneratoren te evalueren tegen observeerbare toekomstige uitkomsten. Het protocol werkt onder strikte temporele isolatie:

Temporele Afsnijding ( $T$ ): Een historische datum splitst de literatuur in een Verleden Corpus (beschikbaar $\le T$ ) en een Toekomst Corpus (strikt $> T$ ).
Vraaggeneratie: Een systeem genereert vragen met uitsluitend de Verleden Corpus. Elke vraag moet de bewijsvoering uit de periode vóór de afsnijding registreren.
Bevriezing: Gegenereerde vragen worden geserialiseerd en bevroren. Toegang tot de post-afsnijding literatuur is niet toegestaan tijdens de generatie of bevriezing.
Toekomstige Retrieval: Voor elke bevroren vraag identificeert een vast retrieval-systeem (met behulp van tekst-embeddings) de top- $k$ documenten uit de Toekomst Corpus.
Uitkomstbeoordeling: Een rechter (LLM of mens) evalueert de vraag tegenover de teruggevonden toekomstige bewijslast en wijst twee onafhankelijke labels toe:
- Lot van de Vraag (Outcome Fate): Beantwoord, Gedeeltelijk Geadresseerd, Gesteld maar Open (onafhankelijk gesteld door de gemeenschap), of Niet Geadresseerd.
- Lot van de Premisse (Premise Fate): Ondersteund, Weerlegd, Zwakker geworden, Nog steeds Plausibel, of Niet Van toepassing.
Metrieken: De belangrijkste metrieken omvatten Dekking (toekomstige aandachtsratio), Antwoordpercentage, Weerleggingspercentage van de Premisse, en Lead Time (tijd totdat de gemeenschap dezelfde vraag onafhankelijk stelt).

Het protocol is model-agnostisch; het evalueert de bevroren lijst met vragen, ongeacht hoe deze zijn geproduceerd.

Belangrijkste Bijdragen

Protocolformalisering: Een rigoureus evaluatiekader dat vraaggeneratie scheidt van evaluatie, waarbij een twee-dimensionale uitkomst-taxonomie wordt gedefinieerd (lot van de vraag versus lot van de premisse) en strikte regels voor temporele isolatie worden gehanteerd om datalekage te voorkomen.
Astronomy v1 Benchmark: Een reproduceerbare instantie in het domein van exoplaneet-atmosferen (afsnijding: 2020-12-31). Deze bevat:
- Een verleden corpus (2.512 papers) en een temporeel geïsoleerd toekomst corpus (1.891 papers, 2021–2026).
- 10 bevroren vragen van een evidence-graph systeem en vier baseline-generatoren (Random claims, Direct LLM, Review future work, Citation leaders).
- Volledige retrieval-records, geadjudiceerde labels en een metriek-berekening met één commando.
Geschaalde Instantie (Astronomy v1L): Een grotere benchmark (424 baseline vragen, 5.754 toekomstige papers) gebruikt om conclusies met kleine steekproeven te testen en statistische claims te verfijnen.
Decompositie & Stress-testen van Generatoren: Experimenten die "vooruitziendheid" scheiden van "hindsight memorization" door:
- Generatoren te variëren (LLM-only vs. Structure-only vs. Structure+LLM) bij een vaste afsnijding.
- Afsnijdingen te variëren (2010–2024) voor vaste generatoren om prestaties over de trainingsgrens van het model heen te testen.
Validatiestudie van de Meting: Een zeven-rater overeenstemmingsstudie (2 mensen, 5 LLM-rechters) die onthult dat mens-mens overeenstemming laag is ( $\kappa = 0.17$ ) en dat model-model overeenstemming ( $\kappa = 0.60$ ) de betrouwbaarheid significant overschat vergeleken met menselijke alignment.
Prospectieve Instantie: Een vooraf geregistreerde, contaminatievrije test (200 vragen bevroren op 2026-08-17, gescoord in 2027–2030) om een definitieve, tijd-gegradeerde evaluatie te bieden.

Belangrijkste Resultaten

Pilot en Geschaalde Bevindingen

Engagement vs. Resolutie: Hoewel "vloeiende" LLM-vragen een hoge Dekking bereiken (96% engagement met toekomstige literatuur), slagen ze er niet in specifieke vragen op te lossen (0% beantwoord in de pilot, 15% in de geschaalde instantie, statistisch niet te onderscheiden van willekeurige templates).
Bewijsstructuur Is Cruciaal: Systemen die de nadruk leggen op bewijsstructuur (het identificeren van spanningen tussen pre-afsnijding claims) presteren beter dan LLM-only prompting. In de geschaalde instantie behaalden structure-first generatoren een antwoordpercentage van 39% en een premisse-weerleggingspercentage van 13%, vergeleken met 15% en 0% voor directe LLM-prompting.
Weerlegging van de Premisse: Dit is de zeldzaamste maar meest waardevolle uitkomst. Het evidence-graph systeem identificeerde succesvol een vraag ( $q_{008}$ ) over de waterovervloed van HD 209458 b. De premisse (sterk sub-solair water) werd vervolgens door drie onafhankelijke analyses in de toekomstige corpus weerlegd, wat de vraag expliciet had opgeroepen.
Contaminatie-signaturen: LLM-only generatoren vertonen een hoge frase-gelijkenis met toekomstige literatuur (wat duidt op memorisatie) maar een lage specificiteit (het noemen van specifieke objecten) en geen specifieke vooruitziendheid (nul weerleggingen buiten het trainingsbereik van het model).

Decompositie van Vooruitziendheid

De studie isoleert drie componenten van "goede vragen stellen":

Topic Prior: LLM's blinken uit in het voorspellen van welke onderwerpen populair zullen worden (hoge engagement), maar dit is een topic prior, geen vooruitziendheid.
Structurele Ontdekking: Het vermogen om betwistbare configuraties in bestaand bewijs te lokaliseren (bijv. conflicterende claims) is de primaire bron van vooruitziendheid. Deze capaciteit bestaat in gewichtsloze structurele generatoren.
Articulatie: LLM's dienen als een realisatielaag die gedetecteerde structurele spanningen omzet in precieze, falsifieerbare vragen, wat de resolutie-percentages aanzienlijk verhoogt wanneer ze aan structurele generatoren worden toegevoegd.

Validiteit van de Meting

Menselijke Betrouwbaarheid: Twee onafhankelijke menselijke annotatoren kwamen slechts overeen bij $\kappa = 0.17$ .
Judge Betrouwbaarheid: LLM-rechters kwamen overeen met professionele menselijke annotatoren bij $\kappa = 0.17–0.26$ , wat vergelijkbaar is met mens-mens overeenstemming.
Model Consensus Valstrik: Voortrekkende modellen kwamen met elkaar overeen bij $\kappa = 0.60$ . Het artikel betoogt dat het vertrouwen op model-model overeenstemming om rechters te valideren (een gangbare praktijk) de betrouwbaarheid met een factor drie zou overschatten.
Conclusie: Absolute percentages zijn rater-relatief. Vergelijkende claims (bijv. Systeem A > Systeem B) blijven robuust over verschillende rechters, mits de rechter niet degeneratief is (d.w.z. niet de labelruimte laat instorten).

Betekenis en Claims

Het artikel beweert niet dat AI momenteel in staat is om de meest waardevolle wetenschappelijke vragen betrouwbaar te identificeren. In plaats daarvan claimt het de categorie van evaluatie te hebben verschoven:

Van Subjectief naar Falsifieerbaar: De kwaliteit van wetenschappelijke vragen wordt verplaatst van een kwestie van smaak ("interessant") naar een gemeten, vergelijkbare grootheid ("100% engaged, 10% leidend tot weerlegging").
Vooruitziendheid vs. Memorisatie: Het protocol demonstreert dat "gememoriseerde relevantie" (LLM's die toekomstige formuleringen herhalen) fundamenteel verschilt van "wetenschappelijke vooruitziendheid" (het identificeren van structurele spanningen die leiden tot toekomstige antwoorden of weerleggingen). Het signaal van vooruitziendheid bevindt zich in de pre-afsnijding bewijsstructuur, niet in de modelgewichten.
Nut van de Benchmark: Het protocol biedt een mechanisme om vraaggeneratoren te auditeren en te vergelijken zonder op opinie te vertrouwen. Het identificeert dat evidence-structure-first generatie op schaal beter presteert dan LLM-only prompting en dat het veld een betrouwbaarheids-gegateerde taxonomie vereist voordat een enkele rechter (mens of model) ertegen gescoord kan worden.

Het artikel concludeert dat hoewel de specifieke cijfers voorlopig zijn, het protocol zelf de primaire bijdrage vormt, wat een pad biedt naar een computerbare, falsifieerbare evaluatie van wetenschappelijke vraagontdekking.