What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation

Wetenschap vordert niet alleen door het hebben van goede ideeën, maar door het hebben van ideeën die bewezen kunnen worden als onjuist. In de wereld van onderzoek is een voorstel pas echt nuttig als de onderzoeker vooraf precies kan aangeven welke observatie hen zou dwingen hun eigen theorie te verwerpen. Zonder deze toezegging kan een idee briljant en overtuigend klinken terwijl het onmogelijk te testen blijft. Het zweeft in een ruimte waar succes wordt gemeten aan de hand van hoe goed het overeenkomt met een toekomstige uitkomst die al heeft plaatsgevonden, of door hoe vloeiend het geschreven is. Dit laat een gat achter in de manier waarop we kunstmatige intelligentie evalueren. Wanneer grote taalmodellen worden gevraagd om nieuwe onderzoeksrichtingen voor te stellen, belonen huidige methoden vaak stijl boven inhoud, of beoordelen ze het model op basis van of het per ongeluk een paper heeft geraden die later werd gepubliceerd. Geen van beide benaderingen vertelt ons of het model daadwerkelijk een test kan ontwerpen die een echte ontdekking scheidt van een gelukkige gok.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld om dit specifieke vermogen te meten. Ze creëerden een systeem genaamd Lit2Test, dat modellen vraagt om iets veel moeilijkers te doen dan simpelweg brainstormen. In plaats van een vaag onderzoeksonderwerp te genereren, moeten de modellen een strikt zesdelig contract invullen voor elk idee dat ze voorstellen. Dit contract vereist dat ze een specifieke kloof in de bestaande kennis identificeren, een duidelijke hypothese formuleren, een minimaal experiment ontwerpen om deze te testen en, cruciaal, precies definiëren wat resultaat hen ongelijk zou geven. Door het model te dwingen zich vooraf te committeren aan zijn eigen potentiële falen, transformeerden de onderzoekers de evaluatie van onderzoeksideeën van een kwestie van mening naar een kwestie van logica. De studie toonde aan dat wanneer modellen worden beoordeeld op hun vermogen om deze falsifieerbare tests te creëren, er een duidelijke en consistente rangschikking ontstaat, gedreven door de kwaliteit van het experimenteel ontwerp en niet door hoe vloeiend de tekst klinkt.

De onderzoekers begonnen met het verzamelen van 200 reële onderzoeksscenario's, elk gebouwd rond een omgeving van vier recent gepubliceerde papers die een onderwerp deelden maar van mening verschilden over een kernpunt. Dit waren geen verzonnen problemen; ze waren afkomstig uit de werkelijke wetenschappelijke literatuur waar experts nog steeds over het antwoord debatteerden. Voor elk scenario werd aan vier verschillende geavanceerde taalmodellen gevraagd om een volgende stap voor te stellen. De modellen mochten geen vrij vorm essay schrijven. In plaats daarvan moesten ze de zes velden van het contract invullen: de literatuurkloof, de hypothese, de minimale test, de beslissende metriek, het resultaat dat het idee zou ondersteunen, en het resultaat dat het idee zou falsifiëren. Deze structuur zorgde ervoor dat elk voorstel een compleet, testbaar plan was in plaats van een vage suggestie. De onderzoekers lieten deze voorstellen vervolgens tegen elkaar strijden in blinde vergelijkingen, waarbij een beoordelend model, dat niet wist welk AI-model welk idee had gegenereerd, besliste welk voorstel beter was op basis van het contract.

Om er zeker van te zijn dat de resultaten niet werden vertekend door de volgorde waarin de ideeën werden gepresenteerd, beoordeelden de onderzoekers elke set voorstellen twee keer: één keer in de oorspronkelijke volgorde en één keer met de volgorde omgedraaid. Ze ontdekten dat de beoordelaar ongeveer 20 procent van de tijd van gedachten veranderde wanneer de volgorde werd gewisseld, wat aangaf dat de vergelijking onstabiel was. Door deze onstabiele gevallen terzijde te leggen en zich te concentreren op de 80 procent waarbij de beoordelaar ongeacht de volgorde eens was over de keuze, stelden ze een strikte rangschikking van de vier modellen vast. De resultaten toonden een duidelijke hiërarchie: één model produceerde consequent de beste voorstellen, gevolgd door een tweede, een derde en tot slot een vierde. Deze rangschikking bleef standhouden over duizenden statistische herbevoorradingen, wat betekende dat de volgorde robuust was en geen toevalstreffer in de data.

De studie onderzocht ook wat deze rangschikking daadwerkelijk aanstuurde. Het bleek dat de modellen niet van elkaar werden onderscheiden door hoe goed ze schreven of hoe zelfverzekerd ze klonken. De doorslaggevende factor was de kwaliteit van het testontwerp. De best presterende modellen waren beter in het creëren van experimenten die klein genoeg waren om praktisch uitvoerbaar te zijn, maar specifiek genoeg om het mechanisme dat ze testten te isoleren. Ze blonken ook uit in het definiëren van een metriek die een duidelijk onderscheid kon maken tussen succes en falen. De vereiste om aan te geven wat het idee ongelijk zou geven, fungeerde als een bodem; alle modellen moesten aan deze standaard voldoen om als geldig te worden beschouwd, maar de beste modellen gingen verder dan het minimum om tests te ontwerpen die werkelijk inzichtelijk waren. De onderzoekers bevestigden dit door te controleren of de beoordelaar werd beïnvloed door stijl. Ze ontdekten dat wanneer de inhoud van een voorstel identiek was maar de opmaak werd gewijzigd, de beslissing van de beoordelaar niet veranderde. Het systeem mat werkelijk de substantie van het onderzoeksplan, niet de afwerking van de presentatie.

Om te verifiëren dat hun geautomatiseerde beoordelaar niet iets voor het oog miste, lieten de onderzoekers drie menselijke experts een kleinere, representatieve steekproef van de voorstellen beoordelen. Deze mensen, die senior studenten in de informatica waren, kregen de opdracht om dezelfde voorstellen te beoordelen zonder te weten welk model ze had gegenereerd. De mensen stemden in bijna 90 procent van de gevallen waarin de geautomatiseerde beoordelaar confident was, overeen met de rangschikking van de geautomatiseerde beoordelaar. Dit hoge niveau van overeenstemming suggereerde dat het geautomatiseerde systeem iets reëels vastlegde over de kwaliteit van de ideeën. De menselijke beoordelaars lieten echter ook zien dat de taak moeilijk was; zelfs onder experts was er enige onenigheid over de fijnere details, wat de noodzaak van een strikt, gestructureerd contract om de evaluatie mogelijk te maken, versterkte.

Het artikel sluit expliciet de gedachte uit dat het vermogen van een model om toekomstige papers te voorspellen een goede maatstaf is voor het onderzoekspotentieel. De onderzoekers toonden aan dat het beoordelen van ideeën op basis van de vraag of ze overeenkomen met een later gepubliceerde paper gebrekkig is, omdat het het raden van de toekomst beloont in plaats van het ontwerpen van een test. Het straft ook geldige ideeën af die een ander pad inslaan dan het pad dat uiteindelijk is bewandeld. Door het "antwoordmodel" van een toekomstige paper te verwijderen en de focus volledig te leggen op de logica van de test zelf, biedt Lit2Test een ander soort inzicht. Het laat zien dat hoewel grote taalmodellen vloeiende tekst kunnen genereren, hun ware capaciteit in wetenschappelijke ideatie ligt in hun vermogen om een hypothese te formuleren die rigoureus uitgedaagd kan worden. De studie concludeert dat de meest betrouwbare manier om deze modellen te evalueren niet is om te zien of ze de toekomst kunnen raden, maar om te zien of ze vandaag duidelijk kunnen aangeven wat hen ongelijk zou geven.