Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking
Dit artikel toont aan dat een op logit gebaseerde energie-scoremethode, die gebruikmaakt van de intrinsieke vertrouwen van een taalmodel, geprompte LLM-als-rechter-benaderingen aanzienlijk overtreft bij het rangschikken van wetenschappelijke hypothesen over meerdere disciplines heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wetenschap is altijd een gesprek geweest tussen wat we weten en wat we zouden kunnen ontdekken. Wanneer een onderzoeker voor een complex probleem staat, moet hij eerst een mogelijke verklaring bedenken, een hypothese, die past bij de feiten die hij heeft verzameld. Decennialang vertrouwde deze stap volledig op menselijke intuïtie, maar een nieuw instrument is de laboratoria binnengekomen: het grote taalmodel. Dit zijn krachtige computerprogramma's die getraind zijn op enorme hoeveelheden tekst en die nu zinnen kunnen schrijven, onderzoek kunnen samenvatten en zelfs nieuwe wetenschappelijke ideeën kunnen voorstellen. Toch blijft een cruciale vraag onbeantwoord. Als een computer een lijst met mogelijke verklaringen voor een fenomeen kan genereren, hoe weten we dan welke ervan daadwerkelijk correct is? De huidige standaard om dit te beantwoorden is door een ander, nog groter computerprogramma de lijst te laten lezen en de beste te laten kiezen, vergelijkbaar met een leraar die een toets nakijkt. Deze methode heeft echter een gebrek: het geeft vaak de voorkeur aan ideeën die bekend of goed geschreven klinken, in plaats van aan ideeën die werkelijk nieuw of wetenschappelijk onderbouwd zijn.
Een team van onderzoekers bij het Oak Ridge National Laboratory besloot een andere aanpak te testen. In plaats van een model te vragen om ideeën te vergelijken en een verbaal oordeel te geven, vroegen ze het model om simpelweg het "gewicht" van elk idee te "voelen". Ze behandelden het interne vertrouwen van de computer als een signaal. Wanneer een model een zin leest die het verwacht te zien, ervaart het een gevoel van zekerheid; wanneer het iets vreemds of onwaarschijnlijks leest, ervaart het verrassing. De onderzoekers vroegen zich af of dit rauwe, interne gevoel een betere beoordelaar van wetenschappelijke waarheid kon zijn dan een formele, gesproken rangschikking. Ze wilden zien of een computer een goede hypothese kon herkennen simpelweg door hoe natuurlijk deze in het verhaal van een wetenschappelijk artikel paste, zonder dat de computer ooit de opdracht kreeg om een keuze te maken.
Om dit te testen, verzamelden de onderzoekers een enorme collectie van 1.323 echte wetenschappelijke artikelen uit twaalf verschillende vakgebieden, variërend van astronomie en fysica tot recht en bedrijfskunde. Voor elk artikel namen ze de achtergrondinformatie en de specifieke vraag die de wetenschappers probeerden te beantwoorden. Vervolgens creëerden ze een uitdaging voor de computermodellen: een lijst van zestien mogelijke hypothesen. Slechts één daarvan was de echte hypothese die de oorspronkelijke wetenschappers hadden gebruikt; de andere vijftien waren slim geschreven maar onjuiste alternatieven. Het doel was om te zien of de computer de enkele juiste hypothese uit de menigte van vijftien foute kon identificeren.
Het team voerde deze test uit met zeven verschillende computermodellen, variërend van zeer kleine, open-source programma's tot massieve, propriëtaire systemen. Ze vergeleken twee manieren om de hypothesen te beoordelen. De eerste methode was de traditionele aanpak: ze promptten een groot, commercieel model om alle zestien opties te lezen en ze expliciet van best naar slecht te rangschikken. De tweede methode was de nieuwe aanpak: ze voerden elke hypothease één voor één in een model, samen met de achtergrondcontext, en maten de interne vertrouwensscore van het model. Deze score was gebaseerd op hoe waarschijnlijk het model dacht dat de specifieke woorden van de hypothese als volgende zouden verschijnen, gegeven de context. Ze deden dit tweemaal, één keer met een standaard waarschijnlijkheidsberekening en één keer met een ruwe maatstaf van de interne energie van het model, die de kracht van de voorspelling vastlegt voordat deze wordt afgevlakt.
De resultaten waren verrassend en veranderden het begrip van hoe deze hulpmiddelen werken. De traditionele methode, waarbij een groot model werd gevraagd om als rechter op te treden en de lijst te rangschikken, presteerde slecht. Het identificeerde de top-hypothese slechts in ongeveer 16,6% van de gevallen correct. In contrast hiermee presteerde de methode die vertrouwde op de interne vertrouwensscore van het model, zonder enige expliciete instructies voor rangschikking, aanzienlijk beter. Wanneer de onderzoekers naar de beste combinatie van model en beoordelingsmethode keken, ontdekten ze dat een relatief klein, open-source model met de ruwe energiescore de juiste hypothese in 53,1% van de gevallen correct identificeerde. Dit betekent dat een bescheiden computerprogramma, dat simpelweg de tekst "voelt", meer dan drie keer zo effectief was in het vinden van het juiste wetenschappelijke idee als een veel groter, geavanceerd systeem dat expliciet de opdracht kreeg om opties te vergelijken en te rangschikken.
De studie onthulde ook dat de omvang van het model geen garantie bood voor betere prestaties. De meest succesvolle configuratie was een model met slechts één miljard parameters, wat minuscuul is vergeleken met de massieve systemen die vaak worden gebruikt voor complexe redeneringen. Sterker nog, de grootste geteste modellen presteerden niet altijd het best wanneer ze werden gevraagd om hypothesen te rangschikken. De onderzoekers merkten op dat het interne vertrouwenssignaal niet uniform was over alle modellen; voor sommige was de ruwe energiescore een krachtig hulpmiddel, terwijl het voor anderen minder effectief was. Dit suggereert dat de manier waarop een model is gebouwd en getraind belangrijker is dan de pure omvang ervan wanneer het gaat om deze specifieke taak. De studie vond ook dat de methode consistent goed werkte in de meeste wetenschappelijke disciplines, hoewel de verschillen tussen de vakgebieden te klein waren om als definitieve regels te worden beschouwd.
Een van de belangrijkste lessen van dit werk is dat de manier waarop we computers momenteel vragen wetenschappelijke ideeën te evalueren, mogelijk gebrekkig is. Door een model te dwingen een voorkeur te formuleren en opties te rangschikken, kunnen we fouten introduceren die het werkelijke begrip verhullen. De onderzoekers suggereren dat de eigen interne waarschijnlijkheden van het model, zijn stille vertrouwen in een specifieke opeenvolging van woorden, een eerlijkere en betrouwbaardere indicator van wetenschappelijke plausibiliteit kunnen zijn dan zijn gesproken oordelen. Dit betekent niet dat het probleem is opgelost. De onderzoekers erkennen dat hun test gebruikmaakte van hypothesen uit artikelen die al gepubliceerd waren, waardoor de modellen mogelijk bekende formuleringen herkenden in plaats van de wetenschap werkelijk te begrijpen. Zij stellen voor dat de volgende stap is om deze methoden te testen op gloednieuwe, ongepubliceerde ideeën waarbij het antwoord niet bekend is, wat vereist dat menselijke experts de resultaten beoordelen.
Uiteindelijk biedt dit onderzoek een nieuwe weg naar betrouwbare kunstmatige intelligentie in de wetenschap. Het suggereert dat we niet hoeven te vertrouwen op complexe, verbale debatten tussen computerprogramma's om het juiste antwoord te vinden. In plaats daarvan kunnen we mogelijk vertrouwen op de stille, interne signalen van een model, waardoor zelfs kleinere, meer toegankelijke instrumenten een vitale rol kunnen spelen in het proces van wetenschappelijke ontdekking. De studie concludeert dat hoewel de huidige methoden beperkingen hebben, het potentieel om de intrinsieke vertrouwensscore van een model te gebruiken om wetenschappelijke hypothesen te evalueren, reëel is en verdere verkenning verdient.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.