Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing
Dit artikel introduceert P-Bench, een benchmark voor het evalueren van statistisch redeneren in hypothesetoetsing, en presenteert Fisher-R1, een met reinforcement learning getrainde LLM-agent die bestaande modellen significant overtreft door subtiele inferentiële fouten aan te pakken die leiden tot onjuiste wetenschappelijke conclusies.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen met een stapel aanwijzingen. In de wereld van de wetenschap zijn deze aanwijzingen getallen en datapunten, en het mysterie is een vraag zoals: "Maakt het eten van meer chocolade je slimmer?" Om dit mysterie op te lossen, ga je niet zomaar gokken; je voert een speciale wiskundige test uit die hypothesetoetsing wordt genoemd. Zie deze test als een waarheidsmeter die een getal uitspuugt genaamd een p-waarde. Als dit getal erg klein is, is dat alsof de waarheidsmeter een fel rood licht geeft dat zegt: "Hé, deze connectie is echt!" Als het getal groot is, blijft het licht groen, wat betekent: "Nee, dit is waarschijnlijk gewoon een toevalstreffer."
Lange tijd waren wetenschappers degenen die de waarheidsmeter vasthielden, waarbij ze zorgvuldig controleerden of de aanwijzingen rommelig waren of dat de gekozen test wel de juiste was. Maar nu hebben we AI-agenten—superintelligente computerprogramma's die data kunnen lezen, code kunnen schrijven en deze tests volledig zelfstandig kunnen uitvoeren. De hoop is dat deze AI-detectives de wetenschap kunnen versnellen en antwoorden kunnen vinden sneller dan welk menselijk team dan ook. De grote vraag is echter: zijn deze AI-detectives eigenlijk goed in het oplossen van het mysterie, of zijn ze gewoon heel goed in het veinzen ervan? Ze kunnen perfecte code schrijven en heel zelfverzekerd klinken, maar als ze de verkeerde waarheidsmeter kiezen voor de aanwijzingen die ze hebben, kunnen ze een valse ontdekking als een echte presenteren.
Dit is precies wat het artikel "Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing" onderzoekt. De auteurs, een team van Stanford en de University of Wisconsin–Madison, realiseerden zich dat huidige AI-detectives slome fouten maken. Ze ontdekten dat zelfs de meest geavanceerde AI-modellen waarschuwingssignalen in de data opmerken—zoals vreemde uitschieters die op foutjes lijken—maar deze vervolgens toch negeren en de verkeerde test uitvoeren. Het is alsof een detective een modderige voetafdruk ziet die duidelijk niet bij de schoen van de verdachte past, maar dan toch volhardt: "Nee, het is absoluut de verdachte!" en een rapport schrijft dat zegt: "Zaak afgesloten!" terwijl de zaak eigenlijk nog volop openstaat.
Om dit te bewijzen, bouwde het team een nieuwe trainingsgrond genaamd P-Bench. Stel je dit voor als een enorme, lastige hindernisbaan voor AI-detectives, gevuld met 425 echte puzzels uit de biologie, economie en geneeskunde. Elke puzzel geeft de AI een dataset en een vraag, maar vertelt hen niet welke waarheidsmeter ze moeten gebruiken. De AI moet de juiste test uitzoeken, deze uitvoeren en het resultaat rapporteren. Het team kwam erachter dat topmodellen (inclusclusief enkele van de krachtigste die beschikbaar zijn) op deze hindernisbaan vaak faalden. Ze voerden de test uit, kregen een resultaat en verklaarden zelfverzekerd een ontdekking, zelfs wanneer de wiskunde dat eigenlijk niet ondersteunde.
Dus, wat hebben ze eraan gedaan? Ze creëerden een nieuwe AI-agent genaamd Fisher-R1. In plaats van de AI gewoon te laten gokken, hebben ze het getraind met een speciale methode genaamd reinforcement learning (versterkingsleren). Denk hierbij aan een videogame waarbij de AI alleen punten krijgt als hij zowel de juiste test kiest áls het juiste antwoord geeft. Als hij het verkeerde gereedschap voor de klus kiest, krijgt hij een "game over" en moet hij het opnieuw proberen. Ze hebben Fisher-R1 getraind op duizenden synthetische puzzels waarvan de antwoorden zeker bekend waren, waarbij de AI leerde om voorzichtig te zijn en zijn eigen werk te controleren.
De resultaten waren een game-changer. Toen Fisher-R1 de P-Bench hindernisbaan nam, slaagde het niet alleen; het verpletterde de concurrentie. De 14-miljard-parameters versie van Fisher-R1 (Fisher-R1-14B) presteerde zelfs beter dan de sterkste propriëtaire modellen zoals GPT-5.4 en DeepSeek-V4-Pro. Op de moeilijkste puzzels verbeterde het succespercentage met ongeveer 21% vergeleken met de op één na beste AI. Belangrijker nog: het stopte met het maken van die "zelfverzekerde maar foute" fouten. Het leerde te zeggen: "Wacht, deze datapunten zijn vreemd; ik zou de standaardtest niet moeten gebruiken," en koos in plaats daarvan een veiligere, nauwkeurigere methode.
Het artikel suggereert dat hoewel huidige AI-agenten geweldig zijn in het schrijven van code, ze een gebrek hebben aan diepe statistische intuïtie om te weten welke code ze voor een specifiek probleem moeten schrijven. Door hen te trainen met geverifieerde beloningen—waarbij ze een score krijgen op basis van of hun uiteindelijke conclusie overeenkomt met de grondwaarheid—leerde Fisher-R1 om een veel betrouwbaardere wetenschapper te zijn. De auteurs concluderen dat we AI nog niet simpelweg op de automatische piloot de wetenschap kunnen laten doen; we moeten ze specifiek trainen om zorgvuldige statistici te zijn. Met hulpmiddelen zoals Fisher-R1 en benchmarks zoals P-Bench kunnen we beginnen met het bouwen van AI-partners die niet alleen slim klinken, maar ook daadwerkelijk de wiskunde kloppend krijgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.