💬 NLP

Learning to Predict Future-Aligned Research Proposals with Language Models

Dit paper introduceert een nieuwe methode om de kwaliteit van door taalmodellen gegenereerde onderzoeksvoorstellen te evalueren en te verbeteren door ze te trainen op het voorspellen van toekomstige wetenschappelijke ontwikkelingen, wat resulteert in zowel hogere scores op een nieuwe 'Future Alignment Score' als bewezen praktische verbeteringen in wiskundige taken en modelmerging.

Oorspronkelijke auteurs: Heng Wang, Pengcheng Jiang, Jiashuo Sun, Zhiyi Shi, Haofei Yu, Jiawei Han, Heng Ji

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Heng Wang, Pengcheng Jiang, Jiashuo Sun, Zhiyi Shi, Haofei Yu, Jiawei Han, Heng Ji

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jonge onderzoeker bent die een briljant idee wil bedenken voor de volgende grote doorbraak in de wetenschap. Je wilt een onderzoek voorstel schrijven dat niet alleen logisch klinkt, maar dat echt toekomstbestendig is. Het probleem is: hoe weet je of je idee goed is voordat je het hebt geprobeerd? En hoe kun je een computer (een AI) leren om zulke briljante ideeën te bedenken, als zelfs mensen het moeilijk vinden om dat te beoordelen?

Dit paper introduceert een slimme oplossing voor dit probleem. Laten we het uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Kristallen Bol" Dilemma

Normaal gesproken is het beoordelen van een onderzoeksvoorstel als het beoordelen van een schilderij voordat het schilderij is opgeleverd. Is het origineel? Is het technisch haalbaar? Zullen mensen erover spreken over vijf jaar?
AI-modellen (zoals grote taalmodellen) kunnen nu tekst schrijven die klinkt als een onderzoeksvoorstel, maar ze zijn vaak goed in het nabootsen van hoe het eruit ziet, niet in het bedenken van wat echt werkt. Het is alsof je een kok vraagt om een recept te bedenken dat "smakelijk klinkt", zonder dat je weet of het eten er echt lekker uitziet of smaakt.

2. De Oplossing: Tijdreizen met een "Toekomst-Compaan"

De auteurs van dit paper hebben een slimme truc bedacht. In plaats van te vragen: "Is dit een goed idee?", vragen ze: "Zal dit idee over een paar jaar door echte mensen worden opgepakt?"

Ze zien het probleem als een soort tijdreis-spel:

Het Verleden: Je geeft de AI een vraag en een paar bestaande artikelen (tot aan een bepaalde datum, zeg 2024).
De Voorspelling: De AI moet een onderzoeksvoorstel schrijven alsof het in 2024 is.
De Toekomst: Daarna kijken ze naar wat er echt is gepubliceerd na 2024 (de "toekomst").
De Score: Als het voorstel van de AI sterk lijkt op wat echte wetenschappers later hebben bedacht, krijgt de AI een hoge score.

Dit noemen ze "Future Alignment" (Toekomst-Afstemming). Het is alsof je een speler in een voetbalwedstrijd traint door te kijken of zijn voorspellingen over waar de bal naartoe gaat, overeenkomen met waar de bal echt terechtkomt.

3. De Trainingsmethode: Leren van de "Gaten" in de Geschiedenis

Hoe leer je een AI om zo te denken? Ze hebben een enorme bibliotheek van wetenschappelijke artikelen gebruikt, maar op een slimme manier:

Ze namen een oud artikel (het "doel").
Ze keken welke artikelen daarvoor waren geschreven (de "inspiratie").
Ze lieten de AI een voorstel schrijven dat had kunnen leiden tot dat oude artikel, zonder dat de AI het antwoord al kende.

Maar ze deden nog iets belangrijks: ze leerden de AI niet alleen het antwoord, maar ook hoe het antwoord te vinden. Ze lieten de AI stap voor stap nadenken:

Gaten zoeken: Wat mist er in de bestaande artikelen?
Ideetjes lenen: Welke slimme onderdelen uit andere artikelen kunnen we combineren?
Het plan maken: Hoe bouwen we dit in een experiment?

Dit is als het verschil tussen een kok die alleen het recept uitspreekt, en een kok die je eerst uitlegt waarom hij bepaalde ingrediënten kiest en hoe hij ze combineert.

4. De Resultaten: Van "Klinkend" naar "Werken"

De tests waren indrukwekkend:

Betere Voorspellingen: De AI die op deze manier was getraind, bedacht voorstellen die veel meer leken op wat echte wetenschappers later bedachten, vergeleken met AI's die gewoon "vrij" mochten schrijven.
Mensen zijn het eens: Als echte experts (professoren en onderzoekers) de voorstellen bekeken, vonden ze de getrainde AI-voorstellen veel interessanter en logischer dan de standaard voorstellen.
Het werkt echt: De meest indrukwekkende test was dat ze twee van deze AI-voorstellen daadwerkelijk hebben uitgevoerd met een computerprogramma.
- Voorbeeld 1: Een nieuwe manier om AI's beter te laten redeneren bij wiskundeproblemen. Resultaat: De AI werd 4,17% beter in het oplossen van moeilijke wiskundevragen.
- Voorbeeld 2: Een nieuwe methode om twee AI-modellen te "samenvoegen" tot één sterkere versie. Dit werkte ook beter dan de oude methoden.

Conclusie: De AI als "Toekomst-Ontdekker"

Kortom, dit paper laat zien dat we AI's niet alleen moeten leren om tekst te schrijven die klinkt als een onderzoeker, maar dat we ze moeten leren om de toekomst te voorspellen.

Door de AI te straffen of te belonen op basis van of haar ideeën later echt gebeuren in de wetenschap, krijgen we modellen die niet alleen goed klinken, maar die echt bruikbare, nieuwe wegen voor de wetenschap kunnen vinden. Het is alsof we de AI een kristallen bol hebben gegeven die niet mag liegen, maar alleen mag voorspellen wat er echt gaat gebeuren.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet om onderzoekers te assisteren bij het genereren van onderzoeksvoorstellen (research proposals). Echter, het evalueren van de kwaliteit van deze gegenereerde voorstellen is een groot probleem.

Subjectiviteit: Kwaliteitsindicatoren zoals "novelty" (nieuwheid), technische haalbaarheid en langetermijnimpact zijn subjectief en vaak pas achteraf verifieerbaar.
Gebrek aan Ground Truth: In tegenstelling tot vragen beantwoorden of samenvatten, bestaat er geen enkele "ground truth" output voor een goed onderzoeksvoorstel.
Evaluatiekosten: Automatische metrics (inclusief LLM-judges) zijn vaak slecht gecorreleerd met echte kwaliteit, terwijl menselijke evaluatie door experts duur, inconsistent en moeilijk schaalbaar is.

Het paper stelt de vraag: hoe kunnen we modellen trainen en evalueren om echt nuttige onderzoeksvoorstellen te genereren in plaats van alleen vloeiende, intern consistente tekst?

Methodologie

De auteurs herformuleren het probleem van het genereren van onderzoeksvoorstellen als een tijds-gesplitst wetenschappelijk voorspellingsprobleem (time-sliced scientific forecasting). In plaats van te proberen creativiteit direct te optimaliseren, testen ze of een model voorstellen kan genereren die overeenkomen met onderzoeksdirectionen die later daadwerkelijk door mensen worden gepubliceerd.

De kerncomponenten van de methode zijn:

Future Alignment Score (FAS):
- Dit is de belangrijkste evaluatiemetric. Gegeven een onderzoeksvraag en een set "inspirerende papers" (beschikbaar vóór een afsnijdatum $t_C$ ), genereert het model een gestructureerd voorstel.
- Dit voorstel wordt geëvalueerd op semantische alignement met een "future corpus" (papers gepubliceerd na $t_C$ ).
- De FAS wordt berekend door het maximale semantische overeenkomst (gescoord door een LLM-judge) te vinden tussen het gegenereerde voorstel en de top- $k$ meest relevante papers uit de toekomstige corpus. Een hoge FAS impliceert dat het model een wetenschappelijk betekenisvolle richting heeft voorspeld.
Tijds-consistente Supervisie (Time-Consistent Supervision):
- Om modellen te trainen zonder toekomstige data "lekken" (data leakage), bouwen de auteurs een dataset van 17.771 papers.
- Voor elke target paper (gepubliceerd na $t_C$ $t_{C}$ ) wordt een trainingspaar samengesteld:
  - Input: Een onderzoeksvraag (afgeleid van de target paper maar zonder lekken van de oplossing) en een set inspirerende papers (referenties van de target paper die vóór $t_C$ zijn gepubliceerd).
  - Output: Een gestructureerd voorstel dat de target paper simuleert als een toekomstig plan.
Citation-Grounded Stepwise Reasoning (Stap-voor-stap Redenering):
- Het genereren van een voorstel is niet alleen tekstproductie, maar een proces van het identificeren van gaten in de literatuur en het hergebruiken van ideeën.
- De auteurs introduceren Stepwise Chain-of-Thought (CoT) supervisie. In plaats van één blok redenering, wordt het proces opgesplitst in drie fasen die interacteren met de opbouw van het voorstel:
  1. Probleemformulering: Gaten analyseren en inspiratie lenen voor de onderzoeksvraag en hypothese.
  2. Methodedesign: Redeneren over de aanpak.
  3. Experimentplanning: Redeneren over validatie en experimenten.
- Dit levert een dataset op met gestructureerde voorstellen en bijbehorende redeneringssporen.

Belangrijkste Bijdragen

Nieuwe Formulering: Een tijds-gesplitste formulering voor het genereren van onderzoeksvoorstellen die gebruikmaakt van toekomstige publicaties als een schaalbaar, automatisch evaluatiesignaal (FAS).
Dataset en Supervisie: Constructie van een grote, tijds-consistente dataset (17.771 papers) met synthetische, gestructureerde voorstellen en redeneringssporen die "gap analysis" en "inspiration borrowing" modelleren.
Validatie: Demonstratie dat toezicht op "future alignment" leidt tot betere voorstellen, bevestigd door zowel menselijke expertevaluatie als door het succesvol implementeren van gegenereerde voorstellen via code-agents.

Resultaten

De experimenten zijn uitgevoerd op modellen zoals Llama-3.1-8B en Qwen2.5 (7B en 14B).

Verbetering in Future Alignment: Modellen die zijn fijngetuned (SFT) met de future-aligned methode presteren aanzienlijk beter dan baselines (zoals puur prompten of bestaande methoden zoals AI-Researcher).
- De beste configuratie (Qwen2.5-14B met Stepwise CoT) behaalde een Overall FAS van 69.7, wat een stijging is van +10.6% ten opzichte van de ongetuned prompt-baselines.
- De stap-voor-stap redenering (Stepwise CoT) leverde extra winst op, vooral bij het voorspellen van hypothesen en methoden.
Menselijke Evaluatie: In een paar-voor-paar evaluatie door domein-experts (PhD-studenten met review-ervaring) werden de voorstellen van het Stepwise CoT-model favoriet verklaard boven puur prompt-baselines op de dimensies "Soundness" (technische haalbaarheid), "Excitement" (belofte) en "Overall". Ze waren zelfs concurrerend met menselijk afgeleide voorstellen uit bestaande papers.
Executabele Case Studies: Twee door het model gegenereerde voorstellen werden geïmplementeerd met behulp van een code-agent:
1. Een nieuwe prompting-strategie ("Strategy Search") die de nauwkeurigheid op de MATH-benchmark met 4.17% verbeterde.
2. Een nieuwe model-merging methode ("MALS") die consistent betere prestaties leverde dan bestaande merging-methoden.

Betekenis en Impact

Dit paper biedt een doorbraak in het trainen van AI voor wetenschappelijke ontdekking door een verifieerbaar en schaalbaar evaluatiekader te introduceren.

Het lost het probleem op van het ontbreken van een objectieve "ground truth" voor creatieve taken door gebruik te maken van de historische trajecten van de wetenschap zelf.
Het toont aan dat LLMs niet alleen tekst kunnen samenvatten, maar daadwerkelijk kunnen leren om wetenschappelijke trajecten te voorspellen en bruikbare, uitvoerbare onderzoeksplannen te genereren.
De methode suggereert een pad naar volledig geautomatiseerde, end-to-end wetenschappelijke assistenten die niet alleen ideeën genereren, maar deze ook kunnen valideren en implementeren.

Kortom, door het trainen op "wat in de toekomst gebeurt", leren modellen beter wat "goed" wetenschappelijk onderzoek is, wat leidt tot voorstellen die zowel door algoritmen als door menselijke experts als superieur worden beschouwd.