IntelliAsk: Learning to Ask High-Quality Research Questions via RLVR

Dit paper introduceert IntelliAsk, een model dat via versterkingsleer met de IntelliReward-beloning wordt getraind om hoogwaardige, evidence-based onderzoeksvragen te genereren die beter presteren dan bestaande baselines en tegelijkertijd de redeneer- en schrijfcapaciteiten van het model verbeteren.

De kern

🧠 De Dilemma van de Peer Review: Waarom AI nog niet echt "denkt"

Stel je voor dat je een meesterwerk hebt geschreven: een wetenschappelijk artikel. Je wilt dat het wordt beoordeeld door een expert (een 'peer reviewer'). Deze expert moet niet alleen zeggen "dit is goed", maar ook diepe, doordachte vragen stellen die de auteur helpen om het werk te verbeteren.

Het probleem? Er zijn steeds meer artikelen, maar steeds minder tijd. Veel reviewers zijn overbelast en gebruiken nu Chatbots (zoals wij, AI's) om hun vragen te schrijven. Maar tot nu toe waren die AI-vragen vaak oppervlakkig. Het was alsof je een kok vraagt om een gerecht te beoordelen, maar hij zegt alleen: "Het ziet er lekker uit," zonder te proeven of de ingrediënten kloppen.

De auteurs van dit paper wilden dit oplossen. Ze hebben IntelliAsk gebouwd: een AI die echt leert hoe je een slimme, kritische vraag stelt.

---

🏗️ De Bouwstenen: Hoe hebben ze het gedaan?

Het team heeft een drie-stappenplan gevolgd, vergelijkbaar met het trainen van een jonge chef-kok.

1. Het Verzamelen van de "Gouden Recepten" (De Dataset)

Eerst hebben ze duizenden echte reviews van topconferenties (zoals ICLR) verzameld. Maar niet zomaar alle tekst. Ze hebben een slimme filter gebruikt om alleen de beste vragen eruit te halen.

• De Metafoor: Stel je een grote berg zand voor. Ze hebben een zeef gebruikt om alleen de goudklompjes (de echte, diepzinnige vragen) eruit te halen en het zand (de oppervlakkige opmerkingen) weg te gooien.

2. De "Smaaktest" (Human Preference Study)

Ze vroegen echte experts (mensen) om te beoordelen wat een goede vraag is. Ze keken naar drie dingen:

1. Inspanning (Effort): Moet je echt nadenken om het antwoord te vinden, of staat het gewoon in de eerste alinea?
2. Bewijs (Evidence): Baseert de vraag zich op feiten uit het artikel, of is het een vage gok?
3. Gronding (Grounding): Kijkt de vraag naar de specifieke details van dit artikel, of is het een vraag die bij elk willekeurig artikel zou kunnen passen?

• De Metafoor: Het is alsof een jury van critici kijkt naar een toneelstuk. Ze zeggen niet alleen "het was leuk", maar ze analyseren: "Heeft de acteur echt geluisterd naar de tekst? (Gronding)", "Heeft hij moeite gedaan om de emotie over te brengen? (Inspanning)" en "Is zijn reactie logisch gebaseerd op wat er in de scène gebeurde? (Bewijs)".

3. De "Smaakmeter" (IntelliReward)

Mensen zijn traag en duur om te vragen om elke AI-vraag te beoordelen. Dus trainden ze een speciale AI, IntelliReward, om te doen wat de mensen deden.

• De Metafoor: IntelliReward is als een super-smaakmeter in een fabriek. In plaats van dat een mens elke cake proeft, meet deze machine precies of de cake de juiste hoeveelheid suiker, bloem en eieren heeft. Als de AI een slechte vraag maakt, geeft de smaakmeter een lage score.

---

🚀 De Oefening: Van SFT naar RL

Hier komt het echte magie.

• De oude manier (SFT): Ze probeerden eerst een AI te leren door haar duizenden voorbeelden te laten lezen. Dit werkte, maar de AI werd alleen maar een imitator. Ze klonk als een reviewer, maar dacht niet als een. Het was alsof iemand die een tekst uit het hoofd leert; hij kan de woorden herhalen, maar begrijpt de betekenis niet.

• De nieuwe manier (RL met IntelliAsk): Ze gebruikten de "smaakmeter" (IntelliReward) om de AI te belonen of te straffen.

  • Als de AI een oppervlakkige vraag stelde -> Strafpunten.
  • Als de AI een diepe, bewijskrachtige vraag stelde -> Punten.
  • De AI mocht duizenden keren proberen, fouten maken en leren van de feedback.

• De Metafoor:

  • SFT is alsof je een student een antwoordboekje geeft en zegt: "Leer dit uit het hoofd."
  • IntelliAsk (RL) is alsof je de student in een sparringring zet met een trainer. De trainer (IntelliReward) zegt: "Nee, die vraag was te makkelijk! Probeer het opnieuw, maar denk dieper na." Na duizenden rondes wordt de student een kampioen.

---

🏆 Het Resultaat: De Super-Reviewer

Het resultaat, IntelliAsk, is een AI die:

1. Niet alleen de eerste pagina leest: Veel AI's kijken alleen naar de introductie (de "cover" van het boek). IntelliAsk leest het hele artikel, inclusief de moeilijke experimenten en data.
2. Echte vragen stelt: In plaats van "Kunnen jullie dit uitleggen?", vraagt hij: "Waarom heb je in sectie 4.2 gekozen voor deze specifieke parameter, en hoe beïnvloedt dat de stabiliteit van je model?"
3. Beter is dan de beste: In tests bleek IntelliAsk (zelfs in een kleinere versie) beter te presteren dan gigantische, dure modellen zoals Gemini 2.5 Pro of GPT-4 als het gaat om het stellen van kritische vragen.

De verrassende bijvangst:
Het bleek dat door te leren goede vragen stellen, de AI ook beter werd in andere dingen, zoals logisch redeneren en schrijven.

• De Metafoor: Het is alsof je een student traint om een uitstekend advocaat te zijn (vragen stellen, bewijzen vinden). Door die training wordt hij ook een beter schrijver en een slimmer denker in het algemeen.

📝 Samenvatting in één zin

De auteurs hebben een AI getraind die niet alleen "klinkt" als een wetenschapper, maar die echt denkt als een kritische reviewer, door te leren wat een goede, bewijskrachtige vraag is, in plaats van alleen maar woorden te kopiëren.

Ze hebben hun code en data openbaar gemaakt, zodat iedereen kan leren hoe je AI's kunt trainen om niet alleen te praten, maar om echt te begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "IntelliAsk: Learning to Ask High-Quality Research Questions via RLVR" in het Nederlands.

Probleemstelling

Peer-reviewprocessen in de academische wereld zijn afhankelijk van inhoudelijke, op bewijs gebaseerde vragen om de kwaliteit van wetenschappelijk werk te waarborgen. Echter, huidige Large Language Models (LLMs) genereren vaak oppervlakkige vragen die tekort schieten in vergelijking met menselijke reviewers. Bestaande methoden voor het genereren van reviews (vaak gebaseerd op Supervised Fine-Tuning of SFT) neigen ernaar de stijl en toon van reviewers te kopiëren, maar missen de noodzakelijke technische diepgang, kritisch redeneren en contextueel begrip.

De auteurs identificeren drie specifieke tekortkomingen bij bestaande systemen:

1. Gebrek aan inspanning (Effort): Vragen kunnen direct in het paper worden beantwoord of vereisen geen synthese van ideeën.
2. Gebrek aan bewijs (Evidence): Vragen worden gesteld zonder verwijzing naar specifieke resultaten, aannames of argumenten in het werk.
3. Gebrek aan gronding (Grounding): Vragen zijn te generiek en niet verankerd in de concrete methoden of experimenten van het specifieke paper.

Daarnaast vertonen veel LLM-generaties een "First Page Bias" (FPB), waarbij ze disproportioneel veel vertrouwen op de inleiding van een paper in plaats van de volledige inhoud.

Methodologie

De auteurs volgen een drie-trapsbenadering om dit probleem op te lossen:

1. Data Curation en Menselijke Annotatie

• Dataset: Er is een dataset samengesteld van 15.500 hoogwaardige vragen, geëxtraheerd uit OpenReview (ICLR 2024). De extractie omvatte het filteren van vragen uit verschillende secties (niet alleen het "Questions"-veld, maar ook "Weaknesses" en "Strengths") met behulp van een geoptimaliseerde prompt voor een LLM.
• Annotatie: Expert-annotatoren evalueerden vraag-papierparen op drie binaire dimensies: Effort (vereist het antwoord diep nadenken?), Evidence (is er specifiek bewijs uit het paper?) en Grounding (is de vraag verankerd in de inhoud?).
• Resultaat: Een dataset van 572 geannoteerde paren (voor training en validatie) en een grotere dataset voor pre-training.

2. IntelliReward: Een Reward Model

Om menselijke evaluatie schaalbaar te maken, trainden de auteurs IntelliReward, een beloningsmodel dat menselijke voorkeuren nabootst.

• Architectuur: Het model gebruikt een bevroren autoregressieve LLM (gpt-oss-20b) als backbone. In plaats van een simpele MLP-head, gebruiken ze trainbare multi-head Transformers (specifiek een "Transformer Residual Head") die de gepoolde hidden states van de laatste 50 tokens verwerken.
• Training: Het model wordt getraind om de drie dimensies (Effort, Evidence, Grounding) te voorspellen op basis van menselijke annotaties.
• Prestatie: IntelliReward presteert significant beter dan bestaande API-based LLMs (zoals GPT-4.1 of Gemini) die als "judge" worden gebruikt, en biedt een schaalbaar alternatief voor menselijke evaluatie.

3. IntelliAsk: Reinforcement Learning (RL)

In plaats van alleen SFT (wat alleen stijl leert), gebruiken de auteurs Reinforcement Learning om IntelliAsk te trainen.

• Algoritme: Ze maken gebruik van DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization) voor het 7B-model en GRPO voor het 32B-model.
• Proces: Het model genereert meerdere kandidaat-vragen per paper. Deze worden gescoord door IntelliReward. Deze scores fungeren als beloningen om het beleid (policy) van het model te optimaliseren, zodat het vragen genereert die hoog scoren op Effort, Evidence en Grounding.

Kernresultaten

De evaluaties tonen aan dat IntelliAsk aanzienlijk beter presteert dan bestaande baselines (zoals Qwen2.5-32B, Gemini 2.5 Pro, en o3) en zelfs menselijke reviewers benadert in kwaliteit.

1. Menselijke Evaluatie:

   • IntelliAsk-32B behaalde een totaalscore van 0.66/3.0 op de drie dimensies, wat hoger is dan Gemini 2.5 Pro (0.60) en aanzienlijk hoger dan Qwen2.5-32B (0.05).
   • Het model vertoont de laagste First Page Bias (21.37%), wat aangeeft dat het de volledige inhoud van het paper gebruikt in plaats van alleen de introductie.
   • In een paarvergelijking (pairwise comparison) won IntelliAsk-32B in 81% tot 96% van de gevallen van sterke concurrenten (GPT-4.1, Gemini 2.5 Flash, Qwen3-32B).

2. Automatische Evaluatie:

   • Met IntelliReward als judge scoorde IntelliAsk-32B 0.55/3.0, wat de beste score is onder de open-source modellen (≤32B) en aanzienlijk beter dan SFT-only baselines.

3. Generalisatie en Transfer Learning:

   • Een verrassende bevinding is dat het leren van hoogwaardige vragen genereren de algemene redeneer- en schrijfcapaciteiten verbetert.
   • Redeneren: IntelliAsk-32B overtrof de basis Qwen3-32B op benchmarks zoals MuSR (68.3 vs 64.7) en GPQA-Diamond.
   • Schrijven: Het model presteerde beter op WritingBench (8.31 vs 8.07) en Arena Hard, wat suggereert dat het vermogen om kritische, onderbouwde vragen te stellen, correleert met een dieper begrip van complexe teksten en een verbeterde schrijfstijl.

Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. IntelliReward: Een schaalbaar reward model en automatisch evaluatiekader dat menselijke oordelen over de kwaliteit van review-vragen (Effort, Evidence, Grounding) nauwkeurig voorspelt, beter dan bestaande LLM-as-judge methoden.
2. IntelliAsk: Een gespecialiseerd model dat via Reinforcement Learning is getraind om kritische, onderbouwde vragen te stellen. Het is de eerste die expliciet focust op de kwaliteit van de vraag in plaats van alleen de generatie van volledige reviews.
3. Inzicht in SFT vs. RL: Het paper demonstreert dat SFT voornamelijk stijl leert (imitatie), terwijl RL met een goed reward model leidt tot daadwerkelijke verbetering in redeneren en gronding.
4. Open Source: De auteurs publiceren de code, het gefilterde dataset, de expert-annotaties en de modellen (IntelliAsk en IntelliReward) om onderzoek naar gronding en bewijs in LLM-generaties te faciliteren.

Betekenis en Conclusie

Dit paper markeert een verschuiving in hoe we LLMs inzetten voor academische peer review. Het toont aan dat het genereren van hoogwaardige, kritische vragen een unieke en uitdagende vaardigheid is die niet automatisch wordt opgepikt door standaard training. Door te focussen op "Effort, Evidence en Grounding" en deze te gebruiken als beloningssignaal in een RL-framework, kunnen modellen leren om dieper te graven dan oppervlakkige tekst.

De bevinding dat het trainen op het stellen van goede vragen leidt tot verbeteringen in bredere redeneer- en schrijftaken, suggereert dat het vermogen om kritische vragen te stellen een sterke proxy is voor diep begrip en complex redeneren. Dit heeft implicaties niet alleen voor peer review, maar ook voor elk domein waar kritische analyse en onderbouwde interactie vereist zijn.