Technische Samenvatting: MIRAI – Voorspelling en Generatie van Hoog-Impactvol Academisch Onderzoek

Probleemstelling

De wetenschappelijke gemeenschap staat voor een versnellende crisis van volume en kwaliteit. De wetenschappelijke literatuur groeit bijna exponentieel — zoals blijkt uit een stijging van 16,1% per jaar in de Nature Index-artikelen en het feit dat de arXiv-inzendingen in 2026 recordhoogtes bereikten — waardoor het identificeren van impactvol werk steeds moeilijker wordt. Deze uitdaging wordt verergerd door de proliferatie van door AI gegenereerde tekst en een krimpende onderzoeksfinanciering, wat efficiëntere toewijzing van middelen noodzakelijk maakt.

Huidige methoden voor het evalueren van onderzoeksimpact lijden aan significante beperkingen:

• Peer Review: Kan niet opschalen naar het huidige publicatietempo en is onderhevig aan bias en de afhankelijkheid van ruwe kwantitatieve proxies.
• Citatierichtlijnen: Zijn inherent achterlopende indicatoren die jaren nodig hebben om te materialiseren en vaak prestige-biases versterken in plaats van intrinsieke verdienste.
• Bestaande Voorspellingsmodellen: Vertrouwen vaak op post-publicatiegegevens (cithatiegeschiedenis, auteursnetwerken) of oppervlakkige, domeinspecifieke kenmerken, wat hun vermogen beperkt om impact te voorspellen op het moment van publicatie.

De kernonderzoeksvragen die worden geadresseerd zijn: (1) Kan onderzoeksimpact worden voorspeld op papierniveau met uitsluitend de inhoud die bij publicatie beschikbaar is (titel, abstract, datum)? (2) Kan dit voorspellende signaal worden ingezet om generatief nieuwe onderzoeksrichtingen te synthetiseren die waarschijnlijk een hoge impact zullen hebben?

Methodologie

Datacollectie en Graafconstructie

De auteurs construeerden een zelfstandige academische citatiegraaf uitsluitend van arXiv-papers die tot 9 april 2026 zijn ingediend, bestaande uit 2.976.125 papers (98,74% van de corpus op dat moment).

• Bron: De Semantic Scholar API werd gebruikt om metadata op te halen, inclusief titels, abstracts, publicatiedatums en referentie-ID's.
• Graafstructuur: Papers werden gerepresenteerd als een gerichte citatiegraaf, opgeslagen in een ijle CSR-formaat. Referenties werden gefilterd om alleen papers te bevatten die aanwezig zijn binnen de arXiv-corpus, om te garanderen dat de graaf zelfstandig bleef voor PageRank-berekeningen.
• Velden: De dataset is sterk scheefgetrokken naar Informatica, Wiskunde en Natuurkunde.

Labeldefinitie

Om een eerlijke vergelijking tussen papers van verschillende leeftijden te waarborgen, definieerden de auteurs impactlabels op basis van vaste tijdshorizonten ($n$-jaren na publicatie):

1. Citatie-aantal: Gedefinieerd als het aantal citaties ontvangen binnen de eerste $n$ jaar. De doelvariabele is het log-getransformeerde aantal: $\ln(1 + C_n)$.
2. PageRank: Berekend op de citatie-subgraaf op vaste tijdshorizonten. Om de dilatatie van de graafgrootte te corrigeren (waarbij de ruwe PageRank afneemt naarmate de graaf groeit), gebruikten de auteurs de transformatie $\ln(N \times \text{PageRank})$, waarbij $N$ het aantal papers in de subgraaf van de cohort is. Deze metriek vangt lange-termijn invloed en mijlpaalstatus beter op.

Modelarchitectuur (MIRAI)

MIRAI (Multi-year Inference of Research trends and Academic Impact) is een deep learning-framework ontworpen om impactscores te voorspellen voor 1 tot 5 jaar na publicatie.

• Input:
  • Tekst: Titel en abstract geconcateneerd ("{title}\n{abstract}") en geëmbed met llama-embed-nemotron-8b (4096-dimensionale vector).
  • Temporele Data: Publicatiedatum geconverteerd naar een fractie van een jaar en genormaliseerd via z-score.
• Netwerk: Een feedforward neuraal netwerk (FFNN) met vier verborgen lagen (2048, 1024, 512, 256 dimensies), gebruikmakend van LayerNorm, ReLU-activatie en 0.3 dropout.
• Output: Een 5-vector van voorspelde impactscores overeenkomend met de horizonten van 1 tot 5 jaar.
• Training: Het model wordt gezamenlijk getraind over alle horizonten met behulp van Mean Squared Error (MSE) loss. De loss wordt gemiddeld over de horizonten om ervoor te zorgen dat de 5-jarige term evenveel gewicht krijgt ondanks minder beschikbare labels. Optimalisatie gebruikt AdamW met een leersnelheid van $3 \times 10^{-4}$.

Onderzoeksgeneratie-pipeline

Een pipeline werd ontwikkeld om hoog-impactvolle onderzoeksideeën te genereren door gevestigd werk te synthetiseren met recente ontwikkelingen:

1. Seeding: Paren papers worden geselecteerd: een "oud" paper (top 1% grondwaarheid PageRank, 2016–2021) en een "nieuw" paper (top 5% MIRAI-voorspelde PageRank, 2026).
2. Synthese: Een LLM (Claude Haiku 4.5) genereert een kandidaat-titel en abstract door de kernbijdragen van het seed-paar te combineren.
3. Selectie: De pipeline genereert $N=32$ kandidaten. De kandidaat met de hoogste MIRAI-score wordt geselecteerd als de uiteindelijke output.
4. Varianten: De studie vergelijkt de MIRAI-gestuurde pipeline (Variant A) met een LLM-gestuurde pipeline (Variant B) en een willekeurige baseline (Variant C).

Belangrijkste Resultaten

Prestaties van Impactvoorspelling

Geëvalueerd op papers gepubliceerd in 2021 (het meest recente volledig opgeloste testjaar), behaalde MIRAI:

• 5-Jaar Citatievoorspelling: Spearman's $\rho$ van 0,6192.
• 5-Jaar PageRank-voorspelling: Spearman's $\rho$ van 0,4686.

Belangrijke Trends:

• Horizon-effect: De prestaties nemen monotoon toe met de voorspellingshorizon. Langere horizonten bieden stabielere labels, wat het probleem van het voorspellen van de verre toekomst compenseert.
• Metriekvergelijking: Modellen voor citatieaantallen presteren beter dan PageRank-modellen, waarschijnlijk omdat PageRank recursief afhankelijk is van de centraliteit van citerende papers, een signaal dat minder uit tekst af te leiden is.
• Temporele Stabiliteit: De prestaties zijn stabiel tot 2019, maar dalen voor de testjaren 2020–2023. Dit wordt toegeschreven aan een distributieverschil gedreven door de snelle expansie van Computer Science-inzendingen op arXiv, wat het model goed afhandelt, terwijl de prestaties dalen in Physics en Mathematics.

Vergelijking met Zero-Shot LLM's
MIRAI werd vergeleken met zero-shot prompting van frontier LLM's (GPT-4o en Hermes 3) op het rangschikken van papers op basis van 2-jarige citatie-impact:

• Globale Ranking: MIRAI behaalde $\rho = 0,581$, wat aanzienlijk beter is dan GPT-4o ($\rho = 0,336$) en Hermes 3 ($\rho = 0,305$).
• Hoog-Impact Retrieval: MIRAI behaalde een Average Precision (AP) van 0,426 voor de top 5% van de papers, vergeleken met 0,179 voor GPT-4o en 0,151 voor Hermes 3.
• Conclusie: Gesuperviseerde training op citatiedata levert substantieel sterkere rankingsprestaties op dan zero-shot LLM-prompting.

Evaluatie van Onderzoeksgeneratie
In een studie van 300 trials waarbij de MIRAI-gestuurde pipeline (A), de LLM-gestuurde pipeline (B) en de willekeurige baseline (C) werden vergeleken:

• LLM Judge (GPT-5.4): Prefereerde de LLM-gestuurde pipeline (B) boven de MIRAI-gestuurde pipeline (A) in 62,0% van de trials. Echter, beide gecureerde pipelines (A en B) presteerden aanzienlijk beter dan de ongecureerde baseline (C).
• MIRAI Judge: Prefereerde van nature de eigen pipeline (A) in 96,3% van de A-versus-B vergelijkingen.
• Rubriekanalyse: De LLM-judge vond dat de MIRAI-selectie (A versus C) de Significantie (+0,82) en Helderheid (+0,24) verbeterde, maar de Nieuwigheid of Technische Degelijkheid niet significant verbeterde. Daarentegen verbeterde de LLM-selectie (B versus C) alle vier de criteria.
• Interpretatie: MIRAI vangt een echt maar gedeeltelijk signaal dat correleert met significantie en helderheid, terwijl LLM-judges een breder scala aan kwaliteitsdimensies lijken te vatten, waaronder niewigheid en technische degelijkheid.

Betekenis en Claims

Het artikel positioneert MIRAI als een stap naar een schaalbare, op inhoud gebaseerde beoordeling van wetenschappelijke impact die met lage latentie werkt, onafhankelijk van de citatiegeschiedenis. De primaire bijdragen zijn:

1. Demonstratie van Haalbaarheid: Het aantonen dat hoog-impactvol onderzoek op het moment van publicatie kan worden voorspeld met enkel tekst en datum, waarbij prestaties worden geleverd die de zero-shot LLM's overtreffen.
2. Generatieve Toepassing: Het voorstellen van een pipeline die voorspellende signalen gebruikt om de ideatie van nieuwe onderzoeksrichtingen te sturen.
3. Eerlijke Evaluatie: Het aanbieden van een potentieel alternatief voor traditionele peer review en achterlopende citatiemetrieken, die gevoelig zijn voor bias en prestige-effecten.

De auteurs concluderen bescheiden dat hoewel MIRAI een krachtig signaal biedt voor filtering en ideatie, het nog niet alle dimensies van onderzoepskwaliteit (zoals niewigheid en technische degelijkheid) zo effectief vangt als menselijke of LLM-judges. Ze suggereren dat een hybride aanpak, die de voorspellende kracht van MIRAI combineert met andere evaluatiesignalen, een veelbelovende weg vormt voor het navigeren door en bijdragen aan de snel groeiende wetenschappelijke literatuur. Het 5-jaar citatievoorspellingsmodel is publiekelijk beschikbaar gesteld om verder onderzoek te faciliteren.