HindSight: Evaluating Research Idea Generation via Future Impact

Probleemstelling

De huidige evaluatie van door AI gegenereerde onderzoeksideeën leunt zwaar op twee methoden: LLM-as-Judge (waarbij een groot taalmodel ideeën beoordeelt) en menselijke panelen. Beide methoden hebben fundamentele tekortkomingen:

• Subjectiviteit en Bias: LLM-judges vertonen vaak een vertekening ten opzichte van verbose antwoorden, zelfversterking en een slechte kalibratie van "novelty" (nieuwheid). Menselijke evaluaties zijn duur, traag en vertonen lage onderlinge overeenstemming (inter-annotator agreement).
• Ontkoppeling van Impact: Een idee dat door een LLM of mens als "nieuw" wordt beoordeeld, betekent niet noodzakelijk dat het een echte onderzoeksrichting voorspelt die in de praktijk wordt gepubliceerd en impact heeft. Er bestaat een kloof tussen perceptie van kwaliteit en werkelijke impact.

Het paper introduceert HINDSIGHT om deze kloof te overbruggen door ideeën te evalueren op basis van hun daadwerkelijke anticipatie op toekomstige publicaties.

Methodologie: Het HINDSIGHT Framework

HINDSIGHT is een tijdsgebonden evaluatieframework dat de kwaliteit van gegenereerde ideeën meet door ze te vergelijken met reële publicaties die na de generatie zijn verschenen.

1. Tijdsplitsing (Time-Split Design):

   • Een tijdstip $T$ wordt gedefinieerd (in dit geval juni 2023).
   • Het idee-generatiesysteem heeft alleen toegang tot literatuur die voor $T$ is gepubliceerd ($L_{<T}$).
   • De "Ground Truth" bestaat uit papers die na $T$ zijn gepubliceerd ($P_{>T}$), specifiek binnen een venster van 30 maanden (juni 2023 tot december 2025).

2. Idee Generatie Systemen:

   • Er werden twee systemen getest op 10 AI/ML-onderwerpen:
     • Retrieval-Augmented (RA): Gebaseerd op ResearchAgent, dat specifieke literatuur ophaalt om problemen en methoden te definiëren.
     • Vanilla Baseline (BL): Een systeem dat alleen de onderwerpsnaam en een algemene instructie krijgt, zonder literatuur-retrieval.
   • Er werden in totaal 200 ideeën gegenereerd (100 per systeem).

3. Matching en Scoring:

   • Semantische Matching: Ideeën en toekomstige papers worden gecodeerd met SPECTER2 (een transformer getraind op citatiegrafieken).
   • Retrieval: Voor elk idee worden de $K=20$ meest vergelijkbare papers uit de toekomstige pool ($P_{>T}$) gezocht via FAISS.
   • Filtering: Alleen matches met een cosine similarity $\geq \theta$ (gekalibreerd op 0.96) worden behouden.
   • Impact Score: Elke gematchte paper krijgt een score $h(p)$ gebaseerd op:
     • 60%: Genormaliseerd aantal citaties binnen de pool.
     • 40%: Prestige van de venue (topconferenties zoals NeurIPS, ICML, ACL, etc.).
   • Eindscore: De HINDSIGHT-score van een idee is de maximale impact van de gematchte papers. Als er geen match is, is de score 0.

4. Vergelijkende Evaluatie:

   • Alle 200 ideeën werden ook beoordeeld door een LLM-as-Judge (Qwen3-32B) op schaal 1-10 voor Novelty, Haalbaarheid, Verwachte Impact en Algemene Kwaliteit.

Belangrijkste Resultaten

De experimenten onthullen een schokkende discrepantie tussen subjectieve en objectieve evaluatie:

1. Groot verschil in prestatie (HINDSIGHT vs. LLM-Judge):

   • LLM-as-Judge: Vond geen significant verschil tussen het retrieval-gebaseerde systeem en de baseline (gemiddelde score 7.44 vs. 7.40, $p=0.584$).
   • HINDSIGHT: Toonde een 2,5x grotere gemiddelde score voor het retrieval-systeem (0.297 vs. 0.119, $p<0.001$).
   • Match Rate: 81% van de ideeën van het retrieval-systeem matchte met een toekomstige paper, tegenover slechts 42% voor de baseline.

2. Negatieve correlatie met "Novelty":

   • Er is een significante negatieve correlatie ($\rho = -0.29, p<0.01$) tussen de door de LLM beoordeelde "novelty" en de HINDSIGHT-score.
   • Conclusie: Ideeën die door LLM's als "meest nieuw" worden beschouwd, zijn juist minder waarschijnlijk om te corresponderen met reële toekomstige publicaties. LLM's lijken "nieuw klinkende" (vaak vage of ambitieuze) ideeën te overwaarderen en concrete, op literatuur gebaseerde ideeën te onderschatten.

3. Kwaliteitsverdeling (Case Study):

   • True Positives: Het retrieval-systeem produceerde bijna 3x meer ideeën die zowel hoog scoorden op HINDSIGHT als op LLM-judgement (concrete, goed onderbouwde ideeën).
   • Hidden Gems: Veel retrieval-ideeën scoorden hoog op HINDSIGHT maar laag op LLM-judgement. Deze waren technisch specifiek maar misten het "opwindende verhaal" dat LLM's belonen.
   • Overhyped: De baseline produceerde meer ideeën die hoog scoorden op LLM-judgement (ambitieus, vaag) maar een HINDSIGHT-score van 0 hadden (geen match met reële publicaties).

Bijdragen

1. HINDSIGHT Framework: Het eerste tijdsgebonden, impact-gebaseerde evaluatiekader voor het genereren van onderzoeksideeën, dat gebruikmaakt van toekomstige publicaties als ground truth.
2. Empirisch Bewijs: Het aantonen van een systematische disconnect tussen LLM-as-Judge en objectieve impact-evaluatie. LLM-judges falen in het onderscheiden van systemen die wel of niet op feitelijke literatuur zijn gebaseerd.
3. Analyse van Bias: Het inzicht dat LLM's "novelty" verwarren met "anticipatie". Ze belonen oppervlakkige originaliteit ten koste van ideeën die daadwerkelijk toekomstige onderzoeksrichtingen voorspellen.

Betekenis en Conclusie

Het paper concludeert dat het optimaliseren van AI-systemen voor onderzoeksideeën puur op basis van LLM-judges misleidend kan zijn, omdat dit systemen kan pushen naar het produceren van "impressieve maar holle" ideeën.

• Complementair gebruik: LLM-as-Judge is nuttig voor snelle screening van helderheid en coherentie, maar HINDSIGHT is essentieel voor objectieve validatie wanneer er grondwaarheid beschikbaar is.
• Toekomstige richting: Evaluatie van AI-generatie moet worden verankerd in reële werelduitkomsten (publicaties en citaties) in plaats van subjectieve indrukken.
• Beperkingen: Het framework heeft een "conformity bias" (beloning voor het nabootsen van bestaande trends) en is afhankelijk van de volledigheid van de database en de kwaliteit van de embeddings, maar biedt een robuustere maatstaf dan huidige methoden.