LLM-Metrics: Measuring Research Impact Through Large Language Model Memory

Technische Samenvatting: LLM-Metrics

Probleemstelling
Traditionele scientometrie leunt zwaar op citatieaantallen om de impact van onderzoek te beoordelen. Deze aanpak lijdt echter aan drie goed gedocumenteerde beperkingen:

1. Temporele vertraging: Citaties bouwen zich langzaam op, waarbij vaak 3–5 jaar nodig is voor een zinvolle beoordeling, waardoor ze inefficiënt zijn voor snel opkomende vakgebieden.
2. Disciplinaire bias: Citatiepraktijken verschillen aanzienlijk tussen vakgebieden (bijvoorbeeld wiskunde versus biomedische wetenschappen), waardoor interdisciplinaire vergelijkingen onbetrouwbaar zijn.
3. Matthew-effecten: Citatieaantallen reflecteren vaak de reputatie van gevestigde auteurs en instellingen in plaats van de intrinsieke kwaliteit van het werk.

Alternatieve metrics (altmetrics) lossen sommige problemen op, maar vangen voornamelijk maatschappelijke aandacht in plaats van wetenschappelijke impact en erven vergelijkbare biases over. Dit artikel stelt een nieuw paradigma voor: het meten van onderzoeksimpact via het parametrische geheugen van Large Language Models (LLM's). De centrale hypothese is dat papers met hoge impact meer blootstelling krijgen binnen de academische gemeenschap, deze blootstelling als tekst in de trainingsdata van LLM's terechtkomt, en modellen hierdoor sterkere, meetbare geheugensporen van deze papers vormen.

Methodologie
De auteurs introduceren LLM-Metrics, een kwantitatieve, paper-specifieke maatstaf voor onderzoeksimpact die is afgeleid van LLM-probe-scores. De methodologie omvat drie kernstappen:

1. Probe-ontwerp: De studie maakt gebruik van vier soorten meerkeuze-probes om het geheugen van een model voor specifieke paper-metadata te testen:

   • E1 (Titelherkenning): Het identificeren van de papertitel.
   • E2 (Auteurherkenning): Het identificeren van de paperauteurs.
   • E4 (Methodherkenning): Het identificeren van de specifieke voorgestelde methode.
   • F1 (Locatieherkenning): Het identificeren van de publicatieplaats en het jaar.
   • Beperking: Distractoren worden zo geconstrueerd dat ze semantisch plausibel en oppervlakkig vergelijkbaar zijn met het juiste antwoord, zodat het model vertrouwen moet hebben op parametrische kennis in plaats van contextuele aanwijzingen.

2. Scoren en Aggregatie:

   • Antwoorden worden beoordeeld op een vijfpuntsschaal: CORRECT (+2), PARTIEEL (+1), WEIGERING (0), FOUT (-1) en HALLUCINATIE (-2).
   • Deze grades worden gemapt naar een binariseerd signaal in het interval [0, 1]: CORRECT = 1, PARTIEEL = 0,5 en alle anderen = 0.
   • De uiteindelijke LLM-Metrics-score voor een paper is het gemiddelde van deze binariseerde scores over alle probes voor een bepaald model.

3. Experimentele Opzet:

   • Dataset: 549 papers uit de informatica gepubliceerd in 2023–2024, variërend in publicatieplaatsen (CCF-A tot preprints) en citatieaantallen (0–1.674).
   • Modellen: 17 LLM's van zes leveranciers (Alibaba, Google, Meta, Microsoft, Mistral AI, Zhipu AI) met parameteraantallen variërend van 0,5B tot 72B.
   • Ground Truth: Citatieaantallen verkregen van Semantic Scholar ongeveer 1,5–2,5 jaar na publicatie.
   • Analyse: De studie gebruikt Spearman's rangcorrelatie ($\rho$) om de relatie tussen LLM-Metrics-scores en citatieaantallen te meten, waarbij temporele splitsen, differentiatie op probe-type en schaalanalyse worden ingezet om het mechanisme te valideren.

Belangrijkste Resultaten

• Statistische Significantie: 15 van de 17 modellen leverden positieve voorspellingen, waarvan er 9 statistisch significant waren ($p < 0,05$). De ensemble LLM-Metrics bereikte een Spearman-correlatie van $\rho = 0,1495$ ($p = 0,0004$) ten opzichte van citatieaantallen.
• Temporele Validatie (Reverse Causaliteit Check): Het voorspellende signaal was aanzienlijk sterker voor papers uit 2024 ($\rho = 0,1880$) dan voor papers uit 2023 ($\rho = 0,0559$). Omdat papers uit 2024 op het moment van modeltraining bijna geen citaties hadden, sluit dit resultaat de verklaring uit dat modellen simpelweg citatieaantallen hebben gememoriseerd. Dit ondersteunt de hypothese dat het signaal voortkomt uit bredere blootstellingssporen (bijvoorbeeld preprints, discussies).
• Differentiatie op Probe-type: Auteurherkenning (E2)-proves vertoonden de sterkste discriminerende kracht, gevolgd door titelherkenning (E1). Methodherkenning (E4) was het zwakst, waarschijnlijk omdat methodkennis vaak generaliseerbaar is over papers heen in plaats van specifiek voor één paper.
• Niet-monotoon Schalen: De voorspellende kracht nam niet lineair toe met de modelgrootte. Een model met 3B parameters (Llama-3.2-3B-Instruct, $\rho = 0,1829$) presteerde beter dan de meeste grotere modellen, inclusief varianten van 70B+. Dit ondersteunt een "selectief geheugen"-hypothese waarbij kleinere modellen fungeren als effectieve filters, waarbij ze papers met hoge blootstelling preferentieel coderen en de lange staart negeren.
• Leveranciersverschillen: De LLaMA-3-familie van Meta presteerde consistent beter dan andere leveranciers, terwijl de Gemma-2-familie van Google een prestatieomkering vertoonde bij de 27B-schaal (negatieve correlatie), wat suggereert dat de samenstelling van de trainingsdata kritischer is dan schaal alleen.

Belangrijkste Bijdragen

1. Definitie van LLM-Metrics: Een reproduceerbare, citatie-onafhankelijke maatstaf voor onderzoeksimpact gebaseerd op modelgeheugen.
2. Empirische Validatie op Grote Schaal: Demonstratie over 17 modellen en 549 papers dat modelgeheugen een statistisch betrouwbaar signaal bevat van toekomstige citatieimpact.
3. Validatie van het Mechanisme: Bewijs dat de hypothese van selectief geheugen ondersteunt via temporele splitsen, analyse op probe-type en niet-monotoon schaalgedrag.
4. Karakterisering van Modelvariatie: Identificatie van significante verschillen in voorspellende prestaties tussen leveranciers en model families, waarbij wordt benadrukt dat modelkeuze een substantieel onderdeel is van op geheugen gebaseerde beoordeling.

Betekenis en Claims
Het artikel claimt dat LLM-Metrics een real-time, interdisciplinair en citatie-onafhankelijk paradigma biedt voor onderzoeksbeoordeling. Door LLM's niet louter te behandelen als voorspellingstools, maar als meetinstrumenten voor academische blootstelling, omzeilt deze aanpak de temporele vertraging van traditionele citaties.

De auteurs benadrukken dat het signaal geen artefact is van een enkel model, maar een reproduceerbaar patroon over onafhankelijk getrainde systemen heen, dat weerspiegelt hoe wetenschappelijke blootstelling verschillend wordt gecodeerd in de trainingsecosystemen van LLM's. Hoewel de correlatiesterkte ($\rho \approx 0,15$) lager is dan die van specifieke citatievoorspellingsmodellen die zijn getraind op specifieke kenmerken, ligt de waarde van LLM-Metrics in het vermogen om direct een impactsignaal te geven zonder dat taakspecifieke training, kenmerken-engineering of het wachten op het accumuleren van citaties nodig is. De studie concludeert dat deze aanpak kennisprobing uitbreidt van modeldiagnostiek naar real-time scientometrische meting.