💻 computer science

A new impact for an AI-mediated science

Dit artikel betoogt dat de traditionele, op citaties gebaseerde metriek voor wetenschappelijke impact verouderd raakt in een tijdperk van ontbundelde tijdschriften en door AI bemiddelde toegang tot kennis, wat een nieuw systeem noodzakelijk maakt dat de bijdragen van AI-interactie, open-source bibliotheken en datasets die geen formele publicaties missen, erkent en meet.

Oorspronkelijke auteurs: Fabio Favoretto

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fabio Favoretto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De Bibliotheek Verandert, Maar de Scorebord Niet

Stel je de wereld van de wetenschap voor als een enorme bibliotheek. De afgelopen 70 jaar hebben we het "succes" van een boek gemeten door te tellen hoeveel andere boeken in de bibliotheek een notitie bevatten met: "Ik heb dit gelezen." Dit is het citatiesysteem. Als een artikel veel geciteerd wordt, wordt het als belangrijk beschouwd.

Maar de auteur, Fabio Favoretto, stelt dat de bibliotheek een enorme renovatie ondergaat. We bewegen van een wereld waarin mensen boeken van kaft tot kaart lezen naar een wereld waarin AI-assistenten (zoals slimme chatbots) de belangrijkste manier zijn waarop mensen informatie vinden.

Het probleem? Het oude scorebord (het tellen van citaties) is kapot omdat het het nieuwe spul niet kan zien waar de AI daadwerkelijk gebruik van maakt.

Analogie 1: De Onzichtbare Motor

Stel je voor dat je in een auto rijdt. De oude manier om het succes van een auto te beoordelen, was door te tellen hoe vaak andere auto's er met hun claxon op riepen. Maar nu rijdt de auto op een nieuwe, onzichtbare motor gemaakt van softwarecode en data.

Het Oude Systeem: Telt hoe vaak andere auto's naar de auto hebben geclaxonneerd (het gepubliceerde artikel).
De Nieuwe Realiteit: De auto rijdt eigenlijk op een onzichtbare motor (softwarebibliotheken zoals pandas of NumPy). Deze motoren zijn zo essentieel dat de auto niet kan bewegen zonder hen, maar ze worden nooit "geclaxonneerd" omdat ze niet als formele boeken zijn geschreven.

Het paper laat zien dat één derde van de belangrijkste instrumenten die wetenschappers gebruiken, helemaal geen formeel artikel heeft. Het is gewoon code. Het oude citatiesysteem is blind voor hen. Het is also� of je het succes van een chef-kok alleen beoordeelt op basis van de recepten die hij opschreef, terwijl je negeert dat zijn keuken draait op een specifiek, onzichtbaar merk fornuis waarvoor hij nooit een handleiding heeft geschreven.

Analogie 2: De AI-Bibliothecaris

Beschouw een AI-assistent als een supersnelle bibliothecaris die je vragen beantwoordt.

De Oude Manier: Als je vroeg: "Wat weten we over klimaatverandering?", zou de bibliothecaris je de meest beroemde, hoog aangeslagen boeken uit de jaren '90 geven, omdat dat de boeken waren die andere bibliothecarissen aanbevolen.
De Nieuwe Manier: De AI-bibliothecaris kijkt naar wat er nú echt nuttig is. Hij geeft je nieuwere boeken, meer praktische gidsen en open-access samenvattingen.

Het paper vond dat de AI ons een jongere, diversere en meer praktische versie van de wetenschap laat zien dan het oude citatiesysteem doet.

De Kloof: In de klimaatwetenschap zijn de top 50 papers die een AI laat zien, gemiddeld 16 jaar jonger dan de top 50 papers die door mensen worden geciteerd.
De Gelijkheid: De AI is veel eerder geneigd om je gratis, open-access papers te laten zien (zoals een openbaar park) in plaats van dure, afgeschermde tijdschriften (zoals een besloten club).

De Voorgestelde Oplossing: De "AI Impact Index"

De auteur stelt een nieuwe manier voor om succes te meten, de AI Impact Index. In plaats van te tellen hoe vaak een artikel wordt geciteerd, telt deze nieuwe index hoe vaak een AI-systeem een stuk werk "aanraakt".

Het paper definieert drie manieren waarop een AI de wetenschap "aanraakt":

Retrieval (Ophalen): De AI vindt het artikel wanneer je een vraag stelt (zoals een bibliothecaris die een boek uit de plank pakt).
Generation (Genereren): De AI schrijft een antwoord dat erg lijkt op het artikel (zoals een student die een boek samenvat in eigen woorden).
Memorization (Memoriseren): De AI kan specifieke feiten uit het artikel onthouden wanneer er direct naar wordt gevraagd (zoals een quizkampioen die een specifieële datum herinnert).

Cruciaal onderscheid: De auteur is zeer voorzichtig in de opmerking dat deze nieuwe index niet bewijst dat het artikel "waar" of "het beste" is. Het bewijst simpelweg dat de AI erbij gekomen is. Het is een maatstaf voor toegang, niet noodzakelijkerwijs voor kwaliteit.

Waarom Dit Er Toe Doet (De "So What?")

Het paper betoogt dat als we ons scoringssysteem niet bijwerken, we de verkeerde dingen zullen belonen.

Het Risico: We blijven misschien prijzen uitreiken aan mensen die chique artikelen schrijven die niemand meer echt leest, terwijl we de mensen negeren die de onzichtbare softwaretools en datasets hebben gebouwd waar de AI (en de rest van de wetenschap) daadwerkelijk op vertrouwt.
Het Doel: We hebben een nieuwe "vertastechnologie" nodig. Net zoals tijdschriften vroeger het keurmerk van goedkeuring waren, hebben we een systeem nodig dat de software, data en tools kan zien en erkennen die de AI gebruikt om zijn werk te doen.

Samenvatting in een Notendop

De wetenschap beweegt van een wereld van boeken naar een wereld van AI-assistenten. De oude manier om succes te meten (het tellen van citaties) is als proberen de populariteit van een videogame te meten door te tellen hoeveel mensen de instructiehandleiding hebben gekocht. Het mist het feit dat de game zelf (de code, de data, de tools) is waar iedereen eigenlijk mee speelt.

Dit paper suggereert dat we beginnen met tellen hoe vaak de AI "speelt" met de wetenschap, zodat we eindelijk de onzichtbare tools kunnen erkennen die moderne wetenschap mogelijk maken.

Technische Samenvatting: Een Nieuwe Impact voor een AI-gemedieerde Wetenschap

Probleemstelling
Het artikel betoogt dat de traditionele wetenschappelijke evaluatiestapel, gebouwd op het tijdschrift als "vertastechnologie" en citatiegebaseerde metrieken, steeds meer ontkoppeld raakt van de realiteit van de wetenschappelijke praktijk. Terwijl AI-assistenten steeds vaker bemiddelen in hoe onderzoekers, studenten en beleidsmakers toegang krijgen tot en kennis synthetiseren, faalt het huidige systeem erin om de bijdragen te meten die deze nieuwe laag van wetenschap daadwerkelijk aandrijven. Specifiek kan het citatiesysteem de kritieke infrastructuur zoals open-source softwarebibliotheken, gecureerde datasets en computationele methoden die geen formele oorsprongspapieren hebben, niet "zien" of belonen. De auteur stelt dat er een significante divergentie bestaat tussen wat AI-systemen ophalen en synthetiseren versus wat het tijdschrift-citatiesysteem beloont, wat een blinde vlek creëert in de wetenschappelijke evaluatie die het "onzichtbare werk" van de computationele wetenschap over het hoofd ziet.

Methodologie
Om deze divergentie te kwantificeren en een nieuw meetkader voor te stellen, heeft de auteur een empirische studie uitgevoerd in drie wetenschappelijke domeinen: mariene ecologie, biomedische genomics en klimaat-/aardwetenschappen.

Registratieconstructie: Er is een door curatoren gevalideerd register van 8ks 86 software- en datapakketten samengesteld, die als operationeel centraal werden geïdentificeerd voor werkende wetenschappers in deze velden. Elk pakket werd geclassificeerd op basis van zijn citatie-herkomst (volledig oorsprongspapier, gedeeltelijk citatiepad, of papierloos).
Corpus en Taakontwerp: Een gestratificeerd corpus van 1.350 artikelen (450 per domein) werd getrokken uit OpenAlex. Een set van 90 standaard onderzoeksvragen (30 per domein), geverifieerd door domeinexperts, werd gecreëerd om typische interacties met een AI-assistent te simuleren.
De AI Impact Index (AIII): De studie stelt een framework voor om "engagement footprints" te meten—waarneembare sporen van AI-interactie—via drie kanalen:
- Retrieval (R-AIII): Meet of een artikel of tool wordt teruggegeven door een vector-database lookup (met behulp van sentence-transformers/all-MiniLM en ChromaDB) bij het beantwoorden van onderzoeksvragen. De score combineert vraagbreedte, taaktype-breedte, gelijkenissterkte en ranggewogen terugkeer.
- Generation (G-AIII): Meet de semantische uitlijning tussen de output van een model (gegenereerd vanuit trainingsgeheugen alleen, zonder retrieval augmentation via Claude Sonnet 4.5) en de abstracts van artikelen in het corpus.
- Memorization (M-AIII): Onderzoekt of een model specifieke bevindingen uit een artikel kan herinneren wanneer er direct naar wordt gevraagd, waarbij een conservatieve UNKNOWN-regel wordt gebruikt om confabulatie te voorkomen.
Validatie en Benchmarking: Het framework werd gevalideerd tegenover:
- Interne Coherentie: Cross-validatie waarbij AI-kanalen elkaar voorspelden (Spearman $\rho \approx 0,43–0,49$ ), terwijl citaties niets voorspelden.
- Externe Gronding: Correlatie met een External Usage Index (EUI) gebaseerd op downloads en GitHub-sterren. Opvallend genoeg vertoonden metrieken op artikelniveau (inclusclusief citaties en AIII) een nulcorrelatie met pakketniveau-gebruik, wat de verschillende aard van papier versus infrastructuur-impact benadrukt.
- Benchmark Panel: Vergelijking met huidige metriekfamilies met betrekking tot infrastructuurdekking, type samenstelling van artikelen en informatieve waarde buiten citaties om.

Belangrijkste Resultaten

Onzichtbaarheid van Infrastructuur: Een derde van de 86 centrale middelen in het register heeft geen formeel oorsprongspapier. Een ander kwart heeft oorsprongspapieren die orders van grootte minder worden geciteerd dan de middelen zelf worden gebruikt (bijv. NumPy heeft ~20k citaties maar 770 miljoen maandelijkse downloads). In de klimaatwetenschap heeft 60% van de onderzochte pakketten helemaal geen citatiepad.
Divergerende Retrieval Landschappen: AI-retrievalsystemen brengen een systematisch andere literatuur naar voren dan citatiegebaseerde ranking. In de klimaatwetenschap is het mediaan publicatiejaar van de top 50 door AI opgehaalde artikelen 2013, vergeleken met 1997 voor de top 50 geciteerde artikelen. AI brengt ook een hoger aandeel methodenartikelen en synthese-reviews naar voren.
Gelijkheid implicaties: Door AI opgehaalde literatuur vertoont hogere open-access percentages (bijv. 74% vs. 38% in de klimaatwetenschap) en grotere journalistische diversiteit, wat suggereert dat AI de poortwachtersfunctie van legacy-tijdschriften kan verzwakken, hoewel het invloed op nieuwe manieren kan concentreren.
Meetgat: Huidige financierings- en evaluatiemechanismen, die steunen op citaties, falen in het erkennen van de tools (bijv. CDO, xarray, cartopy) waarop AI-gemedieerde wetenschap feitelijk draait.

Betekenis en Claims
Het artikel frameert de AI Impact Index expliciet als een "conceptueel prototype" in plaats van een volledig gevalideerde impactmetriek. De primaire betekenis is beschrijvend en diagnostisch:

Zichtbaarheid: Het demonstreert dat er vandaag de dag meetbare sporen van AI-betrokkenheid bestaan en dat deze een laag van wetenschappelijke infrastructuur (software, data, methoden) onthullen die operationeel centraal is maar structureel onzichtbaar voor het citatiesysteem.
Herformulering van Impact: Het artikel betoogt dat AI-betrokkenheid geen maatstaf is voor waarheid of epistemische belangrijkheid, maar een maatstaf voor "welke bijdragen de nieuwe stack al bereikt". Het dient als een noodzakelijk signaal voor een nieuwe vertastechnologie die het tijdschrift-citatiesysteem moet vervangen.
Actiegerichte Agenda: De auteur stelt drie prioriteiten voor die onafhankelijk zijn van de specifieke index: (1) het construeren van een door de gemeenschap gecureerd register van ongepubliceerde infrastructuur met niet-citatiegebruiksevenementen; (2) het standaardiseren van AI-betrokkenheidsevenementtypen voor auditeerbare logging; en (3) het vestigen van governance voor deze metrieken vóór implementatie om gaming te voorkomen.

Het artikel concludeert dat hoewel het framework verkennend is, de bevinding dat het huidige evaluatiesysteem de infrastructuur van een AI-gemedieerde wetenschap niet kan zien, robuust is. Het stelt dat een evaluatiesysteem dat blind is voor deze laag "het verkeerde ding meet". Het vermogen om deze sporen te meten is de voorwaarde voor een eerlijk post-tijdschrift wetenschappelijk ecosysteem.