From corpus to claims: The TRACE framework for auditing inferential dependencies in bibliometric research

In het uitgestrekte landschap van de moderne wetenschap zoeken onderzoekers voortdurend naar manieren om te begrijpen hoe kennis groeit en zich verspreidt. Om dit te doen, wenden zij zich vaak tot de bibliometrie, een vakgebied dat wetenschappelijke publicaties behandelt als datapunten op een kaart. Door te tellen hoeveel artikelen er zijn geschreven, wie wie citeert en welke woorden samen voorkomen, kunnen geleerden proberen het grote plaatje van een discipline te zien: waar het naartoe gaat, wie de leiders zijn en welke ideeën zich vormen. Deze benadering is een standaardinstrument geworden voor universiteiten en financieringsinstanties om onderzoek te evalueren. Er is echter een stille spanning ontstaan. Hoewel de instrumenten voor het verzamelen en tellen van deze gegevens ongelooflijk precies zijn geworden, is de sprong van een simpel getal naar een grote, gedurfde conclusie over de staat van de wetenschap vaak wankel. Een grafiek die een stijging in publicaties laat zien is een feit, maar verklaren dat een vakgebied "volwassen" is geworden of dat een specifiek land de "onbetwiste leider" is, is een interpretatie die de grafiek alleen misschien niet volledig kan ondersteunen. De vraag is niet langer alleen of het tellen correct is uitgevoerd, maar of het verhaal dat over de cijfers wordt verteld, ook daadwerkelijk waar is.

Greta Baldanzi, een onderzoeker bij het Italiaanse Ministerie van Onderwijs en Verdienste, adresseert dit gat met een nieuw kader genaamd TRACE. In plaats van simpelweg te controleren of een studie de regels heeft gevolgd, fungeert TRACE als een rigoureus auditsysteem dat ontworpen is om een specifieke bewering terug te traceren naar het begin van het onderzoeksproces. Stel je een brug voor die een ruw datapunt verbindt met een uiteindelijke conclusie; TRACE inspecteert elke pilaar en kabel van die brug om te zien of deze het gewicht van het verhaal dat wordt verteld daadwerkelijk kan dragen. Het kader breekt het onderzoeksproces af in vier afzonderlijke stadia: hoe het idee werd geformuleerd, hoe de gegevens werden verzameld, wat de analyse daadwerkelijk produceerde en tenslotte de bewering die uit die analyse voortvloeit. Tussen deze stadia bevinden zich de onzichtbare schakels die hen verbinden. De kerninnovatie is dat TRACE niet alleen naar het eindresultaat kijkt; het controleert of de verbinding tussen het resultaat en de bewering sterk genoeg is. Als een onderzoeker beweert dat een vakgebied "volwassen" is op basis van een lijst trefwoorden, vraagt TRACE of die lijst daadwerkelijk volwassenheid bewijst, of dat het slechts bewijst dat de trefwoorden zijn gebruikt.

Om te testen of dit systeem werkt, paste Baldanzi het toe op vier echte, gepubliceerde studies, waarbij ze elke studie behandelde als een dossier. In één instantie analyseerde een studie het onderzoek naar darmbacteriën tijdens de zwangerschap en concludeerde dat het vakgebied "volwassen" was geworden. De audit stelde vast dat hoewel de gegevens duidelijk een verschuiving in onderwerpen lieten zien van eenvoudige beschrijvingen naar complexe mechanismen, de sprong naar het bestempelen van het vakgebied als "volwassen" niet werd ondersteund door het geleverde bewijs. Het kader verwierp de studie niet; in plaats daarvan suggereerde het een precieze aanpassing: behoud de observatie over de verschuiving in onderwerp, maar verwijder de niet-onderbouwde term volwassenheid. In een ander geval identificeerde een studie clusters van auteurs en noemde deze "theoretische tradities". Hier stelde de audit vast dat de bewering gerechtvaardigd was, omdat de auteur verder was gegaan dan de data door de daadwerkelijke artikelen binnen die clusters te lezen, wat de nodige extra bewijslast bood om de benaming te onderbouwen. Een derde geval betrof een studie die beweerde dat een land een wereldwijde leider in onderzoek was op basis van samenwerkingsnetwerken. De audit onthulde dat hoewel het land inderdaad centraal stond in het netwerk, de sprong naar het bestempelen ervan als "leider" van het gehele vakgebied te breed was, vooral omdat de gegevens alleen Engelstalige tijdschriften bevatten. Het kader hielp bij het scheiden van de geldige bevinding over netwerkverbindingen van de overdreven bewering over wereldwijd leiderschap.

De laatste casus onderzocht een studie naar AI-geletterdheid die twee verschillende databases gebruikte. De audit merkte een subtiel maar cruciaal verschil op in de manier waarop de zoekopdracht in elk van de databases was ingesteld: de ene gebruikte een logica die toestond dat óf de ene óf de andere zoekterm werd gebruikt, terwijl de andere vereiste dat beide aanwezig waren. Dit creëerde een mismatch in de gegevensverzameling. Cruciaal was dat het TRACE-framework de conclusies van de studie niet onmiddellijk onjuist verklaarde. In plaats daarvan stopte de audit bij het punt van de mismatch en merkte op dat het effect van dit verschil op het uiteindelijke resultaat onbekend was. Het adviseerde een specifieke volgende stap: controleer de gegevens opnieuw om te zien of de mismatch de uitkomst daadwerkelijk heeft veranderd. Alleen als de controle een echt verschil aantoonde, zou de studie opnieuw gedaan moeten worden. Deze aanpak voorkomt dat onderzoekers goed werk weggooien vanwege een rapportagefout, terwijl het ook ervoor zorgt dat ononderbouwde sprongen worden betrapt.

Het artikel betoogt dat deze methode een eerlijkere en preciezere manier biedt om wetenschappelijk werk te beoordelen. Het beweegt weg van het idee dat een studie ofwel perfect ofwel gebrekkig is. In plaats daarvan behandelt het onderzoek als een keten van bewijsvoering waarbij sommige schakels sterk en andere zwak kunnen zijn. Door exact aan te geven waar een keten zwak is, stelt TRACE onderzoekers in staat om precies dat deel te repareren, bijvoorbeeld door hun conclusie te beperken of meer bewijs te verzamelen, in plaats van hun hele project te moeten verwerpen. De auteur merkt zorgvuldig op dat dit kader een nieuw voorstel is dat verdere tests vereist om te zien of verschillende mensen het op dezelfde manier zullen gebruiken. Het is geen toverstaf die alle problemen oplost, maar een gestructureerde manier om de juiste vragen te stellen. Het uiteindelijke doel is om ervoor te zorgen dat wanneer wetenschappers beweren dat ze een leider, een trend of een traditie hebben gevonden, de data achter die woorden sterk genoeg zijn om hen te dragen.