Beyond Citation Counts: A novel framework for Research Translation Analysis

In het uitgestrekte landschap van de moderne geneeskunde wordt onderzoekers vaak een enkele vraag achtervolgd lang nadat hun werk is gepubliceerd: heeft deze ontdekking eigenlijk iemand geholpen? Decennialang heeft de wetenschappelijke gemeenschap vertrouwd op een eenvoudige, zij het imperfecte, maatstaf om deze vraag te beantwoorden. Wanneer een studie wordt geschreven, wordt het succes ervan vaak beoordeeld op basis van hoe vaak andere wetenschappers er naar verwijzen in hun eigen artikelen. Deze praktijk, bekend als het tellen van citaties, behandelt een referentie als een soort telstreepje. Als een artikel vaak wordt geciteerd, wordt aangenomen dat het invloedrijk, belangrijk en nuttig is. Echter, deze methode heeft een blinde vlek. Het telt de vermelding, maar negeert de betekenis. Een wetenschapper kan een studie citeren om een nieuwe behandeling te ondersteunen, om ertegen te argumenteren, of zelfs om op een fout te wijzen. Voor de persoon die de getallen telt, zien deze zeer verschillende handelingen er exact hetzelfde uit. In een vakgebied waar het uiteindelijke doel het verbeteren van de menselijke gezondheid is, is weten of onderzoek daadwerkelijk de manier waarop artsen patiënten behandelen verandert, veel kritischer dan weten hoe vaak het wordt vermeld in academische tijdschriften.

Een team van onderzoekers aan de Universiteit van Sydney heeft een nieuwe manier voorgesteld om naar dit probleem te kijken, waarbij ze verder gaan dan eenvoudige tellingen om de werkelijke reis van medische kennis te begrijpen. Ze ontwikkelden een methode genaamd Research Translation Analysis, die fungeert als een gedetailleerde kaart van hoe een wetenschelijke bevinding van de pagina in een tijdschrift naar de praktijk in de echte wereld reist. In plaats van alleen te vragen hoe vaak een studie werd geciteerd, vraagt dit kader wat die citaties eigenlijk betekenden. De onderzoekers testten hun nieuwe benadering met behulp van twee belangrijke studies die in 2014 werden gepubliceerd, die onderzoek deden naar de vraag of het slikken van antioxidant-supplementen een veelvoorkomend hartritmestoornis genaamd atriumfibrilleren kon voorkomen. Deze studies werden veel geciteerd en verschenen in meer dan honderd andere artikelen gedurende het daaropvolgende decennium. Volgens alle traditionele maatstaven leken ze een succesverhaal te zijn. Toch ontdekten de onderzoekers, toen ze hun nieuwe kader toepasten, een andere realiteit. Ondanks het hoge aantal vermeldingen, hadden de bevindingen van deze studies nooit hun weg gevonden naar de officiële regelboeken die artsen gebruiken om patiënten te behandelen.

De onderzoekers begonnen door het pad van deze twee studies te volgen naar de zes belangrijkste internationale richtlijnen die wereldwijd bepalen hoe atriumfibrilleren wordt beheerd. Deze richtlijnen zijn de eindhalte voor medisch bewijs; als een studie sterk genoeg is, wordt deze in deze documenten geschreven om de klinische praktijk te veranderen. Het team kwam erachter dat geen van de twee studies uit 2014 werd geciteerd in een van deze zes richtlijnen. Bovendien adviseerden de richtlijnen niet het gebruik van antioxidanten voor dit doel. Sterker nog, de richtlijnen stelden expliciet dat hoewel het bewijs consistent was, het niet sterk genoeg was om de behandeling te rechtvaardigen. Dit onthulde een aanzienlijke kloof: het onderzoek werd breed besproken in de academische gemeenschap, maar het werd niet vertaald naar actie voor patiënten.

Om te begrijpen waarom deze kloof bestond, bekeken het team nauwkeurig de honderd en tien artikelen die de oorspronkelijke studies citeerden. Ze lazen de context van elke vermelding om te zien hoe de oorspronkelijke bevindingen werden gebruikt. Ze ontdekten dat de overgrote meerderheid van deze citaties afkomstig was van andere reviewartikelen, die samenvattingen zijn van bestaande kennis, in plaats van van nieuwe experimenten of klinische trials. Dit suggereerde dat het wetenschappelijke gesprek vastzat in een lus van het bespreken van dezelfde bewijslast zonder nieuwe gegevens te genereren om het te bewijzen of te weerleggen. Belangrijker nog, de analyse toonde aan dat veel onderzoekers de oorspronkelijke bevindingen niet accuraat gebruikten. Verschillende artikelen beweerden dat de antioxidanten ineffectief waren of rapporteerden resultaten die de oorspronkelijke studies nooit eens hadden gemeten. Sommige citaties bekritiseerden de methoden van het oorspronkelijke werk, waarbij ze wezen op kleine steekproeven of een gebrek aan gedetailleerde metingen. Deze gedetailleerde inspectie onthulde dat het hoge aantal citaties een complexe realiteit van misverstanden, kritiek en een gebrek aan nieuw primair onderzoek maskeerde.

De studie concludeert dat het tellen van hoe vaak een artikel wordt vermeld, niet genoeg is om de waarde ervan te beoordelen. Een hoog aantal citaties kan een illusie van impact creëren terwijl het onderzoek ongebruikt blijft in de kliniek. Het nieuwe kader biedt een duidelijker beeld door onderscheid te maken tussen ondersteunende citaties, kritische citaties en die welke de feiten simpelweg verkeerd weergeven. Het laat zien dat voor onderzoek om echt te slagen, het niet alleen gelezen moet worden, maar ook correct begrepen en toegepast moet worden op problemen in de echte wereld. In het geval van de antioxidant-studies faalde het onderzoek niet omdat het werd genegeerd; het faalde om te vertalen omdat de wetenschappelijke gemeenschap nog niet de specifieke, hoogwaardige bewijslast had geproduceerd die nodig is om artsen te overtuigen hun praktijk te veranderen. De onderzoekers suggereren dat toekomstige studies zich moeten richten op grotere, meer rigoureuze trials om eindelijk te beantwoorden of deze supplementen werken, in plaats van door te gaan met het debatteren over dezelfde oude gegevens. Deze benadering biedt een eerlijkere en nuttigere manier om te meten of wetenschap daadwerkelijk de wereld gezonder maakt.