When the record makes the result: exposure-linked recording of a continuous outcome can manufacture a spurious treatment effect in real- world evidence

De verborgen valstrik in de data: Wanneer "gokken" voor valse wetenschap zorgt

Stel je voor dat je een detective bent die een mysterie probeert op te lossen met een enorme stap politierapporten. Je wilt weten of een nieuw type slot diefstal beter voorkomt dan het oude soort. In de wereld van de moderne wetenschap doen onderzoekers iets heel vergelijkbaars. In plaats van politierapporten gebruiken zij "Real-World Evidence" — enorme digitale dossiers uit ziekenhuizen, zoals elektronische medische dossiers, om te zien of nieuwe behandelingen daadwerkelijk werken. Dit is een krachtig instrument omdat het kijkt naar echte patiënten in het echte leven, en niet alleen naar mensen in een gecontroleerd laboratorium.

Maar er is een addertje onder het gras. Soms schrijven de mensen die de rapporten maken niet met een liniaal, maar gebruiken ze hun ogen om te gokken. Als een arts moet gokken hoeveel bloed een patiënt heeft verloren, of hoe groot een wond is, schrijft hij misschien een getal op dat voor hem "goed voelt", in plaats van de exacte waarheid. Wetenschappers noemen dit "schatting". Meestal denken we dat deze gokjes slechts een beetje ruis toevoegen, zoals statische elektriciteit op een radio. Maar wat als de ruis niet willekeurig is? Wat als de manier waarop de arts gokt verandert afhankelijk van welk medicijn de patiënt kreeg? Dat is de angstaanjagende vraag die dit artikel stelt. Het onderzoekt een verborgen valstrik waarbij de manier waarop we de resultaten opschrijven, per ongeluk een wondermiddel kan verzinnen dat eigenlijk niet bestaat.

De zaak van het "magische" medicijn dat het niet was

In deze studie keken onderzoekers naar een enorme collectie van 8 jaar aan ziekenhuisgegevens van één enkel ziekenhuis in Taiwan. Ze onderzochten een medicijn genaamd carbetocine, dat wordt gebruikt om bloedingen na een bevalling te stoppen. Hier is de twist: het medicijn werd niet vergoed door de verzekering, dus patiënten moesten het zelf betalen. Dit betekende dat de artsen precies wisten wie het medicijn kreeg en wie niet, wat een perfect "natuurlijk experiment" creëerde om te zien of het medicijn werkte.

De onderzoekers richtten zich op één specifiek resultaat: hoeveel bloed de moeder verloor tijdens een vaginale bevalling. In veel ziekenhuizen wordt dit getal niet gemeten met een weegschaal; het wordt visueel geschat door de arts of verpleegkundige. Ze kijken naar het bloed en schrijven een getal op, zoals "150 mL" of "200 mL".

Toen de onderzoekers de cijfers op de "standaard" manier doorliepen, zagen de resultaten er ongelooflijk uit. De data suggereerden dat het medicijn het bloedverlies met een enorme 62% verminderde. Het vertrouwen in dit getal was zo groot dat het leek op een overduidelijke wetenschappelijke ontdekking. De behandelde groep leek bijna geen bloed te hebben verloren, terwijl de controlegroep veel had verloren.

Maar de auteurs van dit artikel stopten daar niet. Ze begonnen als een detective te spelen en zochten naar aanwijzingen dat er iets niet klopte.

De aanwijzing van het "ronde getal"

Het eerste wat ze opmerkten, was een vreemd patroon in de cijfers, als een vingerafdruk op een plaats delict. In de groep die het medicijn kreeg, waren ongeveer 60% van de geregistreerde waarden van het bloedverlies exact 30 mL of 50 mL. In contrast hiermee had slechts 2,4% van de controlegroep deze exacte lage getallen.

Het blijkt dat artsen vaak de gewoonte hebben om hun schattingen af te ronden naar mooie, ronde getallen (zoals 50 of 100). Maar hier leken de artsen een geheime regel te hebben: als de patiënt het medicijn kreeg, schreven ze bijna altijd "50 mL" op, zelfs als het werkelijke verlies hoger was. Het was alsof de artsen een sjabloon hadden met de tekst: "Als ze de magische pil kregen, schrijf '50'". Dit wordt "digit preference" of "waarde-stapeling" genoemd. De behandelde groep verloor niet alleen minder bloed; ze werden als minder bloedverlies geregistreerd vanwege een registratie-gewoonte.

De "tijdreis"-test

Om er zeker van te zijn dat dit geen toevalstreffer was, controleerden de onderzoekers of het patroon in de loop van de tijd veranderde. Als het medicijn echt werkte, zou het effect jaar na jaar consistent moeten zijn. En dat was het ook! Van 으로 2019 tot 2025 was de mediaan van het bloedverlies voor de medicijngroep elk jaar vastgezet op exact 50 mL. Ondertussen schommelde de controlegroep tussen de 150 mL en 200 mL.

Dit is een enorme rode vlag. Echte biologische effecten blijven meestal niet zeven jaar achter elkaar op exact hetzelfde getal steken. Dat soort rigiditeit suggereert een registatieregel, en geen biologisch wonder. De onderzoekers probeerden de data ook te corrigeren met standaard statistische trucs (zoals het aanpassen voor het jaar of de gezondheid van de patiënt), maar de "62% reductie" bleef exact hetzelfde. Dit bewees dat het probleem niet was dat de groepen verschillend waren; het probleem was dat de manier waarop de resultaten werden opgeschreven verschillend was.

De "drempelwaarde"-reality check

Het meest onomstotelijke bewijs kwam toen ze naar de cijfers keken door een andere bril. Ze vroegen zich af: "Hoeveel vrouwen hadden daadwerkelijk een gevaarlijke hoeveelheid bloeding (postpartum hemorragie), gedefinieerd als het verliezen van 500 mL of meer?"

Toen ze naar deze binaire "ja of nee"-vraag keken, verdween de magie.

• Medicijngroep: 3,2% had een zware bloeding.
• Controlegroep: 4,2% had een zware bloeding.
• Resultaat: Er was geen significant verschil.

De "62% reductie" bestond alleen in de rommelige, geschatte getallen. Wanneer ze naar de werkelijke drempel van gevaar keken, leek het medicijn helemaal niet te helpen. Sterker nog, aan het uiterste einde (verlies van 1.000 mL of meer), had de medicijngroep zelfs iets meer gevallen dan de controlegroep, wat precies het tegenovergestelde is van wat een wondermiddel zou doen.

De simulatie: Het bewijs van de illusie

Om te bewijzen dat deze registratie-gewoonte alleen al een dergelijk vals resultaat kon creëren, bouwden de onderzoekers een computersimulatie. Ze creëerden een fictieve wereld waarin het medicijn absoluut niets deed (het ware effect was nul). Ze programmeerden de computer om de bloedverliescijfers van de "behandelde" groep met dezelfde bias te registragen: het vastzetten van lage waarden op 30 of 50 mL, terwijl de controlegroep natuurlijker bleef.

Het resultaat? De computer genereerde een valse "62% reductie" die net zo indrukwekkend en statistisch significant leek als de echte data. Dit bevestigde dat verschillende registratie alleen al voldoende was om uit het niets een enorm, overtuigend behandelingseffect te fabriceren.

De les: Vertrouw de liniaal, niet de gok

Dit artikel zegt niet dat het medicijn definitief niet werkt; het zegt dat de "62% reductie" gevonden in de geschatte bloedverliescijfers waarschijnlijk een leugen is, gecreëerd door de manier waarop artsen de data opschreven.

De auteurs concluderen dat we voorzichtig moeten zijn met uitkomsten die slechts "geschat" of "geschat" zijn wanneer we real-world data gebruiken. Als de manier waarop we de data registreren verandert op basis van wie de behandeling kreeg, kunnen we per ongeluk een geneesmiddel uitvinden.

De les voor de toekomst:

1. Controleer de "afronding": Voordat je een groot resultaat gelooft uit geschatte data, controleer dan of de ene groep haar getallen afrondt naar 50 of 100 terwijl de andere dat niet doet.
2. Kijk naar de "echte" drempelwaarden: Vertrouw niet alleen op het gemiddelde getal. Controleer of de behandeling mensen daadwerkelijk helpt om de grens van gevaar te vermijden (zoals de 500 mL bloeding-drempel).
3. Gebruik objectieve maten: Gebruik waar mogelijk metingen die door machines worden gemaakt (zoals een hemoglobine-bloedtest) in plaats van menselijke gokken.

Kortom, een groot, nauwkeurig lijkend effect in een studie gebaseerd op menselijke gokken, is misschien wel een reflectie van de pen van de arts, en niet van het lichaam van de patiënt. De "magie" zat in het notitieblok, niet in het medicijn.