A simple strategy for valid inference in target trial emulations
Dit artikel stelt een strategie voor het splitsen van steekproeven voor bij emulaties van doeltrials die onderzoekers in staat stelt om protocollen iteratief te verfijnen op basis van dataverkenning, terwijl geldige statistische inferentie wordt behouden door het definitieve protocol toe te passen op een apart, vastgehouden dataset.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een chef-kok bent die probeert het perfecte recept voor een nieuw gerecht te creëren. Je wilt weten of je nieuwe saus de maaltijd lekkerder maakt dan de oude.
In de wereld van medisch onderzoek staan wetenschappers vaak voor een vergelijkbare uitdaging. Ze willen weten of een nieuwe behandeling beter werkt dan een oude, maar ze kunnen geen gecontroleerd experiment uitvoeren (een "gerandomiseerde trial") omdat dit te duur, onethisch of onmogelijk is. In plaats daarvan moeten ze kijken naar bestaande gegevens van patiënten die al in de echte wereld werden behandeld. Dit heet Target Trial Emulation.
Het doel is om te doen alsof: "Als we een perfect, gecontroleerd experiment hadden uitgevoerd, wat zouden de regels dan zijn geweest?" en vervolgens te kijken of de gegevens uit de echte wereld overeenkomen met die regels.
Het Probleem: De "Smaaktest"-Valstrik
Hier zit het lastige deel: de gegevens uit de echte wereld zijn rommelig. Wanneer wetenschappers de gegevens bekijken om te bepalen welke regels ze moeten stellen, moeten ze vaak aanpassingen maken.
- Misschien bevatten de gegevens niet het specifieke testresultaat dat ze wilden, dus veranderen ze de regels.
- Misschien is een bepaalde behandeling zo zeldzaam in de gegevens dat ze die patiënten moeten uitsluiten om een duidelijk antwoord te krijgen.
- Misschien proberen ze een paar verschillende manieren om de cijfers te analyseren, en ziet één manier er "aantrekkelijker" uit dan de anderen.
Dit creëert een probleem. Als je de gegevens bekijkt, je regels aanpast op basis van wat je ziet, en vervolgens diezelfde gegevens gebruikt om te bewijzen dat je nieuwe regels werken, ben je in feite de saus aan het proeven terwijl je kookt en claim je daarna dat het eindgerecht perfect is omdat je het zout naar je smaak hebt aangepast.
In de statistiek heet dit "data snooping". Het laat het lijken alsof je een sterk resultaat hebt, terwijl je misschien gewoon een toevalstreffer ziet. Je "betrouwbaarheidsintervallen" (de statistische maatstaf voor hoe zeker je bent) worden onbetrouwbaar omdat je naar het antwoord keek voordat je de test had voltooid.
De Oplossing: De "Pilotkeuken"-Strategie
Het artikel stelt een eenvoudige, slimme oplossing voor: De gegevens in tweeën delen.
Stel je dit voor als een professionele kookwedstrijd met twee duidelijke fasen:
De Pilotkeuken (de "Specificatie-steekproef"):
Je neemt de helft van je ingrediënten (gegevens) en doet ze in een kleine testkeuken. Hier mag je experimenteren. Je proeft, je past aan, je verandert het recept, je probeert verschillende kruiden en je komt er precies achter wat de uiteindelijke regels moeten zijn. Je kunt beseffen: "Oh, we hebben niet genoeg knoflookgegevens, dus laten we het recept veranderen om ons te richten op uien." Je neemt hier al je beslissingen.Het Hoofdpodium (de "Emulatie-steekproef"):
Zodra je je recept in de Pilotkeuken hebt vastgesteld, sluit je de deur. Je neemt de andere helft van de ingrediënten (de tweede helft van de gegevens), die nooit is aangeraakt of geproefd. Je kookt het gerecht precies volgens de regels die je zojuist hebt opgeschreven. Proef dan dit gerecht om te zien of het echt goed is.
Waarom Dit Werkt
Omdat de tweede helft van de gegevens nooit is gebruikt om de beslissingen te nemen, is het resultaat eerlijk.
- Als je de regels aanpast op basis van de Pilotkeuken, maakt dat niet uit. De test op het Hoofdpodium is nog steeds een frisse, onbevooroordeelde controle.
- Het is precies hoe farmaceutische bedrijven in het echt werken. Ze doen kleine "pilootstudies" om de beste manier te vinden om een grote "fase 3"-trial uit te voeren. Ze gebruiken de piloot om te leren, en de grote trial om het te bewijzen. Dit artikel zegt gewoon: "Laten we hetzelfde doen met computergegevens."
De Afweging
Het artikel erkent dat er één nadeel is: Je gooit de helft van je gegevens weg voor de uiteindelijke test.
Het is alsof je 100 appels hebt, maar er slechts 50 gebruikt om de uiteindelijke taart te maken. Je bent misschien niet zo zeker over de smaak als je alle 100 had gebruikt. Het artikel betoogt echter dat het beter is om een iets kleiner, eerlijk antwoord te hebben dan een groot, nep antwoord dat indrukwekkend lijkt maar eigenlijk slechts een statistische truc is.
Samenvatting
- Het Probleem: Gegevens bekijken om een studie te ontwerpen en vervolgens diezelfde gegevens gebruiken om te bewijzen dat de studie werkt, leidt tot valse zekerheid.
- De Oplossing: De gegevens splitsen. Gebruik de eerste helft om de studie te ontwerpen (de "Pilot") en de tweede helft om de studie uit te voeren (de "Hoofdtrial").
- Het Resultaat: Je kunt slimme, op gegevens gebaseerde beslissingen nemen over je studieontwerp, maar je uiteindelijke resultaten blijven statistisch geldig en betrouwbaar.
Het artikel concludeert dat hoewel deze methode minder gegevens gebruikt voor de uiteindelijke berekening, het de beste manier is om ervoor te zorgen dat wanneer wetenschappers zeggen: "We zijn 95% zeker dat deze behandeling werkt", ze dat ook echt menen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.