Evaluating the applicability of replication success metrics in animal-to-human translation: A simulation study

Technische Samenvatting: Evaluatie van de Toepasbaarheid van Succesmetrieken voor Replicatie bij de Translatie van Dier naar Mens

Probleemstelling
Biomedisch onderzoek kampt met een aanzienlijke uitdaging op het gebied van "translatiefalen", waarbij interventies die veelbelovend blijken in preklinische dierstudies vaak niet in staat zijn om effectiviteit te reproduceren in menselijke klinische trials. Schattingen suggereren dat tussen twee derde en 95% van de therapeutica die veilig en effectief zijn in dieren, falen in mensen. Een primaire drijfveer van dit falen is het gebrek aan reproduceerbaarheid en suboptimale onderzoeksontwerpen in dieronderzoek, waaronder kleine steekproefgroottes, een gebrek aan randomisatie/blindering en publicatiebias.

Hoewel er talrijke metrieken bestaan om "replicatiesucces" te evalueren (de consistentie van resultaten tussen een originele studie en een directe replicatie in dezelfde populatie), blijft hun toepasbaarheid op "translatie" (het beoordelen van consistentie tussen dier- en mensstudies) onduidelijk. Translatie verschilt fundamenteel van replicatie omdat de twee studies verschillende populaties en verschillende experimentele ontwerpen onderzoeken, wat vaak resulteert in verschillende effectgroottes. De huidige standaard voor het beoordelen van translatiesucces is vaak de "twee-trials-regel" (vereist statistische significantie in beide soorten), maar alternatieve metrieken die zijn ontwikkeld voor replicatie zijn niet rigoureus getest in deze context.

Methodologie
De auteurs voerden een simulatiestudie uit om negen verschillende metrieken die voorgesteld worden voor replicatiesucces te evalueren, om hun prestaties te bepalen in een setting van translatie van dier naar mens.

• Datageneratie: Synthetische data werden gegenereerd op basis van parameters uit een reële meta-analyse door Terstappen et al. betreffende prenatale aminozuursuppletie en maternale bloeddruk. De simulatie modelleerde $k$ dierstudies en één menselijke studie.
• Simulatiecondities: Een volledig factorieel ontwerp creëerde 648 scenario's variërend in:
  • Ware effectgroottes ($\mu_A, \mu_H$): Nul, klein (−4.44 mmHg), en groot (−24.37 mmHg).
  • Heterogeniteit ($\tau^2_A, \tau^2_H$): Geen, laag (19.5), en hoog (291.1).
  • Dierlijke steekproefomvang ($n_A$): Klein (10) en groter (20) per groep.
  • Aantal gepoolde dierstudies ($k$): 2, 3, 4, en 5.
  • Menselijke steekproefomvang ($n_H$): Vastgesteld op 107 per groep (80% power voor klein effect).
• Besluitcriteria: De studie simuleerde drie criteria voor het voortgaan naar menselijke trials:
  1. Strikt: De menselijke studie gaat alleen door als de gepoolde dier-meta-analyse statistisch significant is ($\alpha=0.025$).
  2. Lenient (Mild): De menselijke studie gaat door als het gepoolde dierlijke effect gunstig (negatief) is, ongeacht significantie.
  3. Geen criterium: Alle gesimuleerde paren worden geëvalueerd ongeacht de dierlijke resultaten.
• Geëvalueerde metrieken:
  1. Significantiecriterium (Twee-trials regel).
  2. Meta-analyse (Fixed-effects).
  3. Replicatie Bayes Factor (BF).
  4. Ongewogen Edgington-methode.
  5. Gewogen Edgington-methode (menselijke studie tweemaal zo zwaar gewogen).
  6. Golden sceptische p-waarde (drie versies: geen, matige en hoge shrinkage).
  7. Gecontroleerde sceptische p-waarde.
• Prestatie-indicatoren: De studie evalueerde de proportie succesvolle translaties ($P$) onder twee hoofdinterpretaties:
  • False Positive Rate (Type I-fout): Onder nul-effecten in beide soorten.
  • Translation Power (Translatiekracht): Onder niet-nul effecten in beide soorten.

Belangrijkste Resultaten
De prestaties van de metrieken varieerden aanzienlijk afhankelijk van de simulatiecondities, met name met betrekking tot heterogeniteit en mismatches in effectgrootte.

• Controle van False Positives: Onder de nulhypothese met geen heterogeniteit controleerden de meeste metrieken (behalve Meta-analyse en Replicatie BF) de totale Type I-foutgraad bij het theoretische $\alpha^2$ (0.000625). Echter, naarmate de heterogeniteit toenam—met name in menselijke studies—werden de meeste metrieken liberaal, waardoor de false positive rate toenam. De Meta-analyse en Replicatie BF vertoonden zeer hoge Type I-foutgraden (tot 40% in extreme heterogeniteitsscenario's) omdat ze succes signaleren als één van de studies een sterk resultaat laat zien.
• Translation Power: De power werd over het algereen beperkt door de zwakkere bewijslast van de twee bevindingen. Kleine dierlijke steekproeven ($n_A=10$) resulteerden in een lage translatiekracht, zelfs wanneer ware effecten bestonden.
  • Meta-analyse: Indicatieve succes frequent als een van de soorten sterke bewijslast vond, wat leidde tot hoge power maar slechte specificiteit (hoge false positives).
  • Two-trials Rule & Golden Sceptical (No Shrinkage): Dit waren de meest conservatieve, wat vaak leidde tot de laagste power, vooral wanneer dierstudies onderpowered waren.
  • Controlled Sceptical P-value & Weighted Edgington: Deze presteerden relatief consistent over scenario's heen, waarbij een balans werd gevonden tussen power en foutcontrole.
• Impact van Heterogeniteit: Toenemende heterogeniteit verminderde over het algemeen de translatiekracht en verhoogde de false positive rates. De Two-trials regel werd het minst beïnvloed door veranderingen in menselijke heterogeniteit vergeleken met andere metrieken.
• Impact van Pooling ($k$): Het verhogen van het aantal gepoolde dierstudies verbeterde over het algemeen de power wanneer dierlijke effecten niet-nul waren en de heterogeniteit laag was. Echter, onder hoge dierlijke heterogeniteit verlaagde het verhogen van $k$ soms de totale Type I-foutgraad of leverde het verwaarloosbare voordelen op.
• Effecten van Strikt Criterium: Het conditioneren van de menselijke studie op een significante dierlijke bevinding blaf de schattingen van de dierlijke effectgrootte op. Onder dit strikte criterium controleerden de Two-trials regel en Edgington-methoden de Type I-fout op niveau $\alpha$ (0.025) in plaats van $\alpha^2$.

Belangrijkste Bijdragen

1. Systematische Evaluatie: Dit is de eerste studie die negen replicatiesucces-metrieken systematisch evalueert binnen de specifieke context van de translatie van dier naar mens, waarbij verder wordt gekeken dan de standaard twee-trials regel.
2. Identificatie van Beperkingen van Metrieken: De studie toont aan dat metrieken ontworpen voor directe replicatie (waarbij studies uitwisselbaar zijn) vaak falen in translatiesettings waar studies conceptueel verschillend zijn en effectgroottes worden verwacht te krimpen of te variëren. Specifiek wordt aangetoond dat de Meta-analyse en Replicatie BF ongepast zijn voor het beoordelen van translatiesucces vanwege hun hoge false positive rates en de neiging om mismatches in bewijslast te negeren.
3. Contextafhankelijke Aanbevelingen: De auteurs bieden genuanceerde aanbevelingen op basis van onderzoeksdoelen:
   • Om te concluderen dat een effect aanwezig is in beide soorten met strikte foutcontrole: Gebruik de Significantie-criteria, Ongewogen Edgington, of Golden Sceptical (geen shrinkage).
   • Om bewijs primair in mensen te beoordelen terwijl rekening wordt gehouden met dierlijke data: Gebruik Weighted Edgington.
   • Voor consistente prestaties over variërende condities: Gebruik de Controlled Sceptical p-waarde.
4. Nadruk op Onderzoeksontwerp: De resultaten benadrukken dat statistische metrieken alleen niet kunnen compenseren voor een slecht onderzoeksontwerp. Kleine dierlijke steekproeven en hoge heterogeniteit beperken ernstig het vermogen van elke metriek om translatiesucces correct te identificeren.

Betekenis en Claims
Het artikel claimt dat hoewel replicatiesucces-metrieken translatiebeoordelingen kunnen informeren, geen enkele metriek uniform optimaal is. Het nut van deze metrieken is sterk afhankelijk van de onderliggende bewijslast (steekproefgroottes, heterogeniteit) en de specifieke aannames van de onderzoeker (bijv. of effect-shrinkage wordt verwacht).

De auteurs benadrukken dat deze metrieken niet moeten worden beschouwd als op zichzelf staande beslisregels voor het voortgaan naar menselijke trials. In plaats daarvan moeten ze worden gebruikt als kwantitatieve instrumenten binnen bredere kaders (zoals PATH of GALENOS) die mechanistische rationale, veiligheid en farmacologie overwegen. De studie concludeert dat een combinatie van metrieken, gekozen op basis van hun specifieke sterktes en beperkingen ten opzichte van de beschikbare bewijslast, de meest robuuste aanpak biedt voor het evalueren van de translatie van dierlijke bevindingen naar menselijke uitkomsten. De auteurs verklaren expliciet dat hun bevindingen bescheiden zijn met betrekking tot specifieke biomedische contexten, aangezien de simulatieparameters afkomstig zijn van een enkele meta-analyse, en dat de studie zich richt op statistische translatie in plaats van de complexe biologische mechanismen van translatie.