Stress-testing post-market medical-device reporting signals: an empirical study of temporal, entity-label and comparator robustness in FDA MAUDE

Technische Samenvatting: Stress-testen van Post-Market Medical-Device Reporting Signalen

Probleemstelling
Post-market surveillance van medische hulpmiddelen vertrouwt vaak op spontane rapportagedatabases, zoals de FDA Manufacturer and User Facility Device Experience (MAUDE). Een veelgebruikte analytische aanpak is het berekenen van een Reporting Odds Ratio (ROR) over een brede periode om signalen van disproportionele rapportage te identificeren. De auteurs stellen echter dat een signaal dat over een brede periode positief blijft, niet noodzakelijkerwijs wijst op analytische robuustheid. Dergelijke signalen kunnen artefacten zijn van specifieke analytische keuzes, waaronder:

• Temporele instabiliteit: Fluctuaties die worden gemaskeerd door lange tijdsvensters.
• Entiteit-label afhankelijkheid: Signalen die worden gedreven door één enkele fabrikant of model in plaats van een klasse-breed probleem.
• Comparator-gevoeligheid: Resultaten die afhankelijk zijn van een nauwe definitie van de comparator-groep.
• Cumulatieve lock-in: Historisch bewijs dat standhoudt, zelfs nadat de lokale ondersteuning verzwakt.

De studie adresseert het gebrek aan empirische kwantificering over hoe het verstoren van tijdschalen, entiteit-labels, comparator-specificaties en accumulatiestrategieën de signaalclassificatie beïnvloedt.

Methodologie
Deze retrospectieve empirische methodologische studie maakte gebruik van FDA MAUDE-records ontvangen tussen 1 januari 2020 en 31 december 2025. De primaire analyse-eenheid was de unieke MDR_REPORT_KEY.

• Studie-universum: De analyse richtte zich op 61 product-code/mechanisme-paren. Hiervan voldeden 19 paren aan formele statistische criteria (ROR > 1, Lower Confidence Limit [LCL] > 1, en Benjamini–Hochberg FDR < 0,05) in zowel een "vroegere" periode (2020–2023) als een "latere" periode (2024–2025).
• Stress-test raamwerk: De studie paste verschillende perturbatietests toe op deze 19 signalen:
  1. Temporele Gevoeligheid: Berekende kwartaal-ROR's (2024Q1–2025Q4) en voerde "leave-one-year-out" (LOO) analyses uit (2020–2025).
  2. Entiteit-Label Verwijdering: Verwijderde systematisch de leidende genormaliseerde fabrikantnaam en de leidende genormaliseerde modelnaam uit de doel-signaalrapporten om te testen op single-entity afhankelijkheid.
  3. Comparator Perturbatie: Voerde "leave-one-comparator-code-out" (LOCO) analyses uit, waarbij individuele codes uit de comparator-set werden verwijderd om de afhankelijkheid van specifieke comparator-definities te testen.
  4. Historische Replay: Evalueerde signalen bij 24 cumulatieve afsnijdingen (2020Q1–2025Q4) en beoordeelde lokale persistentie met behulp van 21 voortschrijdende vierkwartaalvensters.
• Classificatie-tiers: Signalen werden gecategoriseerd in tiers (A, B, C, U) op basis van hun prestaties in deze stress-tests. Tier A vertegenwoordigde de hoogste robuustheid (voldoen aan alle temporele, entiteit- en comparator-criteria).
• Contextuele Koppeling: Recall-events werden gekoppeld aan signalen om de regelgevende context te bieden, hoewel dit niet als een 'gold standard' voor validatie diende.

Belangrijkste Bijdragen
Het artikel levert een empirische demonstratie van hoe analytische specificaties de signaalstabiliteit in de MAUDE-database beïnvloeden. De belangrijkste bijdragen zijn:

• Differentiatie van Robuustheid: Het stelt vast dat consistentie over een brede periode onvoldoende bewijs is voor methodologische stabiliteit. De studie kwantificeert hoeveel signalen die voldoen aan de standaard drempelwaarden, falen onder specifieke perturbaties.
• Multi-dimensionale Stress-testing: Het introduceert een raamwerk voor het scheiden van temporele fragiliteit, entiteit-label afhankelijkheid en comparator-gevoeligheid, en betoogt dat deze apart geïnspecteerd moeten worden in plaats van te worden samengevoegd tot één score.
• Cumulatieve versus Rolling Analyse: Het benadrukt het onderscheid tussen cumulatief bewijs (dat historische "lock-in" kan behouden) en rolling lokale analyse (die huidige instabiliteit onthult).
• Gelaagde Classificatie: Het stelt een transparante operationele hiërarchie voor (Tier A–U) voor het classificeren van signaalrobuustheid op basis van specifieke faalmodi.

Resultaten

• Signaalstabiliteit: Van de 19 signalen die voldeden aan de brede-periode criteria in beide tijdsvensters, voldeden er slechts 5 (Tier A) aan alle temporele en entiteit-label robuustheidscriteria.
• Comparator-gevoeligheid: Onder comparator-perturbatie bleven 10 signalen robuust (Comparator-A), behielden 4 de richting maar verloren precisie (Comparator-B), en keerden 5 van richting om (Comparator-C).
• Temporele Persistentie: De vijf meest robuuste signalen behielden een LCL > 1 in alle 21 voortschrijdende vierkwartaalvensters. In tegenstelling hiertoe had de vooraf gedefinieerde "fragiele" groep (13 signalen) een mediane voortschrijdende persistentie van 0,857. Dit verschil was statistisch significant (rank-biserial = 0,846; tweezijdig P = 0,006).
• Cumulatief versus Lokaal: Alle 19 signalen bereikten uiteindelijk cumulatieve bevestiging, wat illustreert dat cumulatieve analyse lokale verzwakking kan maskeren. Bijvoorbeeld, het MKJ-signaal behield een ROR > 1 in alle voortschrijdende vensters, maar had een LCL > 1 in slechts 6/21 vensters, wat een verlies van precisie aantoont dat wordt gemaskeerd door de puntinschatting.
• Illustratieve Casussen: De studie belichtte vier archetypen (DTZ, DWF, LOX, MKJ). DTZ, DWF en LOX vertoonden een hoge robuustheid over alle tests, terwijl MKJ fragiliteit demonstreerde met betrekking tot fabrikant-afhankelijkheid en rolling precisie, ondanks het voldoen aan de brede-periode criteria.

Betekenis en Claims
De auteurs positioneren dit werk strikt als een empirische methodologische demonstratie, niet als een gevalideerd raamwerk, predictietool of causale veiligheidsbeoordeling.

• Methodologische Reikwijdte: De bevindingen beschrijven rapportage-disproportionaliteit binnen de MAUDE-database, niet incidentie, absoluut risico, relatieve veiligheid, causaliteit of voorspelling.
• Praktische Implicatie: De studie betoogt dat consistentie over een brede periode alleen niet moet worden beschouwd als een stabiele bevinding. In plaats daarvan bieden temporele, entiteit-label en comparator stress-tests noodzakelijke aanvullende sensitiviteitsinformatie.
• Beperkingen: De auteurs merken expliciet op dat de studie-definities werden bevroren na het beoordelen van het volledige 2020–2025 dossier (niet echt prospectief), dat de steekproefgrootte voor robuustheidsvergelijkingen klein was, en dat MAUDE geen expositie-noemer heeft. Zij benadrukken dat externe surveillance-datasets met expositie-denominatoren vereist zijn om de generaliseerbaarheid van deze bevindingen te testen.

Concluderend stelt het artikel dat het behandelen van post-market rapportagesignalen als stabiele bevindingen vereist dat ze worden getest tegen diverse analytische specificaties voordat ze worden geaccepteerd, aangezien positiviteit over een brede periode materiële verschillen in analytische robuustheid kan verbergen.