Failing FDA drug inspections are recorded later and less often than passing ones, biasing models trained and monitored on them
Dit artikel toont aan dat de classificaties van FDA-geneesmiddelinspecties lijden onder ernstige rapportagebias, waarbij mislukte inspecties minder frequent en met aanzienlijke vertraging worden geregistreerd vergeleken met geslaagde inspecties, wat leidt tot een substantiële prestatieverslechtering in machine learning-modellen en monitoringmetrieken die slechts gedeeltelijk kan worden gemitigeerd door specifieke statistische aanpassingen of kan worden opgelost door de publicatiedatum te publiceren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk jaar sturen teams van inspecteurs van de Amerikaanse Food and Drug Administration naar farmaceutische fabrieken om te waarborgen dat zij medicijnen op een veilige manier produceren. Deze inspecties zijn een cruciaal onderdeel van de volksgezondheid, en de instantie publiceert de resultaten. Wanneer een inspecteur geen problemen vindt, krijgt de faciliteit een voldoende. Wanneer er ernstige problemen worden gevonden, krijgt de faciliteit een onvoldoende, wat kan leiden tot boetes, inbeslagnames van producten of andere juridische stappen. Voor iedereen die wil begrijpen hoe goed deze fabrieken presteren, zijn deze openbare registers een schatkist aan informatie. Ze zijn gedateerd, ze beslaan honderdduizenden faciliteiten en ze zijn gratis voor iedereen te gebruiken. Dit maakt ze perfect voor het trainen van computerprogramma's, bekend als machine learning-modellen, om te voorspellen welke fabrieken in de toekomst mogelijk een risico vormen. De hoop is dat deze programma's, door het bestuderen van eerdere records, problemen kunnen signaleren voordat ze gebeuren, waardoor toezichthouders hun beperkte middelen kunnen richten waar ze het hardst nodig zijn.
Er is echter een verborgen gebrek in de manier waarop deze gegevens worden bijgehouden, dat tot nu toe onopgemerkt is gebleven. Het gebrek zit niet in de inspectie zelf, maar in de manier waarop het uiteindelijke resultaat wordt genoteerd en openbaar gemaakt. Wanneer een fabriek een inspectie slaagt, legt de instantie het resultaat snel en betrouwbaar vast. Maar wanneer een fabriek faalt, is het proces veel trager, en vaak wordt het resultaat helemaal niet opgenomen in de openbare database. Dit creëert een vertekend beeld van de werkelijkheid voor iedereen die de gegevens gebruikt. Een computerprogramma dat naar deze records kijkt, ziet een wereld waarin bijna alles in orde is, omdat het slechte nieuws ofwel ontbreekt, ofwel zo laat arriveert dat het programma al verder is gegaan. Dit is geen kleine fout; het is een fundamentele bias die verandert wat de gegevens daadwerkelijk zeggen.
Een onderzoeker genaamd Phani Kumar Balagam onderzocht dit probleem door naar meer dan tienduizend drug-inspecties te kijken die plaatsvonden tussen 2018 en 2023. De studie richtte zich op een specifieke groep inspecties die voldoende tijd hadden gekregen om volledig te worden verwerkt. De bevindingen waren onomwonden. Voor inspecties die eindigden met een voldoende, had ongeveer drieenzeventig procent een definitieve beslissing geregistreerd in de database. Voor inspecties die eindigden met een onvoldoende, had slechts zesentwintig procent een record. Dit betekent dat een geslaagde inspectie bijna drie keer zo waarschijnlijk in het openbare record verschijnt als een mislukte inspectie. Bovendien, wanneer een mislukte inspectie wel wordt geregistreerd, duurt het lang. Gemiddeld genomen wordt een geslaagde inspectie in ongeveer tachtig-zes dagen gelogd, terwijl een mislukte inspectie meer dan driehonderd dagen duurt. In veel gevallen verschijnt het mislukte resultaat helemaal niet.
Deze vertraging en afwezigheid creëren een serieus probleem voor de computermodellen die op deze gegevens vertrouwen. Deze modellen zijn vaak getraind om naar de geschiedenis van een fabriek te kijken om de toekomst te voorspellen. Als een fabriek vijf jaar geleden een inspectie heeft gefaald, zou een model dat idealiter moeten weten. Maar omdat het record van die mislukking misschien nog niet bestaat, of misschien helemaal niet bestaat, kan het model dit niet zien. De onderzoeker bouwde een voorspellingsmodel opnieuw op om te testen wat er gebeurt wanneer de computer wordt gedwongen te wachten tot het record daadwerkelijk verschijnt voordat hij het gebruikt. Het resultaat was een aanzienlijke daling in het vermogen van het model om onderscheid te maken tussen goede en slechte fabrieken. De nauwkeurigheid van het model daalde met een meetbare hoeveelheid, wat bewees dat de eerdere hoge scores deels een illusie waren, gecreëerd door gegevens die het model op dat moment eigenlijk niet had kunnen zien. Het model had informatie gebruikt die op dat moment nog niet beschikbaar was in de echte wereld.
Het probleem is nog erger bij het monitoren van deze modellen nadat ze in gebruik zijn genomen. Toezichthouders controleren vaak of een model nog correct werkt door wat het model voorspelt te vergelijken met wat er daadwerkelijk gebeurt. Ze kijken naar de ratio van de mislukkingen die het model voorspelde versus de mislukkingen die daadwerkelijk plaatsvonden. Omdat de openbare records zo veel mislukkingen missen, geeft deze controle een volkomen fout antwoord. De onderzoeker vond dat de standaardcontrole slechts ongeveer zes procent van de werkelijke mislukkingen ziet die het model had moeten vangen. Het is alsoals proberen de diepte van een rivier te meten door alleen naar de rimpelingen aan het oppervlak te kijken, terwijl je de diepe stromingen eronder negeert.
De studie testte ook de standaard wiskundige trucs die statistici gebruiken om ontbrekende gegevens te corrigeren. Eén veelvoorkomende methode probeert te raden hoeveel mislukkingen er ontbreken op basis van de beschikbare informatie. De onderzoeker stelde vast dat deze methode in dit geval volledig faalt. De ontbrekende mislukkingen zijn niet alleen vertraagd; ze zijn vaak voorgoed verdwenen. Omdat de gegevens ons niet vertellen waarom een record ontbreekt, kan de computer de waarheid niet raden. Een andere methode, waarbij men langer wacht om te zien of de gegevens arriveren, helpt een beetje maar niet genoeg. Zelfs na twee jaar wachten, mist de controle nog steeds de overgrote meerderheid van de mislukkingen. De studie concludeert dat er geen manier is om dit monitoringsprobleem op te lossen met de huidige openbare gegevens. De ontbrekende informatie is simpelweg niet te vinden.
De onderzoeker suggereert dat de oplossing verrassend eenvoudig is. De FDA beschikt al over de informatie die het nodig heeft; het hoeft alleen nog maar één extra stuk informatie te publiceren: de exacte datum waarop een classificatiebesluit zichtbaar werd voor het publiek. Als de instantie een eenvoudig veld zou toevoegen dat aangeeft wanneer een record is geplaatst, zou dit computerprogramma's in staat stellen om precies te weten wat ze op elk gegeven moment konden en niet konden zien. Dit zou voorkomen dat de modellen toekomstige informatie gebruiken om het verleden te voorspellen, en het zou toezichthouders in staat stellen om precies te begrijpen welk deel van het plaatje zij missen. Zonder deze verandering zullen de openbare registers een wereld blijven tonen waarin farmaceutische fabrieken veiliger zijn dan ze in werkelijkheid zijn, en zullen de instrumenten die bedoeld zijn om ons te beschermen, blind blijven voor de zeer gevaren die ze juist moeten opsporen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.