Failing FDA drug inspections are recorded later and less often than passing ones, biasing models trained and monitored on them
Cet article démontre que les classifications d'inspection des médicaments de la FDA souffrent d'un grave biais de signalement, où les échecs d'inspection sont enregistrés moins fréquemment et avec des délais importants par rapport aux réussites, entraînant une dégradation substantielle des performances des modèles d'apprentissage automatique et des mesures de surveillance qui ne peuvent être que partiellement atténuées par des ajustements statistiques spécifiques ou résolues par la publication de la date de publication.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque année, la Food and Drug Administration des États-Unis envoie des équipes d'inspecteurs dans les usines pharmaceutiques pour s'assurer qu'elles fabriquent des médicaments en toute sécurité. Ces inspections sont une partie critique de la santé publique, et l'agence publie les résultats. Lorsqu'un inspecteur ne trouve aucun problème, l'installation reçoit une note de réussite. Lorsque des problèmes graves sont détectés, l'installation reçoit une note d'échec, ce qui peut entraîner des amendes, des saisies de produits ou d'autres actions juridiques. Pour quiconque cherche à comprendre si ces usines se portent bien, ces registres publics sont une mine d'informations. Ils sont datés, ils couvrent des centaines de milliers d'installations et ils sont gratuits pour tous. Cela les rend parfaits pour l'entraînement de programmes informatiques, connus sous le nom de modèles d'apprentissage automatique, afin de prédire quelles usines pourraient être à risque à l'avenir. L'espoir est qu'en étudiant les dossiers passés, ces programmes puissent repérer les problèmes avant qu'ils ne surviennent, aidant ainsi les régulateurs à concentrer leurs ressources limitées là où elles sont le plus nécessaires.
Cependant, il existe un défaut caché dans la manière dont ces registres sont tenus, un défaut qui est passé inaperçu jusqu'à présent. Le défaut ne réside pas dans l'inspection elle-même, mais dans la façon dont le résultat final est consigné et rendu public. Lorsqu'une usine réussit une inspection, l'agence enregistre le résultat rapidement et de manière fiable. Mais lorsqu'une usine échoue, le processus est beaucoup plus lent, et souvent, le résultat n'est jamais consigné du tout dans la base de données publique. Cela crée une vision déformée de la réalité pour quiconque utilise ces données. Un programme informatique examinant ces registres voit un monde où presque tout va bien, car les mauvaises nouvelles sont soit manquantes, soit arrivent si tard que le programme est déjà passé à autre chose. Ce n'est pas une erreur mineure ; c'est un biais fondamental qui change ce que les données disent réellement.
Un chercheur nommé Phani Kumar Balagam a étudié cette question en examinant plus de dix mille inspections de médicaments ayant eu lieu entre 2018 et 2023. L'étude s'est concentrée sur un groupe spécifique d'inspections qui avaient reçu suffisamment de temps pour être pleinement traitées. Les conclusions sont frappantes. Pour les inspections qui se sont soldées par une réussite, environ soixante-quatorze pour cent avaient une décision finale enregistrée dans la base de données. Pour les inspections qui se sont soldées par un échec, seulement vingt-six pour cent avaient un enregistrement. Cela signifie qu'une inspection réussie est près de trois fois plus susceptible d'apparaître dans le registre public qu'une inspection ratée. De plus, lorsqu'une inspection ratée est effectivement enregistrée, cela prend du temps. En moyenne, une inspection réussie est consignée en environ quatre-vingt-six jours, tandis qu'une inspection ratée prend plus de trois cents jours. Dans de nombreux cas, le résultat de l'échec n'apparaît jamais du tout.
Ce retard et cette absence créent un problème sérieux pour les modèles informatiques qui dépendent de ces données. Ces modèles sont souvent entraînés pour examiner l'historique d'une usine afin de prédire son avenir. Si une usine a échoué à une inspection il y a cinq ans, un modèle devrait idéalement le savoir. Mais parce que l'enregistrement de cet échec pourrait ne pas exister encore, ou ne pas exister du tout, le modèle ne peut pas le voir. Le chercheur a reconstruit un modèle de prédiction pour tester ce qui se passe lorsque l'ordinateur est contraint d'attendre que l'enregistrement apparaisse réellement avant de l'utiliser. Le résultat est une baisse significative de la capacité du modèle à distinguer les bonnes usines des mauvaises. La précision du modèle a chuté d'un montant mesurable, prouvant que les scores élevés précédents étaient en partie une illusion créée par des données que le modèle n'aurait pas pu réellement voir à l'époque. Le modèle avait utilisé des informations qui n'étaient pas encore disponibles dans le monde réel.
Le problème est encore plus grave lorsqu'il s'agit de surveiller ces modèles une fois qu'ils sont mis en service. Les régulateurs vérifient souvent si un modèle fonctionne toujours correctement en comparant ce que le modèle prédit avec ce qui se passe réellement. Ils regardent le ratio des échecs prédits par le modèle par rapport aux échements qui se sont réellement produits. Parce que les registres publics omettent tellement d'échecs, ce contrôle donne une réponse totalement erronée. Le chercheur a découvert que le contrôle standard n'identifie qu'environ six pour cent des échecs réels que le modèle aurait dû détecter. C'est comme essayer de mesurer la profondeur d'une rivière en ne regardant que les rides à la surface tout en ignorant les courants profonds en dessous.
L'étude a également testé les astuces mathématiques standards que les statisticiens utilisent pour corriger les données manquantes. Une méthode courante tente de deviner combien d'échecs manquent en se basant sur les informations disponibles. Le chercheur a trouvé que cette méthode échoue complètement dans ce cas précis. Les échecs manquants ne sont pas seulement retardés ; ils sont souvent perdus à jamais. Comme les données ne nous disent pas pourquoi un enregistrement est manquant, l'ordinateur ne peut pas deviner la vérité. Une autre méthode, qui consiste à attendre plus longtemps pour voir si les données arrivent, aide un peu mais pas assez. Même après avoir attendu deux ans, le contrôle manque toujours la vaste majorité des échecs. L'étude conclut qu'il n'y a aucun moyen de résoudre ce problème de surveillance en utilisant les données publiques actuelles. L'information manquante n'est tout simplement pas là pour être trouvée.
Le chercheur suggère que la solution est étonnamment simple. La FDA possède déjà les informations dont elle a besoin ; elle doit simplement publier une donnée supplémentaire : la date exacte à laquelle une décision de classification a été rendue visible au public. Si l'agence ajoutait un champ simple indiquant quand un enregistrement a été publié, cela permettrait aux programmes informatiques de savoir exactement ce qu'ils pouvaient et ne pouvaient pas voir à n'importe quel moment donné. Cela empêcherait les modèles d'utiliser des informations futures pour faire des prédictions passées et permettrait aux moniteurs de comprendre exactement quelle partie du tableau leur manque. Sans ce changement, les registres publics continueront de montrer un monde où les usines pharmaceutiques sont plus sûres qu'elles ne le sont réellement, et les outils conçus pour nous protéger resteront aveugles aux dangers mêmes qu'ils sont censés trouver.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.