Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

Dans le monde à enjeux élevés de la fabrication pharmaceutique, où une seule erreur peut compromettre la sécurité des patients, les entreprises s'appuient sur des règles strictes pour garantir que chaque étape de la création d'un médicament est parfaite. Depuis des décennies, ces règles reposent sur l'idée du déterminisme : si vous introduisez un ensemble spécifique d'ingrédients dans une machine, vous obtenez exactement le même résultat à chaque fois. Si quelque chose tourne mal, les ingénieurs peuvent remonter l'échec jusqu'à un engrenage cassé ou un capteur mal aligné. Mais une nouvelle technologie est en train de changer la donne. Les modèles de langage étendus, le même type d'intelligence artificielle qui peut écrire de la poésie ou résumer des rapports complexes, commencent à pénétrer ces environnements réglementés. Contrairement aux anciennes machines, ces systèmes sont probabilistes. Ils ne calculent pas une réponse unique et correcte ; ils prédisent plutôt le mot suivant le plus probable dans une phrase en se basant sur des modèles qu'ils ont appris. Cela signifie que même en recevant les mêmes instructions exactes, le système peut produire un résultat légèrement différent, et potentiellement incorrect. Le défi pour les régulateurs et les experts de la qualité est que les anciens outils de détection et de correction des erreurs ont été conçus pour des machines qui ne devinent jamais, et non pour des systèmes qui estiment constamment.

Une chercheuse nommée Kayla Britt a proposé une nouvelle façon de gérer cette incertitude, spécifiquement pour ces systèmes d'IA utilisés dans les sciences de la vie. Le problème central qu'elle aborde est que les systèmes de qualité actuels manquent de langage pour décrire ce qui se passe lorsqu'une IA commet une erreur. Si un programme logiciel traditionnel échoue, il s'agit généralement d'une « erreur logicielle » claire. Mais lorsqu'une IA hallucine un document qui semble réel mais ne l'est pas, ou ignore une instruction cruciale parce qu'elle était convaincue de savoir mieux, les anciens labels ne conviennent plus. Cette confusion rend impossible l'investigation appropriée de la cause racine ou la résolution du problème. Pour résoudre cela, Britt introduit un nouveau système de classification, une carte bidimensionnelle qui décompose les échecs de l'IA en deux catégories spécifiques : le type d'erreur survenue et le point exact de l'architecture du système où elle a commencé.

Imaginez une grille où un côté liste six façons différentes dont une IA peut échouer, telles que l'invention de faits, la mauvaise interprétation d'un contexte ou l'excès de confiance dans sa réponse. L'autre côté liste six endroits différents où l'échec aurait pu prendre naissance, tels que les données sur lesquelles le modèle a été entraîné, le système qui récupère les informations ou la manière dont l'IA interagit avec les utilisateurs humains. En croisant ces deux listes, le cadre crée trente-six « cellules » spécifiques où tout groupe d'erreurs peut être consigné. Cela permet à un ingénieur qualité de dire non seulement que l'IA a échoué, mais précisément qu'elle a commis une « erreur de fabrication » (invention d'un fait) qui a pris naissance lors de la phase d'« inférence du modèle » (le moment où l'IA génère le texte). Ce niveau de détail transforme une plainte vague en un outil de diagnostic précis, permettant aux équipes de comprendre exactement comment le système s'est défailli.

L'article va plus loin en reconnaissant que toutes les erreurs d'IA ne peuvent pas être complètement éliminées. Parce que ces systèmes sont construits sur la probabilité, certaines erreurs sont inhérentes à leur conception et ne peuvent être entièrement éliminées par l'ingénierie. Le cadre introduit le concept de « porte d'irréductibilité » pour séparer les erreurs qui peuvent être corrigées avec un meilleur codage ou de meilleures données de celles qui doivent être gérées en limitant où et comment le système est utilisé. Si un échec est jugé « irréductible », la solution n'est pas de forcer l'IA à être parfaite, mais de restreindre son champ d'action afin que, même si elle commet une erreur, les conséquences soient contenues. Par exemple, si une IA est sujette à inventer des citations médicales, le système pourrait être conçu pour ne lui permettre que de résumer des textes qui ont déjà été vérifiés par un humain, plutôt que de lui laisser générer de nouvelles citations de son propre chef.

Pour tester cette approche, l'auteur présente un scénario pratique impliquant une entreprise pharmaceutique utilisant une IA pour résumer des dossiers de fabrication. Dans ce cas, l'IA a correctement identifié un problème de température dans un dossier de lot, mais a ensuite inventé une fausse raison pour cela, affirmant qu'une vanne avait dysfonctionné alors que le dossier indiquait qu'il s'agissait d'une erreur humaine. En utilisant la nouvelle taxonomie, l'équipe a pu identifier qu'il s'agissait d'une erreur de « fabrication » provenant de la couche d'« inférence du modèle », plutôt que d'un simple bug logiciel. Ce diagnostic spécifique a conduit à une solution ciblée : l'ajout d'une étape de vérification qui contrôle si le texte généré par l'IA correspond bien aux faits du document source avant de le présenter à un humain. C'est une correction plus efficace qu'un ordre générique de « vérifier le logiciel ».

Le cadre proposé aligne également ces nouvelles méthodes avec le processus en trois étapes utilisé par la Food and Drug Administration (FDA) des États-Unis pour valider les processus de fabrication. Au lieu d'essayer de prouver que l'IA ne faillira jamais, la nouvelle méthode se concentre sur la preuve que les échecs de l'IA restent dans une limite connue et sûre. Cela implique de tester le système avec de nombreuses variations de la même entrée pour voir à quel point la sortie varie, en s'assurant que la variation est suffisamment faible pour être sûre. Si le système reste dans ces limites, il peut être approuvé pour utilisation, à condition que des humains interviennent toujours pour détecter les rares erreurs qui pourraient passer entre les mailles du filet.

Ce travail suggère que l'avenir d'une IA sûre en médecine ne réside pas dans la tentative de faire en sorte que ces systèmes probabilistes se comportent comme des machines déterministes, ce qui est probablement impossible. Il réside plutôt dans l'acceptation de leur nature, la cartographie précise de leurs faiblesses spécifiques et la construction de contrôles qui travaillent avec leurs limites. En dotant les équipes qualité d'un vocabulaire clair et d'une manière structurée de catégoriser les échecs, le cadre offre une voie pour utiliser des outils puissants sans compromettre la sécurité des médicaments dont nous dépendons. L'article conclut que, bien que la technologie soit encore en pleine évolution, disposer d'une manière standardisée de définir, consigner et gérer ces erreurs est la première étape essentielle pour les garder sous contrôle.