Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

In der hochriskanten Welt der pharmazeutischen Herstellung, in der ein einziger Fehler die Patientensicherheit gefährden kann, verlassen sich Unternehmen auf strikte Regeln, um sicherzustellen, dass jeder Schritt der Arzneimittelherstellung perfekt verläuft. Jahrzehntelang basierten diese Regeln auf der Idee der Determinismus: Wenn man eine bestimmte Menge an Inhaltsstoffen in eine Maschine gibt, erhält man jedes Mal exakt das gleiche Ergebnis. Wenn etwas schiefgeht, können Ingenieure den Fehler auf ein defektes Zahnrad oder einen falsch ausgerichteten Sensor zurückführen. Doch eine neue Art von Technologie verändert die Landschaft. Large Language Models, dieselbe Art von künstlicher Intelligenz, die Gedichte schreiben oder komplexe Berichte zusammenfassen kann, halten Einzug in diese regulierten Umgebungen. Im Gegensatz zu den alten Maschinen sind diese Systeme probabilistisch. Sie berechnen nicht eine einzige korrekte Antwort, sondern sagen stattdessen das wahrscheinlichste nächste Wort in einem Satz voraus, basierend auf Mustern, die sie gelernt haben. Das bedeutet, dass das System selbst bei identischen Anweisungen eine leicht andere und potenziell falsche Ausgabe erzeugen kann. Die Herausforderung für Regulierungsbehörden und Qualitätsexperten besteht darin, dass die alten Werkzeuge zur Fehlersuche und -behebung für Maschinen entwickelt wurden, die niemals raten, nicht für Systeme, die ständig schätzen.

Eine Forscherin namens Kayla Britt hat einen neuen Weg vorgeschlagen, um diese Unsicherheit zu bewältigen, speziell für diese in den Life Sciences eingesetzten KI-Systeme. Das Kernproblem, das sie adressiert, ist, dass aktuelle Qualitätssysteme nicht über die Sprache verfügen, um zu beschreiben, was passiert, wenn eine KI einen Fehler macht. Wenn ein traditionelles Softwareprogramm fehlschlägt, handelt es sich meist um einen klaren „Softwarefehler“. Wenn jedoch eine KI ein Dokument halluziniert, das echt aussieht, aber nicht wahr ist, oder eine entscheidende Anweisung ignoriert, weil sie sich ihrer Sache zu sicher war, passen die alten Bezeichnungen nicht. Diese Verwirrung macht es unmöglich, die Ursache ordnungsgemäß zu untersuchen oder das Problem zu beheben. Um dies zu lösen, führt Britt ein neues Klassifizierungssystem ein, eine zweidimensionale Karte, die KI-Fehler in zwei spezifische Kategorien unterteilt: die Art des aufgetretenen Fehlers und den exakten Punkt in der Architektur des Systems, an dem er seinen Ursprung hat.

Stellen Sie sich ein Gitter vor, bei dem eine Seite sechs verschiedene Arten auflistet, wie eine KI versagen kann, wie etwa das Erfinden von Fakten, das Fehlinterpretieren eines Kontextes oder das Übermäßig-Sicher-Sein bei einer Antwort. Die andere Seite listet sechs verschiedene Orte auf, an denen der Fehler seinen Ursprung haben könnte, wie etwa die Daten, mit denen das Modell trainiert wurde, das System, das Informationen abruft, oder die Art und Weise, wie die KI mit menschlichen Nutzern interagiert. Durch die Kombination dieser beiden Listen entsteht ein Rahmenwerk aus sechsunddreißig spezifischen „Zellen“, in denen jeder Fehler protokolliert werden kann. Dies ermöglicht es einem Qualitätsingenieur zu sagen, dass die KI nicht nur einfach versagt hat, sondern präzise einen „Fabrikationsfehler“ (das Erfinden eines Faktums) begangen hat, der in der Phase der „Modell-Inferenz“ (dem Moment, in dem die KI den Text generierte) seinen Ursprung hatte. Diese Detailtiefe verwandelt eine vage Beschwerde in ein spezifisches Diagnosewerkzeug und ermöglicht es Teams zu verstehen, wie genau das System zusammengebrochen ist.

Die Arbeit geht darüber hinaus, indem sie anerkennt, dass nicht alle KI-Fehler vollständig eliminiert werden können. Da diese Systeme auf Wahrscheinlichkeiten basieren, sind einige Fehler inhärent in ihrem Design und können nicht vollständig durch Engineering beseitigt werden. Das Rahmenwerk führt das Konzept eines „Irreduzibilitäts-Gates“ (Irreducibility Gate) ein, um Fehler von jenen zu trennen, die durch besseres Coding oder bessere Daten behoben werden können, von jenen, die dadurch kontrolliert werden müssen, wo und wie das System eingesetzt wird. Wenn ein Fehler als „irreduzibel“ eingestuft wird, besteht die Lösung nicht darin, zu versuchen, die KI perfekt zu machen, sondern ihren Umfang einzuschränken, sodass die Konsequenzen selbst dann kontrolliert bleiben, wenn sie einen Fehler macht. Wenn eine KI beispielsweise dazu neigt, medizinische Zitate zu erfinden, könnte das System so konzipiert sein, dass es nur Texte zusammenfasst, die bereits von einem Menschen verifiziert wurden, anstatt eigenständig neue Zitate zu generieren.

Um diesen Ansatz zu testen, führt die Autorin ein praktisches Szenario durch, bei dem ein Pharmaunternehmen eine KI zur Zusammenfassung von Fertigungsprotokollen einsetzt. In diesem Fall identifizierte die KI korrekt ein Temperaturproblem in einem Chargenprotokoll, erfand dann aber einen falschen Grund dafür und behauptete, ein Ventil hätte eine Fehlfunktion gehabt, obwohl das Protokoll tatsächlich besagte, dass es sich um einen menschlichen Fehler handelte. Unter Verwendung der neuen Taxonomie konnte das Team feststellen, dass dies ein „Fabrikationsfehler“ war, der in der Schicht der „Modell-Inferenz“ entstand, und kein einfacher Softwarefehler. Diese spezifische Diagnose führte zu einer gezielten Lösung: dem Hinzufügen eines Verifizierungsschritts, der prüft, ob der generierte Text der KI mit den Fakten im Quelldokument übereinstimmt, bevor er einem Menschen angezeigt wird. Dies ist eine effektivere Lösung als die allgemeine Anweisung „Prüfen Sie die Software“.

Das vorgeschlagene Rahmenwerk bringt diese neuen Methoden auch mit dem bestehenden dreistufigen Prozess in Einklang, den die US-amerikanische Food and Drug Administration (FDA) zur Validierung von Herstellungsprozessen verwendet. Anstatt zu versuchen zu beweisen, dass die KI niemals versagen wird, konzentriert sich die neue Methode darauf, zu beweisen, dass die Fehler der KI innerhalb einer bekannten, sicheren Grenze bleiben. Dies beinhaltet das Testen des Systems mit vielen Variationen desselben Inputs, um zu sehen, wie stark die Ausgabe variiert, und sicherzustellen, dass die Variation gering genug ist, um sicher zu sein. Wenn das System innerhalb dieser Grenzen bleibt, kann es für den Einsatz zugelassen werden, vorausgesetzt, dass weiterhin Menschen involviert sind, um die seltenen Fehler abzufangen, die durchschlüpfen.

Diese Arbeit legt nahe, dass die Zukunft einer sicheren KI in der Medizin nicht darin liegt, zu versuchen, diese probabilistischen Systeme dazu zu bringen, sich wie deterministische Maschinen zu verhalten, was wahrscheinlich unmöglich ist. Stattdessen liegt sie darin, ihre Natur zu akzeptieren, ihre spezifischen Schwächen mit Präzision zu kartieren und Kontrollen aufzubauen, die mit ihren Einschränkungen arbeiten. Indem sie den Qualitätsteams eine klare Vokabel und eine strukturierte Art zur Kategorisierung von Fehlern zur Verfügung stellt, bietet das Rahmenwerk einen Weg, leistungsstarke neue Werkzeuge zu nutzen, ohne die Sicherheit der Medikamente, auf die wir angewiesen sind, zu gefährden. Das Paper kommt zu dem Schluss, dass die Technologie zwar noch in der Entwicklung ist, aber eine standardisierte Möglichkeit, diese Fehler zu definieren, zu protokollieren und zu verwalten, der essenzielle erste Schritt ist, um sie unter Kontrolle zu halten.