Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

In de hooggestoken wereld van de farmaceutische productie, waar een enkele fout de patiëntveiligheid in gevaar kan brengen, vertrouwen bedrijven op strikte regels om ervoor te zorgen dat elke stap in de creatie van een medicijn perfect is. Decennialang waren deze regels gebouwd op het idee van determinisme: als je een specifieke set ingrediënten in een machine stopt, krijg je elke keer exact hetzelfde resultaat. Als er iets misgaat, kunnen ingenieurs de fout herleiden naar een gebroken tandwiel of een verkeerd afgestelde sensor. Maar een nieuw soort technologie verandert het landschap. Large language models, hetzelfde type kunstmatige intelligentie dat gedichten kan schrijven of complexe rapporten kan samenvatten, beginnen deze gereguleerde omgevingen binnen te dringen. In tegenstelling tot de oude machines zijn deze systemen probabilistisch. Ze berekenen niet één enkel correct antwoord; in plaats daarvan voorspellen ze het meest waarschijnlijke volgende woord in een zin op basis van patronen die ze hebben geleerd. Dit betekent dat zelfs wanneer ze exact dezelfde instructies krijgen, het systeem een iets andere, en potentieel onjuiste, output kan produceren. De uitdaging voor toezichthouders en kwaliteitsdeskundigen is dat de oude instrumenten voor het vinden en oplossen van fouten ontworpen waren voor machines die nooit gokken, niet voor systemen die constant schatten.

Een onderzoeker genaamd Kayla Britt heeft een nieuwe manier voorgesteld om deze onzekerheid te beheersen, specifiek voor deze AI-systemen die in de levenswetenschappen worden gebruikt. Het kernprobleem dat zij aanpakt, is dat huidige kwaliteitssystemen niet de taal bezitten om te beschrijven wat er misgaat wanneer een AI een fout maakt. Als een traditioneel softwareprogramma faalt, is dat meestal een duidelijke "softwarefout". Maar wanneer een AI een document hallucineert dat echt lijkt maar dat niet is, of een cruciale instructie negeert omdat de AI er zo zeker van was dat hij het beter wist, passen de oude labels niet. Deze verwarring maakt het onmogelijk om de oorzaak grondig te onderzoeken of het probleem op te lossen. Om dit op te lossen, introduceert Britt een nieuw classificatiesysteem, een tweedimensionale kaart die AI-fouten onderverdeelt in twee specifieke categorieën: het type fout dat optrad en het exacte punt in de architectuur van het systeem waar het begon.

Stel je een raster voor waarbij één zijde zes verschillende manieren opsomt waarop een AI kan falen, zoals het verzinnen van feiten, het verkeerd interpreteren van een context, of te veel zelfvertrouwen hebben in een antwoord. De andere zijde vermeldt zes verschillende plaatsen waar de fout zou kunnen zijn ontstaan, zoals de data waarop het model is getraind, het systeem dat informatie ophaalt, of de manier waarop de AI met menselijke gebruikers communiceert. Door deze twee lijsten te kruisen, creëert het raamwerk zesendertig specifieke "cellen" waarin elke gegeven fout kan worden gelogd. Dit stelt een kwaliteitsingenieur in staat om niet alleen te zeggen dat de AI gefaald heeft, maar precies te zeggen dat het een "fabricatiefout" (het verzinnen van een feit) was die voortkwam uit de "modelinferentie"-fase (het moment waarop de AI de tekst genereerde). Dit niveau van detail transformeert een vage klacht in een specifiek diagnostisch hulpmiddel, waardoor teams precies kunnen begrijpen hoe het systeem is vastgelopen.

Het artikel gaat verder door te erkennen dat niet alle AI-fouten volledig geëlimineerd kunnen worden. Omdat deze systemen gebaseerd zijn op waarschijnlijkheid, zijn sommige fouten inherent aan hun ontwerp en kunnen ze niet volledig door engineering worden weggeëlimineerd. Het raamwerk introduceert het concept van een "irreducibiliteitspoort" (irreducibility gate) om fouten te scheiden die kunnen worden opgelost met betere codering of data van fouten die moeten worden beheerst door de reikwijdte van waar en hoe het systeem wordt gebruikt te beperken. Als een fout als "irreducibel" wordt beschouwd, is de oplossing niet om te proberen de AI perfect te maken, maar om de reikwijdte ervan te beperken, zodat zelfs als de AI een fout maakt, de gevolgen beperkt blijven. Als een AI bijvoorbeeld geneigd is om medische citaties te verzinnen, kan het systeem zo worden ontworonden dat het alleen teksten mag samenvatten die al door een mens zijn geverifieerd, in plaats van dat het zelfstandig nieuwe citaties genereert.

Om deze aanpak te testen, loopt de auteur door een praktisch scenario waarbij een farmaceutisch bedrijf AI gebruikt om productiegegevens samen te vatten. In dit geval identificeerde de AI correct een temperatuurprobleem in een batchverslag, maar verzon het vervolgens een valse reden hiervoor, waarbij beweerde dat een klep defect was terwijl het verslag eigenlijk aangaf dat het om een menselijke fout ging. Met behulp van de nieuwe taxonomie kon het team vaststellen dat dit een "fabricatie"-fout was die voortkwam uit de "modelinferentie"-laag, in plaats van een eenvoudige softwarefout. Deze specifieke diagnose leidde tot een gerichte oplossing: het toevoegen van een verificatiestap die controleert of de gegenereerde tekst van de AI overeenkomt met de feiten in het bronbestand voordat deze aan een mens wordt getoond. Dit is een effectievere oplossing dan een generieke opdracht als "controleer de software".

Het voorgestelde raamwerk stemt deze nieuwe methoden ook af op het bestaande driestaps proces dat de Amerikaanse FDA gebruikt om productieprocessen te valideren. In plaats van te proberen te bewijzen dat de AI nooit zal falen, richt de nieuwe methode zich op het bewijzen dat de fouten van de AI binnen een bekende, veilige grens blijven. Dit houdt in dat het systeem getest wordt met vele variaties van dezelfde input om te zien hoeveel de output varieert, waarbij wordt gewaarborgd dat de variatie klein genoeg is om veilig te zijn. Als het systeem binnen deze grenzen blijft, kan het voor gebruik worden goedgekeurd, mits mensen nog steeds in de loop zijn om de zeldzame fouten op te vangen die erdoorheen glippen.

Dit werk suggereert dat de toekomst van veilige AI in de geneeskunde niet ligt in het proberen te laten gedragen van deze probabilistische systemen als deterministische machines, wat waarschijnlijk onmogelijk is. In plaats daarvan ligt het in het accepteren van hun natuur, het met precisie in kaart brengen van hun specifieke zwakheden, en het bouwen van controles die werken met hun beperkingen. Door kwaliteitsteams een duidelijke vocabulaire en een gestructureerde manier te geven om fouten te categoriseren, biedt het raamwerk een pad voor het gebruik van krachtige nieuwe tools zonder de veiligheid van de medicijnen waarop we vertrouwen in gevaar te brengen. Het artikel concludeert dat hoewel de technologie nog in ontwikkeling is, het hebben van een gestandaardiseerde manier om deze fouten te definiëren, te loggen en te beheren de essentiële eerste stap is om ze onder controle te houden.