Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

Nel mondo ad alta posta in gioco della produzione farmaceutica, dove un singolo errore può compromettere la sicurezza del paziente, le aziende si affidano a regole rigorose per garantire che ogni fase della creazione di un farmaco sia perfetta. Per decenni, queste regole sono state costruite sull'idea del determinismo: se inserisci un set specifico di ingredienti in una macchina, ottieni lo stesso identico risultato ogni volta. Se qualcosa va storto, gli ingegneri possono risalire al guasto fino a un ingranaggio rotto o a un sensore disallineato. Ma una nuova tipologia di tecnologia sta cambiando il panorama. I modelli linguistici di grandi dimensioni, lo stesso tipo di intelligenza artificiale in grado di scrivere poesie o riassumere rapporti complessi, stanno iniziando a entrare in questi ambienti regolamentati. A differenza delle vecchie macchine, questi sistemi sono probabilistici. Non calcolano un'unica risposta corretta; invece, predicono la parola successiva più probabile in una frase sulla base dei modelli che hanno appreso. Ciò significa che anche quando ricevono le stesse identiche istruzioni, il sistema potrebbe produrre un output leggermente diverso e potenzialmente errato. La sfida per i regolatori e gli esperti di qualità è che i vecchi strumenti per trovare e correggere gli errori erano progettati per macchine che non tirano a indovinare, non per sistemi che stimano costantemente.

Una ricercatrice di nome Kayla Britt ha proposto un nuovo modo per gestire questa incertezza, specificamente per questi sistemi di IA utilizzati nelle scienze della vita. Il problema centrale che affronta è che gli attuali sistemi di qualità mancano del linguaggio necessario per descrivere cosa accada quando un'IA commette un errore. Se un programma software tradizionale fallisce, si tratta solitamente di un chiaro "errore del software". Ma quando un'IA allucina un documento che sembra reale ma non lo è, o ignora un'istruzione cruciale perché era sicura di sapere già come procedere, le vecchie etichette non sono adeguate. Questa confusione rende impossibile indagare correttamente sulla causa radice o risolvere il problema. Per risolvere la questione, la Britt introduce un nuovo sistema di classificazione, una mappa bidimensionale che suddivide i fallimenti dell'IA in due categorie specifiche: il tipo di errore avvenuto e il punto esatto dell'architettura del sistema in cui è iniziato.

Immaginate una griglia in cui un lato elenca sei diversi modi in cui un'IA può fallire, come inventare fatti, interpretare male un contesto o essere eccessivamente sicura della propria risposta. L'altro lato elenca sei diversi luoghi in cui il fallimento potrebbe essere originato, come i dati su cui il modello è stato addestrato, il sistema che recupera le informazioni o il modo in cui l'IA interagisce con gli utenti umani. Incrociando queste due liste, il framework crea trentasei "celle" specifiche in cui ogni dato errore può essere registrato. Ciò consente a un ingegnere della qualità di dire non solo che l'IA è fallita, ma precisamente che si è trattato di un "errore di fabbricazione" (invenzione di un fatto) originato nella fase di "inferenza del modello" (il momento in cui l'IA ha generato il testo). Questo livello di dettaglio trasforma un reclamo vago in uno strumento diagnostico specifico, consentendo ai team di capire esattamente come il sistema si sia interrotto.

Il documento va oltre, riconoscendo che non tutti gli errori dell'IA possono essere completamente eliminati. Poiché questi sistemi sono basati sulla probabilità, alcuni errori sono intrinseci alla loro progettazione e non possono essere eliminati del tutto tramite l'ingegneria. Il framework introduce il concetto di "gate di irriducibilità" per separare gli errori che possono essere risolti con una migliore codifica o gestione dei dati da quelli che devono essere gestiti limitando dove e come il sistema viene utilizzato. Se un fallimento è considerato "irriducibile", la soluzione non è cercare di costringere l'IA alla perfezione, ma restringerne l'ambito, in modo che anche se commette un errore, le conseguenze siano contenute. Ad esempio, se un'IA è incline a inventare citazioni mediche, il sistema potrebbe essere progettato per consentirle solo di riassumere testi che sono già stati verificati da un essere umano, piuttosto che permetterle di generare nuove citazioni autonomamente.

Per testare questo approccio, l'autrice illustra uno scenario pratico riguardante un'azienda farmaceutica che utilizza un'IA per riassumere i registri di produzione. In questo caso, l'IA ha identificato correttamente un problema di temperatura in un lotto, ma ha poi inventato una falsa ragione, sostenendo che una valvola avesse avuto un malfunzionamento, quando il registro diceva in realtà che si era trattato di un errore umano. Utilizzando la nuova tassonomia, il team potrebbe individuare che si è trattato di un errore di "fabbricazione" originato dal livello di "inferenza del modello", piuttosto che di un semplice glitch del software. Questa diagnosi specifica ha portato a una soluzione mirata: l'aggiunta di una fase di verifica che controlla se il testo generato dall'IA corrisponde ai fatti presenti nel documento sorgente prima di mostrarlo a un essere umano. Questa è una soluzione più efficace rispetto a un generico ordine di "controllare il software".

Il framework proposto allinea inoltre questi nuovi metodi ai processi esistenti in tre fasi utilizzati dalla Food and Drug Administration (FDA) degli Stati Uniti per validare i processi di produzione. Invece di cercare di dimostrare che l'IA non fallirà mai, il nuovo metodo si concentra sul dimostrare che i fallimenti dell'IA rimangano entro un confine noto e sicuro. Ciò comporta il test del sistema con molte variazioni dello stesso input per vedere quanto varia l'output, assicurandosi che la variazione sia sufficientemente piccola da essere sicura. Se il sistema rimane entro questi limiti, può essere approvato per l'uso, a condizione che gli esseri umani rimangano coinvolti nel processo per intercettare i rari errori che sfuggono al controllo.

Questo lavoro suggerisce che il futuro della sicurezza dell'IA in medicina non risiede nel cercare di far comportare questi sistemi probabilistici come macchine deterministiche, il che è probabilmente impossibile. Al contrario, risiede nell'accettare la loro natura, mappare le loro debolezze specifiche con precisione e costruire controlli che lavorino con i loro limiti. Fornendo ai team di qualità un vocabolario chiaro e un modo strutturato per categorizzare i fallimenti, il framework offre una strada percorribile per utilizzare strumenti potenti senza compromettere la sicurezza dei farmaci di cui facciamo affidamento. Il documento conclude che, sebbene la tecnologia sia ancora in evoluzione, avere un modo standardizzato per definire, registrare e gestire questi errori è il primo passo essenziale per mantenerli sotto controllo.