When Verification Passes the Wrong Calculator: A Human-Adjudicated Study of a Guarded Local LLM Pipeline

Nel mondo della medicina moderna, i medici spesso si affidano a strumenti specializzati per trasformare i dati grezzi del paziente in risposte chiare. Questi strumenti, noti come calcolatori clinici, prendono numeri specifici — come il peso, l'età o i risultati di un esame del sangue di una persona — e applicano un insieme fisso di regole per produrre un punteggio o una categoria che aiuti a guidare il trattamento. Per anni, questi strumenti sono stati gestiti da computer che seguono istruzioni rigide e immutabili, garantendo che la matematica sia sempre perfetta. Recentemente, è emerso un nuovo tipo di programma informatico: i modelli linguistici di grandi dimensioni. Si tratta di sistemi addestrati su enormi quantità di testo che possono leggere la storia di un paziente, comprenderne il contesto e tentare di scegliere il calcolatore giusto e fare i calcoli per te. La speranza è che questi sistemi possano agire come assistenti intelligenti, colmando il divario tra una narrazione medica disordinata e un risultato numerico preciso. Tuttavia, rimane una domanda critica: se un programma informatico afferma di aver eseguito correttamente i calcoli, significa che ha effettivamente scelto lo strumento giusto per il compito?

Un team di ricercatori dell'Università della South Florida ha deciso di testare esattamente questa domanda utilizzando un tipo specifico di sistema informatico progettato per essere extra-cauto. Hanno costruito una pipeline che agisce come un guardiano vigilante. Quando viene presentato un caso di paziente, il sistema decide prima quale calcolatore utilizzare. Successivamente estrae i numeri necessari dal testo, esegue il calcolo utilizzando un programma informatico rigido e privo di errori e, infine, controlla il proprio lavoro cercando di rappresentare la risposta in un modo diverso per vedere se i numeri corrispondono ancora. I ricercatori volevano sapere se questo controllo interno di coerenza fosse sufficiente a garantire la sicurezza. Il loro studio, che ha comportato il test del sistema su oltre mille record e un set separato di casi clinici reali, ha rivelato un difetto sorprendente e potenzialmente pericoloso. Il sistema poteva superare tutti i suoi controlli interni e produrre una risposta matematicamente coerente anche quando aveva selezionato il calcolatore completamente sbagliato per la condizione del paziente.

I ricercatori hanno valutato il loro sistema, che hanno chiamato CIBB-Guard, confrontandolo con un modo standard di porre le domande direttamente al computer. In un grande test che coinvolgeva oltre mille record, la maggior parte dei quali sintetici o generati dal computer, il sistema protetto è stato significativamente più performante. Ha prodotto la risposta corretta in circa il sessanta per cento dei casi, mentre l'approccio diretto ha avuto successo solo in circa il dieci per cento. Questo miglioramento derivava dalla capacità del sistema di selezionare una regola, estrarre i dati e verificare la matematica. Tuttavia, la vera prova arrivò quando i ricercatori esaminarono i casi in cui non avrebbe dovuto essere utilizzato alcun calcolatore. Presero settantasette rapporti di casi medici anonimizzati e fecero in modo che esperti umani li classificassero come idonei o non idonei per i calcolatori testati. Nei casi in cui i calcolatori non erano applicabili, il sistema protetto si è correttamente rifiutato di fornire una risposta in ventuno casi su trentatré. Ma nei restanti dodici casi, il sistema ha fornito con fiducia una risposta, e tale risposta ha superato i propri controlli di verifica interna.

È qui che risiede la scoperta centrale. In quei dodici casi inappropriati, il sistema aveva scelto un calcolatore che non si adattava alla storia del paziente, eppure la matematica che aveva eseguito era internamente coerente. Il sistema aveva controllato il proprio lavoro rappresentando i numeri in una forma alternativa, e le due versioni concordavano. Questo accordo confermava che il computer aveva eseguito correttamente la regola scelta, ma non confermava che la regola fosse quella giusta da utilizzare. Infatti, in quasi tutti questi errori, il controllo interno passava con successo. Lo studio ha scoperto che la rete di sicurezza del sistema, progettata per intercettare gli errori di calcolo, era cieca all'errore di aver scelto lo strumento sbagliato. Quando il sistema è stato testato su casi in cui un calcolatore era effettivamente appropriato, è riuscito a produrre solo quattro risposte corrette su quarantatré, un risultato che non era statisticamente differente dall'approccio diretto, evidenziando che il sistema fatica ancora con il compito complesso di far corrispondere la storia di un paziente alla regola giusta.

I ricercatori sottolineano che i loro risultati non significano che il sistema sia inutile, quanto piuttosto che sia incompleto. Lo studio ha utilizzato una singola versione congelata di un modello informatico e una specifica libreria di dodici calcolatori. I risultati mostrano che, sebbene il sistema possa migliorare l'accuratezza dell'esecuzione matematica e ridurre gli errori casuali, non può ancora determinare se un calcolatore sia applicabile a un paziente specifico senza la supervisione umana. Il fatto che il sistema abbia superato i propri controlli interni su risposte errate suggerisce che affidarsi esclusivamente alla coerenza matematica non è sufficiente per garantire la sicurezza clinica. Gli autori concludono che, prima che un sistema del genere possa essere utilizzato in un ospedale, deve esserci un controllo separato e indipendente per verificare che il calcolatore scelto sia effettivamente appropriato per il caso, piuttosto che limitarsi a controllare che la matematica torni. Il lavoro funge da nota di cautela: un computer può essere perfettamente coerente pur essendo completamente in errore riguardo al contesto, e in medicina, scegliere lo strumento giusto è importante tanto quanto eseguire correttamente i calcoli.