Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops

Sintesi Tecnica: Fidarsi ma Verificare – Mitigare le Allucinazioni Mediche tramite l'Audit Adversariale Post-Hoc e i Cicli di Feedback Multi-Agente

Definizione del Problema
I Large Language Models (LLM) sono sempre più impiegati in ambito sanitario per il supporto alle decisioni cliniche, tuttavia la loro natura probabilistica porta a "allucinazioni" che pongono gravi rischi per la sicurezza. Una modalità di fallimento critica, spesso trascurata, è l'obsolescenza della conoscenza normativa: gli LLM raccomandano frequentemente farmaci che erano storicamente corretti, ma che sono ora banditi, ritirati o soggetti a avvertenze "black box" da parte degli enti regolatori (es. FDA, EMA). Il documento evidenzia come anche i modelli allo stato dell'arte (SOTA) dotati di Retrieval-Augmented Generation (RAG) e capacità di navigazione web non riescano a dare priorità ai vincoli di sicurezza attuali rispetto ai dati parametrici di addestramento, portando a raccomandazioni cliniche pericolose. Le strategie di mitigazione esistenti, come i guardrail semantici statici o il semplice RAG, spesso mancano della verifica adversariale attiva necessaria per rilevare questi gap temporali della conoscenza.

Metodologia
Gli autori propongono un'architettura modulare a cinque agenti intitolata "Trust but Verify" (Fidarsi ma Verificare), progettata per imporre la conformità normativa attraverso un ciclo di audit adversariale post-hoc. Il sistema utilizza un singolo backbone LLM (testato su famiglie GPT-OSS, Llama-3 e Falcon-3), ma differenzia gli agenti tramite il reindirizzamento del persona basato su prompt piuttosto che attraverso pesi di modelli eterogenei.

Il flusso di lavoro consiste in cinque ruoli funzionali:

1. Router Agent (Agente Router): Classifica le query come "Mediche" o "Generiche". Solo le query mediche attivano la pipeline di sicurezza, ottimizzando latenza e costi.
2. Medical Clinical Agent (Agente Clinico Medico): Agisce come motore di ragionamento primario, generando raccomandazioni di trattamento candidate basate sulla query di input.
3. Entity Extractor Agent (Agente Estrattore di Entità): Analizza l'output in linguaggio naturale del clinico in un formato JSON strutturato (estraendo farmaco e condizione) per facilitare la verifica leggibile dalle macchine.
4. Safety Auditor Agent (Agente Auditor della Sicurezza): Il componente di sicurezza centrale. Esegue ricerche web in tempo reale (tramite API Tavily) contro fonti regolatorie autorevoli (FDA, NIH) per verificare lo stato attuale del farmaco estratto. Se un farmaco viene segnalato come bandito o ritirato, l'auditor attiva un ciclo di feedback, inviando la violazione al Clinico per forzare un nuovo tentativo o un rifiuto sicuro.
5. General Chat Agent (Agente di Chat Generica): Gestisce le interazioni non critiche per conservare le risorse.

Il sistema consente fino a tre tentativi di riprova. Se non viene trovata un'alternativa sicura tra le opzioni, il sistema è progettato per emettere un "rifiuto sicuro" invece di una raccomandazione allucinata.

Configurazione Sperimentale
Lo studio ha utilizzato un dataset adversariale curato di 103 domande a scelta multipla (MCQ) cliniche. In queste domande, la risposta storicamente corretta corrisponde a un farmaco che è stato da allora ritirato o bandito. Il dataset è stato costruito utilizzando DrugBank, garantendo che l'etichetta "corretta" nel contesto dei dati di addestramento sia in realtà una violazione della sicurezza nel contesto regolatorio attuale.

Sono state valutate tre configurazioni sperimentali:

• Esperimento I (Vanilla): Inferenza single-shot in cui l'LLM agisce come esperto clinico senza audit esterno.
• Esperimento II (Agentic): La pipeline proposta a cinque agenti con il ciclo di feedback adversariale.
• Esperimento III (Valutazione SOTA): Test di modelli proprietari leader (ChatGPT-5.1/5.3, Gemini 3 Flash/3.1 Pro) con navigazione nativa abilitata per valutare se le attuali soluzioni commerciali mitigano questo specifico modo di fallimento.

Metriche Chiave
Le prestazioni sono state valutate tramite:

• Label Accuracy (Accuratezza dell'Etichetta): Correttezza standard rispetto alla verità di base (ground truth) del dataset (che è intrinsecamente insicura in questo setup adversariale).
• Pointwise Score (PS): Una metrica specializzata che penalizza le raccomandazioni definitive per farmaci banditi (-0,25), premia i rifiuti sicuri (0,0) e premia le predizioni corrette sicure (+1,0).
• Hallucination Error Rate (HER - Tasso di Errore di Allucinazione): La frequenza delle raccomandazioni definitive per sostanze ritirate.
• Component Fidelity (CF - Fedeltà del Componente): Il rapporto tra gli output funzionali di successo e il totale delle invocazioni degli agenti, misurando l'affidabilità dell'orchestrazione multi-agente.

Risultati

• Prestazioni Vanilla: Tutti i modelli open-access testati hanno mostrato un'alta "accuratezza" (corrispondenza con il farmaco bandito) ma, di conseguenza, alti HER (compresi tra il 90,29% e il 99,03%). I punteggi Pointwise si sono raggruppati vicino a -0,25, indicando la massima penalità di sicurezza.
• Prestazioni Agentic: L'architettura proposta ha ridotto significativamente gli HER in tutti i modelli di circa il 53% in media (ad esempio, Llama-3-70B è sceso dal 99,03% al 37,86%). Mentre l'accuratezza dell'etichetta grezza è diminuita (poiché il sistema ha correttamente rifiutato di selezionare la risposta bandita "corretta"), il Pointwise Score si è spostato da -0,25 verso lo 0,0, indicando una transizione riuscita verso i rifiuti sicuri.
• Fallimento SOTA: L'Esperimento III ha rivelato che anche i modelli proprietari con capacità avanzate di ragionamento e navigazione non sono riusciti a prevenire la raccomandazione di farmaci banditi. Questi modelli spesso riconoscono lo stato di ritiro nei risultati di ricerca, ma finiscono per dare priorità alla loro conoscenza parametrica per selezionare il farmaco bandito come risposta, dimostrando una "regressione della sicurezza clinica".
• Integrità del Sistema: I punteggi di Component Fidelity per la pipeline agentica sono variati tra il 73,82% e l'85,71%, confermando la robustezza dell'orchestrazione multi-agente.

Significato e Rivendicazioni
Il documento sostiene di aver dimostrato un approccio pratico e model-agnostic per il deployment di IA autonome in contesti sanitari critici per la sicurezza. I suoi principali contributi sono:

1. Identificazione di un Gap Critico: Evidenziare come l'attuale RAG e i modelli SOTA falliscano nell'integrare efficacemente i dati normativi in tempo reale, portando alla raccomandazione di sostanze bandite.
2. Innovazione Architetturale: Proporre un ciclo di audit non lineare e adversariale che tratta la sicurezza come un processo di verifica deterministico piuttosto che come un compito di generazione probabilistica. Decoupling (disaccoppiando) il ragionamento clinico (LLM) dalla verità fattuale (auditor in tempo reale), il sistema garantisce la conformità senza richiedere il riaddestramento del modello.
3. Sicurezza sopra la Fluidità: Il framework dà priorità alla sicurezza del paziente convertendo le raccomandazioni pericolose in appropriati rifiuti, spostando l'obiettivo del sistema da "rispondere correttamente" a "rispondere in modo sicuro".
4. Scalabilità: L'uso di un singolo backbone con differenziazione degli agenti basata su prompt offre una soluzione scalabile che non richiede l'espansione dei parametri o riaddestramenti costosi.

Gli autori concludono che, sebbene l'approccio multi-agente introduca latenza di inferenza, questo compromesso è necessario per una sicurezza deterministica in ambienti clinici ad alto rischio. Posizionano questo lavoro come un passo verso l'integrazione di dati normativi in tempo reale nelle pipeline LLM per supportare, piuttosto che sostituire, il processo decisionale clinico.