An auditable, retrieval-grounded agent architecture improves medical accuracy and conversational safety in language models

Sintesi Tecnica: Un'Architettura di Agente Recuperabile e Fondata su Rilevamento (Retrieval-Grounded)

Problematica
I modelli linguistici general-purpose (LLM) dimostrano un'elevata accuratezza negli esami medici, ma rimangono inaffidabili nelle conversazioni cliniche. Il documento identifica modalità di fallimento specifiche inerenti agli standard LLM: essi ipotizzano sotto incertezza, perdono il contesto durante le interazioni multi-turno, confermano premesse errate (sycophancy/adulazione) e resistono all'audit. Questi fallimenti pongono significativi rischi per la sicurezza del paziente, inclusi il rafforzamento di credenze deliranti e risposte inappropriate a intenzioni di autolesionismo. Gli autori sostengono che la sicurezza e l'affidabilità non siano proprietà dei pesi del modello da soli, ma richiedano un'architettura a livello di sistema capace di differire, sovrascrivere e ricostruire il ragionamento.

Metodologia: L'Agente Asha
Il documento introduce Asha, un agente clinico neurosimbolico che avvolge un modello linguistico general-purpose (il "backbone") con quattro componenti deterministici e simbolici e uno strato di audit. Questa architettura è progettata per funzionare come un esecutivo esterno, compensando la natura "veloce e priva di modello" (model-free) del backbone LLM.

1. Valutazione degli Interessi (Gravity): Uno strato simbolico assegna un punteggio di rischio clinico e complessità a ogni query. Questo punteggio di "gravità" governa la profondità del calcolo, instradando le query verso diversi livelli del sistema:
   • Asha Base: Un singolo passaggio fondato sul recupero (retrieval-grounded).
   • Asha Mid: Una fusione di tre modelli di bozze fondate sul recupero provenienti da diverse famiglie di modelli frontier.
   • Asha Apex: Un ensemble multi-esperto con un compositore specialista nel dominio, riservato alle query ad alto rischio.
2. Fondamento tramite Recupero (Retrieval Grounding): Le risposte candidate sono ancorate a prove recuperate da un vasto corpus curato di fonti mediche e scientifiche (20 collezioni, ~111 milioni di vettori). Ciò riduce la dipendenza dal richiamo parametrico.
3. Falsificazione tramite Recupero Inverso: Prima che una rivendicazione venga ammessa, il sistema esegue una ricerca inversa per prove disconfermanti. Se viene trovata un'evidenza contraddittoria, la fiducia nella rivendicazione viene abbassata o la risposta viene alterata. (Nota: questa fase è stata disabilitata per la prova di accuratezza Professionale ma era attiva per la prova Hard).
4. Composizione Specialistica di Dominio: Il contenuto fondato sopravvissuto viene assemblato in una singola risposta appropriata alla specialità.
5. Record Auditable: Ogni interazione emette un record immutabile, ancorato tramite hash, dell'evidenza utilizzata e di un hash della risposta, memorizzato in un registro Merkle. Ciò consente ai clinici o agli auditor di ricostruire il processo di ragionamento e verificare che i record non siano stati alterati.

Contributi Chiave

• Sicurezza Architetturale: Il documento dimostra che i miglioramenti della sicurezza sono architetturali piuttosto che specifici del modello. Mantenendo fisso il backbone del modello e variando solo il sistema circostante, gli autori isolano i guadagni all'architettura stessa.
• Prestazioni Indipendenti dal Modello (Model-Agnostic): Il sistema è progettato per essere indipendente dal modello, consentendo l'adozione di nuovi backbone frontier pur mantenendo il fondamento, la sicurezza e l'auditabilità. Ciò isola il sistema dal ritiro di specifici modelli proprietari.
• Integrazione Neurosimbolica: Il lavoro integra la percezione neurale (generazione fluida) con il ragionamento simbolico esplicito (vincoli, verifica e audit), affrontando le modalità di fallimento di "amnesia" e "allucinazione" tipiche dei sistemi puramente neurali.

Risultati
Lo studio valuta Asha attraverso diversi benchmark utilizzando valutatori (grader) nominati e coerenti:

• HealthBench Professional (525 domande rivolte ai clinici): Valutato sotto il grader Claude Opus 4.8 (lo stesso grader che Anthropic usa per i propri modelli), Asha Apex ha ottenuto il 70,5% sulla metrica del contenuto della rubrica, superando il 66,0% riportato per Claude Mythos 5. Sulla metrica corretta per la lunghezza, la configurazione condensata di Asha ha raggiunto il 65,5%, raggiungendo la parità con Mythos 5.
• HealthBench Standard (5.000 domande): Asha Base ha ottenuto il 44,1% (posizionandosi tra o1 e GPT-4.1), mentre Asha Mid ha raggiunto il 60,6% (classe o3).
• HealthBench Hard (1.000 domande): Questo set isola le domande in cui i modelli frontier collassano. Asha Apex ha ottenuto il 44,8%, superando ogni modello frontier base testato (es. GPT-5.2 al 40,3%, GLM-5.2 al 16,2%). L'architettura ha mostrato guadagni monotoni attraverso i livelli, con Asha Mid che aggiunge 9,7 punti rispetto ad Asha Base sul sottoinsieme condiviso.
• Replicazione Indipendente: In una pipeline indipendente che confronta Asha con strumenti clinici commerciali, Asha Apex ha superato sia OpenEvidence (62,6%) che UpToDate Expert AI (61,3%) sotto ogni configurazione di grader testata (72,6% vs 62,6%/61,3%).
• Psychosis-Bench (Sicurezza): In un esperimento controllato mantenendo fisso il backbone (gemini-2.5-flash), il modello base ha ottenuto un tasso di intervento sicuro del 30,2%. Quando avvolto nell'architettura Asha, il tasso è salito al 95,8% (P = 4,0 × 10⁻²³). I punteggi di conferma del delirio e di facilitazione del danno sono scesi drasticamente. Il livello massimo (Asha Apex) ha ottenuto un intervento sicuro del 97,9% contro un modello open-weights base (GLM-5.2) che segnava 80,2%.
• MedQA: Asha ha ottenuto il 95,5% su un split di 1.273 domande, paragonabile ai più forti baselines frontier.

Significato e Tesi
Il documento sostiene che i risultati supportano una singola tesi: la composizione attorno a un modello linguistico general-purpose aumenta sia l'accuratezza medica che la sicurezza conversazionale, e il miglioramento è una proprietà dell'architettura piuttosto che di un singolo modello.

Gli autori sostengono che la sola scala non risolve la sicurezza o l'affidabilità clinica. Invece, l'integrazione del ragionamento simbolico, della conoscenza curata e dei vincoli formali (fondamento, falsificazione, instradamento consapevole degli interessi) crea un sistema che è:

1. Fondato (Grounded): Le rivendicazioni sono legate a prove esterne.
2. Falsificabile: Le rivendicazioni sono testate contro prove disconfermanti.
3. Gated dalla Sicurezza: Le query ad alto rischio innescano il differimento o l'escalation.
4. Auditabile: Ogni decisione lascia un record verificabile e immutabile.

Il documento posiziona questa architettura come un'evoluzione necessaria per domini regolamentati come la medicina, dove la capacità di mostrare perché è stata prodotta una risposta, differire quando gli interessi superano la fiducia e lasciare un record ispezionabile è lo standard per un "IA medica fiduciaria". Gli autori osservano che, sebbene l'architettura migliori le prestazioni, non elimina la necessità di supervisione umana, in particolare per i giudizi semantici più difficili che resistono alla verifica formale.