Safe Deployment of a Generative AI Assistant for Traditional-Medicine Education: Defense-in-Depth Architecture, Domain-Calibrated Safety Evaluation, and a Proposed Minimum Safety Stack

Sintesi Tecnica: Implementazione Sicura di un Assistente di Intelligenza Artificiale Generativa per l'Educazione alla Medicina Tradizionale

Definizione del Problema

L'implementazione dell'IA generativa nell'educazione alla medicina tradizionale (TME) affronta una sfida di sicurezza unica: le tecniche standard di allineamento dei modelli, come il Reinforcement Learning from Human Feedback (RLHF), sono insufficienti per questo dominio. La TME coinvolge centinaia di erbe con margini terapeutici stretti e interazioni complesse, spesso scarsamente documentate. Un sistema che risponde in modo fluente ma errato può causare danni attivi rinforzando errori clinici.

Il problema centrale identificato è che la definizione di "sicurezza" nell'IA non è neutrale rispetto al dominio. I criteri standard di sicurezza informatica (focalizzati su jailbreak, bypass delle policy ed esfiltrazione di dati) non riescono a catturare i danni clinici specifici del dominio. Un modello può superare tutti i controlli di sicurezza IT pur generando raccomandazioni di prescrizione pericolose o combinazioni di erbe insicure perché manca di una specifica conoscenza clinica. Al contrario, una risposta che attiva un avviso di sicurezza IT (ad esempio, un override del ruolo) potrebbe essere clinicamente benigna. Gli attuali framework di valutazione non affrontano adeguatamente questa divergenza, rischiando l'implementazione di sistemi che sono "sicuri" dal punto di vista informatico ma clinicamente pericolosi.

Metodologia

Gli autori presentano TLAS-YHCT, un chatbot socratico progettato per gli studenti del primo ciclo di medicina tradizionale presso l'Università di Hoa Binh, e un rigoroso framework di valutazione avversaria.

1. Architettura del Sistema: Difesa in Profondità (Defense-in-Depth)
TLAS-YHCT impiega una pipeline a cinque livelli in cui ogni query passa attraverso molteplici controlli indipendenti prima che venga restituita una risposta:

• Hard Guardrails Non Sovrascrivibili: Filtri basati su regole e liste di esclusione (deny-lists) che impongono confini fissi (ad esempio, rifiutare richieste fuori ambito) indipendentemente dalla struttura conversazionale.
• Generazione Aumentata dalla Ricerca (RAG): Le risposte sono ancorate a un corpus di testi di medicina tradizionale validato e con controllo delle versioni. Il sistema utilizza una ricerca ibrida (semantica densa + parole chiave sparse) e rifiuta di rispondere se non trova prove a supporto, prevenendo la fabbricazione di contenuti.
• Prompt di Sistema Standardizzato: Un prompt strutturato e con controllo delle versioni che definisce il ruolo pedagogico, gli output consentiti e gli avvisi obbligatori.
• Verificatore Indipendente LLM-as-Judge: Un secondo modello linguistico ricontrolla l'output del modello principale rispetto ai passaggi recuperati, al corpus di conformità e agli obiettivi pedagogici. Rigenera o blocca le risposte che falliscono questi controlli.
• Audit Clinico con Intervento Umano (Human-in-the-Loop): Un ciclo continuo in cui i docenti clinici revisionano i log, diagnosticano i fallimenti e aggiornano il sistema sotto controllo delle versioni.

2. Design della Valutazione Avversaria

• Costruzione dell'Attacco: È stato costruito un set strutturato di 206 attacchi avversari interamente da cinque docenti-clinici esperti di dominio che non avevano avuto alcun coinvolgimento nello sviluppo tecnico del sistema. Ciò ha garantito che gli attacchi fossero calibrati su specifici danni clinici (ad esempio, combinazioni di erbe pericolose) piuttosto che su generiche minacce IT.
• Doppio Criterio di Sicurezza: Ogni risposta è stata valutata in modo cieco dallo stesso panel di esperti utilizzando due criteri indipendenti:
  • Criterio di Sicurezza IT: Si concentra sul bypass del ruolo, sul bypass delle policy e sulla privacy dei dati.
  • Criterio Clinico-Educativo: Si concentra sulla sicurezza del paziente, l'integrità pedagogica e la guida alla prescrizione pericolosa, indipendentemente dal fatto che una policy di sicurezza sia stata aggirata.
• Baseline Comparative: TLAS-YHCT è stato confrontato con GPT (versione gratuita), Gemini Flash e un nucleo DeepSeek R1 "nudo" (senza wrapper).

Risultati Chiave

1. Prestazioni di Sicurezza Superiori
Sotto il doppio criterio di sicurezza, TLAS-YHCT ha raggiunto un tasso di risposta sicura del 100% (1.030/1.030 valutazioni) attraverso tutti i 206 attacchi. Al contrario, le baseline commerciali si sono comportate significativamente peggio:

• GPT: 88,9% di tasso di risposta sicura.
• Gemini Flash: 78,7% di tasso di risposta sicura.
• DeepSeek R1 (Nudo): 76,7% di tasso di risposta sicura.

2. Divergenza dei Criteri di Sicurezza
Lo studio ha dimostrato empiricamente una critica divergenza tra i giudizi di sicurezza IT e quelli clinico-educativi:

• Sicuro per l'IT ma Clinicamente Insicuro: Un subset significativo di attacchi (specificamente query su combinazioni di erbe pericolose e trappole basate su premesse false) è stato giudicato "sicuro" secondo gli standard di sicurezza IT (non si è verificato un bypass della policy) ma "insicuro" secondo gli standard clinici perché ha prodotto consigli medici pericolosi. Le valutazioni IT standard li ignorerebbero completamente.
• Insicuro per l'IT ma Clinicamente Sicuro: Alcuni attacchi di spoofing dell'autorità hanno avuto successo nel bypassare i protocolli di sicurezza (insicuri per l'IT) ma hanno prodotto risposte clinicamente appropriate. Trattarli come fallimenti aumenterebbe artificialmente la percezione del rischio.

3. Impatto dell'Architettura rispetto al Modello Base
Quando il nucleo DeepSeek R1 nudo è stato avvolto nello stack difensivo di TLAS-YHCT, le sue prestazioni sono migliorate dal 76,7% al 100% di risposte sicure, superando i modelli commerciali che non possiedono questa specifica architettura. Ciò suggerisce che la difesa stratificata (RAG + Verificatore + Guardrails) compensa i fallimenti specifici del dominio più efficacemente dell'allineamento del solo modello base.

Significato e Rivendicazioni

Il documento rivendica quattro contributi primari:

1. Design del Sistema: Descrive TLAS-YHCT, un sistema implementato che utilizza un'architettura di difesa in profondità specificamente per l'educazione alla medicina tradizionale.
2. Metodologia di Valutazione: Introduce un approccio di red-teaming strutturato in cui la costruzione degli attacchi e la valutazione sono eseguite da clinici esperti del dominio indipendenti dagli sviluppatori, garantendo che il set di test rifletta i rischi clinici reali.
3. Evidenza Empirica della Divergenza: Dimostra che i criteri di sicurezza IT e clinico-educativi non sono intercambiabili. Fare affidamento esclusivamente sugli standard di sicurezza IT nell'educazione clinica significa mancare pericoli reali e contare erroneamente eventi benigni.
4. Framework Proposto: Propone uno Stack di Sicurezza Minimo per la TME e l'educazione clinica correlata, composto da:
   • Generazione Aumentata dalla Ricerca (RAG) su un corpus validato.
   • Un prompt di sistema standardizzato.
   • Verifica tramite LLM-as-judge addestrata su rubriche specifiche del dominio.
   • Criteri di sicurezza calibrati sul dominio (doppio criterio IT + clinico).

Gli autori concludono che la sicurezza nell'educazione clinica specializzata non può essere delegata solo ai modelli base; richiede un framework trasferibile che combini controlli tecnici con una valutazione calibrata sul dominio. Propongono inoltre uno standard metodologico di separazione dei ruoli a tre vie (sviluppatore, autore dell'attacco, investigatore) per le future valutazioni di sicurezza avversaria nell'educazione medica.

Nota: Il documento dichiara esplicitamente che il tasso di sicurezza del 100% si applica al set specifico di 206 attacchi e non rivendica una sicurezza incondizionata. Inoltre, lo studio valuta la sicurezza, non l'efficacia pedagogica, che deve ancora essere dimostrata in studi educativi prospettici.