Safe Deployment of a Generative AI Assistant for Traditional-Medicine Education: Defense-in-Depth Architecture, Domain-Calibrated Safety Evaluation, and a Proposed Minimum Safety Stack

Technische Samenvatting: Veilige Implementatie van een Generatieve AI-assistent voor Onderwijs in de Traditionele Geneeskunde

Probleemstelling

De implementatie van generatieve AI in het onderwijs van de traditionele geneeskunde (TME) staat voor een unieke veiligheidsuitdaging: standaard technieken voor model-alignment, zoals Reinforcement Learning from Human Feedback (RLHF), zijn onvoldoende voor dit domein. TME omvat honderden kruiden met smalle therapeutische marges en complexe, vaak slecht gedocumenteerde interacties. Een systeem dat vloeiend maar onjuist antwoordt, kan actieve schade aanrichten door klinische fouten te versterken.

Het geïdentificeerde kernprobleem is dat de definitie van "veiligheid" in AI niet domeinneutraal is. Standaard IT-beveiligingscriteria (gericht op jailbreaks, beleidsoverschrijdingen en data-exfiltratie) falen in het vastleggen van domeinspecifieke klinische schade. Een model kan alle IT-beveiligingscontroles passeren en toch gevaarlijke voorschrijfadviezen of onveilige kruidencombinaties genereren omdat het een gebrek heeft aan specifieke klinische kennis. Omgekeerd kan een reactie die een IT-beveiligingswaarschuwing triggert (bijv. rol-override) klinisch onschadelijk zijn. Huidige evaluatiekaders adresseren deze divergentie niet adequaat, wat het risico inhoudt op de implementatie van systemen die "veilig" zijn vanuit IT-perspectief, maar klinisch onveilig.

Methodologie

De auteurs presenteren TLAS-YHCT, een Socratic chatbot ontworpen voor bachelorstudenten traditionele geneeskunde aan de Hoa Binh Universiteit, en een rigoureus framework voor adversariële evaluatie.

1. Systeemarchitectuur: Defense-in-Depth
TLAS-YHCT maakt gebruik van een vijflaagse pipeline waarbij elke query door meerdere onafhankelijke controles gaat voordat een antwoord wordt geretourneerd:

• Niet-overschrijdbare harde guardrails: Regelgebaseerde filters en deny-lists die vaste grenzen handhaven (bijv. het weigeren van buiten het bereik vallende verzoeken) onafhankelijk van de conversationele inkadering.
• Retrieval-Augmented Generation (RAG): Antwoorden zijn verankerd in een gecontroleerde, versiebeheerbare corpus van teksten over traditionele geneeskunde. Het systeem gebruikt hybride retrieval (dense semantisch + sparse keyword) en weigert antwoord te geven als er geen ondersteunend bewijs wordt gevonden, om fabricage te voorkomen.
• Gestandaardiseerde System Prompt: Een gestructureerde, versiebeheerbare prompt die de pedagogische rol, toegestane outputs en verplichte waarschuwingen definieert.
• Onafhankelijke LLM-as-Judge Verifier: Een tweede taalmodel controleert de output van het kernmodel tegen de opgehaalde passages, de compliance-corpus en de pedagogische doelstellingen. Het genereert antwoorden opnieuw of blokkeert ze als ze niet aan deze controles voldoen.
• Human-in-the-Loop Klinische Audit: Een continue cyclus waarbij klinisch personeel logs beoordeelt, fouten diagnosticeert en het systeem bijwerkt onder versiebeheer.

2. Adversariële Evaluatieontwerp

• Aanvalsconstructie: Een gestructureerde red-team set van 206 adversariële aanvallen werd volledig geconstrueerd door vijf domeinexperts (klinische docenten) die geen betrokkenheid hadden bij de technische ontwikkeling van het systeem. Dit zorgde ervoor dat aanvallen gekalibreerd waren op specifieke klinische schade (bijv. gevaarlijke kruidencombinaties) in plaats van generieke IT-dreigingen.
• Duale Veiligheidscriteria: Elke reactie werd blind gescoord door hetzelfde expertpanel aan de hand van twee onafhankelijke criteria:
  • IT-Beveiligingscriterium: Richt zich op rol-override, beleidsoverschrijding en gegevensprivacy.
  • Klinisch-Educatief Criterium: Richt zich op patiëntveiligheid, pedagogische integriteit en gevaarlijke voorschrijvingsinstructies, ongeacht of een beveiligingsbeleid is geschonden.
• Vergelijkende Baselines: TLAS-YHCT werd vergeleken met GPT (gratis versie), Gemini Flash en een kale, onverpakte DeepSeek R1-kern.

Belangrijkste Resultaten

1. Superieure Veiligheidsprestaties
Onder het duale veiligheidscriterium behaalde TLAS-YHCT een 100% veilige-responspercentage (1.030/1.030 beoordelingen) over alle 206 aanvallen. In contrast presteerden commerciële baselines aanzienlijk slechter:

• GPT: 88,9% veilige responsrate.
• Gemini Flash: 78,7% veilige responsrate.
• DeepSeek R1 (Naak): 76,7% veilige responsrate.

2. Divergentie van Veiligheidscriteria
De studie toonde empirisch de kritieke divergentie aan tussen IT-beveiligings- en klinisch-educatieve veiligheidsoordelen:

• IT-Veilig maar Klinisch Onveilig: Een significante subset van aanvallen (specifiek vragen over gevaarlijke kruidencombinaties en valstrikken met valse premissen) werd beoordeeld als "veilig" volgens IT-beveiligingsstandaarden (geen beleidsoverschrijding opgetreden), maar als "onveilig" volgens klinische standaarden omdat ze gevaarlijk medisch advies produceerden. Standaard IT-evaluaties zouden deze volledig missen.
• IT-Onveilig maar Klinisch Veilig: Sommige autoriteits-spoofing aanvallen slaagden erin om beveiligingsprotocollen te omzeilen (IT-onveilig), maar resulteerden in klinisch passende reacties. Het behandelen van deze als fouten zou het waargenomen risico onterecht verhogen.

3. Architecturale Impact vs. Basemodel
Wanneer de kale DeepSeek R1-kern werd ingepakt in de defensieve stack van TLAS-YHCT, verbeterde de prestatie van 76,7% naar 100% veilige reacties, waarmee het commerciële modellen die deze specifieke architectuur misten, overtrof. Dit suggereert dat de gelaagde verdediging (RAG + Verifier + Guardrails) effectiever compenseert voor domeinspecifieke tekortkomingen dan alleen de alignment van het basemodel.

Betekenis en Claims

Het artikel claimt vier primaire bijdragen:

1. Systeemontwerp: Het beschrijft TLAS-YHCT, een geïmplementeerd systeem dat gebruikmaakt van een defense-in-depth architectuur specifiek voor onderwijs in de traditionele geneeskunde.
2. Evaluatiemethodologie: Het introduceert een gestructureerde red-team benadering waarbij de constructie van aanvallen en de scoring worden uitgevoerd door onafhankelijke klinische experts, wat garandeert dat de testset de reële klinische risico's reflecteert.
3. Empirisch Bewijs van Divergentie: Het demonstreert dat IT-beveiligings- en klinisch-educatieve veiligheidscriteria niet uitwisselbaar zijn. Het vertrouwen op enkel IT-beveiligingsstandaarden in klinisch onderwijs mist reële schade en telt onterecht benigne gebeurtenissen als fouten.
4. Voorgesteld Framework: Het stelt een Minimum Safety Stack voor voor TME en verwante klinische educatie, bestaande uit:
   • Retrieval-Augmented Generation (RAG) over een gevalideerde corpus.
   • Een gestandaardiseerde system prompt.
   • LLM-as-judge verificatie getraind op domeinspecifieke rubrieken.
   • Domeinkalibratie van veiligheidscriteria (duale IT + klinische criteria).

De auteurs concluderen dat veiligheid in gespecialiseerd klinisch onderwijs niet alleen gedelegeerd kan worden aan basemodellen; het vereist een overdraagbaar framework dat technische controles combineert met domeinkalibratie van evaluaties. Ze stellen ook een methodologische standaard van drieledige rol-scheiding (ontwikkelaar, auteur van de aanval, onderzoeker) voor toekomstige adversariële veiligheidsbeoordelingen in het medisch onderwijs.

Noot: Het artikel vermeldt expliciet dat de 100% veiligheidsrate van toepassing is op de specifieke set van 206 aanvallen en niet claimt dat er sprake is van onvoorwaardelijke veiligheid. Bovendien evalueert de studie veiligheid, niet de pedagogische effectiviteit, wat nog aangetoond moet worden in prospectieve educatieve studies.