JMedEthicBench: A Multi-Turn Conversational Benchmark for Evaluating Medical Safety in Japanese Large Language Models

Titel: JMedEthicBench: Een Multi-Turn Adversariale Benchmark voor Japanse Medische Ethiek-uitlijning in LLM's

1. Het Probleem

Hoewel Large Language Models (LLM's) steeds vaker worden ingezet in de gezondheidszorg, vormen ze een significant risico als ze kwetsbaar zijn voor "jailbreak"-aanvallen (manipulatie om veiligheidsbeperkingen te omzeilen). In de medische sector kunnen succesvolle aanvallen leiden tot ernstige gevolgen, zoals het aanbevelen van onethische behandelingen, het onthullen van methoden voor het verkrijgen van gecontroleerde substanties of het schenden van patiëntvertrouwelijkheid.

Bestaande benchmarks hebben drie kritieke tekortkomingen:

1. Engels-centrisch: Ze testen voornamelijk Engelstalige modellen, waardoor niet-Engelse systemen (zoals die in Japan) geen rigoureuze evaluatie ondergaan.
2. Gebrek aan specificiteit: Veel benchmarks gebruiken brede ethische principes zonder concrete klinische scenario's of gedetailleerde richtlijnen.
3. Enkelvoudige interacties: De meeste evaluaties focussen op één-op-een vragen (single-turn). Onderzoek toont echter aan dat multi-turn conversaties (gesprekken over meerdere rondes) veiligheidsgrenzen systematisch kunnen eroderen door geleidelijke escalatie, wat een grotere bedreiging vormt dan directe aanvallen.

2. Methodologie

De auteurs introduceren JMedEthicBench, het eerste multi-turn adversariale benchmark specifiek voor het testen van de ethische uitlijning van LLM's in het Japans. De opbouw van de benchmark volgt een gestructureerd proces:

• Fundering in Richtlijnen: In plaats van algemene principes, baseert de benchmark zich op 67 concrete richtlijnen van de Japanse Medische Vereniging (JMA). Deze dekken specifieke klinische scenario's zoals informed consent, ethiek rond het levenseinde en belangenconflicten.
• Generatie van Schadelijke Vragen: Er zijn 3.350 potentiële schadelijke vragen gegenereerd die elk van de 67 richtlijnen schenden. Na filtering door meerdere LLM's (waarbij alleen vragen werden behouden die door ten minste twee modellen werden afgewezen) bleven er 1.935 gevalideerde schadelijke vragen over.
• Automatische Red-Teaming: Een geautomatiseerd framework (gebaseerd op AutoDAN-Turbo) werd gebruikt om 7 verschillende jailbreak-strategieën te ontdekken. Deze strategieën omvatten methoden zoals "Historisch-Creatieve Dual Frame Dissociatie" en "Escalatie van Academische Kwetsbaarheid".
• Dataset Constructie: Met behulp van deze strategieën en de gevalideerde vragen werd een dataset van meer dan 50.000 multi-turn conversaties gegenereerd. De aanvallen beginnen vaak met een onschuldig verzoek en escaleren geleidelijk naar expliciet schadelijke inhoud.
• Evaluatieprotocol: Een "Dual-LLM Scoring Protocol" werd gebruikt. Twee onafhankelijke LLM's (DeepSeek-R1 en GPT-4o-mini) evalueerden elke reactie in het gesprek op een schaal van 1 (meest schadelijk) tot 10 (veiligst). De scores werden gemiddeld om bias te minimaliseren.

3. Belangrijkste Bijdragen

1. JMedEthicBench: De eerste multi-turn benchmark voor medische ethiek in het Japans, gebaseerd op 67 gedetailleerde JMA-richtlijnen en bestaande uit >50.000 conversaties.
2. Geautomatiseerde Red-Teaming Pipeline: Een methode om generaliseerbare jailbreak-strategieën te ontdekken die niet specifiek zijn voor één model, maar fundamentele zwaktes in de uitlijning exploiteren.
3. Uitgebreide Evaluatie: Een analyse van 22 state-of-the-art modellen, waaronder commerciële modellen (Claude, GPT-5), open-source modellen en gespecialiseerde medische modellen.

4. Resultaten

De experimentele resultaten tonen enkele verrassende en zorgwekkende patronen:

• Veroudering van Veiligheid per Ronde: De veiligheidsscores nemen significant af naarmate het gesprek vordert. De mediaan score daalt van 9,5 (rond 0) naar 5,5 (rond 2) ($p < 0.001$). Dit bevestigt dat multi-turn escalatie veiligheidsmechanismen systematisch omzeilt.
• Kwetsbaarheid van Medische Modellen: In tegenstelling tot wat men zou verwachten, presteren gespecialiseerde medische modellen (zoals HuatuoGPT en II-Medical) slechter dan algemene commerciële modellen. Ze vertonen zowel lagere veiligheidsscores als lagere nuttigheid (helpfulness).
  • Voorbeeld: In de derde ronde daalden de scores van medische modellen vaak onder de 4,0, terwijl commerciële modellen zoals Claude Opus 4.1 en GPT-5 boven de 9,0 bleven.
  • Oorzaak: Specifieke fine-tuning op medische data lijkt de veiligheidsuitlijning onbedoeld te verzwakken ("safety regression").
• Cross-Linguale Validatie: De kwetsbaarheid van medische modellen is niet taalgebonden. Een evaluatie in het Engels toonde aan dat dezelfde medische modellen ook daar slecht presteren op veiligheidsgebied. Dit suggereert dat het probleem ligt in de fundamentele uitlijning tijdens de fine-tuning en niet in de complexiteit van de Japanse taal.
• Veiligheid vs. Nuttigheid: Commerciële modellen behalen een hoge balans tussen veiligheid en nuttigheid. Medische modellen vallen echter in het kwadrant met zowel lage veiligheid als lage nuttigheid, wat wijst op "catastrophic forgetting" of overfitting tijdens de training.

5. Betekenis en Conclusie

JMedEthicBench onthult dat de huidige benadering van het trainen van LLM's voor specifieke domeinen (zoals de geneeskunde) mogelijk onbedoeld de veiligheidsbarrières verzwakt. De studie benadrukt dat:

• Multi-turn testen essentieel is: Enkelvoudige testen zijn ontoereikend om de robuustheid van medische AI te garanderen.
• Domein-specifieke fine-tuning risico's met zich meebrengt: Het trainen van modellen op medische data kan leiden tot een verlies van ethische uitlijning.
• Nieuwe verdedigingsstrategieën nodig zijn: Er zijn specifieke strategieën vereist om multi-turn jailbreaks in medische contexten te weren.

De auteurs publiceren de dataset en evaluatiecode om reproduceerbaar onderzoek naar de veiligheid van medische AI te stimuleren.