Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts

Technische Samenvatting: Meten en Mitigeren van Over-Alignment voor LLM's in Multilinguale Strafrechtelijke Rechtbanken

Probleemstelling
De inzet van Large Language Models (LLM's) in juridische domeinen, met name binnen strafrechtelijke rechtbanken, kampt met een specifieke foutmodus die verschilt van algemene hallucinatie of bias: over-alignment. Hoewel rechtbanken LLM's gebruiken voor hoogwaardige taken zoals vertaling en samenvatting van gevoelige juridische documenten, activeren standaard veiligheidsmechanismen vaak ongepaste weigeringen of ongevraagde waarschuwingen (disclaimers) bij het verwerken van legitieme processtukken die geweld of seksueel misbruik bevatten.

In de context van het Zwitserse Federale Hooggerechtshof, waar griffiers routinematig gedetailleerde beschrijvingen van seksueel misbruik en geweld verwerken, verstoren deze veiligheidstriggers het legitieme werk. Bestaande benchmarks voor over-weigering (bijv. XSTest, OR-Bench) zijn ontoereikend omdat ze:

1. Focussen op Engelstalige, adversariële prompts die niet gerelateerd zijn aan juridisch werk.
2. Alleen "harde weigeringen" meten, waarbij "zachte" over-alignment wordt genegeerd (waarbij het model de taak voltooit maar moraliserende disclaimers toevoegt).
3. Geen rekening houden met het meertalige karakter van juridische systemen (Frans, Duits, Italiaans, Engels) en hoe taalcombinaties de veiligheidstriggers beïnvloeden.

Methodologie: TF-RefusalBench
Om deze tekortkomingen aan te pakken, introduceren de auteurs TF-RefusalBench, een meertalige benchmark afgeleid van 100 gevoelige fragmenten uit openbare uitspraken van het Zwitserse Federale Hooggerechtshof.

• Dataconstructie:

  • Bron: 16.000 openbare strafrechtelijke uitspraken werden gefilterd op paragrafen >1.000 tekens die termen bevatten uit de LDNOOBW-lijst (obscene/gewelddadige woorden).
  • Selectie van Ernst: Een panel van drie diverse LLM-judges voerde paarwijze vergelijkingen uit om fragmenten te rangschikken op basis van de ernst van de inhoud (grafische details, geweld, exploitatie). De top 100 meest ernstige fragmenten werden geselecteerd, wat resulteerde in een dataset waarbij 89% van de inhoud betrekking heeft op seksuele misdrijven/minderjarigen en 11% op fysiek geweld.
  • Augmentatie: Om de taalverdeling te balanceren (oorspronkelijk 71 Duits, 29 Frans), werden synthetische vertalingen gegenereerd met behulp van een model met zwakke veiligheidsmaatregelen (Grok-4.3) om een parallel corpus te creëren in Frans, Duits, Italiaans en Engels.
  • Promptgeneratie: Vanuit 400 bronpassages werden 13 prompt-varianten gegenereerd door de taak (vertaling versus samenvatting) en de taalslots te variëren: bron-taal ($S$), doel-taal ($T$) en instructie-taal ($P$). Dit leverde 5.200 unieke prompts op (15.600 totale queries met 3 herhalingen elk).

• Evaluatiemetrieken:

  • Weigering (Refusal): Weigerde het model de taak om ethische of inhoudelijke redenen?
  • Disclaimer: Voegde het model een waarschuwing of kanttekening toe ondanks het voltooien van de taak?
  • Beoordeling (Judging): Drie verschillende LLM-judges (MiMo-V2-Flash, Mistral-Small-3.2, DeepSeek-V4-Flash) scoren de outputs via meerderheidsstemming. De overeenstemming tussen de judges was hoog voor weigering ($\kappa \approx 0.98$) en substantieel voor disclaimers ($\kappa \approx 0.75\text{--}0.80$).

Belangrijkste Resultaten
De studie evalueerde vijf open-weight modellen (Llama 3.3, GPT-OSS, Apertus, Qwen3, Gemma 4) en onthulde dat over-alignment veelzijdig en modelspecifiek is:

1. Voorbij Weigering: Weigeringspercentages alleen zijn onvoldoende. Terwijl Qwen3 0% weigering en disclaimer vertoonde, weigerden Gemma 4 en Apertus zelden, maar voegden disclaimers toe aan respectievelijk tot 26,5% en 20,4% van de outputs.
2. Taalasymmetrie: Veiligheidstriggers zijn sterk afhankelijk van de uitvoer-taal. Zo piekte het weigeringspercentage van Llama wanneer er Frans werd geproduceerd (13,6%) vergeleken met Duits (1,9%), terwijl het disclaimer-percentage van Gemma piekte in het Engels (41,2%). Dit suggereert dat veiligheidstuning ongelijkmatig wordt toegepast over talen.
3. Prompt-Taal Concordantie: Het instrueren van een model in de taal van de gevoelige brontekst (concordant) verhoogde de weigeringspercentages aanzienlijk vergeleken met het gebruik van de doel-taal (discordant). Voor Llama verhoogden concordante instructies de kans op weigering met 1,6x; voor GPT-OSS met 2,6x.
4. Stochastiek: Over-alignment is niet deterministisch. Variantie-decompositie toonde aan dat ~27% van de variatie in weigerings-/disclaimergedrag te wijten is aan sampling-stochastiek, wat betekent dat dezelfde prompt verschillende resultaten kan opleveren bij verschillende runs.

Mitigatiestrategieën
Het paper onderzoekt twee benaderingen om over-alignment in het Llama 3.3-70B model te mitigeren:

1. Systeemprompting:

   • Een korte systeemprompt die de gebruiker identificeert als een rechtbankassistent, verminderde de weigeringspercentages met de helft.
   • Een "autorisatie"-prompt (die expliciet gevoelige inhoud toestaat) onderdrukte disclaimers effectiever dan weigeringen.
   • Het afstemmen van de systeemprompt-taal op de verzoek-taal verminderde weigeringen verder.

2. Ablatering (Abliteration):

   • De auteurs pasten ablatering toe (het verwijderen van weigeringsrichtingen uit modelactivaties via orthogonalisatie) met behulp van de Heretic-implementatie.
   • Effectiviteit: Deze methode elimineerde weigeringen volledig (van 6,8% naar 0%) en verminderde disclaimers (van 7,9% naar 5,1%).
   • Kosten: Hoewel de taalkwaliteit (getrouwheid) bijna neutraal bleef (daling van <0,1 op een 5-puntsschaal), verhoogde de interventie de kwetsbaarheid voor schadelijke verzoeken aanzienlijk. Op de HarmBench steeg de succesratio van aanvallen van 14,5% naar 55,5%, en de TruthfulQA-scores daalden met 7,1 punten.

Significantie en Claims
Het paper beweert dat over-alignment in juridische contexten een onderscheidend, meetbaar fenomeen is dat niet kan worden opgelost door standaard Engelstalige weigeringsbenchmarks. De belangrijkste bijdragen zijn:

• TF-RefusalBench: Een benchmark met beperkte toegang, ontworpen om het gedrag van modellen te diagnosticeren bij legitiem, gevoelig juridisch werk over meerdere talen heen.
• Diagnostisch Inzicht: Het aantonen dat "zachte" over-alignment (disclaimers) even schadelijk is voor juridische workflows als harde weigeringen en zeer gevoelig is voor taalcombinaties.
• Praktische Mitigatie: Het aantonen dat hoewel systeemprompting enige verlichting biedt, ablatering de meest effectieve methode is om weigeringen te elimineren in on-premises implementaties, mits de instelling de afruil van verminderde algemene veiligheidscapaciteiten accepteert.

De auteurs benadrukken dat hun aanpak specifiek is voor de institutionele context van het Zwitserse Federale Hooggerechtshof, waar de afweging tussen veiligheid en het vermogen om legitieme strafrechtelijke documenten te verwerken wordt beheerd binnen een gecontroleerde, on-premises omgeving. Zij beweren niet dat deze methoden universeel veilig zijn voor publieke inzet, maar stellen dat ze noodzakelijk zijn voor de specifieke, hoogwaardige bruikbaarheid van LLM's in het strafrecht.