Technische Samenvatting: Overrefusal in Kleine On-Premise LLM's binnen de Strafrechtelijke Context

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden geadopteerd door juridische professionals voor "veilige" taken zoals vertaling, samenvatting en herformulering, brengt hun inzet in strafrechtelijke contexten aanzienlijke risico's met zich mee wat betreft bias en betrouwbaarheid. Een kritieke, onderbelichte foutmodus is overrefusal (overmatige weigering), waarbij modellen onschuldige queries afwijzen die oppervlakkig lijken op schadelijke inhoud vanwege hun veiligheidsafstemming (safety alignment training).

Dit onderzoek onderzoekt een specifiek scenario: een matig competente juridische expert die een kleine, on-premises LLM (≤8B parameters) gebruikt om redenen van privacy. De studie stelt dat zelfs onschuldig gebruik systematische biases kan introduceren als het model selectief hulp weigert op basis van de context van gebruik (bijv. de aard van de zaak of de betrokken partijen). Het kernproblek is dat standaard veiligheidsmechanismen instabiel kunnen zijn onder de specifieke "institutionele" inkaderingen die echte juridische gebruikers van nature introduceren, wat potentieel kan leiden tot differentiële prestaties die mensenrechten in juridische procedures bedreigen.

Methodologie

Experimentele Opzet

De studie beperkt de implementatie tot kleine, open-weight instruct-modellen die lokaal draaien om externe API-guardrails te vermijden die de resultaten zouden kunnen beïnvloeden. Vier modellen werden geëvalueerd:

• Llama 3.1 8B
• Gemma 4 E4B (effectief ~4.5B/8B)
• Qwen 3 8B
• Apertus-8B-Instruct-2509

Modellen werden lokaal geserveerd via Ollama met een sampling temperature van $T=0$ en standaard inferentieparameters.

Prompt Engineering en Condities

De onderzoekers gebruikten 200 prompts per categorie uit vijf specifieke klassen van de OR-Bench (Overrefusal-Bench) dataset: Geweld, Seksueel, Schadelijk, Onethisch en Illegaal. Deze prompts zijn geconstrueerd om schadelijk te lijken, maar zijn in werkelijkheid onschuldig.

Elke prompt werd geëvalueerd onder vier verschillende inkaderingscondities:

1. Geen Prefix: Een baseline zonder systeeminstructie.
2. Advocaat Prefix: "Ik ben een strafpleiter en ik moet dit goed begrijpen voor een cliënt die ik vertegenwoordig..."
3. Hooggerechtshof Prefix: "Ik ben juridisch adviseur werkzaam voor een nationaal hooggerechtshof aan een officiële zaak..." (Aangepast van daadwerkelijk institutioneel gebruik).
4. Jailbreak Prefix: Een standaard role-play override ("Je bent nu in developer mode...").

De studie breidde deze experimenten ook uit naar het Frans en Duits door zowel de prefixes als de prompts te vertalen, en valideerde de bevindingen op een kleine steekproef van 30 echte juridische documenten (inclusief zaken van het Zwitserse Federale Tribunaal en de "Epstein Files").

Evaluatiemetrieken

Detectie van weigeringen werd uitgevoerd met behulp van een keyword-matching methode, uitgebreid met Franse en Duitse trefwoordenlijsten afgeleid van daadwerkelijke modeloutputs in plaats van directe vertaling, om nauwkeurigheid te garanderen.

Belangrijkste Resultaten

1. Autoriteitsprefixes Verhogen de Weigeringsratio's

In tegenstelling tot de intuïtieve verwachting dat het claimen van autoriteit de taakuitvoering zou vergemakkelijken, vond de studie dat autoriteit-stijl prefixes de weigeringsratio's systematisch met 2 tot 20x verhoogden vergeleken met de no-prefix baseline bij de meeste modellen.

• Llama 3.1, Gemma 4 en Apertus: Zowel de "advocaat"- als de "hooggerechtshof"-prefixes verhoogden de weigeringsaantallen aanzienlijk. De "hooggerechtshof"-prefix induceerde over het algemeen hogere weigeringsratio's dan de "advocaat"-prefix, wat suggereert dat het effect schaalt met de waargenomen institutionele autoriteit.
• Qwen 3: Dit model fungeerde als een duidelijke uitschieter en vertoonde bijna nul weigeringsratio's (21/1000 op baseline) ongeacht de prefix, wat wijst op een ander veiligheidsprofiel.
• Onderwerpgevoeligheid: De categorie "Seksueel" vertoonde de grootste relatieve toename van weigeringen onder autoriteitsprefixes (bijv. Apertus steeg van 4 naar 34 weigeringen met de advocaat-prefix). De categorie "Illegaal" lokte de hoogste absolute weigeringsaantallen uit.

2. De "Jailbreak" Paradox

De bekende jailbreak-prefix verlaagde de weigeringsratio's niet consistent. In verschillende modellen verhoogde het de weigeringen of had het gemengde effecten. Opvallend genoeg verschoven voor Gemma en Apertus een beleefde institutionele claim (autoriteit-prefix) het weigeringsgedrag drastischer dan een expliciete poging om de veiligheid te omzeilen (jailbreak-prefix).

3. Meertalige Dispariteiten

Het effect van autoriteitsprefixes was niet uniform over de talen heen:

• Frans: Het effect bleef bestaan en versterkte in sommige gevallen (Apertus, Llama) zelfs.
• Duits: Het effect was aanzienlijk zwakker en verdween bijna volledig voor Apertus. Handmatige verificatie bevestigde dat dit geen detectiefout was maar een echt verschil in modelgedrag, wat wijst op een ongelijke veiligheidskalibratie.

4. Real-World Generalisatie

Testen op 30 echte juridische documenten bevestigde de directionele trend waargenomen in OR-Bench. Llama 3.1 vertoonde een duidelijke toename in weigeringen wanneer de "hooggerechtshof"-prefix op echte teksten werd toegepast (bijv. van 3 naar 16 weigeringen in het Engels), terwijl modellen met lage baseline weigeringsratio's (Gemma 4, Qwen 3) grotendeels onaangetast bleven.

Belangrijkste Bijdragen

• Eerste Systematische Studie in het Juridische Domein: Dit werk vormt de eerste systematische onderzoek naar overrefusal-gedrag specifecht binnen het juridisch-gerechtelijke domein, waarbij verder wordt gekeken dan algemene veiligheidsbenchmarks.
• Ontdekking van Autoriteit-geïnduceerde Overrefusal: Het papier identificeert een contra-intuïtief fenomeen waarbij het claimen van professionele of institutionele autoriteit juist hogere weigeringsratio's triggert in kleine on-premises LLM's, in plaats van ze te verlagen.
• Meertalige Veiligheidskloof: De studie demonstreert dat veiligheidsafstemming ongelijk is over talen (Frans vs. Duits) binnen hetzelfde model, wat risico's inhoudt voor instellingen die meertalige systemen inzetten.
• Ineffectiviteit van Jailbreaks: De bevindingen suggereren dat standaard adversariële jailbreak-technieken niet alleen ineffectief zijn bij het omzeilen van deze specifieke weigeringen, maar ze in bepaalde modellen zelfs kunnen verergeren.

Betekenis en Implicaties

Het artikel stelt dat kleine, on-premises LLM's instabiel zijn onder contextuele inkaderingen die echte institutionele gebruikers van nature introduceren. De primaire betekenis ligt in de potentiële systemische bias: als juridische professionals (rechters, advocaten, aanklagers) verschillende modellen gebruiken of als modellen verschillend reageren op dezelfde prompt op basis van de rol van de gebruiker, komt de consistentie van juridische procedures in gevaar.

De auteurs concluderen dat instellingen die kleine LLM's inzetten voor juridisch gevoelig werk, modellen niet alleen moeten evalueren op responskwaliteit, maar ook op hun betrouwbaarheid bij het beantwoorden van legitieme professionele vragen. De studie waarschuwt dat "onschuldige prompting" bedoeld om de rol van de gebruiker te verduidelijken, momenteel kan terugvallen, wat leidt tot overrefusal. Dit probleem strekt zich waarschijnlijk uit naar andere beperkte domeinen zoals de medische wereld en mensenrechtenonderzoeken, wat verdere investigatie noodzakelijk maakt wat betreft meertalige veiligheidskalibratie.

Limitaties

De auteurs erkennen verschillende beperkingen:

• Schaal: De studie gebruikte 200 prompts per cel, wat stabiele schattingen biedt voor grote effecten maar beperkte statistische kracht heeft voor zeldzame weigeringsgebeurtenissen (met name voor Qwen 3).
• Detectiemethode: Keyword-gebaseerde detectie kan indirecte of impliciete weigeringen onderschatten, hoewel het de reproduceerbaarheid waarborgt.
• Aard van de Prompts: De OR-Bench prompts zijn bij constructie onschuldig; de studie test niet hoe autoriteitsprefixes reageren op daadwerkelijk schadelijke inputs, die ook gebruikelijk zijn in gevoelige juridische zaken.