Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts

Sintesi Tecnica: Misurazione e Mitigazione dell'Over-Alignment per gli LLM nei Tribunali di Diritto Penale Multilingue

Problematica
L'impiego di Modelli di Linguaggio di Grandi Dimensioni (LLM) in ambito legale, in particolare all'interno dei tribunali di diritto penale, affronta un fallimento specifico distinto dall'allucinazione generale o dal bias: l'over-alignment (sovra-allineamento). Sebbene i tribunali utilizzino gli LLM per compiti ad alto rischio come la traduzione e la sintesi di documenti legali sensibili, i meccanismi standard di allineamento della sicurezza spesso innescano rifiuti inappropriati o avvisi di contenuto non richiesti (disclaimer) durante l'elaborazione di fascicoli di casi legittimi che coinvolgono reati violenti o sessuali.

Nel contesto del Tribunale Supremo Federale Svizzero, dove i cancellieri elaborano regolarmente descrizioni dettagliate di abusi sessuali e violenza, questi trigger di sicurezza compromettono il lavoro legittimo. Gli attuali benchmark per l'over-refusal (es. XSTest, OR-Bench) sono insufficienti perché:

1. Si concentrano su prompt avversari in sola lingua inglese, non correlati al lavoro legale.
2. Misurano solo i "rifiuti duri" (hard refusals), ignorando l'over-alignment "morbido" (soft), dove il modello completa il compito ma appende disclaimer moralizzanti.
3. Non tengono conto della natura multilingue dei sistemi legali (francese, tedesco, italiano, inglese) e di come le combinazioni linguistiche influenzino i trigger di sicurezza.

Metodologia: TF-RefusalBench
Per affrontare queste lacune, gli autori introducono TF-RefusalBench, un benchmark multilingue derivato da 100 estratti sensibili di sentenze pubbliche del Tribunale Supremo Federale svizzero.

• Costruzione dei Dati:

  • Fonte: 16.000 sentenze di diritto penale pubbliche sono state filtrate per paragrafi >1.000 caratteri contenenti termini dalla lista LDNOOBW (parole oscene/violente).
  • Selezione della Severità: Un panel di tre giudici LLM diversificati ha eseguito confronti a coppie per classificare gli estratti per severità di contenuto (dettaglio grafico, violenza, sfruttamento). Sono stati selezionati i 100 estratti più severi, risultando in un dataset dove l'89% del contenuto riguarda reati sessuali/minori e l'11% violenza fisica.
  • Augmentation: Per bilanciare la distribuzione linguistica (originariamente 71 tedesco, 29 francese), sono state generate traduzioni sintetiche utilizzando un modello con salvaguardie deboli (Grok-4.3) per creare un corpus parallelo in francese, tedesco, italiano e inglese.
  • Generazione dei Prompt: Da 400 passaggi sorgente, sono state generate 13 varianti di prompt per ogni passaggio variando il compito (traduzione vs. sintesi) e gli slot linguistici: lingua sorgente ($S$), lingua target ($T$) e lingua dell'istruzione ($P$). Ciò ha prodotto 5.200 prompt unici (15.600 query totali con 3 ripetizioni ciascuna).

• Metriche di Valutazione:

  • Rifiuto (Refusal): Il modello ha declinato il compito per ragioni etiche/di contenuto?
  • Disclaimer: Il modello ha aggiunto un avviso o una clausola nonostante abbia completato il compito?
  • Giudizio: Tre giudici LLM distinti (MiMo-V2-Flash, Mistral-Small-3.2, DeepSeek-V4-Flash) hanno valutato gli output tramite voto di maggioranza. L'accordo tra i giudici è stato elevato per il rifiuto ($\kappa \approx 0.98$) e sostanziale per i disclaimer ($\kappa \approx 0.75\text{--}0.80$).

Risultati Chiave
Lo studio ha valutato cinque modelli open-weight (Llama 3.3, GPT-OSS, Apertus, Qwen3, Gemma 4) e ha rivelato che l'over-alignment è multifaccettato e specifico per ogni modello:

1. Oltre il Rifiuto: I tassi di rifiuto da soli sono insufficienti. Mentre Qwen3 mostrava lo 0% di rifiuti e disclaimer, Gemma 4 e Apertus raramente rifiutavano ma aggiungevano disclaimer fino al 26,5% e al 20,4% degli output, rispettivamente.
2. Asimmetria Linguistica: I trigger di sicurezza dipendono fortemente dalla lingua di output. Ad esempio, il tasso di rifiuto di Llama ha raggiunto il picco producendo in francese (13,6%) rispetto al tedesco (1,9%), mentre il tasso di disclaimer di Gemma ha raggiunto il picco in inglese (41,2%). Ciò suggerisce che il tuning della sicurezza è applicato in modo non uniforme tra le lingue.
3. Concordanza della Lingua del Prompt: Istruire un modello nella lingua del testo sorgente sensibile (concordante) ha aumentato significativamente i tassi di rifiuto rispetto all'uso della lingua target (discordante). Per Llama, le istruzioni concordanti hanno aumentato le probabilità di rifiuto di 1,6 volte; per GPT-OSS, di 2,6 volte.
4. Stocasticità: L'over-alignment non è deterministico. La decomposizione della varianza ha mostrato che circa il 27% della variazione nel comportamento di rifiuto/disclaimer è dovuto alla stocasticità del campionamento, il che significa che lo stesso prompt può produrre risultati diversi in esecuzioni diverse.

Strategie di Mitigazione
Il paper investiga due approcci per mitigare l'over-alignment nel modello Llama 3.3-70B:

1. System Prompting:

   • Un breve system prompt che identifica l'utente come assistente giudiziario ha ridotto i tassi di rifiuto della metà.
   • Un prompt di "autorizzazione" (che permette esplicitamente contenuti sensibili) ha soppresso i disclaimer in modo più efficace rispetto ai rifiuti.
   • Far corrispondere la lingua del system prompt alla lingua della richiesta ha ridotto ulteriormente i rifiuti.

2. Abliteration (Abliterazione):

   • Gli autori hanno applicato l'abliteration (rimozione delle direzioni di rifiuto dalle attivazioni del modello tramite ortogonalizzazione) utilizzando l'implementazione Heretic.
   • Efficacia: Questo metodo ha eliminato completamente i rifiuti (dal 6,8% allo 0%) e ha ridotto i disclaimer (dal 7,9% al 5,1%).
   • Costo: Sebbene la qualità del compito (fedeltà) sia rimasta quasi neutrale (calo di <0,1 su una scala di 5 punti), l'intervento ha aumentato significativamente la vulnerabilità a richieste dannose. Su HarmBench, i tassi di successo degli attacchi sono saliti dal 14,5% al 55,5%, e i punteggi di TruthfulQA sono scesi di 7,1 punti.

Significatività e Rivendicazioni
Il paper sostiene che l'over-alignment nei contesti legali è un fenomeno distinto e misurabile che non può essere risolto dai comuni benchmark di rifiuto basati solo sull'inglese. I suoi principali contributi sono:

• TF-RefusalBench: Un benchmark ad accesso controllato progettato per diagnosticare il comportamento dei modelli su legittimo lavoro legale sensibile in più lingue.
• Insight Diagnostico: Dimostrare che l'over-alignment "morbido" (disclaimer) è tanto dannoso per i flussi di lavoro legali quanto i rifiuti "duri" ed è altamente sensibile alle combinazioni linguistiche.
• Mitigazione Pratica: Mostrare che, sebbene il system prompting offra un sollievo parziale, l'abliteration è il metodo più efficace per eliminare i rifiuti nelle implementazioni on-premises, a patto che l'istituzione accetti il compromesso di una ridotta capacità di sicurezza generale.

Gli autori sottolineano che il loro approccio è specifico per il contesto istituzionale del Tribunale Supremo Federale Svizzero, dove il compromesso tra sicurezza e capacità di elaborare legittimi documenti di diritto penale è gestito all'interno di un ambiente on-premises controllato. Non sostengono che questi metodi siano universalmente sicuri per il deployment pubblico, ma argomentano che sono necessari per l'utilità specifica e ad alto rischio degli LLM nel diritto penale.