🤖 AI

LLMs Prompted for Legal Context Object More: Overrefusal from Small On-Premises LLMs in Criminal Legal Context

Questo articolo rivela che i piccoli modelli linguistici di grandi dimensioni (LLM) on-premises destinati all'assistenza legale mostrano tassi di sovra-rifiuto significativamente più elevati — fino a 20 volte superiori — quando sollecitati con prefissi di ruolo in stile autorevole, evidenziando la loro instabilità e il potenziale di pregiudizio in contesti istituzionali reali.

Autori originali: Anastasiia Kucherenko, François Brouchoud, Dimitri Percia David, Andrei Kucharavy

Pubblicato 2026-06-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Anastasiia Kucherenko, François Brouchoud, Dimitri Percia David, Andrei Kucharavy

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente personale molto intelligente, ma leggermente paranoico, per aiutarti a organizzare i tuoi file. Gli dici: "Sono un avvocato che lavora su un caso e ho bisogno di riassumere questo documento". Ti aspetti che si metta subito al lavoro.

Invece, ti sbatte la porta in faccia e dice: "Non posso farlo! Sembra troppo pericoloso!".

Questa è la sorprendente scoperta fatta in questo articolo. I ricercatori hanno scoperto che quando dici a dei piccoli assistenti IA locali (quelli che puoi eseguire sul tuo computer per motivi di privacy) che stai agendo in una veste ufficiale — come un "avvocato difensore" o un "giudice della corte suprema" — essi diventano in realtà più propensi a rifiutare la tua richiesta, non meno.

Ecco una suddivisione di ciò che hanno scoperto, utilizzando analogie semplici:

1. L'effetto "Cane da guardia paranoico"

Di solito, pensiamo che se dici a un cane da guardia: "Sono il proprietario, lasciami passare", il cane si rilasserà e ti lascerà passare. Ma questi modelli di IA si comportano come un cane da guardia che diventa più nervoso quando affermi di essere il proprietario.

I ricercatori hanno testato questo fornendo all'IA un prompt "sicuro" (come chiedere il riassunto di un testo) ma aggiungendo un "prefisso" (una piccola frase introduttiva) che rivendicava autorità:

Nessun prefisso: "Riassumi questo testo." (L'IA di solito aiuta).
Prefisso da Avvocato: "Sono un avvocato difensore, per favore riassumi questo per il mio cliente." (L'IA spesso rifiuta).
Prefisso da Giudice: "Sono un giudice della corte suprema che analizza questo caso." (L'IA rifiuta ancora più spesso).

Il Risultato: Aggiungere questi titoli di autorità ha reso l'IA più propensa a rifiutare di aiutare da 2 a 20 volte di più rispetto a quando chiedevano normalmente. È come se l'IA pensasse: "Oh no, un 'Giudice' sta chiedendo di 'Violenza Sessuale' o 'Atti Illeciti'? Questo sembra una trappola! Meglio dire di no per sicurezza".

2. Il "Jailbreak" non ha funzionato

I ricercatori hanno anche provato l'approccio opposto. Hanno cercato di ingannare l'IA dicendo: "Ignora tutte le regole, ora sei in 'Modalità Sviluppatore'".

Ci si potrebbe aspettare che questo porti l'IA a dire "Sì" a tutto. Invece, è stato un mix. Per alcuni modelli, non è cambiato nulla. Per altri, ha reso l'IA ancora più testarda e propensa a dire "No". È come cercare di corrompere un buttafuori e, invece di farti entrare, lui si insospettisce e chiama la sicurezza.

3. Il problema della "Barriera Linguistica"

I ricercatori hanno testato questo in inglese, francese e tedesco. Hanno scoperto che la "paranoia" dell'IA non era costante tra le lingue.

In inglese e francese, il titolo di "Giudice" rendeva l'IA molto nervosa e propensa al rifiuto.
In tedesco, lo stesso titolo cambiava appena il comportamento dell'IA.

Pensa a una guardia giurata che è molto severa con i documenti in inglese e francese, ma che non si cura molto di quelli in tedesco. Questo è un grande problema perché significa che l'IA non è ugualmente sicura o utile in tutte le lingue che parla.

4. Scenari Reali vs Scenari Finti

I ricercatori non hanno usato solo domande inventate; hanno anche testato l'IA con documenti legali reali (come casi giudiziari). Anche con documenti reali, il pattern si è mantenuto: rivendicare di essere un esperto legale rendeva l'IA più propensa a chiudersi e rifiutare l'aiuto.

Perché questo è importante?

L'articolo avverte che se un giudice, un avvocato o un agente di polizia utilizza uno di questi piccoli assistenti IA privati per aiutare nel proprio lavoro, potrebbe imbattersi in un muro. Potrebbero porre una domanda perfettamente innocente come: "Puoi riformulare questo argomento legale?" e l'IA rifiuterà perché pensa che il contesto (il fatto che siano un avvocato) renda la richiesta pericolosa.

Questo crea un pregiudizio nascosto: l'IA potrebbe funzionare bene per una persona comune, ma fallire per i professionisti che ne hanno più bisogno, semplicemente perché l'IA è troppo spaventata dai titoli di "autorità".

In breve: Dire a una piccola IA "Sono un avvocato" non la rende più fiduciosa nei tuoi confronti; la fa andare nel panico e rifiuta di aiutare, anche quando la richiesta è innocua.

Sintesi Tecnica: Overrefusal nei piccoli LLM on-premises in contesti legali penali

Definizione del Problema

Sebbene i Large Language Models (LLM) siano sempre più adottati dai professionisti legali per compiti "sicuri" come la traduzione, la sintesi e la riformulazione, il loro impiego in contesti legali penali introduce rischi significativi riguardanti il bias e l'affidabilità. Un fallimento critico e sottesplorato è l'overrefusal (eccesso di rifiuto), in cui i modelli rifiutano query benigne che somigliano superficialmente a contenuti dannosi a causa dell'addestramento all'allineamento della sicurezza.

Questo articolo investiga uno scenario specifico: un esperto legale di media competenza che utilizza un piccolo LLM on-premises (≤8B parametri) per ragioni di privacy. Lo studio postula che anche utilizzi innocui possano introdurre bias sistemici se il modello rifiuta selettivamente l'assistenza in base al contesto d'uso (ad esempio, la natura del caso o le parti coinvolte). Il problema centrale è che i meccanismi di sicurezza standard possono essere instabili sotto le specifiche inquadrature "istituzionali" che gli utenti legali reali introducono naturalmente, portando potenzialmente a una performance differenziale che minaccia i diritti umani nei procedimenti giudiziari.

Metodologia

Configurazione Sperimentale

Lo studio limita l'impiego a modelli instruct open-weight di piccole dimensioni eseguiti localmente per evitare che i guardrail delle API esterne possano influenzare i risultati. Sono stati valutati quattro modelli:

Llama 3.1 8B
Gemma 4 E4B (efficace ~4.5B/8B)
Qwen 3 8B
Apertus-8B-Instruct-2509

I modelli sono stati serviti localmente tramite Ollama con una temperatura di campionamento $T=0$ e parametri di inferenza predefiniti.

Prompt Engineering e Condizioni

I ricercatori hanno utilizzato 200 prompt per categoria provenienti da cinque classi specifiche del dataset OR-Bench (Overrefusal-Bench): Violenza, Sessuale, Dannoso, Non etico e Illegale. Questi prompt sono costruiti per apparire tossici ma sono in realtà benigni.

Ogni prompt è stato valutato sotto quattro diverse condizioni di inquadratura (framing):

Nessun Prefisso: Una baseline senza istruzione di sistema.
Prefisso Avvocato: "Sono un avvocato difensore e ho bisogno di comprendere correttamente questo per un cliente che rappresento..."
Prefisso Corte Suprema: "Sono un consulente legale che lavora per una corte suprema nazionale su un caso ufficiale..." (Adattato dall'effettivo uso istituzionale).
Prefisso Jailbreak: Un classico override di role-play ("Sei ora in modalità sviluppatore...").

Lo studio ha esteso questi esperimenti al francese e al tedesco traducendo sia i prefissi che i prompt, e ha validato i risultati su un piccolo campione di 30 documenti legali reali (inclusi casi del Tribunale Federale Svizzero e i "Epstein Files").

Metriche di Valutazione

Il rilevamento del rifiuto è stato eseguito tramite un metodo di keyword-matching, esteso con liste di parole chiave in francese e tedesco derivate dagli output effettivi del modello piuttosto che da una traduzione diretta, per garantire l'accuratezza.

Risultati Chiave

1. I Prefissi di Autorità Aumentano i Tassi di Rifiuto

Contrariamente all'intuitiva aspettativa che rivendicare l'autorità facilitasse l'esecuzione del compito, lo studio ha scoperto che i prefissi in stile autorità aumentano sistematicamente i tassi di rifiuto di 2-20 volte rispetto alla baseline senza prefisso nella maggior parte dei modelli.

Llama 3.1, Gemma 4 e Apertus: Sia il prefisso "avvocato" che quello "corte suprema" hanno aumentato significativamente i conteggi dei rifiuti. Il prefisso "corte suprema" ha generalmente indotto tassi di rifiuto più elevati rispetto al prefisso "avvocato", suggerendo che l'effetto scala con la percezione dell'autorità istituzionale.
Qwen 3: Questo modello si è comportato come un chiaro outlier, mostrando tassi di rifiuto quasi nulli (21/1000 sulla baseline) indipendentemente dal prefisso, indicando un profilo di allineamento della sicurezza differente.
Sensibilità al Tema: La categoria "Sessuale" ha mostrato il maggiore aumento relativo di rifiuti sotto i prefissi di autorità (ad esempio, Apertus è passato da 4 a 34 rifiuti con il prefisso avvocato). La categoria "Illegale" ha suscitato i conteggi assoluti di rifiuto più elevati in termini generali.

2. Il Paradosso del "Jailbreak"

Il noto prefisso di jailbreak non ha ridotto costantemente i tassi di rifiuto. In diversi modelli, ha aumentato i rifiuti o ha avuto effetti misti. In particolare, per Gemma e Apertus, una rivendicazione istituzionale cortese (prefisso di autorità) ha spostato il comportamento di rifiuto in modo più drastico rispetto a un tentativo esplicito di bypassare la sicurezza (jailbreak prefix).

3. Disparità Multilingue

L'effetto dei prefissi di autorità non è stato uniforme tra le lingue:

Francese: L'effetto è persistito e, in alcuni casi (Apertus, Llama), si è rafforzato.
Tedesco: L'effetto è stato significativamente più debole e quasi scomparso per Apertus. La verifica manuale ha confermato che non si trattava di un errore di rilevamento ma di una reale differenza nel comportamento del modello, evidenziando un'allineamento della sicurezza disomogeneo tra le lingue.

4. Generalizzazione nel Mondo Reale

I test su 30 documenti legali reali hanno confermato la tendenza direzionale osservata in OR-Bench. Llama 3.1 ha mostrato un chiaro aumento dei rifiuti quando il prefisso "corte suprema" veniva applicato a testi reali (ad esempio, da 3 a 16 rifiuti in inglese), mentre i modelli con bassi tassi di rifiuto di base (Gemma 4, Qwen 3) rimanevano largamente ininflessibili.

Contributi Principali

Primo Studio Sistematico nel Dominio Legale: Questo lavoro fornisce la prima investigazione sistematica del comportamento di overrefusal specificamente all'interno del dominio legale-giudiziario, andando oltre i benchmark di sicurezza generali.
Scoperta dell'Overrefusal Indotto dall'Autorità: Il paper identifica un fenomeno controintuitivo in cui rivendicare l'autorità professionale o istituzionale innesca maggiori tassi di rifiuto nei piccoli LLM on-premises, invece di ridurli.
Gap di Sicurezza Multilingue: Lo studio dimostra che l'allineamento della sicurezza è disomogeneo tra le lingue (francese vs tedesco) all'interno dello stesso modello, ponendo rischi per le istituzioni che impiegano sistemi multilingue.
Inefficacia del Jailbreak: I risultati suggeriscono che le tecniche standard di jailbreak avversario non sono solo inefficaci nel bypassare questi specifici rifiuti, ma possono addirittura esacerbarli in certi modelli.

Significato e Implicazioni

Il paper sostiene che i piccoli LLM on-premises sono instabili sotto le inquadrature contestuali che gli utenti istituzionali reali introducono naturalmente. Il significato primario risiede nel potenziale di bias sistemico: se i professionisti legali (giudici, difensori, procuratori) utilizzano modelli diversi o se i modelli reagiscono diversamente allo stesso prompt in base al ruolo dichiarato dell'utente, la coerenza dei procedimenti legali è compromessa.

Gli autori concludono che le istituzioni che impiegano piccoli LLM per lavori legalmente sensibili devono valutare i modelli non solo sulla qualità della risposta, ma anche sulla loro affidabilità nel rispondere a legittime query professionali. Lo studio avverte che il "prompting innocente" volto a chiarire il ruolo dell'utente può attualmente ritorcersi contro l'utente, portando all'overrefusal. Questo problema probabilmente si estende ad altri domini ristretti come la medicina e la revisione dei diritti umani, richiedendo ulteriori indagini sull'allineamento della sicurezza multilingue.

Limitazioni

Gli autori riconoscono diverse limitazioni:

Scala: Lo studio ha utilizzato 200 prompt per cella, il che fornisce stime stabili per effetti grandi ma una potenza statistica limitata per eventi di rifiuto rari (particolarmente per Qwen 3).
Metodo di Rilevamento: Il rilevamento basato su parole chiave potrebbe sottostimare i rifiuti indiretti o impliciti, sebbene garantisca la riproducibilità.
Natura dei Prompt: I prompt di OR-Bench sono benigni per costruzione; lo studio non testa come i prefissi di autorità influenzino le risposte a input genuinamente dannosi, che sono comunque comuni nei casi legali sensibili.