💬 NLP

Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

Questo articolo propone LANCE, un metodo che impiega l'inferenza variazionale per l'arricchimento delle etichette al fine di prevedere distribuzioni di rifiuto fini, consentendo così ai Modelli Linguistici di grandi dimensioni di generare risposte sicure e naturali che evitano rifiuti rigidi mantenendo al contempo elevati standard di sicurezza.

Autori originali: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Pubblicato 2026-05-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente e disponibile. Gli poni una domanda che è quasi sicura, ma che forse tocca un argomento sensibile. Invece di darti una risposta utile accompagnata da un piccolo avvertimento, il robot va in panico e ripete ogni volta la stessa frase robotica: "Non posso soddisfare questa richiesta."

Questo è ciò che il documento definisce "rifiuto rigido". È come un buttafuori in un club che caccia tutti solo perché indossano un cappello leggermente rischioso, anche se sono lì semplicemente per ballare. Il robot ha così paura di commettere un errore che smette di essere utile.

Gli autori di questo documento hanno costruito un nuovo sistema chiamato LANCE per risolvere il problema. Ecco come funziona, utilizzando semplici analogie:

1. Il Problema: L'interruttore "Tutto o Nulla"

Attualmente, la maggior parte dei sistemi di sicurezza funziona come un semplice interruttore della luce: ACCESO (Sicuro) o SPENTO (Insicuro).

Se il sistema rileva una parola rischiosa, sposta l'interruttore su "SPENTO" e interrompe la conversazione.
Il problema è che molte domande non sono puramente "cattive". Potrebbero essere un misto di un'idea innocua e un dettaglio rischioso. Il sistema attuale non riesce a cogliere le sfumature, quindi blocca tutto.

2. La Soluzione: LANCE (L'interruttore "Dimmer" o la manopola del volume)

LANCE sostituisce quel semplice interruttore della luce con un dimmer o una manopola del volume. Invece di dire semplicemente "Cattivo" o "Buono", si chiede: "Quanto è rischioso questo, e esattamente quale parte è rischiosa?"

Miglioramento dell'Etichetta (Il Detective): LANCE utilizza uno strumento speciale (chiamato Inferenza Variazionale) per analizzare una domanda e scomporla. Invece di un'etichetta semplice "Sì/No", crea una mappa continua del rischio.
- Analogia: Immagina una previsione meteorologica. I vecchi sistemi dicevano solo "Pioggia" o "Nessuna Pioggia". LANCE dice: "C'è un 20% di probabilità di pioggerella leggera al nord, ma al sud c'è il sole". Sa dove si trova il pericolo e quanto è grande il pericolo.

3. Il Processo: L'"Editor Chirurgico"

Una volta che LANCE sa esattamente dove si trova il rischio e quanto è grande, non cancella semplicemente tutta la conversazione. Agisce come un editor chirurgico.

La Guida del Gradiente: LANCE fornisce al robot un insieme di istruzioni basate sulla mappa del rischio.
- Se il rischio è minimo (come una pioggerella leggera), dice al robot di apportare una piccola e gentile modifica alla frase.
- Se il rischio è enorme (come una tempesta), dice al robot di apportare un cambiamento più grande.
Il Risultato: Il robot riscrive la domanda dell'utente appena abbastanza per renderla sicura, ma mantiene il significato e il tono originali.
- Vecchio Metodo: L'utente chiede: "Come faccio a hackerare la rete Wi-Fi del mio vicino?" -> Robot: "Non posso soddisfare questa richiesta."
- Metodo LANCE: Il robot si rende conto che la parte relativa all'"hacking" è rischiosa, ma la parte relativa alla "rete Wi-Fi del vicino" è solo curiosità. Riscrive il pensiero così: "Non posso aiutarti con l'hacking, ma posso spiegare come funziona la sicurezza Wi-Fi in modo che tu possa proteggere la tua rete."

4. Il Risultato: Sicuro ma Naturale

Il documento ha testato questo sistema contro altri metodi di sicurezza e ha scoperto che LANCE è molto migliore in due cose:

Sicurezza: Ferma comunque le cose davvero pericolose (è sicuro quanto i robot rigidi).
Utilità e Naturalità: Impedisce al robot di sembrare un disco rotto. Le conversazioni risultano più umane perché il robot cerca di aiutare invece di dire semplicemente "No".

Riassunto

Pensa a LANCE come all'insegnamento a un robot di essere un diplomatico invece di un buttafuori.

Il Buttafuori (Vecchio Sistema) vede un cappello rischioso e dice: "Nessun ingresso!"
Il Diplomatico (LANCE) vede il cappello rischioso, dice: "Quel cappello è un po' rischioso per questa festa, ma scambiamolo con uno più sicuro così puoi comunque entrare e ballare."

Il documento afferma che questo metodo rende l'IA più sicura senza renderla fastidiosa o inutile, risolvendo il problema dei robot che hanno troppa paura per parlare con noi.

Riepilogo Tecnico: Oltre "Non posso soddisfare questa richiesta": Mitigare il Rifiuto Rigido nei LLM tramite Miglioramento dell'Etichetta

Enunciato del Problema
I Large Language Models (LLM) si affidano all'allineamento alla sicurezza per rifiutare richieste dannose mentre rispondono a quelle innocue. Tuttavia, i meccanismi attuali soffrono spesso di "rifiuto rigido", caratterizzato da due limitazioni principali: (1) Rifiuto eccessivamente difensivo, in cui query innocue, accademiche o educative riguardanti argomenti sensibili vengono bloccate indiscriminatamente; e (2) Modelli di risposta meccanici, in cui i modelli generano rifiuti generici e robotici (ad esempio, "Non posso soddisfare questa richiesta") indipendentemente dal livello di rischio specifico o dal contesto. Questa rigidità deriva dalle strategie di allineamento esistenti che si basano su etichette di sicurezza binarie a grana grossa o ricompense scalari discrete. Questi segnali mancano di interpretabilità e di guida direzionale, impedendo ai modelli di identificare con precisione i componenti rischiosi o di affinare gli elementi dannosi, compromettendo così la naturalezza e l'utilità delle interazioni uomo-intelligenza artificiale.

Metodologia: Il Framework LANCE
Il documento propone LANCE (Llm rejection via lAbel eNhanCemEnt), un framework progettato per sostituire i giudizi binari rigidi con risposte flessibili e naturali attraverso il Miglioramento dell'Etichetta. La metodologia è composta da due componenti fondamentali:

Miglioramento dell'Etichetta tramite Inferenza Variazionale:
Invece di utilizzare etichette binarie ($0 $o$ 1$), LANCE impiega una rete di inferenza variazionale per trasformare le etichette di sicurezza a grana grossa in una distribuzione di rischio continua e disaccoppiata ( $d \in [0, 1]^c$ ) attraverso molteplici categorie di rifiuto.
- Architettura: Il sistema utilizza un encoder condiviso basato su RoBERTa per estrarre le caratteristiche contestuali dalle coppie prompt-risposta. Queste caratteristiche sono proiettate in due spazi latenti paralleli: uno spazio semantico ( $z$ , modellato come una Gaussiana) e uno spazio di rischio ( $d$ , modellato come una distribuzione Beta).
- Disaccoppiamento: Assumendo l'indipendenza statistica tra il contenuto semantico e i vincoli di sicurezza nella distribuzione a posteriori, il modello impara a isolare l'intensità del rischio senza alterare il significato linguistico sottostante.
- Obiettivo di Addestramento: Il modello è addestrato per massimizzare il Limite Inferiore della Prova (ELBO), minimizzando le perdite di ricostruzione sia per le caratteristiche semantiche che per le etichette di rischio binarie, insieme alla regolarizzazione della divergenza KL per imporre le distribuzioni a priori. Un termine di regolarizzazione ausiliario garantisce che la distribuzione continua inferita rimanga allineata con la supervisione binaria di verità fondamentale.
Affinamento del Prompt Guidato dal Rischio a Grana Fina:
La distribuzione di rischio continua $d$ funge da segnale diagnostico per un modello di affinamento (ad esempio, Qwen2.5-1.5B).
- Soglia: Il sistema imposta soglie ( $\tau, \tau_{low}, \tau_{high}$ ) per categorizzare i livelli di rischio come "Minore", "Leggero" o "Critico".
- Gradienti Testuali: Sulla base della categoria e dell'intensità del rischio, il sistema genera gradienti testuali specifici (ad esempio, "Riscrivi questa sezione per renderla meno aggressiva") utilizzando un modello $T(y_j, d_j, e_j)$ .
- Ottimizzazione Iterativa: Utilizzando un approccio basato su TextGrad, il modello di affinamento riscrive iterativamente il prompt dell'utente. Neutralizza chirurgicamente gli elementi pericolosi preservando l'intento semantico originale, trasformando input non sicuri in query sicure, utili e naturali senza attivare un rifiuto netto.

Contributi Chiave

Framework Innovativo: Introduzione di LANCE, che sposta l'allineamento alla sicurezza da semplici giudizi binari a distribuzioni continue attraverso molteplici categorie di rifiuto.
Miglioramento dell'Etichetta: Un meccanismo per convertire le etichette di rifiuto binarie in distribuzioni dettagliate e a grana fine, consentendo l'identificazione di specifici componenti semantici pericolosi e la loro correzione precisa.
Modello di Affinamento: Implementazione di un processo di affinamento guidato da gradienti che utilizza queste distribuzioni per pulire solo gli elementi pericolosi, permettendo ai LLM di generare risposte sicure che evitano modelli robotici mantenendo al contempo la naturalezza conversazionale.

Risultati Sperimentali
Gli autori hanno valutato LANCE sul dataset BeaverTails (14 categorie non sicure) utilizzando tre backbones ablati (Llama3-8B, Llama3.1-8B, Qwen2.5-7B) e lo hanno confrontato con cinque baseline: Vanilla (non allineato), RepE (steering latente), SysPrompt (sicurezza in contesto), SelfRefine (critica iterativa) e modelli Official Instruct (allineati con RLHF).

Trade-off tra Sicurezza e Utilità: Mentre i modelli Official Instruct hanno ottenuto punteggi di sicurezza elevati (ad esempio, 9.55 su Llama-3), i loro punteggi di utilità sono crollati precipitosamente (3.41), indicando un grave rifiuto rigido. LANCE ha raggiunto una sicurezza comparabile (9.23) ripristinando significativamente l'utilità (7.89) e la naturalezza (8.69).
Confronto con Modelli Commerciali: Confrontato con modelli commerciali di fascia alta (GPT-4o, Gemini 2.5-Pro), LANCE ha dimostrato un'utilità superiore (7.88 contro 3.58 per GPT-4o) mantenendo una sicurezza competitiva (9.55), dimostrando che la scala non è l'unico prerequisito per un allineamento efficace.
Studi di Ablazione: La rimozione del ciclo di affinamento (LANCE-NR) ha portato a una scarsa sicurezza (4.57). La rimozione della guida a grana fine (LANCE-NF) ha migliorato la sicurezza ma non è riuscita a eguagliare l'utilità e la naturalezza del metodo completo, confermando che la distribuzione continua del rischio è essenziale per evitare rifiuti rigidi.

Significato e Affermazioni
Il documento afferma che il rifiuto rigido non è una conseguenza inevitabile dell'allineamento alla sicurezza. Disaccoppiando gli obiettivi di sicurezza dal rispetto generale delle istruzioni attraverso variabili latenti disaccoppiate, LANCE offre una soluzione robusta che ripristina l'utilità e la naturalezza del modello. Il framework dimostra che sostituire filtri di rifiuto a grana grossa con un processo di ottimizzazione iterativa preciso e guidato dal rischio permette ai modelli di navigare intelligentemente i confini di sicurezza, generando risposte sfumate che sono sia innocue che costruttive. Gli autori collocano questo lavoro come un passo verso l'alleviamento della "tassa di allineamento" che attualmente degrada le prestazioni dei modelli tarati sulla sicurezza.