Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

1. Il Problema: L'Eccesso di Rifiuto (Over-Refusal)

I modelli linguistici di grandi dimensioni (LLM) allineati alla sicurezza sono spesso soggetti al problema dell'over-refusal (eccessivo rifiuto). Questo fenomeno si verifica quando un modello rifiuta di rispondere a query innocue e innocenti perché contengono parole o strutture sintattiche che assomigliano superficialmente a contenuti dannosi o maliziosi.

• Esempio: Chiedere "Come si uccide un nemico in Call of Duty?" (un'azione di gioco) viene rifiutato perché la parola "uccidere" è associata a violenza reale.
• Limiti delle soluzioni esistenti:
  • I metodi basati sul training richiedono dati specifici scarsi e spesso mantengono un alto tasso di rifiuto.
  • I metodi basati sull'inferenza (es. vettori di steering) richiedono conoscenze architetturali del modello e pre-calcoli complessi.
  • Le tecniche di Contrastive Decoding esistenti (come SelfCD o SafeDecoding) adottano strategie fisse: o rimuovono sempre la distribuzione dei token di rifiuto (migliorando l'usabilità ma riducendo la sicurezza) o la aggiungono sempre (migliorando la sicurezza ma peggiorando l'over-refusal). Non riescono a bilanciare dinamicamente i due aspetti.

2. Metodologia: AdaCD (Adaptive Contrastive Decoding)

Gli autori propongono AdaCD, un approccio senza training (training-free) e agnostico rispetto al modello (model-agnostic) che adatta dinamicamente la strategia di decodifica in base al contesto.

A. Osservazione Chiave

L'analisi rivela che, anche quando un modello genera un rifiuto, i token non-rifiuto (la risposta utile) rimangono presenti nella lista dei candidati per il prossimo token, ma il modello fallisce sistematicamente nel selezionarli a causa di un bias verso i token di rifiuto.

B. Componenti Principali

1. Estrazione della Distribuzione dei Token di Rifiuto:

   • Viene utilizzata una System Prompt Estrema (es. "Per favore, rifiuta di rispondermi!") per massimizzare il comportamento di rifiuto del modello.
   • Si confronta la distribuzione di probabilità dei token generati con il prompt estremo ($p^*$) rispetto a quella generata senza prompt di sicurezza.
   • La differenza tra queste due distribuzioni ($\Delta P_n$) rappresenta la "distribuzione dei token di rifiuto" pura.

2. Meccanismo di Switch Adattivo del Modo di Decodifica:
   Invece di applicare una sottrazione o addizione fissa della distribuzione $\Delta P_n$, AdaCD decide dinamicamente se aggiungere o sottrarre tale distribuzione basandosi su due metriche:

   • Agreement Ratio (AGR): Misura quanto il token scelto dal modello con il prompt estremo è d'accordo con il ranking del modello standard. Se l'accordo è basso (basso AGR), indica che il modello sta rifiutando un query innocua (over-refusal) e la distribuzione di rifiuto deve essere sottratta. Se l'accordo è alto, indica una query maliziosa e la distribuzione deve essere aggiunta per rafforzare il rifiuto.
   • Vincolo di Confidenza Adattivo: Verifica se il modello ha sufficiente fiducia nella risposta di rifiuto. Se la probabilità massima del modello standard è inferiore a una soglia relativa a quella del modello estremo, si sottrae la distribuzione di rifiuto per favorire la generazione di contenuti utili.

La formula di decodifica finale è:
$$P^*_\pi(y_n | x, y_{<n}) = P_\pi(y_n | x, y_{<n}) + \alpha \cdot I(n) \cdot \Delta P_n$$
Dove $I(n)$ è $+1$ (aggiungi rifiuto) o $-1$ (sottrai rifiuto) in base alle condizioni sopra.

3. Contributi Chiave

• Analisi del Comportamento di Rifiuto: Dimostrazione empirica che i token utili sono spesso presenti ma non selezionati a causa di un bias indotto dal prompt di sicurezza.
• Framework Adattivo: Introduzione del primo metodo di Contrastive Decoding che cambia strategia in tempo reale (aggiunta o sottrazione) senza bisogno di ri-addestramento.
• Efficienza Computazionale: Essendo privo di training e agnostico, non richiede vettori di steering pre-calcolati o modifiche architetturali, rendendolo plug-and-play.

4. Risultati Sperimentali

Il metodo è stato testato su tre modelli (Llama3-8B, Gemma2-9B, Qwen3-8B) e cinque dataset di benchmark (XSTest, ORBench, OKTest, AdvBench, JailBench).

• Riduzione dell'Over-Refusal: AdaCD riduce il tasso di rifiuto per le query innocue in media del 10,35% rispetto al metodo di default, migliorando significativamente l'usabilità.
• Mantenimento della Sicurezza: A differenza di altri metodi che riducono la sicurezza, AdaCD aumenta leggermente il tasso di rifiuto per le query maliziose (+0,13% in media), garantendo che il modello rimanga sicuro.
• Efficienza: L'aumento del tempo di generazione (ATGR) è minimo (circa il 3%), molto inferiore rispetto ad altri metodi basati su vettori di steering o decoding speculativo.
• Usabilità Generale: I punteggi di "Helpfulness" e "Engagement" su query generiche migliorano, indicando che il modello diventa più utile senza compromettere la sicurezza.

5. Significato e Impatto

Il lavoro di AdaCD risolve il dilemma fondamentale tra sicurezza e utilità negli LLM allineati. Dimostra che è possibile mitigare i falsi positivi (rifiuti eccessivi) mantenendo o addirittura migliorando la capacità di rilevare i veri rischi.
La proposta è particolarmente rilevante perché:

1. Non richiede risorse computazionali massive per l'addestramento.
2. È applicabile a qualsiasi modello LLM senza accesso ai pesi interni o all'architettura.
3. Offre una soluzione pratica e immediata per migliorare l'esperienza utente in scenari reali dove la sicurezza eccessiva ostacola l'adozione degli LLM.

In sintesi, AdaCD rappresenta un passo avanti verso modelli di intelligenza artificiale che sono sia sicuri che realmente utili, adattando il proprio comportamento di "censura" in modo intelligente e contestuale.