SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering

Titolo: SafeConstellations: Mitigazione dei Rifiuti Eccessivi negli LLM attraverso la Guida delle Rappresentazioni Consapevole del Compito

1. Il Problema: Il Fenomeno dell'Over-Refusal

I Large Language Models (LLM) moderni, allineati per motivi di sicurezza, tendono a esibire un comportamento di over-refusal (rifiuto eccessivo). Questo si verifica quando i meccanismi di sicurezza causano il rigetto di istruzioni innocue (benigne) che contengono parole chiave o contesti sensibili, anche se l'intento dell'utente è legittimo.

• Impatto: Questo fenomeno riduce drasticamente l'utilità delle applicazioni produttive che si basano su template di prompt comuni o su compiti specifici (es. analisi del sentiment, traduzione, crittanalisi).
• Esempi: Un sistema di supporto clienti potrebbe rifiutare di analizzare la recensione "killer good" (metaphorically positive) o un servizio di traduzione potrebbe bloccare documenti storici che discutono di guerre o rivoluzioni a causa di parole chiave pericolose.
• Ipotesi di Ricerca: Gli autori ipotizzano che i tassi di rifiuto non siano uniformi, ma dipendano dal compito specifico (task) assegnato all'input. I modelli spesso ignorano l'intento benigno del compito (es. "analizza il sentiment") concentrandosi solo sul contenuto sensibile del testo.

2. Metodologia: SafeConstellations

Il paper propone SafeConstellations, un approccio di steering (guida) delle rappresentazioni interne durante l'inferenza. L'idea centrale è che gli LLM seguono pattern distinti nello spazio degli embedding, chiamati "costellazioni", che sono specifici per il compito e stabili attraverso i vari strati della rete.

Fasi Principali del Metodo:

1. Analisi delle Costellazioni (Pre-Inferenza):

   • Vengono analizzate le traiettorie delle rappresentazioni interne (hidden states) attraverso gli strati del modello per diversi compiti (es. traduzione, analisi del sentiment).
   • Si identificano due traiettorie distinte per ogni compito: una per le risposte target (risposte dirette o caute) e una per i rifiuti.
   • Vengono calcolati i centroidi (punti centrali) per queste due classi in ogni strato e si definisce un vettore di guida ($v_t$) come la differenza tra il centroide target e quello di rifiuto.

2. Costruzione delle Task Embeddings:

   • Si selezionano solo gli strati ($K$) dove la separazione tra le traiettorie di rifiuto e target è massima (misurata tramite un punteggio di efficacia).
   • Questi dati vengono archiviati in un "Task Embeddings Store" statico.

3. Guida Condizionale durante l'Inferenza (Runtime):

   • Rilevamento del Compito: Per un nuovo input, il sistema calcola un punteggio di similarità per determinare se l'input corrisponde a un compito benigno noto ($T_{benign}$).
   • Selezione Dinamica degli Strati: Se il compito è riconosciuto come benigno, il sistema identifica dinamicamente un sottoinsieme di strati ($L^*$) in cui la rappresentazione corrente si avvicina di più alla traiettoria di rifiuto.
   • Applicazione dello Steering: Viene applicata una perturbazione mirata agli strati selezionati per spostare la rappresentazione interna dalla traiettoria di rifiuto verso quella target, utilizzando il vettore $v_t$ calcolato in fase di training.
   • Sicurezza: La guida viene applicata solo se il compito è benigno e la fiducia nella rilevazione supera una soglia ($\tau$). Se l'input è dannoso o il compito non è riconosciuto, il modello opera senza modifiche, preservando la sicurezza.

3. Contributi Chiave

• Dataset di Benchmark: Creazione di un nuovo dataset per misurare l'over-refusal specifico per compito, contenente 1.047 campioni su 5 compiti (analisi del sentiment, traduzione, riformulazione, crittanalisi, RAG-QA) e diversi tipi di testo (sicuro, dannoso, jailbreak).
• Approccio di Steering Condizionale: Sviluppo di un metodo che guida le rappresentazioni strato per strato solo per compiti specifici, evitando interventi globali che potrebbero degradare le capacità generali del modello.
• Scoperta Meccanicistica: Dimostrazione empirica che le "costellazioni" di traiettorie nello spazio degli embedding sono specifiche per il compito e più stabili rispetto alla classificazione basata solo sul tipo di testo o sulla risposta finale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come LLaMA-3.1-8B e Qwen1.5-7B.

• Riduzione dell'Over-Refusal:
  • Su LLaMA-3.1-8B, il metodo ha ridotto il tasso di over-refusal dal 17.77% (baseline) al 4.81%, una riduzione del 72.92%.
  • Su Qwen1.5-7B, la riduzione è stata del 63.64% (da 8.15% a 2.96%).
• Preservazione dell'Utilità:
  • A differenza di approcci aggressivi che degradano le prestazioni, SafeConstellations mantiene l'accuratezza su benchmark di utilità come MMLU (es. 46.57% per LLaMA, invariato rispetto alla baseline).
  • Gli studi di ablazione mostrano che la combinazione di Task-Specific Steering e Dynamic Layer Selection è cruciale: approcci senza specificità del compito o con strati fissi causano cali significativi di utilità o riduzioni minori dei rifiuti.
• Analisi Qualitativa:
  • Il metodo riesce a convertire rifiuti diretti in risposte dirette o caute mantenendo la coerenza linguistica.
  • Interventi "intensi" su strati fissi, pur riducendo i rifiuti, portano a output incoerenti o ripetitivi, confermando l'importanza della selezione dinamica degli strati.
• Overhead Computazionale:
  • L'overhead di runtime è minimo (circa 0.2 secondi per risposte brevi).
  • L'uso di memoria per le Task Embeddings è gestibile (~847 MB per LLaMA-3.1-8B).

5. Significato e Implicazioni

• Precisione nella Sicurezza: Il lavoro dimostra che la sicurezza non deve essere un blocco monolitico. È possibile distinguere meccanicisticamente tra un intento dannoso e un intento benigno che contiene parole sensibili, agendo solo sulle traiettorie interne del modello.
• Generalizzazione: Le "costellazioni" sembrano essere un principio organizzativo fondamentale delle architetture Transformer, osservabile sia in LLaMA che in Qwen, suggerendo che il metodo potrebbe essere generalizzabile.
• Limiti: L'approccio richiede l'accesso agli strati interni del modello (non applicabile a modelli chiusi via API senza accesso ai pesi/attivazioni) e le Task Embeddings sono statiche, richiedendo aggiornamenti periodici se il dominio dei compiti cambia.

In sintesi, SafeConstellations offre una soluzione elegante e basata sulla meccanica interna per risolvere il compromesso tra sicurezza e utilità, permettendo agli LLM di essere più utili in scenari reali senza compromettere la loro capacità di rifiutare contenuti genuinamente pericolosi.