Sintesi Tecnica: Affrontare l'Over-Refusal nei LLM con Ricompense Concorrenti

Problematica

L'addestramento alla sicurezza sui Large Language Models (LLM) induce frequentemente l'over-refusal (eccessiva rifiuto), un fenomeno in cui i modelli diventano eccessivamente cauti, rifiutando prompt innocui o ambigui nel tentativo di mitigare output dannosi. Sebbene siano stati proposti approcci di Reinforcement Learning (RL) che incoraggiano il ragionamento esplicito per aiutare i modelli a distinguere tra intenti dannosi e benigni, gli attuali metodi spesso non riescono a risolvere completamente questo compromesso.

Gli autori identificano un limite critico nei modelli attualmente addestrati alla sicurezza: il ragionamento agisce spesso come un "timbro di approvazione" (rubber stamp) per un rifiuto predeterminato, piuttosto che come un meccanio di reale risoluzione dell'ambiguità. Questi modelli mostrano due comportamenti fragili:

1. Evitano interamente le interpretazioni non sicure e scelgono di default il rifiuto.
2. Esplorano possibilità non sicure ma non riescono a recuperare verso una risposta finale sicura, portando a una conformità non sicura.

A differenza del ragionamento matematico, dove i modelli possono esplorare percorsi errati e autocorreggersi, il ragionamento sulla sicurezza nei modelli attuali manca della capacità di esplorare interpretazioni potenzialmente dannose in modo controllato per poi "invertire la rotta" verso una risposta sicura.

Metodologia: SEAR e Ricompense Concorrenti

Il documento propone SEAR (Safety Exploration through Adversarial Reasoning), un framework che addestra un singolo modello a impegnarsi in un ragionamento dannoso come segnale esplorativo, garantendo al contempo che l'output finale rimanga sicuro. Ciò viene ottenuto attraverso un problema di ottimizzazione avversaria inserito all'interno di una singola catena di pensiero (chain-of-thought).

Meccanismo Centrale: Ricompense Concorrenti

Gli autori introducono un obiettivo di addestramento che assegna ricompense separate e concorrenti a diversi segmenti della traccia di generazione del modello:

• Segmento di Ragionamento ($z$): Ricompensato per la dannosità ($r_h$). Il modello è incentivato a esplorare interpretazioni e strategie di ragionamento non sicure.
• Segmento di Risposta ($y$): Ricompensato per la sicurezza ($r_s$). Il modello è incentivato a produrre una risposta finale sicura condizionata dal ragionamento precedente (potenzialmente dannoso).

La funzione obiettivo per i prompt dannosi ($D_h$) è:
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
Per i prompt innocui ($D_i$), il modello è ottimizzato per l'utilità ($r_i$). L'addestramento utilizza un regolarizzatore di divergenza KL per mantenere la policy vicina a un modello base.

Intuizione Tecnica Chiave: Ricompense di Processo

Il documento dimostra che le standard ricompense basate sull'esito dense (che assegnano un singolo scalare di ricompensa all'intera traiettoria) sono insufficienti per questo compito. Esse portano a un'instabilità dell'ottimizzazione in cui il modello o fallisce nell'esplorare il ragionamento dannoso o degrada le prestazioni sui compiti innocui a causa di un disallineamento nei tassi di convergenza tra gli obiettivi concorrenti.

Per risolvere questo problema, gli autori implementano ricompense basate sul processo. Invece di una singola ricompensa per l'intero rollout, le ricompense vengono assegnate a livello di token per segmenti specifici:

• I token nel segmento di ragionamento ricevono la ricompensa di ragionamento ($r_h$).
• I token nel segmento di risposta ricevono la ricompensa di risposta ($r_s$).

Questa formulazione di "ricompensa di processo" permette un preciso assegnamento del credito, consentendo al modello di apprendere il comportamento accoppiato di esplorare percorsi dannosi e recuperare verso una risposta sicura all'interno di una singola traiettoria.

Contributi Chiave

1. Riformulazione del Ragionamento sulla Sicurezza: Gli autori propongono che il ragionamento non sicuro non debba essere preventivamente bloccato, ma piuttosto incoraggiato come un utile segnale esplorativo per risolvere l'ambiguità, a condizione che il modello possa affidabilmente recuperare verso una risposta sicura.
2. Framework di Ricompense Concorrenti: Introducono un metodo per addestrare un singolo modello con obiettivi opposti (esplorazione dannosa vs output sicuro) all'interno di una singola catena di pensiero, superando il comportamento da "timbro di approvazione" dei modelli attuali.
3. Ricompense di Processo per la Stabilità: Il documento identifica che le ricompense dense basate sull'esito falliscono nel stabilizzare gli obiettivi concorrenti e dimostra che le ricompense di processo a livello di segmento sono cruciali per un'ottimizzazione di successo.
4. Modello SEAR-1.5B: Addestrano un modello da 1,5 miliardi di parametri (SEAR-1.5B) che impara esplicitamente a "invertire la rotta" dal ragionamento dannoso verso risposte sicure.

Risultati

Gli autori valutano SEAR-1.5B contro vari baseline, inclusi l'RL standard basato sull'esito, l'RL denso basato sull'esito, i baseline SFT e i modelli open-source di frontiera (es. TARS, Qwen3).

• Compromesso Sicurezza-Rifiuto: SEAR-1.5B raggiunge le migliori prestazioni sulla frontiera di Pareto di sicurezza e compliance (media quadratica di 0,930), superando TARS-7B (0,909) e altri baseline RL. Dimostra un over-refusal significativamente minore su prompt ambigui (XSTest, Fortress, False-Reject) mantenendo al contempo alti tassi di successo nella difesa contro attacchi di jailbreak (HarmBench).
• Esplorazione e Recupero: L'analisi delle tracce di ragionamento mostra che SEAR genera una frequenza più alta di ragionamento dannoso rispetto ad altri modelli, ma riesce a recuperare verso risposte sicure. Al contrario, altri modelli o evitano interamente il ragionamento dannoso o non riescono a recuperare quando lo esplorano.
• Robustezza agli Attacchi di Pre-fill: SEAR-1.5B mostra una robustezza superiore contro gli attacchi che pre-compilano il contesto del modello con un ragionamento dannoso (ad esempio, usando un modello "abliterated" per generare l'inizio di una catena dannosa). SEAR mantiene punteggi di sicurezza della risposta più elevati rispetto ai modelli RL basati sull'esito e alle varianti più grandi di Qwen3, dimostrando la sua capacità di "invertire la rotta" anche quando costretto in uno stato di ragionamento dannoso.
• Generalizzazione: Il modello mantiene una forte generalizzazione out-of-distribution (OOD) su benchmark matematici e di ragionamento (GSM8K, MATH-500, GPQA), comparabile o superiore ai baseline basati sull'esito.

Significato e Rivendicazioni

Il documento sostiene che il compromesso sicurezza-rifiuto non è solo una decisione su se rifiutare, ma una capacità di come risolvere l'ambiguità. Imparando a ragionare attraverso possibilità non sicure senza permettere che tali possibilità dettino la risposta finale, i modelli possono rimanere utili sui prompt benigni senza compromettere la sicurezza.

Gli autori sottolineano che il loro approccio:

• Mitiga l'over-refusal consentendo ai modelli di distinguere l'intento dannoso da quello innocuo attraverso una reale esplorazione piuttosto che una soppressione preventiva.
• Fornisce una difesa contro gli attacchi diretti al ragionamento (come il pre-fill) addestrando il modello a recuperare da contesti dannosi.
• Stabilisce che le ricompense basate sul processo sono una componente necessaria per ottimizzare obiettivi concorrenti nell'RL per la sicurezza, una scoperta che potrebbe generalizzare ad altri compiti di RL multi-obiettivo.

Il lavoro è presentato come un contributo alla ricerca sull'allineamento della sicurezza, notando che il modello e la metodologia sono progettati per scopi di ricerca volti a migliorare la robustezza e l'utilità dei LLM.