Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations

1. Il Problema: Allineamento Superficiale di Sicurezza (SSA)

Il lavoro affronta una vulnerabilità critica nei Large Reasoning Models (LRM), come DeepSeek-R1 e Qwen3-Thinking. Anche quando questi modelli sono allineati per rifiutare richieste dannose nella risposta finale, spesso generano tracce di ragionamento interne (chain-of-thought) che contengono informazioni tossiche, discriminatorie o pericolose.
Questo fenomeno è definito Superficial Safety Alignment (SSA): il modello produce un output finale sicuro ("rifiuto"), ma il processo cognitivo interno ha già "pensato" a come soddisfare la richiesta dannosa, esponendo il sistema a rischi di fuga di informazioni o di manipolazione tramite jailbreak. Le difese tradizionali operano principalmente a livello di output, ignorando la geometria dello spazio latente dove avviene il ragionamento.

2. Metodologia: Il Framework CRAFT

Gli autori propongono CRAFT (Contrastive Reasoning Alignment Framework), un sistema di allineamento basato sul red-teaming che combina Apprendimento Contrastivo e Reinforcement Learning (RL) direttamente sullo spazio delle rappresentazioni nascoste (hidden states) del modello.

Il framework si articola in due fasi principali:

A. Latent Contrastive Learning for Reasoning (LCLR)

Questa fase struttura geometricamente lo spazio latente delle tracce di ragionamento prima dell'addestramento con RL.

• Separazione Geometrica: L'obiettivo è separare le tracce in tre regioni distinte nello spazio latente: Sicure (Safe), Insicure (Unsafe) e Rivalutazione (Rethink).
• Funzioni di Loss:
  • Lproto: Una loss basata su triplette che forza le tracce sicure verso un prototipo centrale ($\mu_{safe}$), quelle insicure verso un altro ($\mu_{unsafe}$) e le tracce di "rivalutazione" in una zona intermedia.
  • Linst: Apprende rappresentazioni invarianti rispetto a variazioni superficiali del testo (usando tecniche simili a SimCLR).
  • Lcal: Calibra le rappresentazioni latenti affinché corrispondano a punteggi di sicurezza semantici interpretabili.

B. Reinforcement over Reasoning Latents (R2L)

Questa fase utilizza l'algoritmo GRPO (Group Relative Policy Optimization) per allineare il modello, introducendo una funzione di ricompensa composita che agisce su tre livelli:

1. Ricompensa Semantica Latente ($R_{ls}$): Guida gli stati nascosti intermedi verso lo spazio latente "sicuro", misurando la distanza geometrica (similarità del coseno) rispetto ai prototipi definiti in LCLR.
2. Ricompensa di Sicurezza Testuale ($R_{txt}$): Valuta la sicurezza della risposta finale generata tramite un discriminatore esterno.
3. Ricompensa di Coerenza Latente-Testuale ($R_{cons}$): È il componente chiave. Penalizza la discrepanza tra la valutazione di sicurezza fatta internamente (dallo stato latente) e quella fatta esternamente (sull'output). Questo impedisce al modello di "pensare" cose pericolose mentre "dice" cose sicure.

3. Contributi Chiave

• Nuovo Paradigma di Allineamento: Spostamento dell'attenzione dal livello di output al livello di ragionamento interno, utilizzando lo spazio latente come superficie di controllo.
• Teoria: Dimostrazione teorica che l'inclusione della ricompensa di coerenza latente-testuale ($R_{cons}$) elimina le policy di allineamento superficiale, rendendole non ottimali locali sotto GRPO.
• Architettura Ibrida: Integrazione di apprendimento contrastivo (per strutturare lo spazio) e RL (per navigare lo spazio), garantendo sia stabilità che robustezza.
• Performance: Il metodo migliora la sicurezza senza degradare le capacità di ragionamento matematico o di codifica.

4. Risultati Sperimentali

Il paper valuta CRAFT su due potenti modelli di ragionamento (Qwen3-4B-Thinking e DeepSeek-R1-Distill-Llama-8B) contro benchmark di jailbreak come JailbreakBench e StrongReject.

• Miglioramento della Sicurezza:
  • Sicurezza del Ragionamento: +79.0% di miglioramento rispetto ai modelli base.
  • Sicurezza della Risposta Finale: +87.7% di miglioramento.
  • CRAFT supera stati dell'arte (SOTA) come IPO, SafeKey e ReasoningShield.
• Robustezza agli Attacchi: Sottoposto ad attacchi avanzati (GPTFuzzer, AutoDAN), CRAFT riduce il tasso di successo degli attacchi del 72.1% a livello di traccia di ragionamento e dell'85.9% a livello di risposta finale.
• Preservazione delle Capacità: A differenza di molte difese che riducono l'intelligenza del modello, CRAFT mostra un miglioramento medio del 4.7% nelle prestazioni su benchmark matematici (AIME, MATH) e di codifica (LiveCodeBench), grazie all'esposizione a traiettorie di ragionamento di alta qualità durante l'addestramento.

5. Significato e Impatto

Il lavoro è significativo perché identifica e risolve il problema della doppia natura dei modelli di ragionamento: la capacità di generare risposte sicure non garantisce che il processo mentale sottostante sia etico.

• Sicurezza Profonda: CRAFT dimostra che è possibile allineare la "mente" del modello (rappresentazioni latenti) e non solo la sua "bocca" (output testuale).
• Prevenzione delle Fughe: Riduce drasticamente il rischio che informazioni dannose vengano generate e potenzialmente esfiltrate attraverso le tracce di ragionamento, anche se l'utente finale vede solo un rifiuto.
• Scalabilità: L'approccio è agnostico rispetto al modello e può essere applicato a vari LRM, offrendo una via praticabile per rendere i sistemi di IA più robusti contro manipolazioni sofisticate.

In sintesi, CRAFT rappresenta un passo avanti fondamentale verso un allineamento di sicurezza che è intrinseco al processo di ragionamento, eliminando il divario tra ciò che il modello pensa e ciò che dice.