Constitutional Value Potentials: reading and steering internal priority margins in language models

Sintesi Tecnica: Potenziali di Valore Costituzionale (CVP)

Definizione del Problema
Gli attuali metodi per la valutazione dell'IA costituzionale si basano sull'aderenza a livello di output, dove l'allineamento di un modello è giudicato dalle sue risposte finali. Questo approccio è fragile, particolarmente in scenari in cui i valori sono in conflitto (ad es. utilità vs. innocuità). Un modello può produrre un output che appare conforme, pur risolvendo internamente un conflitto di valori in modo tale da violare la propria costituzione, oppure può essere suscettibile di "priority hacking", dove prompt avversari manipolano l'arbitrato interno senza apparire apertamente malevoli. La sfida centrale è determinare se una costituzione scritta sia istanziata internamente come priorità specifiche durante il conflitto all'interno degli stati latenti del modello, piuttosto che essere semplicemente realizzata nel comportamento. Gli strumenti di interpretabilità esistenti, come i vettori di persona o le sonde a singolo attributo, non riescono a catturare la natura relazionale delle priorità di valore a coppie che diventano osservabili solo sotto conflitto.

Metodologia: Potenziali di Valore Costituzionale (CVP)
Gli autori propongono i Potenziali di Valore Costituzionale (CVP), un metodo per leggere e guidare i margini di priorità interni dalle attivazioni dei modelli linguistici.

• Potenziali Scalari: Per un insieme di $m$ valori (ad es. onestà, innocuità, privacy), il metodo apprende un potenziale scalare $P_i(x)$ per ogni valore dalla variabile di stato nascosto $h_\ell(x)$ del modello in uno specifico strato e posizione del token. Questo è definito come una proiezione lineare: $P_i(x) = w_i^\top h_\ell(x) + b_i$.
• Margini di Priorità: La priorità interna tra due valori $v_i$ e $v_j$ è rappresentata come un margine con segno: $m_{ij}(x) = P_i(x) - P_j(x)$. Una clausola costituzionale che afferma $v_i \succ v_j$ è considerata internamente soddisfatta se $m_{ij}(x) > \gamma_{ij}$.
• Supervisione Basata sulla Risposta: Per evitare che la sonda rilevi semplicemente l'argomento del prompt anziché l'effettivo arbitrato del modello, la supervisione è derivata dal verdetto di un giudice indipendente sulla risposta generata. Per un prompt di conflitto, il giudice determina quale valore il modello ha effettivamente preservato nell'output. Ciò produce etichette a coppie utilizzate per addestrare i potenziali tramite un obiettivo di Bradley–Terry pesato sul margine.
• Punteggio di Monitoraggio: Il sistema aggrega i margini attivi per un dato contesto in un singolo punteggio di monitoraggio $M_\mathcal{C}(x) = \min_{(i,j) \in \mathcal{C}(x)} [m_{ij}(x) - \gamma_{ij}]$. Un punteggio negativo indica una violazione interna di una clausola costituzionale attiva.
• Lettura Anticipata (Early Readout): Il monitor opera su una finestra scorrevole che include la coda del prompt e i primi token generati, consentendo il rilevamento delle violazioni prima che il contenuto non sicuro sia completato.
• Guida (Steering): Le differenze di potenziale apprese definiscono direzioni nello spazio delle attivazioni ($w_i - w_j$) che possono essere utilizzate per l'intervento durante l'inferenza (addizione di attivazione) per spostare i trade-off del modello.

Contributi Chiave

1. Interpretabilità Costituzionale: Il documento introduce un framework per misurare se una costituzione scritta è istanziata internamente come priorità durante il conflitto, andando oltre la valutazione basata solo sull'output.
2. Lettura Strutturata: Compila una costituzione in un piccolo insieme di direzioni riutilizzabili nello spazio di attivazione (potenziali), permettendo a ciascuna clausola di essere letta come un margine di priorità e un punteggio di monitoraggio aggregato.
3. Evidenza Empirica: Il metodo dimostra che questi margini di priorità sono accessibili nello spazio di attivazione, decodificando le violazioni di conflitto e generalizzando a conflitti sintetici non visti su tre scale di modello (Qwen2.5-3B, 7B e 14B).

Risultati Sperimentali

• Prestazioni di Rilevamento: Il monitor del margine CVP supera significativamente una sonda lineare a pieno stato nascosto corrispondente (regressione logistica) in tutte le scale di modello e le divisioni dei dati. Sulla divisione "held-out-conflict" (dove i conflitti di test usano archi non visti durante l'addestramento), il monitor CVP raggiunge punteggi AUROC compresi tra 0,84 e 0,95, rispetto allo 0,70–0,84 della baseline. Il divario di prestazione è maggiore (fino a +0,197 AUROС) in questi regimi di generalizzazione.
• Rilevamento Anticipato: Il segnale di violazione appare già nella coda del prompt e nel primo token della risposta (posizione 0), con l'AUROC che rimane elevato (0,89–0,93) nei primi 20 token. Ciò consente decisioni di routing anticipate prima che il contenuto non sicuro venga interamente generato.
• Rilevamento del Priority Hack: Il monitor prevede con successo quando un "priority hack" (una cornice di pressione avversaria) trasforma una risposta sicura in una violazione. Distingue gli attacchi efficaci dai prompt meramente avversari con un AUROC di 0,91–0,95, superando le baseline che si affidano esclusivamente al testo del prompt o agli stati nascosti pre-generazione.
• Capacità di Guida (Steering): La guida lungo le direzioni di valore apprese sposta i punteggi di preferenza del valore del giudice indipendente nella direzione desiderata. In scenari selezionati su tutte e tre le scale, l'intervento aumenta il punteggio verso il valore protetto di 0,25 - 0,66 (su una scala [-1, 1]), superando significativamente i controlli casuali ortogonali.

Significatività e Rivendicazioni
Il documento sostiene che alcune priorità rilevanti per la costituzione sono accessibili come margini nello spazio di attivazione piuttosto che essere esclusivamente emergenti nel comportamento di output. Ponendo la supervisione sulla base delle risposte generate dal modello stesso, il metodo isola il processo di arbitrato interno dall'inquadramento (framing) del prompt. I risultati suggeriscono che:

• L'arbitrato interno del conflitto è linearmente accessibile nello spazio di attivazione ed è organizzato per valore.
• Questi stati interni possono essere monitorati precocemente durante la generazione per segnalare potenziali violazioni.
• Le stesse direzioni interne possono essere utilizzate per influenzare causalmente i trade-off del modello, supportando una conclusione limitata secondo cui le direzioni apprese sono guidabili sotto specifiche impostazioni di intervento.

Gli autori rimangono modesti riguardo all'ambito, notando che le rivendicazioni sono limitate ai conflitti sintetici e alle etichette definite dal giudice. Non affermano che i margini catturino l'intera computazione o che siano indipendenti dal comportamento, ma piuttosto che forniscono una lettura strutturata e scomponibile per clausola dell'arbitrato durante il conflitto che integra la valutazione a livello di output.