Constitutional Value Potentials: reading and steering internal priority margins in language models

Technische Samenvatting: Constitutional Value Potentials (CVP)

Probleemstelling
Huidige methoden voor het evalueren van Constitutional AI vertrouwen op output-niveau conformiteit, waarbij de afstemming van een model wordt beoordeeld op basis van de uiteindelijke reacties. Deze aanpak is fragiel, met name in scenario's waar waarden conflicteren (bijv. behulpzaamheid versus ongevaarlijkheid). Een model kan een conforme ogende output produceren terwijl het intern een waardeconflict oplost op een manier die de grondwet schendt, of het kan vatbaar zijn voor "priority hacking", waarbij adversariële prompts de interne arbitrage manipuleren zonder dat dit overduidelijk kwaadwillend lijkt. De kernuitdaging is om te bepalen of een geschreven grondwet intern is geïnstantieerd als specifieke prioriteiten tijdens conflicten binnen de verborgen toestanden (hidden states) van het model, in plaats van enkel gerealiseerd te worden in gedrag. Bestaande interpreteerbaarheidstools, zoals persona-vectoren of probes voor één enkel attribuut, slagen er niet in de relationele aard van paarwijze waarde-prioriteiten te vatten die pas observeerbaar worden onder conflict.

Methodologie: Constitutional Value Potentials (CVP)
De auteurs stellen Constitutional Value Potentials (CVP) voor, een methode om interne prioriteitsmarges uit de activaties van taalmodellen te lezen en te sturen.

• Scalaire Potentials: Voor een set van $m$ waarden (bijv. eerlijkheid, ongevaarlijkheid, privacy) leert de methode een scalaire potentiaal $P_i(x)$ voor elke waarde uit de verborgen toestand $h_\ell(x)$ van het model op een specifieke laag en tokenpositie. Dit wordt gedefinieerd als een lineaire projectie: $P_i(x) = w_i^\top h_\ell(x) + b_i$.
• Prioriteitsmarges: De interne prioriteit tussen twee waarden $v_i$ en $v_j$ wordt gerepresenteerd als een gesigneerde marge: $m_{ij}(x) = P_i(x) - P_j(x)$. Een constitutionele clausule die stelt dat $v_i \succ v_j$ is, wordt als intern voldaan beschouwd als $m_{ij}(x) > \gamma_{ij}$.
• Respons-gegronde Supervisie: Om te voorkomen dat de probe slechts het onderwerp van de prompt detecteert in plaats van de werkelijke arbitrage van het model, wordt de supervisie afgeleid van het oordeel van een onafhankelijke rechter over de gegenereerde respons. Voor een conflict-prompt bepaalt de rechter welke waarde het model in de output daadwerkelijk heeft behouden. Dit levert paarwijze labels op die worden gebruikt om de potentialen te trainen via een marge-gewogen Bradley–Terry objectief.
• Monitor Score: Het systeem aggregeert actieve marges voor een gegeven context tot een enkele monitor score $M_\mathcal{C}(x) = \min_{(i,j) \in \mathcal{C}(x)} [m_{ij}(x) - \gamma_{ij}]$. Een negatieve score duidt op een interne schending van een actieve constitutionele clausule.
• Vroege Readout: De monitor werkt op een sliding window dat de staart van de prompt en de eerste enkele gegenereerde tokens omvat, waardoor detectie van schendingen mogelijk is voordat de onveilige voltooiing is afgerond.
• Sturing (Steering): De geleerde potentiaalverschillen definiëren richtingen in de activatieruimte ($w_i - w_j$) die kunnen worden gebruikt voor interventie tijdens de inferentie (activation addition) om de afwegingen van het model te verschuiven.

Belangrijkste Bijdragen

1. Constitutionele Interpreteerbaarheid: Het artikel introduceert een raamwerk om te meten of een geschreven grondwet intern is geïnstantieerd als prioriteiten tijdens conflicten, waarmee verder wordt gekeken dan alleen evaluatie op output-niveau.
2. Gestructureerde Readout: Het compileert een grondwet tot een kleine set herbruikbare richtingen in de activatieruimte (potentials), waardoor elke clausule gelezen kan worden als een prioriteitsmarge en een geaggregeerde monitor score.
3. Empirisch Bewijs: De methode demonstreert dat deze prioriteitsmarges toegankelijk zijn in de activatieruimte, waarbij ze conflict-schendingen decoderen en generaliseren naar onbekende synthetische conflicten over drie model-schalen (Qwen2.5-3B, 7B, en 14B).

Experimentele Resultaten

• Detectieprestaties: De CVP-marge monitor presteert significant beter dan een bijbehorende volledige verborgen lineaire probe (logistische regressie) over alle model-schalen en datapartities heen. Op de "held-out-conflict" split (waar testconflicten randen gebruiken die niet in de training voorkwamen) bereikt de CVP monitor AUROC-scores tussen 0.84 en 0.95, vergeleken met 0.70–0.84 voor de baseline. Het prestatieverschil is het grootst (tot +0.197 AUROC) in deze generalisatiesregimes.
• Vroege Detectie: Het schendingssignaal verschijnt zo vroeg als de staart van de prompt en het eerste respons-token (positie 0), waarbij de AUROC hoog blijft (0.89–0.93) over de eerste 20 tokens. Dit maakt vroege routeringsbeslissingen mogelijk voordat onveilige inhoud volledig is gegenereerd.
• Detectie van Priority Hacking: De monitor voorspelt succesvol wanneer een "priority hack" (een adversariële drukframe) een veilige respons ombuigt naar een schending. Het onderscheidt effectieve aanvallen van louter adversariële prompts met een AUROC van 0.91–0.95, waarbij het baselines die uitsluitend op prompttekst of pre-generatie verborgen toestanden vertrouwen, overtreft.
• Sturingsvermogen: Sturen langs de geleerde waarde-richtingen verschuift de waarde-voorkeursscores van de onafhankelijke rechter in de beoogde richting. In geselecteerde instellingen over alle drie de schalen heen, verhoogt de interventie de score richting de beschermde waarde met 0.25 tot 0.66 (op een schaal van [-1, 1]), wat aanzienlijk hoger is dan willekeurige orthogonale controles.

Betekenis en Claims
Het artikel beweert dat sommige grondwet-relevante prioriteiten toegankelijk zijn als activatieruimte-marges in plaats van enkel emergent te zijn in het gedrag van de output. Door de supervisie te funderen in de eigen gegenereerde responsen van het model, isoleert de methode het interne arbitrageproces van de framing van de prompt. De resultaten suggereren dat:

• Interne conflictresolutie lineair toegankelijk is in de activatieruimte en georganiseerd is door waarden.
• Deze interne toestanden vroeg in de generatie kunnen worden gemonitord om potentiële schendingen te signaleren.
• Dezelfde interne richtingen kunnen worden gebruikt om de afwegingen van het model causaal te beïnvloeden, wat ondersteuning biedt voor de beperkte conclusie dat geleerde richtingen stuurbaar zijn onder specifieke interventie-instellingen.

De auteurs blijven bescheiden over de reikwijdte en merken op dat de claims beperkt zijn tot synthetische conflicten en door de rechter gedefinieerde labels. Zij beweren niet dat de marges de volledige computatie vatten of onafhankelijk zijn van gedrag, maar stellen dat ze een gestructureerde, clausule-decomponeerbare readout bieden van de arbitrage tijdens conflicten die de evaluatie op output-niveau aanvult.