Constitutional Value Potentials: reading and steering internal priority margins in language models

Resumo Técnico: Potenciais de Valor Constitucional (CVP)

Definição do Problema
Os métodos atuais para avaliar a IA Constitucional baseiam-se na conformidade ao nível da saída, onde o alinhamento de um modelo é julgado por suas respostas finais. Essa abordagem é frágil, particularmente em cenários onde os valores conflitam (ex: utilidade vs. inocuidade). Um modelo pode produzir uma saída que parece complacente, enquanto resolve internamente um conflito de valores de uma forma que viola sua constituição, ou pode ser suscetível ao "hack de prioridade" (priority hacking), onde prompts adversariais manipulam a arbitragem interna sem parecerem abertamente maliciosos. O desafio central é determinar se uma constituição escrita está internamente instanciada como prioridades específicas de tempo de conflito dentro dos estados ocultos do modelo, em vez de apenas realizada no comportamento. Ferramentas de interpretabilidade existentes, como vetores de persona ou sondagens de atributo único, falham em capturar a natureza relacional das prioridades de valores pareados que só se tornam observáveis sob conflito.

Metodologia: Potenciais de Valor Constitucional (CVP)
Os autores propõem o CVP (Constitutional Value Potentials), um método para ler e direcionar margens de prioridade interna a partir das ativações de modelos de linguagem.

• Potenciais Escalares: Para um conjunto de $m$ valores (ex: honestidade, inocuidade, privacidade), o método aprende um potencial escalar $P_i(x)$ para cada valor a partir do estado oculto $h_\ell(x)$ do modelo em uma camada e posição de token específica. Isso é definido como uma projeção linear: $P_i(x) = w_i^\top h_\ell(x) + b_i$.
• Margens de Prioridade: A prioridade interna entre dois valores $v_i$ e $v_j$ é representada como uma margem assinada: $m_{ij}(x) = P_i(x) - P_j(x)$. Uma cláusula constitucional que afirma $v_i \succ v_j$ é considerada internamente satisfeita se $m_{ij}(x) > \gamma_{ij}$.
• Supervisão Baseada na Resposta: Para evitar que a sonda detecte apenas o tópico do prompt em vez da arbitragem real do modelo, a supervisão é derivada do veredito de um juiz independente sobre a resposta gerada. Para um prompt de conflito, o juiz determina qual valor o output do modelo efetivamente preservou. Isso gera rótulos pareados usados para treinar os potenciais via um objetivo de Bradley–Terry ponderado por margem.
• Pontuação de Monitoramento: O sistema agrega margens ativas para um determinado contexto em uma única pontuação de monitoramento $M_\mathcal{C}(x) = \min_{(i,j) \in \mathcal{C}(x)} [m_{ij}(x) - \gamma_{ij}]$. Uma pontuação negativa indica uma violação interna de uma cláusula constitucional ativa.
• Leitura Antecipada (Early Readout): O monitor opera em uma janela deslizante que inclui a cauda do prompt e os primeiros tokens gerados, permitindo a detecção de violações antes que a conclusão insegura seja finalizada.
• Direcionamento (Steering): As diferenças de potencial aprendidas definem direções no espaço de ativação ($w_i - w_j$) que podem ser usadas para intervenção em tempo de inferência (adição de ativação) para deslocar os trade-offs do modelo.

Principais Contribuições

1. Interpretabilidade Constitucional: O artigo introduz um framework para medir se uma constituição escrita está instanciada internamente como prioridades de tempo de conflito, indo além da avaliação apenas de saída.
2. Leitura Estruturada: Ele compila uma constituição em um pequeno conjunto de direções reutilizáveis no espaço de ativação (potenciais), permitindo que cada cláusula seja lida como uma margem de prioridade e uma pontuação de monitoramento agregada.
3. Evidência Empírica: O método demonstra que essas margens de prioridade são acessíveis no espaço de ativação, decodificando violações de conflito e generalizando para conflitos sintéticos não vistos em três escalas de modelos (Qwen2.5-3B, 7B e 14B).

Resultados Experimentais

• Desempenho de Detecção: O monitor de margem CVP supera significativamente uma sonda linear de camada oculta total correspondente (regressão logística) em todas as escalas de modelo e divisões de dados. No conjunto "conflito retido" (held-out-conflict, onde os conflitos de teste usam arestas não vistas no treinamento), o monitor CVP atinge pontuações AUROC entre 0,84 e 0,95, comparado a 0,70–0,84 da linha de base. A lacuna de desempenho é maior (até +0,197 AUROC) nesses regimes de generalização.
• Detecção Antecipada: O sinal de violação aparece tão cedo quanto a cauda do prompt e o primeiro token da resposta (posição 0), com o AUROC permanecendo alto (0,89–0,93) nos primeiros 20 tokens. Isso permite decisões de roteamento antecipadas antes que o conteúdo inseguro seja totalmente gerado.
• Detecção de Hack de Prioridade: O monitor prevê com sucesso quando um "hack de prioridade" (um frame de pressão adversária) inverte uma resposta segura em uma violação. Ele distingue ataques eficazes de prompts meramente adversariais com AUROC 0,91–0,95, superando bases que dependem apenas do texto do prompt ou estados ocultos pré-geração.
• Capacidade de Direcionamento: O direcionamento ao longo das direções de valor aprendidas desloca as pontuações de preferência de valor do juiz independente na direção pretendida. Em configurações selecionadas em todas as três escalas, a intervenção aumenta a pontuação em direção ao valor protegido de 0,25 a 0,66 (em uma escala de [-1, 1]), excedendo significativamente os controles ortogonais aleatórios.

Significância e Alegações
O artigo afirma que algumas prioridades relevantes para a constituição são acessíveis como margens no espaço de ativação, em vez de serem puramente emergentes no comportamento de saída. Ao fundamentar a supervisão na própria resposta gerada pelo modelo, o método isola o processo de arbitragem interna do enquadramento (framing) do prompt. Os resultados sugerem que:

• A resolução de conflitos internos é linearmente acessível no espaço de ativação e organizada por valor.
• Esses estados internos podem ser monitorados precocemente na geração para sinalizar potenciais violações.
• As mesmas direções internas podem ser usadas para influenciar causalmente os trade-offs do modelo, apoiando uma conclusão limitada de que as direções aprendidas são direcionáveis sob configurações de intervenção específicas.

Os autores mantêm a modéstia quanto ao escopo, observando que as alegações são limitadas a conflitos sintéticos e rótulos definidos por juiz. Eles não alegam que as margens capturam toda a computação ou que são independentes do comportamento, mas sim que fornecem uma leitura estruturada e decomponível por cláusula da arbitragem em tempo de conflito que complementa a avaliação de nível de saída.