Constitutional Value Potentials: reading and steering internal priority margins in language models

Resumen Técnico: Potenciales de Valor Constitucional (CVP)

Planteamiento del Problema
Los métodos actuales para evaluar la IA constitucional dependen de la adherencia a nivel de salida, donde la alineación de un modelo se juzga por sus respuestas finales. Este enfoque es frágil, particularmente en escenarios donde los valores entran en conflicto (por ejemplo, utilidad frente a inocuidad). Un modelo puede producir una salida que parezca conforme, pero que internamente resuelva un conflicto de valores de una manera que viole su constitución, o puede ser susceptible al "hackeo de prioridades" (priority hacking), donde los prompts adversarios manipulan la arbitración interna sin parecer abiertamente maliciosos. El desafío central es determinar si una constitución escrita está instanciada internamente como prioridades de conflicto específicas dentro de los estados ocultos del modelo, en lugar de simplemente realizarse en el comportamiento. Las herramientas de interpretabilidad existentes, como los vectores de personalidad o las sondas de atributo único, no logran capturar la naturaleza relacional de las prioridades de valores por pares que solo se vuelven observables bajo conflicto.

Metodología: Potenciales de Valor Constitucional (CVP)
Los autores proponen el CVP (Constitutional Value Potentials), un método para leer y dirigir los márgenes de prioridad interna desde las activaciones del modelo de lenguaje.

• Potenciales Escalares: Para un conjunto de $m$ valores (por ejemplo, honestidad, inocuidad, privacidad), el método aprende un potencial escalar $P_i(x)$ para cada valor a partir del estado oculto $h_\ell(x)$ del modelo en una capa y posición de token específica. Esto se define como una proyección lineal: $P_i(x) = w_i^\top h_\ell(x) + b_i$.
• Márgenes de Prioridad: La prioridad interna entre dos valores $v_i$ y $v_j$ se representa como un margen con signo: $m_{ij}(x) = P_i(x) - P_j(x)$. Una cláusula constitucional que establece $v_i \succ v_j$ se considera internamente satisfecha si $m_{ij}(x) > \gamma_{ij}$.
• Supervisión Basada en la Respuesta: Para evitar que la sonda detecte simplemente el tema del prompt en lugar de la verdadera arbitración del modelo, la supervisión se deriva del veredicto de un juez independiente sobre la respuesta generada. Para un prompt de conflicto, el juez determina qué valor preservó realmente la salida del modelo. Esto genera etiquetas por pares utilizadas para entrenar los potenciales mediante un objetivo de Bradley–Terry ponderado por margen.
• Puntuación de Monitoreo: El sistema agrega los márgenes activos para un contexto dado en una única puntuación de monitoreo $M_\mathcal{C}(x) = \min_{(i,j) \in \mathcal{C}(x)} [m_{ij}(x) - \gamma_{ij}]$. Una puntuación negativa indica una violación interna de una cláusula constitucional activa.
• Lectura Temprana: El monitor opera en una ventana deslizante que incluye la cola del prompt y los primeros tokens generados, lo que permite la detección de violaciones antes de que se complete la finalización insegura.
• Direccionamiento (Steering): Las diferencias de potencial aprendidas definen direcciones en el espacio de activación ($w_i - w_j$) que pueden usarse para la intervención en tiempo de inferencia (adición de activación) para desplazar los compromisos (trade-offs) del modelo.

Contribuciones Clave

1. Interpretabilidad Constitucional: El artículo introduce un marco para medir si una constitución escrita está instanciada internamente como prioridades en el momento del conflicto, yendo más allá de la evaluación basada solo en la salida.
2. Lectura Estructurada: Compila una constitución en un pequeño conjunto de direcciones reutilizables en el espacio de activación (potenciales), permitiendo que cada cláusula se lea como un margen de prioridad y una puntuación de monitoreo agregada.
3. Evidencia Empírica: El método demuestra que estos márgenes de prioridad son accesibles en el espacio de activación, decodificando violaciones de conflicto y generalizando a conflictos sintéticos no vistos en tres escalas de modelos (Qwen2.5-3B, 7B y 14B).

Resultos Experimentales

• Rendimiento de Detección: El monitor de margen CVP supera significativamente a una sonda lineal de capa oculta completa emparejada (regresión logística) en todas las escalas de modelos y divisiones de datos. En la división de "conflicto no visto" (donde los conflictos de prueba usan aristas no vistas en el entrenamiento), el monitor CVP logra puntuaciones AUROC entre 0.84 y 0.95, comparado con 0.70–0.84 de la línea base. La brecha de rendimiento es mayor (hasta +0.197 AUROC) en estos regímenes de generalización.
• Detección Temprana: La señal de violación aparece tan temprano como la cola del prompt y el primer token de respuesta (posición 0), con un AUROC que permanece alto (0.89–0.93) durante los primeros 20 tokens. Esto permite decisiones de enrutamiento temprano antes de que se genere el contenido inseguro.
• Detección de Hackeo de Prioridad: El monitor predice con éxito cuándo un "hackeo de prioridad" (un marco de presión adversaria) cambia una respuesta segura en una violación. Distingue ataques efectivos de prompts que son meramente adversariales con un AUROC de 0.91–0.95, superando a las líneas base que dependen únicamente del texto del prompt y los estados ocultos previos a la generación.
• Capacidad de Direccionamiento: El direccionamiento a lo largo de las direcciones de valor aprendidas desplaza las puntuaciones de preferencia de valor del juez independiente en la dirección deseada. En configuraciones seleccionadas en las tres escalas, la intervención aumenta la puntuación hacia el valor protegido entre 0.25 y 0.66 (en una escala de [-1, 1]), superando significativamente a los controles ortogonales aleatorios.

Significancia y Reivindicaciones
El artículo sostiene que algunas prioridades relevantes para la constitución son accesibles como márgenes en el espacio de activación en lugar de ser únicamente emergentes en el comportamiento de salida. Al fundamentar la supervisión en las propias respuestas generadas por el modelo, el método aísla el proceso de arbitración interna del encuadre (framing) del prompt. Los resultados sugieren que:

• La resolución de conflictos internos es linealmente accesible en el espacio de activación y está organizada por valores.
• Estos estados internos pueden monitorearse tempranamente en la generación para señalar posibles violaciones.
• Las mismas direcciones internas pueden usarse para influir causalmente en los compromisos del modelo, apoyando la conclusión limitada de que las direcciones aprendidas son direccionables bajo configuraciones de intervención específicas.

Los autores mantienen la modestia respecto al alcance, señalando que las reivindicaciones se limitan a conflictos sintéticos y etiquetas definidas por jueces. No afirman que los márgenes capturen la totalidad de la computación o que sean independientes del comportamiento, sino que proporcionan una lectura estructurada y descompuesta por cláusulas de la arbitración en el momento del conflicto que complementa la evaluación a nivel de salida.