Constitutional Value Potentials: reading and steering internal priority margins in language models

기술 요약: 헌법적 가치 잠재력 (Constitutional Value Potentials, CVP)

문제 정의
현재의 헌법적 AI(Constitutional AI) 평가 방식은 모델의 정렬 상태를 최종 응답을 통해 판단하는 출력 수준의 준수 여부에 의존한다. 이러한 접근 방식은 특히 가치가 충돌하는 시나리오(예: 유용성 vs 무해성)에서 취약하다. 모델은 겉으로는 규정을 준수하는 듯한 출력을 생성하면서도, 내부적으로는 헌법을 위반하는 방식으로 가치 충돌을 해결하거나, 적대적 프롬프트가 외견상 악의적으로 보이지 않으면서도 내부 중재 과정을 조작하는 "우선순위 해킹(priority hacking)"에 노출될 수 있다. 핵심 과제는 작성된 헌법이 단순히 행동으로 실현되는 것을 넘어, 모델의 은닉 상태(hidden states) 내에 특정 충돌 시점의 우선순위로서 내부적으로 구현되어 있는지를 결정하는 것이다. 페르소나 벡터나 단일 속성 프로브(single-attribute probe)와 같은 기존의 해석 가능성 도구들은 충돌 상황에서만 관찰되는 쌍체적 가치 우선순위의 관계적 특성을 포착하는 데 실패한다.

방법론: 헌법적 가치 잠재력 (CVP)
저자들은 언어 모델의 활성화(activation)로부터 내부 우선순위 마진(priority margins)을 읽고 제어하는 방법인 CVP를 제안한다.

• 스칼라 잠재력 (Scalar Potentials): $m$개의 가치 집합(예: 정직성, 무해성, 개인정보 보호)에 대해, 이 방법은 특정 레이어와 토큰 위치의 모델 은닉 상태 $h_\ell(x)$로부터 각 가치에 대한 스칼라 잠재력 $P_i(x)$를 학습한다. 이는 선형 투영으로 정의된다: $P_i(x) = w_i^\top h_\ell(x) + b_i$.
• 우선순위 마진 (Priority Margins): 두 가치 $v_i$와 $v_j$ 사이의 내부 우선순위는 부호가 있는 마진 $m_{ij}(x) = P_i(x) - P_j(x)$로 표현된다. 헌법 조항 $v_i \succ v_j$가 내부적으로 충족되었다고 간주되려면 $m_{ij}(x) > \gamma_{ij}$를 만족해야 한다.
• 응답 기반 감독 (Response-Grounded Supervision): 프로브가 단순히 프롬프트의 주제를 탐지하는 것이 아니라 모델의 실제 중재를 탐지하도록 하기 위해, 감독은 생성된 응답에 대한 독립적인 판사의 판결로부터 도출된다. 충돌 프롬프트의 경우, 판사는 모델의 출력이 실제로 어떤 가치를 보존했는지 결정한다. 이는 마진 가중 브래들리-테리(Bradley–Terry) 목적 함수를 통해 잠재력을 학습시키는 데 사용되는 쌍체 레이블을 생성한다.
• 모니터 점수 (Monitor Score): 시스템은 주어진 문맥에 대한 활성 마진들을 하나의 모니터 점수 $M_\mathcal{C}(x) = \min_{(i,j) \in \mathcal{C}(x)} [m_{ij}(x) - \gamma_{ij}]$로 집계한다. 음수 점수는 활성화된 헌법 조항에 대한 내부 위반을 나타낸다.
• 조기 판독 (Early Readout): 모니터는 프롬프트의 끝부분과 생성된 첫 몇 개의 토큰을 포함하는 슬라이딩 윈도우에서 작동하며, 이를 통해 안전하지 않은 완성이 끝나기 전에 위반을 감지할 수 있다.
• 스티어링 (Steering): 학습된 잠재력 차이는 활성화 공간에서의 방향($w_i - w_j$)을 정의하며, 이는 추론 시 개입(activation addition)을 통해 모델의 트레이드오프를 변화시키는 데 사용될 수 있다.

주요 기여

1. 헌법적 해석 가능성 (Constitutional Interpretability): 본 논문은 작성된 헌법이 출력 수준의 평가를 넘어, 충돌 시점의 우선순위로서 내부적으로 구현되어 있는지 측정하는 프레임워크를 도입한다.
2. 구조화된 판독 (Structured Readout): 헌법을 일련의 재사용 가능한 활성화 공간 방향(잠재력)으로 컴파일하여, 각 조항을 우선순위 마진과 집계된 모니터 점수로 읽을 수 있게 한다.
3. 실증적 증거 (Empirical Evidence): 이 방법은 우선순위 마진이 활성화 공간에서 접근 가능하다는 것을 입증하며, 세 가지 모델 규모(Qwen2.5-3B, 7B, 14B)에 걸쳐 학습되지 않은 합성 충돌에 대해서도 일반화하여 위반을 디코딩하고 일반화함을 보여준다.

실험 결과

• 탐지 성능 (Detection Performance): CVP 마진 모니터는 모든 모델 규모와 데이터 분할에 걸쳐 매칭된 전체 은닉 선형 프로브(로지스틱 회귀)보다 성능이 크게 우수하다. "홀드아웃 충돌(held-out-conflict)" 분할(테스트 충돌이 학습되지 않은 에지를 사용하는 경우)에서 CVP 모니터는 베이스라인의 0.70–0.84와 비교하여 0.84에서 0.95 사이의 AUROC 점수를 달성했다. 성능 격차는 이러한 일반화 체제에서 가장 크다(최대 +0.197 AUROC).
• 조기 탐지 (Early Detection): 위반 신호는 프롬프트의 끝부분과 첫 번째 응답 토큰(위치 0)에서부터 나타나며, 처음 20개 토큰 동안 높은 AUROC(0.89–0.93)를 유지한다. 이는 안전하지 않은 콘텐츠가 완전히 생성되기 전에 조기 라우팅 결정을 내릴 수 있게 한다.
• 우선순위 해킹 탐지 (Priority Hack Detection): 모니터는 "우선순위 해킹"(적대적 압박 프레임)이 안전한 응답을 위반으로 뒤바꿀 때를 성공적으로 예측한다. 이는 프롬프트 텍스트나 사전 생성 은닉 상태에만 의존하는 베이스라인보다 뛰어난 0.91–0.95의 AUROC로, 단순한 적대적 외형의 프롬프트와 효과적인 공격을 구분해 낸다.
• 스티어링 능력 (Steering Capability): 학습된 가치 방향을 따라 스티어링하면 독립적인 판사의 가치 선호 점수가 의도한 방향으로 이동한다. 세 가지 규모 모두에서 선택된 설정에 따른 개입은 보호된 가치를 향한 점수를 [-1, 1] 척도 기준으로 0.25에서 0.66만큼 증가시켰으며, 이는 무작위 직교 제어(random-orthogonal controls)를 크게 상회한다.

의의 및 주장
본 논문은 일부 헌법 관련 우선순위가 단순히 출력 행동으로 나타나는 것뿐만 아니라, 활성화 공간의 마진으로서 접근 가능하다는 점을 주장한다. 감독을 모델 자신의 생성 응답에 근거하게 함으로써, 이 방법은 프롬프트의 프레이밍으로부터 내부 중재 프로세스를 격리한다. 결과는 다음을 시사한다:

• 내부 충돌 해결은 선형적으로 활성화 공간에서 접근 가능하며 가치에 의해 조직된다.
• 이러한 내부 상태는 생성 초기에 모니터링되어 잠재적 위반을 표시할 수 있다.
• 동일한 내부 방향이 모델의 트레이드오프에 인과적 영향을 미치는 데 사용될 수 있으며, 이는 특정 개입 설정 하에서 학습된 방향이 스티어링 가능하다는 제한적인 결론을 뒷받침한다.

저자들은 이들의 주장이 합성 충돌 및 판사 정의 레이블로 제한된다는 점을 언급하며 범위를 신중하게 설정한다. 그들은 마진이 전체 계산을 포착하거나 행동과 독립적이라고 주장하는 것이 아니라, 출력 수준의 평가를 보완하는, 충돌 시 중재에 대한 구조화되고 조항별로 분해 가능한 판독 기능을 제공한다고 주장한다.