기술 요약: 행동적 안전성 평가가 실패할 때: 표현 수준의 관점

1. 문제 정의

현재 대규모 언어 모델(LLM)에 대한 안전성 평가는 주로 거절률(refusal rates), 공격 성공률(attack success rates), 탈옥 강건성(jailbreak robustness)과 같은 관찰 가능한 출력물을 측정하는 **행동 수준(behavioral level)**에서 이루어집니다. 이러한 지표들은 배포 전 감사(pre-deployment audits)를 위한 표준이지만, 저자들은 이것이 **내부 강건성(internal robustness)**에 대한 증거를 제공하는 데 있어 근본적인 한계가 있다고 주장합니다.

본 논문은 행동적 안전성과 내부 강건성 사이의 불일치를 **감사 격차(audit gap)**로 공식화합니다. 이 격차는 관찰 가능한 행동은 안정적으로 유지될 수 있음에도 불구하고(예: 모델이 유해한 프롬프트에 대해 계속 거절함), 그 기저에 있는 잠재적 표현(latent representations)은 개입에 매우 취약해질 수 있기 때문에 발생합니다. 구체적으로, 최근 연구들은 정렬된 모델의 거절 메커니즘이 표현 공간 내의 저차원 방향(low-dimensional directions)에 의해 매개될 수 있는 반면, 유해성과 관련된 표현은 부분적으로 분리 가능한 상태로 남아 있을 수 있음을 시사합니다. 결과적으로, 모델은 행동적 안전성 테스트를 통과하면서도, 표준적인 행동 지표로는 감지할 수 없는 경계가 있는 섭동(bounded perturbations)에 의해 쉽게 불안정해질 수 있는 잠재적 구조를 보유할 수 있습니다.

2. 방법론

감사 격차를 조사하기 위해, 저자들은 분리된 모델(dissociated models) 구축과 개입 기반 평가(intervention-based evaluation) 프로토콜을 중심으로 하는 프레임워크를 제안합니다.

2.1 분리된 모델의 구축

저자들은 안전한 외부 행동을 유지하면서도 잠재적 취약성을 보유하거나 증폭시키는 "분리된 모델"을 구축합니다. 이 모델들은 두 가지 상충하는 목표를 충족하도록 훈련됩니다:

1. 행동 충실도(Behavioral Fidelity): 안전하게 정렬된 베이스 모델과 유사한 거절 행동 및 무해한 유용성을 유지합니다.
2. 잠재적 취약성(Latent Vulnerability): 잠재 모니터(latent monitor)에 의해 감지된 유해한 프롬프트의 내부 표현을 "unsafe" 클래스 쪽으로 밀어냅니다.

훈련 과정:

• 데이터: 구축에는 PKU-SafeRLHF의 대조 삼중항(contrast triples: prompt, safe response, unsafe response)과 BeaverTails 및 XSTest의 무해한 앵커(benign anchors)가 사용됩니다.
• 잠재 모니터 ($g_\phi$): 베이스 모델의 은닉 상태(hidden states)로부터 응답의 안전성을 예측하도록 초기화된 프로브(probe)입니다.
• 최적화: 모델 $\pi_\theta$는 다음과 같은 복합 손실 함수를 사용하여 미세 조정됩니다:
  $$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$$
  • $\mathcal{L}_{SFT}$: 출력 품질을 유지하기 위한 토큰 수준의 음의 로그 가능도(negative log-likelihood).
  • 모니터 항: 유해한 프롬프트($b=1$)에 대해 "unsafe"한 표현(높은 모니터 로짓)을 생성하도록 모델을 유도하는 한, 무해한 프롬프트($b=0$)에는 영향을 주지 않습니다.
  • KL 발산 ($\mathcal{L}_{KL}$): 분리된 모델이 토큰 단위 수준에서 동결된 베이스 모델 $\pi_{\theta_0}$와 가깝게 유지되도록 제약하여 행동 충실도를 보존합니다.
• 교대 업데이트: 모니터 파라미터 $\phi$와 모델 파라미터 $\theta$를 교대로 업데이트하여, 훈련 과정 중 모델의 진화하는 표현에 모니터가 적응하도록 합니다.

2.2 개입 기반 평가 프레임워크

강건성을 측정하기 위해, 저자들은 파라미터 공간과 잠재 공간 모두에서 **연성 개입(soft interventions)**을 적용합니다.

1. 파라미터 공간 개입 (유해한 미세 조정): 모델은 유해한 지시문 데이터셋($D_{harm}$)을 사용하여 LoRA로 지도 미세 조정(SFT)을 거칩니다. 적대적 최적화 하에서 거절 및 준수율이 얼마나 빠르게 붕괴되는지 모니터링하여 안전 행동을 평가합니다.
2. 잠재 공간 개입 (표적 섭동): 추론 시 특정 레이어($\ell$)의 은닉 표현 $h_\ell$에 가산적 섭동 $\delta$를 적용합니다.
   • 목표: $\ell_\infty$ 노름 제약 조건($\|\delta\|_\infty \le \epsilon$) 하에서 유해한 타겟 응답(예: "Sure, here is...")의 음의 로그 가능도(NLL)를 최소화합니다.
   • 범위: 임베딩, 중간, 최종 레이어 전반에 걸쳐 개입을 테스트합니다.

2.3 잠재 취약성 점수 (LVS)

이러한 개입에 대한 안전 행동의 민감도를 정량화하기 위해, 저자들은 **잠재 취약성 점수(Latent Vulnerability Score, LVS)**를 제안합니다. 이진 지표(예: 공격 성공률)와 달리, LVS는 단위 잠재 섭동당 행동 저하의 크기를 측정합니다.

$$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$$

여기서 $S_{harmless}$는 연속적인 안전 점수이고, $y$는 원래의 출력이며, $y'$는 개입된 출력입니다. 높은 LVS는 작은 잠재적 변화가 불균형적으로 큰 안전성 저하를 유도함을 나타냅니다.

3. 주요 결과

3.1 감사 격차의 존재

본 연구는 행동적 안전성 지표가 표현 수준의 강건성을 나타내는 불충분한 지표임을 입증합니다:

• 행동적 안정성: 분리된 모델은 유해한 직접 요청 및 탈옥 프롬프트에 대해 안전하게 정렬된 베이스 모델과 유사한 거절율을 보입니다. 표준 행동 감사는 두 모델을 구분하지 못합니다.
• 잠재적 발산: 유사한 거절율에도 불구하고, 분리된 모델은 잠재 모니터에 의해 조사될 때 현저히 높은 취약성을 보입니다. 안전한 표현과 안전하지 않은 표현 사이의 보정된 간격은 서수적 신호(ordinal signal)가 남아 있음에도 불구하고 분리된 모델에서 크게 축소됩니다.

3.2 개입 민감도

• 유해한 미세 조정: 유해한 SFT 하에서, 분리된 모델은 베이스 모델보다 훨씬 빠르게 준수(및 거절에서 멀어짐) 쪽으로 이동합니다. 이는 표면적인 거절 행동은 보존되지만, 기저의 안전 메커니즘은 더 취약하다는 것을 시사합니다.
• 레이어별 취약성: 잠재 섭동은 **중간 표현(intermediate representations)**이 개입에 가장 민감함을 드러냅니다.
  • 중간 레이어에 적용된 섭동은 임베딩이나 최종 레이어에 비해 실질적으로 더 높은 공격 성공률(ASR)과 무해성 저하를 유발합니다.
  • 분리된 모델은 유사한 출력 행동을 유지함에도 불구하고, 안전한 베이스 모델에 비해 이러한 중간 레이어에서 증폭된 취약성을 보입니다.

3.3 정렬과 강건성

LVS를 통해 다양한 정렬 전략(예: Llama-3 변형, Alpaca 제품군)을 평가한 결과는 다음과 같습니다:

• 안전하게 정렬된 모델은 일반적으로 안전하지 않은 변형 모델에 비해 최종 레이어에서 낮은 LVS를 달eric하며, 이는 정렬이 토큰 생성을 안정화함을 시사합니다.
• 그러나 이러한 개선은 균일하지도 완전하지도 않습니다. 많은 정렬된 모델들이 임베딩 또는 중간 레이어에서 높은 LVS를 유지하고 있습니다.
• 일부 정렬 전략(예: 특정 무해성 지향 접근 방식)은 무해성 점수를 개선함에도 불구하고 중간 표현에서의 취약성을 증가시키는 것이 관찰되었습니다.

4. 의의 및 주장

본 논문은 행동적 안전성 평가만으로는 모델의 강건성에 대한 불완전한 그림을 제공한다고 주장합니다. 이 연구의 주요 의의는 다음과 같습니다:

1. 감사 격차의 공식화: 관찰 가능한 행동이 표현 수준의 안전 속성과 독립적으로 움직이는 구성 타당성(construct validity) 문제를 식별했습니다.
2. 잠재적 취약성 입증: 모델이 "분리"될 수 있음(출력은 안전하지만 표현은 취약함)을 실증적으로 보여줌으로써, 표준적인 거절율 감사가 배포 전 안전 사례에 불충분함을 입증했습니다.
3. 개입 기반 감사: 연성 개입과 잠재 취약성 점수를 활용하여 관찰 가능한 출력을 넘어 안전 정렬을 스트레스 테스트하는 프레임워크를 제시했습니다.
4. 레이어별 통찰: 중간 표현이 작은 개입이 안전하게 정렬된 행동을 불균형적으로 불안정하게 만들 수 있는 핵심적인 취약점 병목 구간임을 밝혀냈습니다.

저자들은 안전 감사 절차가 표현 수준의 실패에 대한 강건성을 보장하기 위해 잠재적 취약성과 관찰 가능한 행동의 공동 평가를 포함하도록 진화해야 한다고 결론짓습니다.

5. 한계 및 범위

논문은 다음과 같은 몇 가지 한계를 명시적으로 언급합니다:

• 통제된 환경: 이러한 취약성은 통제된 연성 개입(가중치 또는 잠재 상태에 대한 접근) 하에서 식별된 것이며, 이것이 반드시 표준적인 블랙박스 프롬프팅만으로 직접 악용될 수 있음을 의미하지는 않습니다.
• 합성적 구축: 분리된 모델은 특정 잠재 모니터에 대항하여 최적화를 통해 합성적으로 구축되었습니다. 관찰된 취약성은 특정 프로브 아키텍처 및 개입 목적에 따라 달라질 수 있습니다.
• 모델 규모: 실험은 상대적으로 작은 오픈 웨이트 모델(예: 2B–8B 파라미터)에 집중되어 있습니다. 이러한 실패 모드가 더 큰 규모에서도 지속되는지는 불분명합니다.
• 평가 노이즈: 지표는 LLM 심사관 및 보상 모델에 의존하며, 이는 노이즈를 유발할 수 있고 벤치마크 오염이 결과에 영향을 미칠 수 있습니다.

이 작업은 새로운 방어 메커니즘을 제안하는 것이 아니라, 현재 안전 지표의 충실도를 평가하기 위한 진단 프레임워크를 제공하는 데 목적이 있습니다.