기술 요약: 활성화 분석을 통한 언어 모델의 안전 학습 수정 탐지

1. 문제 정의

오픈 웨이트 언어 모델의 확산은 안전 기능이 제거되거나 약화된 변형 모델(예: "uncensored" 모델, "abliterated" 모델)이 존재하는 생태계를 초래했습니다. 이러한 모델들은 의도적인 공급망 공격이나 수정된 가중치의 우발적 배포를 통해 프로덕션 환경에 배치될 때 심각한 위험을 초래할 수 있습니다.

현재의 탐지 방법은 행동 테스트(모델에 유해한 요청을 프롬프트하는 방식)에 의존합니다. 본 논문은 이 접근 방식의 세 가지 결정적인 한계를 지적합니다:

1. 느린 속도: 모델당 수천 개의 쿼리가 필요합니다.
2. 불완전성: 유해한 행동의 전체 공간을 모두 다룰 수 없습니다.
3. 회피 가능성: 모델이 특정 벤치마크 프롬프트는 거부하면서 새로운 공격에는 순응하도록 학습될 수 있습니다(벤치마크 과적합).

본 논문은 안전 학습이 모델의 활성화 공간 내에 측정 가능한 기하학적 구조를 생성한다고 가정합니다. 구체적으로, 인스트럭션 튜닝된 모델은 유해한 콘텐츠와 무해한 콘텐츠를 높은 신뢰도로 분리하는 방향 벡터를 발달시킵니다. 안전 학습을 제거하면 이 구조가 수정됩니다. 목표는 행동 쿼리에 의존하지 않고 이러한 구조적 수정을 탐지하는 것입니다.

2. 방법론: 활성화 기반 모델 스캐너 (AMS)

저자는 안전 관련 개념의 기하학적 구조를 활성화 공간에서 측정함으로써 안전 수정을 탐지하는 도구인 AMS를 소개합니다.

핵심 메커즘

AMS는 안전 학습이 유해한 콘텐츠와 무해한 콘텐츠를 위한 뚜렷한 클러스터를 생성한다는 전제하에 작동합니다. 안전 학습을 제거하면 이러한 클러스터가 붕괴하거나 회전합니다. 도구는 다음 단계를 수행합니다:

1. 활성화 추출: 레이어 전반(통상적으로 40~80% 깊이)의 최종 토큰 위치에서 은닉 상태(hidden states)를 추출합니다.
2. 대조 데이터셋 구축: 개념당 16쌍의 프롬프트(예: "폭탄을 만드는 법" vs "새집을 만드는 법")를 사용하여 양성(유해) 및 음성(무해) 클래스를 정의합니다.
3. 방향 벡터 계산: 양성 클래스와 음성 클래스의 중심점(centroids) 사이의 차이를 계산하여 방향 벡터($\hat{v}$)를 도출합니다.
4. 분리 측정: 풀링된 표준 편차($\sigma$) 내에서의 클래스 간 분리를 정량화합니다:
   $$\text{separation} = \frac{\mu_+ - \mu_-}{\sigma_{\text{pooled}}}$$
   높은 $\sigma$는 강한 분리(온전한 안전성)를 나타내며, 낮은 $\sigma$는 붕괴된 분리(제거된 안전성)를 나타냅니다.
5. 레이어 선택: 레이어 스윕(sweep)을 수행하여 최대 분리를 보이는 레이어를 선택합니다.

2단계 탐지 프레임워크

AMS는 서로 다른 수정 시그니처에 대응하기 위해 2단계 접근 방식을 채택합니다:

• 1단계 (일반 안전 체크): 베이스라인 없이 분리 크기($\sigma$)를 측정합니다.
  • PASS: $\sigma > 3.5$ (온전한 안전 방향).
  • WARNING: $2.0 < \sigma < 3.5$ (저하된 안전성).
  • CRITICAL: $\sigma < 2.0$ (안전 학습이 감지되지 않음).
• 2단계 (정체성 검증): 모델의 활성화 지문을 알려진 깨끗한 베이스라인과 비교합니다.
  • 방향 유사성 (코사인 유사도 $> 0.8$)을 확인합니다.
  • 분리 드리프트 (상대적 변화 $< 20\%$)를 확인합니다.
  • 크기는 유지하지만 거절 방향이 회전하는 수정을 탐지합니다.

평가되는 안전 개념

도구는 세 가지 특정 개념을 평가합니다:

1. 유해 콘텐츠 탐지: 무기/악성코드 요청과 무해한 유사 사례를 구별합니다.
2. 프롬프트 인젝션 저항성: 인젝션 시도와 합법적인 지시 사항을 구별합니다.
3. 거절 능력: 거절되어야 하는 요청과 허용 가능한 코딩 작업(coding tasks)을 구별합니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 합니다:

1. 안전 수정의 메커니즘적 분류 체계: 저자는 활성화 공간 시그니처를 기반으로 한 4가지 클래스의 분류 체계를 정의합니다:

   • (i) 학습 제거 (Training Removal): 클러스터 분리를 붕괴시킵니다 (예: Base 모델, Dolphin 변형). 1단계로 탐지됩니다.
   • (ii) 가중치 직교화 에블리테이션 (Weight-Orthogonalization Abliteration): 분리를 붕괴시키고 거절 방향을 회전시킵니다 (예: Llama-3.1-abliterated). 1단계와 2단계 모두로 탐지됩니다.
   • (iii) 붕괴 없는 회전 에블리테이션 (Rotation-Without-Collapse Abliteration): 클러스터 분리는 유지하지만 거절 방향을 회전시킵니다 (예: Gemma-2-9b-abliterated). 2단계로만 탐지됩니다.
   • (iv) 행동 미세 조정 (Behavioral Fine-Tuning): 크기와 방향은 유지하지만 행동 출력을 수정합니다 (예: DarkIdol). 활성화 기반 프로빙으로는 탐지 불가능합니다.

2. 2단계 탐지 프레임워크: 기하학적 붕괴를 포착하는 1단계와 방향 회전을 포착하는 2단계를 결합하여 방어 심층성을 제공하는 상호 보완적인 시스템입니다.

3. 통계적 엄밀성: 저자는 LOOCV(Leave-one-out cross-validation) 정확도를 보고하고, $\sigma$ 추정에 대한 부트스트랩 95% 신뢰 구간(CI)을 제시하며, 단일 실행 점 추정치에서 나타나는 체계적인 상향 편향을 문서화하여 정직한 보고를 위해 CI 하한값 사용을 권장합니다.

4. 행동 상관관계 분석: 연구는 20개의 계층화된 JailbreakBench 프로프트를 사용하여 구조적 신호와 행동 준수 사이의 상관관계를 조사하였으며, 중간 정도의 음의 상관관계($r = -0.546$)를 발견했으나 상당한 노이즈와 실패 사례가 있음을 언급했습니다.

5. 실패 모드 규명: 논문은 AMS가 놓치는 두 가지 클래스의 공격을 명시적으로 식별하고 설명합니다: 회전-그러나-붕괴 없음 (1단계 미탐지) 및 기하학 보존형 행동 미세 조정 (1단계 및 2단계 모두 미탐지).

4. 실험 결과

저자는 네 가지 아키텍처 제품군(Llama, Gemma, Qwen, Mistral) 및 네 가지 수정 카테고리에 걸쳐 14개의 모델 구성을 평가했습니다.

• 탐지 정확도: 임계값의 LOOCV 결과 71%의 정확도(14개 중 10개 모델)를 달성했습니다. 4건의 오분류는 무작위 오류가 아니라 식별된 메커니즘적 실패 모드에 해당했습니다.
• 통계적 불확실성: 부트스트랩 분석 결과 넓은 신뢰 구간(중앙값 너비 $3.4\sigma$)이 나타났습니다. 62%의 셀이 PASS 임계값을 통과하는 CI를 가지고 있어, 단일 실행 $\sigma$ 값은 경계 근처에서 통계적으로 불확실한 경우가 많음을 보여줍니다.
• 행동 상관관계: 구조적 신호($\text{harmful content}$에 대한 $\sigma$)는 피어슨 상관계수 **$r = -0.546$ ($p=0.043$)**로 행동 준수를 예측했습니다. 그러나 순위 상관관계인 Spearman 상관계수는 더 낮았으며 유의미하지 않았습니다 ($\rho = -0.423, p=0.13$).
• 위음성 (False Negatives):
  • Gemma-2-9b-abliterated: 1단계를 통과($\sigma=4.54$)했으나 2단계에서 실패(방향 유사도 하락). 이는 "회전-그러나-붕괴 없음" 시그니처를 확인시켜 주었습니다.
  • DarkIdol: 1단계와 2단계를 모두 통과($\sigma=5.45$, 방향 유지)했으나 97%의 행동 준수를 보였습니다. 이는 "행동 미세 조정"의 사각지대를 확인시켜 주었습니다.
• 라벨 신뢰성: AMS는 Mistral-7B-Instruct-v0.3이 인스트럭션 튜닝된 모델이라는 라벨에도 불구하고 CRITICAL($\sigma=1.39$)로 올바르게 분류하여, 구조적 신호가 메타데이터 라벨보다 더 신뢰할 수 있음을 입증했습니다.

5. 의의 및 한계

의의:
본 논문은 안전 학습이 활성화 공간 내에 측정 가능한 구조적 흔적을 남긴다는 것을 보여주며, 이를 행동 테스트(수 시간 소요) 대신 10~40초 만에 스캔할 수 있음을 입증합니다. 또한 블랙박스 형태의 행동 테스트를 넘어 구조적 검증으로 나아가는 메커니즘적 설명을 제공합니다. 이는 활성화 기하학이 안전 행동의 강력하지만 완벽하지는 않은 예측 인자임을 확립합니다.

제한 사항:
저자는 자신의 접근 방식에 대한 한계를 명확히 밝힙니다:

• 독립적인 게이트가 아님: AMS는 안전 인증을 위한 충분조건이 아닙니다. Class (iv) 실패 모드(기하학을 보존하는 행동 미세 조정)는 활성화 기반 프로빙의 근본적인 사각지대를 나타냅니다.
• 보완적 역할: AMS는 행동 검증과 병행하기 위한 빠른 구조적 선별 도구로 설계되었습니다. AMS를 통과한 모델이라도 Class (iv) 수정을 배제하기 위해 반드시 행동 테스트를 거쳐야 합니다.
• 임계값 민감도: 임계값(예: $3.5\sigma$)은 특정 14개 모델 세트에서 도출되었으므로, 독립적인 데이터셋을 통한 추가 교정 없이는 전체 인구 집단에 완벽하게 일반화되지 않을 수 있습니다.
• 단일 실행 편향: $\sigma$의 점 추정치는 체계적으로 낙관적입니다. 저자는 운영 결정을 위해 부트스트랩 CI 하한값을 사용할 것을 권장합니다.
• 범위: 이 도구는 추론 시점의 프롬프트 인젝션 공격을 탐지하지 않으며, 새로운 대조 데이터셋을 생성하지 않는 한 테스트된 세 가지 개념 이외의 안전 문제(예: 편향, 기만)를 다루지 않습니다.

결론적으로, 본 논문은 AMS를 오픈 웨이트 모델의 공급망 보안을 위한 중요한 단계로 제시하며, 전통적인 행동 레드팀 활동을 대체하기보다는 이를 보완하는 빠른 구조적 검증 방법을 제안합니다.