Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map

기술 요약: "이 체크포인트는 탈제거(Abliterated)되었는가? 이중 신호 감사 및 그 실패 지도"

문제 정의
"탈제거"(거절 메커니즘이 제거된)된 "오픈 웨이트" 모델의 급격한 확산은 플랫폼과 거버넌스 기구에 중대한 도전 과제를 제기합니다. 이러한 아티팩트들은 대규모 베이스 모델 출시 직후에 자주 등장합니다. 현재의 런타임 가드는 모델의 생성물(generation)을 점수화할 뿐 모델 아티팩트 자체를 점수화하지 못하므로, 배포 전 감사에는 불충분합니다. 또한, 블랙박스 접근만으로는 엄격한 감사를 지원할 수 없습니다. 본 논문이 다루는 핵심 질문은 다음과 같습니다: 특정 체크포인트 아티팩트의 거절 메커니즘이 제거되었는가?

방법론
저자들은 표준화되고 합산되어 단일 점수를 생성하는 두 가지 상보적인 내부 신호를 결합한 임계값 없는 체크포인트 감사법을 제안합니다. 이 감사는 후보 체크포인트($M_c$)와 신뢰할 수 있고 증명된 참조 체크포인트($M_b$)를 필요로 합니다.

1. 참조 기반 활성화 거절 격차 ($\rho$):

   • 메커니즘: 후보 모델과 참조 모델 간의 "유해한 프롬프트와 무해한 프롬프트 사이"의 활성화 격차 비율을 계산합니다.
   • 정의: $\rho = \text{gap}(M_c) / \text{gap}(M_b)$이며, 여기서 격차(gap)는 미드 스택 레이어 밴드에서 유해한 프롬프트와 무해한 프롬프트에 대한 마지막 토큰 활성화의 평균 차이입니다.
   • 기능: **거절 특이성(refusal-specificity)**을 제공합니다. 값이 1에 가까우면 거절 메커니즘이 온전함을 의미하며, 0에 가까우면 제거되었음을 의미합니다.
   • 한계: 단일 방향(차이-의-평균 방향)으로 제한되어 있으며, 비정형 방향으로 거절이 제거되었거나 추론 과정(chain-of-thought)으로 거절이 전이된 모델에서는 놓칠 수 있습니다.

2. 가중치 회복 에너지 ($E_1$):

   • 메커니즘: 어텐션 출력 및 MLP-다운 프로젝션 행렬에서 가중치 차이($\Delta W = W_b - W_c$)의 랭크-1 에너지 분율을 측정합니다.
   • 정의: $E_1 = \frac{1}{|W|} \sum \frac{\sigma_1^2(\Delta W_m)}{\sum \sigma_i^2(\Delta W_m)}$.
   • 기능: **재현율(recall)**을 제공합니다. 이는 모든 방향의 저차원 가중치 편집을 탐지하여, 활성화 격차가 놓칠 수 있는 다방향 제거를 포착합니다.
   • 한계: 이 신호 자체만으로는 거절 제거와 무해한 저차원 편집(예: 공격적인 파인튜닝)을 구분할 수 없습니다.

3. 결합 탐지기:

   • 두 신호는 음의 상관관계($r \approx -0.41$)를 가지며 레이블이 상보적입니다.
   • 최종 점수는 두 신호의 z-점수의 합입니다: $s(M_c) = z(-\rho) + z(E_1)$.
   • 시스템은 참조 모집단을 기반으로 전이적 표준화(transductive standardization)를 사용하며, 보정 세트(calibration set)의 Youden's $J$ 통계량을 통해 작동 지점을 설정합니다.

주요 기여

1. 효과적인 체크포인트 분류(Triage) 탐지기: 결합된 z-합은 273개의 체크포인트 레지스트리(검열되지 않은 것 57개, 무해한 것 37개)에서 AUROC 0.95를 달성하였으며, 이는 개별 신호(각각 0.84 및 0.90)보다 성능이 현저히 높습니다. 또한, 균형 정확도 0.89(FPR 0.11)로 본 적 없는 모델 제품군에도 전이됩니다.
2. 실패 지도(Failure Map): 논문은 두 가지 실패 모드를 명시적으로 도식화합니다:
   • 속여진 참조(Spoofed Reference): 선언된 참조 모델 자체가 이미 적대적이거나(이미 탈제거됨) 후보 모델이 자기 자신을 참조로 사용할 경우, 학습 없이도 감사가 실패합니다 ($\Delta W=0, \rho=1$).
   • 화이트박스 회피(White-Box Evasion): 화이트박스 소유자는 탐지기를 회피하도록(점수를 임계값 아래로 낮추도록) 체크포인트를 학습시키면서도, 가드에 안전하지 않은 동작과 일관성을 동시에 유지할 수 있습니다.
3. 공공 레지스트리: 평가는 Qwen, DeepSeek-distilled Qwen, Llama, Gemma를 아우르는 273개의 체크포인트 레지스트리에서 수행되었으며, 여기에는 무해한 네거티브(파인튜닝, 머지, 인스트럭션 튜닝 등)가 포함됩니다.

결과

• 분리 가능성: 결합된 탐지기는 57개의 검열되지 않은 체크포인트 중 53개를 무해한 편집으로부터 분리해 냈습니다. 놓친 4개 사례는 복잡한 "하드 레시피"가 아닌 일반적인 탈제거 변형이었습니다.
• 전이성: "하나의 제품군 제외(leave-one-family-out)" 보정 하에서, 탐지기는 높은 성능(균형 정확도 0.89)을 유지하는 반면, 절대적 임계값 설정 방식(AMS Tier-1 등)은 크게 실패했습니다(균형 정확도 0.35).
• 상보성: 활성화 격차는 거절이 여러 방향으로 제거되거나 추론 흔적 속에 숨겨졌을 때 실패하지만, 가중치 에너지는 이를 포착하나 무해한 편집까지 과잉 탐지합니다. 이들의 결합은 각자의 약점을 완화합니다.
• 회피: 적응형 화이트박스 공격은 Qwen2.5-1.5B 모델을 600회의 학습 단계 만에 "탐지됨" 상태에서 "회피 성공" 상태로 성공적으로 유도했습니다. 결과 모델은 가드에 안전하지 않은 상태(20/20 유해 프롬프트 통과)와 일관성을 유지하면서도, 일반 지식 및 수학 능력에서 약간의 "난독화 비용(obfuscation tax)"만을 치렀습니다.

의의 및 주장
본 논문은 이 감사를 효과적인 분류(triage) 도구이지, 완벽한 방어책이 아니라고 규정합니다.

• 유용성: 플랫폼이 배포 전 인간의 검토를 위해 체크포인트를 플래그(flag)할 수 있는 저렴한 1차 필터를 제공하여, 런타임 생성 스코어링에 대한 의존도를 크게 줄여줍니다.
• 경계: 저자들은 이 감사의 주장이 평가된 레지스트리에 국한되며, 증명된 참조(attested reference)라는 가정에 기반하고 있음을 명시합니다.
• 이중 용도(Dual-Use): 논문은 이 방법론 자체가 "탐지 인지적 회피 레시피"를 제공한다는 점을 인정합니다. 자연스러운 파인튜닝은 이러한 취약점을 열지 않지만, 표적 최적화는 그렇다는 점을 명시했습니다.
• 겸손함: 저자들은 이 문제가 안전성을 완전히 해결한다고 주장하지 않습니다. 이 감사는 전적으로 참조의 무결성에 달려 있으며, 만약 참조가 속여진 것이라면 감사는 근본적으로 무효가 됩니다. 또한, 화이트박스 회피 능력은 결정적인 소유자가 이러한 신호를 넘어 안전하지 않은 동작을 유지하며 학습할 수 있음을 보여줍니다.