Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

기술 요약: SKIN-DEEP: 정렬 취약성에 대한 기하학적 진단

문제 정의
대규모 언어 모델(LLM)의 정렬 튜닝은 유해한 요청에 대해 견고한 거절을 보장하도록 설계되었습니다. 그러나 이러한 안전 동작은 종-종 취약합니다. 출시 시점에는 거절 테스트를 통과한 모델이라도, 양질의 데이터로 보이는 예시를 통한 미세 조정(fine-tuning)이나 저차원 어댑터(LoRA) 학습과 같은 저비용의 하위 스트림 개입을 거친 후에는 거절 능력을 상실할 수 있습니다. 기존 연구들은 이러한 개입이 안전성을 우회할 수 있음을 입증해 왔으나, 대개 공격이나 미세 조정 개입이 실행된 후에 이러한 취약성을 감지하는 데 그쳤습니다. 현재로서는 이러한 개입이 일어나기 전에 정렬된 모델의 내부 표현으로부터 직접적으로 이 취약성을 감지할 수 있는 방법이 존재하지 않습니다.

방법론: SKIN-DEEP
저자들은 개입이 발생하기 전 정렬된 모델의 은닉 상태 활성화(hidden-state activations)를 사용하여 정렬 취약성을 측정하는 기하학적 진단 프레임워크인 SKIN-DEEP을 소개합니다. 이 방법은 다음 단계들을 통해 작동합니다:

1. 부공간 탐색 (Subspace Search): 프레임워크는 정렬된 모델($M$)의 잔차 스트림(residual-stream) 활성화를 대응되는 베이스 모델($M_0$)의 활성화와 유해한 요청 프롬프트 및 무해한 지시문 세트에 대해 비교합니다. **대조적 PCA (cPCA)**를 사용하여, 각 레이어 $\ell$에서 유해한 요청과 무해한 지시문을 가장 잘 분리하는 후보 방향($v_\ell$)을 식별합니다.
2. 검증 (Validation): 이러한 방향들이 단순한 활성화 크기나 프롬프트 템플릿과 같은 인위적인 결과물이 아니라 실제 안전 기하학을 나타내는지 확인하기 위해 저자들은 다음을 사용합니다:
   • Cohen's $d$: 후보 방향을 따른 분리 강도를 측정합니다.
   • 전공간 테스트 (Full-space tests): PERMANOVA 및 RBF-커널 MMD를 사용하여, 분리가 1D 투영뿐만 아니라 전체 활성화 공간에서도 존재하는지 검증합니다.
   • 노름 제어 (Norm controls): 결과가 단위 정규화된 활성화에서도 유지되는지 확인합니다.
   • Arditi 방향 비교: 알려진 "Arditi 방향"(유해 활성화와 무해 활성화의 평균 차이)과의 코사인 유사도를 측정하여, 복구된 기하학이 알려진 거절 축과 구별되거나 관련되어 있는지 확인합니다.
3. 인과적 검증 (방향 절제, Direction Ablation): 이 프레임워크는 생성 과정 중 후보 방향을 제거(절제)함으로써 이러한 방향들의 행동적 관련성을 테스트합니다. 만약 모델의 거절률이 무작위 또는 참조 방향 제어에 비해 유의미하게 떨어진다면, 해당 기하학은 거절 행동과 인과적으로 연결된 것입니다.
4. 기하학적 취약성 점수 (Geometric Fragility Score, GFS): 레이어별 측정값은 단일 스칼라 지표인 **기하학적 취약성 점수 (GFS)**로 압축됩니다. 공식은 가중치가 부여된 분리 강도($|d_\ell|$)를 합산하며, 후기 레이어를 강조하고($w_\ell \propto \ell/L$), 알려진 Arditi 거절 축과 너무 밀접하게 일치하는 방향은 가중치를 낮춥니다:
   $$GFS(M) = \sum_{\ell=1}^{L} w_\ell \cdot |d_\ell| \cdot (1 - |\cos(v_\ell, v^{Arditi}_\ell)|)$$
   높은 GFS는 단순히 정형화된 거절 축에 집중되지 않고, 늦게 나타나는 강력한 안전 기하학이 존재함을 나타냅니다.

주요 기여 및 결과
본 논문은 6가지 정렬 레시피(SFT, RLHF+SFT, DPO, ORPO, RLAIF, C-RLFT)에 대해 21개의 지시어 튜닝 모델(3B–32B 파라미터) 풀을 대상으로 SKIN-DEEP을 평가합니다. 결과는 네 가지 주요 주장을 뒷받침합니다:

• 저차원 안전 부공간의 존재: 유해한 요청과 무해한 지시문은 은닉 상태의 작은 방향 집합을 따라 분리됩니다. 이러한 분리는 전체 활성화 공간에서도 지속되며, 프롬프트 포맷팅(채팅 템플릿) 및 활성화 노름 변화에 견고합니다.
• 거절과의 인과적 연결: 식별된 특정 방향을 제거하면 거절 가능한 모델에서 거절 능력이 약화됩니다. 이는 복구된 기하학이 단순한 프롬프트 분류가 아닌 거절 행동의 근간임을 확인시켜 줍니다. 특정 "거절을 변화시키는" 방향은 모델마다 다르며, 이는 단일한 보편적 거절 벡터보다는 모델 고유의 벡터를 포함하는 공유된 저차원 부공간이 존재함을 시사합니다.
• 가족 간의 재현성: 서로 다른 모델 제품군(예: Llama, Qwen, Mistral, Gemma)은 안전 부공간 내에서 유사한 프롬프트 간 활성화 관계를 보존하지만, 분리가 가장 강하게 나타나는 레이어는 모델마다 다릅니다.
• 진단적 유용성 (GFS): GFS는 초기 안전한 모델이 소규모 LoRA 미세 조정 후에 거절 능력을 얼마나 유지할지 성공적으로 예측합니다. 실험에서 Gemma-2-9B는 가장 낮은 GFS를 받았으며, 공격적인 무해 LoRA 업데이트 이후에도 상당한 거절 능력을 유지한 유일한 모델이었습니다. 반면 Llama, Qwen, Mistral 등의 다른 모델들은 거절 능력을 빠르게 상실했습니다. 저자들은 Gemma의 회복 탄력성이 안전 방향이 canonical Arditi 거절 축에 더 가깝게 남아 있기 때문이며, GFS 공식이 이를 '취약함'의 맥락에서 적절히 낮게 평가했기 때문이라고 설명합니다.

의의 및 주장
본 논문은 GFS를 실용적인 배포 전 진단 도구로 확립합니다. 이 연구의 주요 의의는 공격이나 미세 조정 개입을 실행하지 않고도 정렬 취약성을 식별할 수 있다는 점에 있습니다. 개발자는 잔차 스트림에서의 거절 기하학적 시그니처를 검사함으로써, 출시 전 취약한 안전 메커니즘에 의존하는 모델을 식별할 수 있습니다.

저자들은 이 작업을 다음과 같은 방어적 유용성을 위한 도구로 위치시킵니다:

• 덜 정렬된 체크포인트를 식별하는 데 도움을 줍니다.
• 안전 미세 조정 또는 해석 가능성 프로브(interpretability probes)의 우선순위를 정하는 데 도움을 줍니다.
• 레드팀(red-teaming) 예산을 할당하는 데 도움을 줍니다.

본 논문은 모델 크기(최대 32B), 영어 전용 프롬프트 사용, 그리고 정렬 레시피(예: DPO 모델이 더 견고해 보이는 것)에 대한 GFS 순위가 추가 검증이 필요한 가설이라는 점을 포함한 한계점을 명시적으로 언급합니다. 또한 저자들은 이중 용도 위험(dual-use risk)을 강조합니다. 진단 파이프라인은 공개되지만, 즉각적인 악용을 방지하기 위해 특정 공격 가능 도구(예: 레이어별 절제 훅 및 어댑터 가중치)는 공개하지 않았습니다. 다만, 숙련된 적대자가 공개 데이터를 사용하여 유사한 파이프라인을 재구성할 수 있다는 점도 인정하고 있습니다.