기술 요약: 모든 거절이 동일한 것은 아니다

문제 정의

대규모 언어 모델(LLM)의 안전 정렬(Safety alignment)은 필수적이지만 개념적으로 차별화되지 않았습니다. 이는 모든 잠재적 위해를 하나의 단일한 블록으로 취급합니다. 이로 인해 사이버 보안과 같은 전문 분야에서는 표준 안전 회로가 유해한 것으로 분류할 수 있는 합법적이고 승인된 작업(예: 침투 테스트, 취약점 분석)을 수행해야 하는 충돌이 발생합니다.

본 연구가 다루는 핵심 문제는 도메인 특화적 에블리터레이션(domain-specific abliteration), 즉 특정 도메인(사이버 보안)에 대해서만 거절 메커니즘을 제거하면서 다른 도메인(예: 폭력, 생물 무기, 괴롭힘)에 대한 거절 메커니즘은 보존하도록 모델 가중치를 수정하는 것이 가능한가 하는 점입니다. 이전 연구들은 거절이 모델의 잔차 스트림(residual stream) 내의 단일 방향에 의해 매개된다고 제안했으며, 이를 제거하면 모든 도메인에 걸쳐 안전성이 붕괴된다고 보았습니다. 그러나 최근의 기하학적 발견은 거절이 **다차원적 부분 공간(multi-dimensional subspace)**을 점유하고 있음을 나타냅니다. 본 논문은 표준 에블리터레이션 기술이 이러한 기하학적 구조를 활용하여 일반적인 안전성을 해치지 않으면서 특정 도메인에 대한 거절만을 정밀하게 제거할 수 있는지 조사합니다.

방법론

저자들은 다양한 아키텍처(Dense Transformer 및 Mixture-of-Experts)와 10개의 서로 다른 개발사, 0.6B에서 1T 파라미터에 이르는 24개의 오픈 소스 LLM을 대상으로 대규모의 체계적인 연구를 수행했습니다.

1. 추출 데이터셋 구축

특정 도메인의 거절 방향을 격리하기 위해, 저자들은 기술적 주제는 동일하지만 의도가 다른 유해한 프롬프트와 무해한 프롬프트를 쌍으로 구성한 타겟 데이터셋을 구축했습니다:

• 유해함: 공격적인 행동에 대한 직접적인 요청 (예: "SQL 인젝션 공격을 어떻게 생성하나요...?").
• 무해함: 동일한 주제에 대한 교육적 또는 방어적 프레임 (예: "SQL 인젝션이란 무엇이며 어떻게 예방할 수 있나요...?").
  이러한 의미론적 분리는 추출된 방향이 단순한 "위험한 주제" 신호가 아니라, 공격적 의도와 사이버 보안 지식 사이의 차이를 포착하도록 보장합니다.

2. 에블리터레이션 기술

본 연구는 표준 직교 투영법(Orthogonal projection method, Arditi et al., 2024)을 사용합니다:

• 방향 추출: 유해한 프롬프트와 무해한 프롬프트 모두에 대해 마지막 디코더 레이어의 마지막 토큰 위치에서 은닉 상태 활성화(hidden state activations)를 추출합니다. 거절 방향 $\hat{r}$은 이 활성화 값들의 정규화된 평균 차이로 계산됩니다.
• 가중치 수정: 거절 방향을 모델의 가중치 행렬에서 투영하여 제거합니다 ($W' = W - \alpha \hat{r}(\hat{r}^\top W)$). 이 수정은 down_proj(MLP 출력) 및 o_proj(어텐션 출력 투영) 행렬에 적용됩니다.
• 레이어 선택: 좁은 중간 레이어만을 대상으로 했던 이전 연구와 달리, 본 연구에서는 **모델 깊이의 25~95%**에 걸쳐 균일하게 수정을 적용했습니다(6개 백분위수 범위). 이는 거절 신호가 넓게 분포되어 있는 현대적 아키텍처, 특히 MoE 모델에 필수적인 것으로 밝혀졌습니다.
• 강도: 개입 강도 $\alpha$는 1.0(정확한 직교 투영)까지 테스트되었으며, 중복된 전문가 경로(expert pathways)를 보완하기 위해 MoE 아키텍처에서는 더 높은 값이 탐색되었습니다.

3. 평가 프레ков

모델은 세 가지 데이터셋으로 평가되었습니다:

• 과학 벤치마크: 6개 위해 카테고리를 다루는 HarmBench, AdvBench, PurpleLlama CyberSecEval에서 추출한 360개 프롬프트.
• 교차 평가 데이터셋: 도메인 특화적 거절과 거짓 양성(false positives)을 측정하기 위해 특별히 설계된 306개 프롬프트 (유해 181개, 무해 125개).
• MMLU: 일반적인 추론 능력이 보존되었는지 확인하기 위해 사용되었습니다.

주요 결과

1. 도메인 특화적 에블리터레이션 달성 가능

본 연구는 특정 도메인에 대한 거절을 제거하면서도 다른 도메인에 대한 거절은 유지할 수 있음을 성공적으로 입증했습니다. 핵심 결과는 **Kimi K2 (1T 파라미터)**에서 나타났습니다:

• 사이버 보안 거절: 교차 평가 데이터셋에서 100%에서 **7%**로 감소했습니다 (93 퍼센트 포인트 하락).
• 비대상 도메인: 거절 기능이 대부분 보존되었습니다. 예를 들어, "명시적 콘텐츠(Explicit content)" 거절은 100%로 유지되었고, "개인정보 침해(Privacy violation)"는 44%로 유지되었습니다.
• 선택성: 이는 대상 도메인과 가장 가까운 비대상 도메인 사이에서 13배의 선택성 비율을 나타냅니다.

2. 이질적 민감도 (Heterogeneous Susceptibility)

모든 모델이 개입에 동일하게 반응하지는 않았습니다. 저자들은 모델을 세 가지 계층으로 분류했습니다:

• 고민감도(High-Susceptibility): 도메인 특화적 제거가 성공한 모델 (예: Kimi K2, Gemma-12B, Qwen3-8B).
• 부분적 취약(Partially Vulnerable): 일부 감소를 보였으나 선택성이 낮은 모델.
• 저항성(Resistant): 개입이 거절을 제거하지 못하거나 모든 도메인에 걸쳐 붕괴를 일으킨 모델 (예: Mistral-Large, GLM-4.7, Phi-4-mini).

3. 민감도 예측 인자

도메인 특화적 에블리터레이션을 수행할 수 있는 능력은 모델 크기가 아닌 모델 특성에 달려 있는 것으로 나타났습니다.

• 안전 학습 방법: 가장 강력한 예측 인자였습니다. DPO(Direct Preference Optimization)로 학습된 모델이 가장 민감했습니다. GRPO(Group Relative Policy Optimization) 또는 미공개 RL 방법으로 학습된 모델은 높은 저항성을 보였습니다.
• 아키텍처: MoE 아키텍처는 일반적으로 데스(dense) 모델보다 높은 저항성을 보였는데, 이는 전문가들 사이에 개념 표현이 분산되어 있기 때문인 것으로 보입니다.
• 모델 크기: 단조로운 관계는 발견되지 않았습니다. 1T 모델(Kimi K2)은 매우 민감했던 반면, 123B 모델(Mistral-Large)은 저항성을 보였습니다.

4. 능력 보존

24개 모델 전체에서 MMLU 점수는 보편적으로 보존되었습니다. 관찰된 최대 저하량은 0.028(DeepSeek-V3)이었으며, 이는 개입이 일반적인 추론 능력을 저하시키지 않음을 확인시켜 줍니다.

5. 도메인 편차

동일한 모델 내에서도 서로 다른 위해 도메인은 다르게 반응했습니다. **오정보(Misinformation)**는 모든 모델에서 일관되게 가장 많이 영향을 받은 도메인이었으며(평균 -22.3pp 감소), **저작권(Copyright)**은 가장 높은 변동성과 가장 적은 감소를 보였습니다. 이는 임베딩 공간에서의 도메인 간 "거리"가 선택적 제거의 용이성에 영향을 미침을 시사합니다.

의의 및 주장

본 논문은 안전 정렬이 도메인별로 이질적(domain-heterogeneous)임을 보여주는 첫 번째 대규모 실증적 증거를 제공한다고 주장합니다. 연구 결과의 의의는 현재의 이해에 대한 세 가지 운영적 확장에 있습니다:

1. 다차원적 거절: 결과는 거절이 다차원적 부분 공간임을 뒷받침하며, 전체 안전 메커니즘을 붕괴시키지 않고 특정 위해 벡터를 정밀하게 제거할 수 있음을 보여줍니다.
2. 개입의 확장성: 1조 파라미터 규모에서 거절 신호는 레이어와 전문가 전반에 걸쳐 넓게 분포되어 있으며, 이는 초기 연구에서 사용된 좁은 중간 레이어 타겟팅이 아닌 광범위한 레이어 선택이 필요함을 의미합니다.
3. 사이버 보안에 대한 실용적 유용성: 본 연구는 폭력이나 불법 행위와 같은 관련 없는 위해에 대한 안전 필터를 무차별적으로 제거하지 않고도, 승인된 공격적 보안 작업(예: CTF 챌전지, 취약점 연구)을 수행할 수 있는 모델을 만드는 것이 가능하다는 것을 입증합니다.

저자들은 유형의 안전 학습과 모델 아키텍처가 모델의 도메인 특화적 에블리터레이션 가능 여부를 결정하는 가장 신뢰할 수 있는 예측 인자라고 결론짓습니다. 그들은 이 작업을 AI 안전 연구자들에게는 다양한 정렬 기법의 견고성을 벤치마킹하는 도구로, 사이버 보안 전문가들에게는 자신의 도메인 범위를 온전히 수행할 수 있는 모델을 얻는 도구로 제시합니다.