기술 요약: 거절 기하학은 거절 학습을 반영한다

문제 정의

AI 모델이 이중 용도 능력(예: 취약점 생성, 생물 무기화 지원)을 습득함에 따라, 안전 정렬(safety alignment)이 매우 중요해지고 있습니다. 표준 정렬 기법은 모델이 유해한 지시에 거절하도록 학습시킵니다. 그러나 최근 연구는 화이트박스 설정에서, 정렬된 언어 모델의 거절 행동이 단일 활성화 방향이나 저차원의 거절 부공간(subspace)에 의해 매개될 수 있다는 취약점을 발견했습니다. 이 방향을 절제(ablation, 활성화에서 해당 투영을 제거하는 것)하면 모델의 거절을 억제하면서도 다른 능력은 보존하는 방식으로 모델을 효과적으로 "탈옥(jailbreak)"할 수 있습니다.

이러한 현상의 만연함에도 불구하고, 왜 안전에 민감한 거절 특징들이 다양한 유해 프롬프트 전반에 걸쳐 이토록 저차원 구조로 집중되는지에 대한 기계론적 기원은 여전히 불분명합니다. 나아가, 이러한 취약성이 모델 아키텍처의 고유한 특성인지 아니면 특정 학습 역학의 결과인지, 그리고 이를 완화할 수 있는지 여부도 알려져 있지 않습니다.

방법론

저자는 OLMo-2-0425-1B-Instruct 모델에 대한 사례 연구를 수행하며, 고정된 모델 분석과 통제된 합성 미세 조정(synthetic fine-tuning)을 결합하여 분석적 유도와 경험적 검증을 병행합니다.

분석적 프레임워크

본 논문은 거절 잔차(refusal residuals, 유해 프롬프트와 무해 프롬프트 간의 활성화 차이)의 기하학이 거절 학습 과정의 그래디언트(gradient)에 의해 직접적으로 형성된다고 가정합니다.

1. 그래디언트-활성화 매핑: 저자는 거절 완료 문구의 첫 번째 토큰에 대한 교차 엔트로피 손실을 분석합니다. 저자는 이러한 손실로부터 발생하는 그래디언트 유도 활성화 업데이트($G$)가 기하학적으로 거절 잔차($\Delta H$)와 대응해야 함을 유도합니다. 구체적으로, 저자는 거절 부공간이 이러한 그래디언트 업데이트의 부호가 반전된 아핀 부공간(affine subspace)에 의해 근사된다는 가설을 세웁니다.
2. 안정적 계수(Stable Rank) 및 집중: 거절 메커니즘의 안정적 계수(유효 차원의 척도)를 거절 학습 데이터의 다양성과 연결하는 것이 핵심적인 이론적 기여입니다.
   • 보조정리 3.1: 거절 첫 토큰의 원-핫 행렬($E_r$)의 안정적 계수는 단일 토큰의 최대 빈도에 반비례합니다. 만약 모든 거절이 동일한 토큰(예: "I'm sorry")으로 시작한다면, 안정적 계수는 1입니다. 토큰이 다양해지면 안정적 계수는 증가합니다.
   • 전파(Propagation): 저자는 **안정적 계수 전파 인자(stable rank transfer factors)**를 정의하여 거절 메커니즘의 안정적 계수가 트랜스포머 레이어를 통해 어떻게 전파되는지 경계합니다. 저자는 이상적인 조건 하에서, 토큰 다양성에 의해 구동되는 마지막 레이어의 그래디언트 안정적 계수가 이전 레이어로 역전파되어 거절 메커니즘의 유효 계수를 증폭시킬 수 있음을 보여줍니다.

실험 설정

• 모델: OLMo-2-0425-1B 및 그 체크포인트들 (Base, SFT, DPO, RLVR1, Instruct).
• 데이터셋: AdvBench, WildJailbreak, XSTest, 그리고 미세 조정을 위한 통제된 CAMEL 화학 데이터셋.
• 공격: 평균 차이 단일 벡터 절제(Difference-in-means single-vector ablation). 공격자는 거절 벡터 $\rho = \mu_{harm} - \mu_{benign}$를 추정하고 실행 시 활성화에서 그 투영을 제거합니다.
• 지표: 거절율, 유해성 비율, 거절 델타(절제 후 변화율), 잔차($\Delta H$) 및 그래디언트($G$)의 안정적 계수, 그리고 부공간 중첩 지표.

주요 기여 및 결과

1. 학습 기원 기하학

본 연구는 거절 학습 그래디언트가 거절 부공간을 직접적으로 형성함을 확인합니다.

• 정렬: 그래디언트 유도 활성화 업데이트($G$)의 평균은 거절 벡터($\rho$)와 음의 방향으로 정렬되어 있으며, 이는 손실 그래디언트와 반대 방향으로 활성화를 이동시키는 경사 하강법의 원리와 일치합니다.
• 부공간 중첩: 중심화된 그래디언트 업데이트($G_c$)와 중심화된 거절 잔차($\Delta H_c$)의 주 방향(우특이 벡터)은 특히 중간 및 후기 레이어에서 상당한 중첩을 보입니다.
• 계수 대응: $G$와 $\Delta H$의 안정적 계수가 밀접하게 일치하며, 이는 거절 메커니즘이 학습 업데이트의 직접적인 결과라는 가설을 뒷받침합니다.

2. 접두사 집중 및 스펙트럼 붕괴

본 논문은 반복적인 거절 시작 문구(예: 모든 거절이 "I"로 시작함)를 저계수 거절 표현의 주요 메커니즘으로 식별합니다.

• 토큰 다양성: 거절 완료 문구가 동일한 첫 토큰을 공유할 때, 타겟 행렬 $E_r$의 안정적 계수는 1이 됩니다. 이러한 집중은 네트워크를 통해 전파되어 저계수 안정적 그래디언트와 활성화 업데이트를 초래합니다.
• 취약성: 낮은 안정적 계수는 거절 메커니즘이 단일 유효 방향에 집중되어 있음을 의미하며, 이는 단일 벡터 절제 공격에 매우 취약하게 만듭니다.

3. 거절 다양성을 통한 강화 레버

통제된 실험을 통해, 저자는 거절 첫 토큰의 다양성을 높이는 것이 거절 메커니즘의 안정적 계수를 높이고 절제 공격을 약화시킨다는 것을 입증합니다.

• 고정 모델 분석: 고정된 유해 프롬프트 세트에 대해 거절 완료 문구의 첫 토근을 변경함으로써, 저자는 서로 다른 첫 토큰의 수(1개에서 16개로)를 늘릴 때 거절 잔차($\Delta H$)와 그래디언트 업데이트($G$)의 안정적 계수가 증가함을 보여주었습니다.
• 절제 저항성: 더 높은 안정적 계수를 가진 서브셋은 더 작은 "거절 델타"(절제 후 거절율의 감소폭)를 나타냈습니다. 고계수 잔차 부공간은 단일 벡터로 억제하기 더 어렵습니다.
• 통제된 미세 조정: 저자는 다양한 토큰 다양성을 가진 거절 완료 문구와 쌍을 이룬 무해한 화학 프롬프트로 모델을 미세 조정했습니다. 다양한 거절 시작을 가진 모델은 유사한 베이스라인 거절율을 달성하면서도, 반복적인 시작을 가진 모델에 비해 단일 벡터 절제 공격에 대한 취약성이 현저히 낮아졌습니다.

4. 교차 레이어 안정적 계수 전파

본 연구는 레이어 간에 계수가 어떻게 변하는지 정량화하기 위해 안정적 계수 전파 인자를 도입합니다.

• 증폭: 많은 설정에서, 그래디언트의 안정적 계수는 마지막 레이어에서 중간 레이어로 역전파됨에 따라 증폭됩니다 (예: 레이어 15에서 레이어 7까지 약 2배의 인자).
• 공유 맵: 저자는 그래디언트 간의 교차 레이어 관계를 근사하기 위해 "top-k 소스-부공간 공유 맵(top-k source-subspace shared maps)"을 정의합니다. 이 맵들은 교차 레이어 관계의 유의미한 성분을 성공적으로 재구성하여, 계수 전파에 대한 이론적 경계를 검증합니다.

의의 및 주장

본 논문은 저차원 거절 메커니즘의 경험적 관찰과 이를 만드는 학습 역학 사이의 간극을 메운다고 주장합니다.

• 기계론적 설명: 본 연구는 왜 거절 행동이 집중되는지에 대한 기계론적 설명을 제공합니다. 즉, 이는 학습 업데이트의 기하학적 결과이며, 특히 안전 데이터셋 내의 반복적인 거절 접두사로 인한 그래디언트의 집중 때문입니다.
• 데이터 기하학을 통한 방어: 주요 기여는 "강화 레버"를 식별한 것입니다. 저자는 다양한 거절 시작 문구가 거절 메커니즘의 안정적 계수를 높여, 아키텍처 변경이나 복잡한 적대적 학습 없이도 단일 벡터 절제 공격에 대한 저항성을 높일 수 있다고 주장합니다.
• 한계: 저자는 다음과 같은 점을 언급하며 주장에 신중을 기합니다:
  • 거절 다양성만으로는 모든 탈옥(예: 다중 벡터 절제 또는 다른 공격 계열)에 대한 완전한 방어가 되기 어려울 수 있습니다.
  • 본 연구는 특정 모델 제품군(OLMo)과 영어 데이터에 대한 사례 연구입니다.
  • 본 연구 결과는 학습 데이터의 속성과 강건성 사이의 상관관계를 설명하며, 이는 원칙적인 방어 설계가 "거절 학습 업데이트의 기하학"을 고려해야 함을 시사합니다.

요약하자면, 본 논문은 현재 안전 정렬의 취약성이 아키텍처의 필연적인 결함이 아니라 학습 데이터 집중의 결과라고 상정합니다. 거절 완료 문구의 토큰 수준 속성을 다양화함으로써, 거절 메커니즘의 유효 차원을 높여 단일 벡터 절제 공격에 대한 장벽을 높일 수 있습니다.