Refusal Direction is Universal Across Safety-Aligned Languages

1. 연구 배경 및 문제 제기 (Problem)

• 배경: LLM 은 유해하거나 윤리적이지 않은 요청을 거부하는 메커니즘을 통해 안전성을 보장받습니다. 최근 연구 (Arditi et al., 2024 등) 에 따르면, 이 거부 행동은 모델의 활성화 공간 (activation space) 내의 **단일 벡터 방향 (Refusal Direction)**으로 인코딩되어 있으며, 이 벡터를 조작하면 거부를 우회 (Jailbreak) 하거나 강화할 수 있습니다.
• 문제: 기존 연구는 주로 영어 환경에 국한되어 있었습니다. 그러나 LLM 은 전 세계적으로 사용되며, 영어 중심의 안전 정렬이 다른 언어에서도 동일하게 작동하는지, 혹은 언어별로 고유한 거부 메커니즘이 존재하는지는 명확하지 않았습니다.
• 핵심 질문: "거부 방향 (Refusal Direction) 은 언어에 관계없이 보편적인가 (Universal)?"

2. 방법론 (Methodology)

2.1 데이터셋 구축: PolyRefuse

• 기존 영어 해로운 프롬프트 (ADVBENCH, MALICIOUSINSTRUCT 등) 와 benign 프롬프트 (ALPACA) 를 14 개 언어 (독일어, 스페인어, 프랑스어, 이탈리아어, 네덜란드어, 일본어, 폴란드어, 러시아어, 중국어, 한국어, 아랍어, 태국어, 요루바어, 영어) 로 번역하여 PolyRefuse 데이터셋을 구축했습니다.
• 번역의 품질을 평가하기 위해 역번역 (Back-translation) 및 BLEU, SBERT 점수를 활용했습니다.

2.2 거부 방향 추출 (Refusal Direction Extraction)

• Mean Difference-in-Means 방법을 사용하여 유해 프롬프트와 무해 프롬프트 간의 평균 활성화 차이를 계산합니다.
• 특정 레이어 $l$과 토큰 위치 $i$에서 다음과 같이 계산합니다:
  $$r_{i,l} = v_{harmful}^{i,l} - v_{harmless}^{i,l}$$
• 모델이 유해 요청에 대해 거부할 때 나타나는 초기 토큰 (예: "Sorry", "I cannot" 등) 을 식별하여 언어별 거부 토큰을 정의하고, 이를 기반으로 최적의 거부 벡터를 추출합니다.

2.3 개입 실험 (Intervention Experiments)

• 벡터 제거 (Ablation): 추출된 거부 벡터를 모델의 잔여 스트림 (residual stream) 에서 제거하여 거부 행동을 약화시키고 유해 요청에 대한 준수율 (Compliance Rate) 을 측정합니다.
• 벡터 추가 (Addition): 거부 벡터를 활성화에 추가하여 거부 행동을 강화합니다.
• 교차 언어 실험:
  1. 영어 기반: 영어에서 추출한 거부 벡터를 다른 언어의 모델에 적용.
  2. 비영어 기반: 독일어 (de), 중국어 (zh), 태국어 (th) 등 안전 정렬이 잘 된 3 개 언어에서 추출한 벡터를 다른 언어에 적용하여 보편성을 검증.

2.4 기하학적 분석 (Geometric Analysis)

• 모델의 임베딩 공간에서 유해/무해 프롬프트의 분포를 PCA 로 시각화하고, **실루엣 점수 (Silhouette Score)**를 계산하여 언어별 클러스터링 품질을 정량화했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 거부 방향의 언어 간 보편성 (Universality of Refusal Direction)

• 영어 중심 가설: 영어에서 추출된 거부 벡터를 다른 14 개 언어의 모델에 적용했을 때, 모든 모델 (Llama3.1, Qwen2.5, Gemma-2 등) 에서 거부 행동이 크게 감소하고 유해 요청 준수율이 급격히 증가했습니다.
• 강한 보편성: 영어뿐만 아니라 안전 정렬이 잘 된 비영어 언어 (독일어, 중국어, 태국어) 에서 추출한 거부 벡터도 다른 모든 언어에서 동일한 효과를 보였습니다. 즉, 안전 정렬된 언어라면 어떤 언어에서 추출하든 거부 벡터는 상호 교환 가능하며 보편적으로 작동합니다.
• 예외 (요루바어): 요루바어 (yo) 와 같이 모델의 안전 정렬이 미비한 언어에서는 거부 벡터의 효과가 제한적이거나, 오히려 기존에 거부하지 않던 모델이 더 많이 준수하는 경향을 보였습니다. 이는 거부 메커니즘이 모델의 '안전 정렬 상태'에 의존함을 시사합니다.

3.2 교차 언어 재킹 (Cross-lingual Jailbreak) 의 성공 원인

• 벡터의 평행성: 다양한 언어에서 추출된 거부 벡터들은 임베딩 공간에서 **거의 평행 (Approximately Parallel)**하게 존재했습니다. 이는 모델이 언어에 구애받지 않고 구조적으로 일관된 방식으로 거부 신호를 인코딩함을 의미합니다.
• 클러스터링의 부재: 영어에서는 유해/무해 프롬프트가 명확하게 분리된 클러스터를 형성하지만, 많은 비영어 언어 (특히 저자원 언어) 에서는 이 분리가 모호했습니다.
  • 결과: 거부 벡터는 보편적이지만, 비영어 언어에서는 유해/무해 입력을 명확히 구분하지 못해 (Weak Separation) 거부 신호가 약화됩니다. 이로 인해 영어에서는 안전하지만 다른 언어에서는 쉽게 재킹 (Jailbreak) 되는 취약점이 발생합니다.

3.3 실험적 검증

• Table 1 & Figure 1: 영어 벡터 제거 시, 요루바어 (82.9% 준수) 와 같이 이미 취약한 언어뿐만 아니라, gemma-2-9B-it(0.57 → 0.87) 과 같이 안전성이 높은 모델에서도 준수율이 급증했습니다.
• Figure 2: 독일어, 중국어, 태국어 벡터 제거 시, 모든 언어와 모델에서 준수율이 90% 이상으로 치솟으며 거부 메커니즘이 붕괴되었습니다.
• Table 2: 실루엣 점수 분석 결과, 영어 (0.4960) 가 다른 언어 (독일어 0.2182, 태국어 0.2406 등) 보다 유해/무해 샘플 간 분리가 훨씬 명확했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 메커니즘적 통찰: LLM 의 거부 메커니즘은 언어별 고유한 것이 아니라, 구조적으로 정렬된 보편적인 벡터로 존재함을 발견했습니다. 이는 모델이 내부적으로 "안전"이라는 개념을 언어와 무관하게 처리하고 있음을 시사합니다.
• 안전성 취약점의 본질: 교차 언어 재킹이 성공하는 주된 원인은 거부 벡터의 부재가 아니라, **비영어 언어에서의 유해/무해 표현 공간의 분리 부족 (Insufficient Separation)**에 기인합니다. 모델은 거부 방향을 알고 있지만, 특정 언어 입력이 유해한지 판단하는 단계에서 실패합니다.
• 향후 방향:
  • 단순히 거부 벡터를 수정하는 것을 넘어, 모델의 임베딩 공간 내에서 **유해하고 무해한 내용을 명확히 분리 (Separation)**시키는 것이 다국어 안전 방어 체계 구축의 핵심입니다.
  • 저자원 언어나 안전 정렬이 미비한 언어에 대한 정렬 전략을 개선해야 합니다.

이 연구는 다국어 LLM 의 안전성을 이해하는 데 있어 벡터 공간의 기하학적 구조가 핵심 요소임을 보여주었으며, 더 강력하고 신뢰할 수 있는 다국어 안전 방어 메커니즘 개발을 위한 실질적인 통찰을 제공합니다.