Why Do Safety Guardrails Degrade Across Languages?

기술 요약: 왜 안전 가드레일이 언어 간에 저하되는가?

문제 제기
대규모 언어 모델 (LLM) 은 비영어권 언어, 특히 저자원 언어에서 안전 가드레일이 저하되는 경향을 보입니다. Jailbreak 성공률 (JSR) 이나 공격 성공률 (ASR) 과 같은 표준 평가 지표는 이진 결과를 단일 스칼라로 집계합니다. 이러한 접근 방식은 "사과와 오렌지를 비교하는" 상황을 초래하여, 모델 능력, 프롬프트 난이도, 언어 처리 비용, 번역 오류 등 여러 안전 관련 요인을 하나의 지표로 혼동시킵니다. 결과적으로 JSR 은 안전 실패가 모델의 안전 능력 부족, 언어의 고유한 난이도, 번역 왜곡, 또는 문화적 개념 불일치 중 어디에서 비롯된 것인지 분해할 수 없습니다.

방법론
저자들은 안전 실패를 별도의 잠재 변수로 분해하기 위해 다중 그룹 항목 반응 이론 (IRT) 프레임워크를 제안합니다. 표준 집계 지표와 달리, 이 모델은 각 실패 원인을 특정 변수에 매핑합니다:

1. 안전 능력 ($\theta_j$): 모델 $j$의 언어 중립적 안전 강건성.
2. 고유 프롬프트 난이도 ($\beta_i$): 영어에서 파생된 프롬프트 $i$의 본질적 난이도.
3. 전역 언어 처리 난이도 ($\gamma_L$): 언어 $L$과 관련된 전역 처리 비용.
4. 교차 언어 안전 격차 ($\tau_{iL}$): 항목 기능 차이 (DIF) 를 나타내는 프롬프트별 잔차. 이는 능력과 전역 언어 효과를 통제한 후 특정 언어의 특정 프롬프트에 대한 안전 격차를 포착합니다.
5. 언어 적성 ($\delta_{jL}$): 언어 $L$에 대한 모델별 성능 변화.

안전 응답의 확률은 다음과 같이 모델링됩니다:
$$P(\text{safe}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$$
여기서 $\alpha_i$는 항목 변별도 파라미터입니다.

실험 설정

• 데이터셋: 본 연구는 MultiJail(3,150 개 프롬프트, 10 개 언어, 18 개 해악 카테고리) 을 활용하고 XSafety에서 결과를 검증합니다.
• 모델: 5 개 계열 (GPT, Claude, DeepSeek, Gemini, Grok) 에 걸친 61 개 모델 구성.
• 규모: 집계된 190 만 행의 데이터셋.
• 평가 프로토콜: 확률적 노이즈를 완화하기 위해 저자들은 Pass@k(구체적으로 Pass@10) 를 사용하여 프롬프트당 $k$개의 독립 응답을 생성하고 단일 패스 출력에 의존하는 대신 응답 분포를 추정합니다.
• 판정: 응답은 GPT-5.2 가 6 점 리커트 척도로 등급을 매기며, 원어민 화자 및 보조 LLM 판정자 (Claude, Gemini) 에 의해 검증됩니다.
• 앵커 선택: Lord 의 $\chi^2$통계량을 사용하여 언어 간 불변인 프롬프트를 선택하여 측정 척도를 고정하며, 앵커에는 엄격한 정규 사전 분포를 적용합니다.
• 정규화: 전역 언어 효과 ($\gamma_L$) 와 프롬프트별 격차 ($\tau_{iL}$) 를 혼동하지 않도록 $\tau_{iL}$에 위계적 Horseshoe 사전 분포를 적용하여 희소성을 강제합니다.

주요 결과

1. 안전의 단일 차원성: 탐색적 요인 분석 (EFA) 은 안전이 주로 단일 차원임을 보여줍니다. 모델들은 서로 다른 해악 유형을 주로 공유된 메커니즘을 통해 거부하며 (KMO = 0.942, 지배 비율 = 7.37), 이는 해악 카테고리별 별도 모델 대신 전역 IRT 모델을 정당화합니다.
2. "영어 역전" 현상: 저자원 언어에서 안전이 가장 크게 저하된다는 가정과 반대로, 61 개 모델 구성 중 22 개(16 개 Grok 변형과 4 개 DeepSeek 변형을 포함) 는 영어에서 가장 높은 실패율을 보입니다. 이러한 모델들의 경우, 저자원 언어에서의 안전 성능이 영어보다 약간 더 좋습니다.
3. 응답 불확실성: 저자원 언어는 고자원 언어에 비해 훨씬 더 많은 불확실한 응답 (높은 엔트로피) 과 더 높은 비율의 "경계" 사례를 생성합니다. 고능력 모델은 이러한 언어에서 결정 경계에 더 가깝게 작동합니다.
4. 번역 품질 vs 안전 격차:
   • 번역 품질은 집계된 안전 및 교차 언어 안전 격차 ($\tau$) 와 약하게 상관관계가 있어 $\tau$ 분산의 약 1% 만 설명합니다.
   • 그러나 심각한 번역 오류(예: "hot-wire a car"를 "warm a car"로 번역) 는 고편의 이상치로 작용하여 유해한 의도를 정제함으로써 $\tau$를 인위적으로 과대평가합니다.
   • 문화적 및 개념적 격차: 완벽한 번역 품질을 가진 고-$\tau$ 프롬프트에 대한 원어민 분석은 "FBI"나 "SSN"과 같은 미국 특유의 용어와 같은 문화적 프레임의 불일치 및 개념적 기반이 안전 격차에 기여함을 보여줍니다. 고-$\tau$ 프롬프트는 추상적 카테고리보다는 물리적 해악 카테고리 (도둑질, 무기) 에 집중됩니다.
5. 예측 타당성: 전체 IRT 프레임워크는 안전한 거부를 예측하는 데 AUC 0.940을 달성하여 단순한 베이스라인 (예: 언어별 AUC = 0.531) 을 능가합니다. 특히, 한 언어를 제외한 검증 (LOLO) 에서 IRT 프레임워크는 잠재 구조를 활용하여 강력한 성능 (AUC $\approx$ 0.875) 을 유지하는 반면, 베이스라인은 우연 수준으로 무너집니다.

의의 및 주장
본 논문은 집계 지표를 넘어 다국어 안전을 위한 진단 프레임워크를 제공한다고 주장합니다. 능력, 언어 난이도, 프롬프트별 격차를 분리함으로써 이 프레임워크는 다음과 같은 점을 보여줍니다:

• 안전 저하는 균일하지 않으며, 일부 모델은 실제로 영어에서 더 안전하지 않음을 드러냅니다.
• 번역 오류는 전체적으로 미미한 요인이지만, 평가 왜곡을 일으키는 심각한 이상치를 유발함을 식별합니다.
• 번역이 정확하더라도 문화적 및 개념적 불일치, 특히 물리적 해악 카테고리에서 상당한 안전 격차를 주도함을 강조합니다.
• 데이터셋 구축 개선이나 파인튜닝을 위해 높은 $\tau$를 가진 특정 프롬프트 - 언어 쌍을 식별할 수 있는 표적 개선 방법을 제공합니다.
• 혼동 요인으로 인해 교차 설정 비교에 일반적으로 유효하지 않은 현재 LLM 평가 관행 (JSR/ASR) 을 비판하고 IRT 와 같은 심리측정적 접근을 옹호합니다.

저자들은 폐쇄형 API 모델에 대한 의존성 (내부 활성화 분석 불가), 비원어민 언어에서의 잔류 판정자 편향 가능성, 그리고 "영어 역전" 메커니즘이 행동적 설명에 머무르고 기계적 설명이 부재하다는 점 등을 포함한 한계를 지적합니다.