기술 요약: 누가 안전을 위해 더 많은 비용을 지불하는가? 언어 간 안전 정렬의 불균등한 비용 측정

문제 정의

대규모 언어 모델(LLM)의 안전 정렬(Safety alignment)은 유해한 출력을 방지하도록 설계되었으나, 종종 유용성 비용(utility cost)을 발생시켜 모델의 유용성과 정보성을 저하시킨다. 기존 연구들은 이러한 트레이드오프(예: 과잉 거부, 능력 저하)의 존재를 입증해 왔으나, 한 가지 핵심적인 질문은 여전히 해결되지 않은 채 남아 있다: 안전 정렬이 서로 다른 언어에 대해 이 유용성 비용을 동일하게 부과하는가?

기존의 평가 방식은 단일 안전 정렬 모델을 사용하여 언어 간 절대적 성능을 비교한다. 이러한 접근 방식은 성능 차이가 기존의 능력 격차(예: 저자원 언어의 낮은 숙련도)에서 기인한 것인지, 아니면 안전 정렬 과정 자체에서 기인한 것인지를 구분하지 못한다. 또한, 유용성 비용은 흔haft히 암묵적으로 존재한다. 모델이 겉으로는 도움이 되는 것처럼 보이지만 은밀하게 정보를 제한할 수 있으며, 이는 표준 평가 지표로는 포착하기 어려운 퇴보 현상이다.

방법론

저자들은 안전 비용(Safety Cost) 개념을 중심으로 한 엄격한 평가 프로토콜을 도입하여 안전 정렬의 구체적인 영향을 격리한다.

1. 안전 비용의 정의

안전 비용은 도움이 되고 순응적인 응답이 기대되는 양질의 쿼리에 대해, 안전 정렬이 직접적으로 초래한 유용성 손실로 정의된다. 이는 쌍체 유용성 평가(pairwise helpfulness evaluation)에서 정렬되지 않은 모델($M_{unaligned}$)이 안전하게 정렬된 모델($M_{aligned}$)보다 선호될 확률로 정량화된다:
$$Cost_L = P(M_{unaligned} \succ M_{aligned} | L)$$
여기서 $L$은 특정 언어를 나타낸다.

2. 실험 설정

• 모델 페어링: 본 연구는 네 가지 주요 모델 제품군(Llama-3.3-70B, Qwen2.5-72B, Gemma-3-27B, Qwen3-32B)과 그에 대응하는 정렬되지 않은(unaligned) 대응 모델을 활용한다. 정렬되지 않은 모델은 거부 방향 절제(refusal-direction ablation), 즉 모델 가중치를 단일 거부 방향에 직교하도록 투영하여 기본 지식과 지시 이행 능력은 유지하면서 안전 방어 기제만 제거하는 '애블레이션(abliteration)' 기술을 통해 생성된다.
• 벤치마크 선정: 평가는 과잉 거부 데이터셋(XSTest, OR-Bench, OR-Bench-Hard)에 집중한다. 이 데이터셋은 어휘적 또는 주제적으로 유해한 쿼리와 유사하지만 실제로는 유해하지 않은 양질의 프롬프트를 포함하고 있어, 안전 필터가 작동하도록 유도하면서도 유용성 손실을 측정할 수 있도록 설계되었다.
• 평가 지표: 연구는 GPT-5-mini를 LLM-as-a-Judge로 사용하는 쌍체 비교 프레임워크(Chatbot Arena에서 영감을 받음)를 채택하여 어떤 응답이 더 도움이 되는지 결정한다. **한계 안전 비용(Marginal Safety Cost, MSC)**은 특정 언어의 안전 비용과 영어 기준값의 차이로 계산된다 ($MSC_L = Cost_L - Cost_{English}$).
• 통제 변수: 관찰된 차이가 절제 과정이나 번역 품질의 결과물이 아님을 보장하기 위해, 저자들은 다음을 포함한 광범위한 통제를 실시했다:
  • 기존의 언어적 결함을 배제하기 위해 양질의 작업에 대한 "정렬 격차 차이(Alignment Gap Differences)"를 비교함.
  • 원어민 및 역번역을 통해 번역 품질을 검증함.
  • 절제 기술을 완전히 피하기 위해, 처음부터 학습된 매칭된 체크포인트(Qwen3-8B)를 안전 데이터 유무에 따라 비교하여 결과를 재현함.

주요 기여

1. 체계적 불평등: 본 논문은 비영어 사용자들의 안전 비용이 영어 사용자보다 일관되게 높다는 실증적 증거를 제시한다. 이러한 격차는 광범위한 다국어 지원과 엄격한 안전 훈련을 강조하는 모델에서도 지속된다.
2. 세 가지 격차 패턴 식별:
   • 이중 패널티 구역(Double Penalty Zone): 많은 비영어 언어들이 **약한 안전 보호(낮은 Safety Gain)**와 **높은 유용성 손실(높은 Safety Cost)**을 동시에 겪는 사분면에 속한다.
   • 허위 저비용(False Low Cost): Qwen3의 경우처럼, 겉보기에 낮은 안전 비용은 사실 비영어 입력에 대해 안전 필터가 제대로 작동하지 않아 사용자가 유해한 출력에 노출되는 결과일 수 있다.
   • 고자원 언어 격차: 중국어와 같은 고자원 언어조차도 동등한 수준의 안전성을 확보하기 위해 영어보다 훨씬 높은 안전 비용을 지불한다.
3. 퇴보 메커니즘: 연구는 안전 비용이 단순히 명시적인 거부에 의해 발생하는 것이 아님을 밝혀냈다. 유용성 손실의 상당 부분은 암묵적 질적 저하에서 기인한다. 즉, 정렬된 모델은 쿼리를 거부하지 않더라도 정렬되지 않은 모델에 비해 덜 정보적이고, 덜 실행 가능하며, 덜 정밀한 응답을 제공한다.
4. 방법론적 프레임워크: 저자들은 기존의 모델 능력으로부터 정렬 효과를 분리하여 안전 비용을 측정하는 통제된 프로토콜을 제안함으로써, 다국어 안전 평가를 위한 더 정확한 관점을 제공한다.

결과

• 정량적 결과: 여러 모델 제품군에 걸쳐 비영어 언어들은 양(+)의 한계 안전 비용을 나타내며, 이는 불균형한 유용성 패널티를 의미한다. 예를 들어, Gemma-3 및 Qwen2.5 제품군에서 비영어 언어들은 영어보다 현저히 높은 비용을 보였다.
• 거부 vs 암묵적 비용: 분석 결과, 명시적 거부율이 비용(특히 "hard" 벤치마크에서)에 기여하기는 하지만, 이것이 격차를 완전히 설명하지는 못한다. 많은 경우, 정렬되지 않은 모델은 정렬된 모델이 요청을 준수할 때조차도 더 포괄적이고 실행 가능한 답변을 제공한다.
• 강건성 검사: 결과는 처음부터 학습된 매칭된 체크포인트를 사용할 때도 동일하게 나타나며, 이는 격차가 절제 기술의 부산물이 아니라 안전 정렬 목표 자체에서 기인함을 확인시켜 준다.

의의

본 논문은 현재의 안전 정렬 관행에 근본적인 결함이 있다고 주장한다: 즉, 비영어 사용자에게 경험적 저하를 초래하는 구조적이고 언어 의존적인 패널티를 부과한다는 것이다. 안전 메커니즘이 비영어 입력에 대해 잘못 미세 조정되어(결과적으로 과도한 유용성 손실 또는 불충분한 보호를 초래함) 균형 잡힌 트레이드오프를 제공하지 못한다는 점을 폭로함으로써, 저자들은 공평한 안전 메커니나즘의 개발을 촉구한다.

연구는 안전 정렬을 균일한 과정으로 보아서는 안 된다고 결론짓는다. 대신, 개발자는 안전과 유용성 사이의 트레이드오프가 공정하게 배분되도록, 비영어 사용자에게 불균형한 부담을 지우는 대신 모든 지원 언어에 걸쳐 안전 비용을 측정하고 해결해야 한다. 이 연구는 진정으로 포용적이고 유용한 AI 시스템을 달기 위해 영어 중심의 안전 패러다임을 넘어서야 할 필요성을 강조한다.