기술 요약: 더 안전한 대규모 언어 모델을 위한 다국어 거절 정렬 (Multilingual Refusal Alignment)

문제 정의

대규모 언어 모델(LLM)이 전 세계적으로 배포됨에 따라, 여러 언어에 걸친 안전성과 정렬을 보장하는 것이 중요한 과제가 되었습니다. 현재의 정렬 연구는 영어에 지나치게 편중되어 있어, 모델이 영어로는 안전하게 동작하지만 다른 언어에서는 그렇지 못하는 심각한 불일치를 초-래하고 있습니다. 이러한 불일치는 예측 불가능한 안전 행동을 유발하여 사용자 신뢰를 저해하고 지역 특유의 해악을 악화시킬 수 있습니다. 또한, 기존의 다국어 안전 데이터셋은 부족하며, 특히 다양한 유럽 언어에 걸쳐 거절 행동(해로운 요청을 거절하는 행위)을 훈련하기 위해 설계된 데이터셋은 매우 드뭅니다. 단일 언어 정렬이 교차 언어적으로 전이되는지, 다국어 훈련 과정에서 언어 일관성이 어떻게 유지되는지, 그리고 안전성과 일반 지식 능력 사이의 트레이드오프가 존재하는지에 대한 체계적인 평가가 부족한 실정입니다.

방법론

저자들은 별도의 보상 모델을 필요로 하지 않고 선호도 쌍("선택된" 응답 vs "거부된" 응답)을 통해 모델을 최적화하는 간소화된 정렬 방식인 직접 선호 최적화(Direct Preference Optimization, DPO)를 사용하여 이러한 격차를 해결합니다.

데이터셋 구축: RefusEU

핵심 기여는 영어, 독일어, 이탈리아어, 프랑스어, 스페인어, 포르투갈어, 폴란드어, 체코어, 슬로바키아어, 슬로베니아어, 리투아니아어, 라트비아어를 포함한 12개 유럽 언어를 다루는 새로운 거절 정렬 데이터셋인 RefusFA입니다.

• 생성: Llama-Guard 분류 체계의 14가지 범죄 카테리와 10가지 공격 스타일을 기반으로 적대적 프롬프트가 생성되었습니다. 초기 생성은 폴란드어로 수행되었으며, DeepL API를 사용하여 대상 언어로 번역되었습니다.
• 필터링: 프로프트는 Mistral-Small-24B와 Llama-3.1-70B를 사용하여 생성되었습니다. 유해한 프롬프트는 Llama-Guard-3-8B와 PolyGuard-Qwen의 합의를 통해 식별되었습니다.
• 응답 생성:
  • 선택된 (안전한) 응답: Llama-3.1-70B에 의해 생성되었으며, 거절을 생성하도록 하는 지침이 추가되었습니다.
  • 거부된 (유해한) 응답: 안전 메커니즘이 의도적으로 제거되어 유해한 콘텐츠 생성이 가능하도록 만들어진 "abliterated" 버전의 Llama-3.1-70B(Llama-3.1-70B-Instruct-lorablated)에 의해 생성되었습니다.
• 품질 관리: 모든 언어에 대해 1,200개의 샘플을 수동 감사하여 "선택된" 응답이 유효한 거절인지, "거부된" 응답이 진정으로 유해한지를 검증했습니다. 최종 데이터셋은 언어당 4,000개 이상의 프롬프트-응답 쌍을 포함합니다.

실험 설정

저자들은 명확한 비안전 행동의 베이스라인을 확보하기 위해 abliterated 버전의 Llama-3.1-8B 및 Llama-3.1-70B로부터 제어된 훈련 실험을 수행했습니다. 네 가지 훈련 시나리오를 평가했습니다:

1. 균형 잡힌 (Balanced): 12개 언어가 동일한 샘플 표현을 가짐.
2. 고자원 언어 전용 (High-Res Only): 고자원 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어, 포르투갈어)만 사용.
3. 영어 전용 (English Only): 영어 데이터로만 훈련.
4. 영어 제외 (No English): 영어를 제외한 모든 언어로 훈련.

또한, 8B 모델에 대해 11개의 별도 단일 언어 훈련 실행을 실시했습니다.

평가 지표

• 안전성: RefusEU-test 세트(언어당 1,400개 샘플)에서의 **공격 성공률(Attack Success Rate, ASR)**과 RTP-LX 및 PolygloToxicityPrompts를 통한 교차 검증으로 측정됩니다. 낮은 ASR은 더 나은 안전성을 나타냅니다.
• 언어 일관성: 입력 프롬프트와 동일한 언어로 생성된 모델 출력의 비율.
• 일반 능력: Global MMLU 벤치마크(12개 언어 중 9개 언어와 중국어, 한국어 포함)를 사용하여 평가하며, LLM-as-a-Judge 프레임워크를 통해 유창성 및 정확성을 평가합니다.

주요 결과

1. 교차 언어 정렬 전이 (RQ1)

• 영어 전용 정렬은 불충분함: 영어 데이터로만 훈련하는 것은 동일한 해악 카테고리에 대해서도 교차 언어적 안전성을 보장하지 못했습니다. 이는 영어의 안전성은 개선했지만, 다른 언어에서의 성능은 다국어 훈련에 비해 최적에 미치지 못했습니다.
• 다국어 훈련이 우수함: Balanced 데이터셋 구성이 Llama-8B와 Llama-70B 모델 모두에서 가장 낮은 ASR 점수를 기록했습니다.
• 자원 의존성: 고자원 언어로 훈련하는 것은 일반적으로 전반적인 안전성을 향상시켰으나, 저자원 언어(예: 라트비아어, 리투아니아어)로 훈련하는 것은 다른 언어로 평가했을 때 종종 더 높은 ASR 점수를 초래했습니다.
• 언어적 유사성: 안전성 전이는 언어적으로 연관된 언어 사이(예: 폴란드어-체코어, 포르투갈어-스페인어)에서 더 효과적이었습니다.

2. 언어 일관성 (RQ2)

• 모델 규모의 중요성: Llama-70B는 모든 훈련 설정에서 100%에 가까운 언어 일관성을 유지했습니다. 반면, Llama-8B는 특히 "영어 전용" 훈련 하에서 독일어와 체코어 같은 언어에서 거의 40%의 하락을 보이는 등 상당한 일관성 저하를 보였습니다.
• 훈련의 영향: 언어 일관성을 명시적으로 강제하는 것은 작은 모델(Llama-8B)의 안전성을 낮출 수 있는 반면, 큰 모델(Llama-70B)은 최소한의 트레이드오프로 안전성과 일관성을 모두 보존할 수 있습니다.

3. 일반 능력 (RQ3)

• 최소한의 성능 저하: 다국어 정렬은 두 모델 크기 모두에서 Global MMLU 벤치마크에 대해 무시할 만한 수준의 성능 저하(값 < 0.006)를 보였습니다.
• 유창성 및 정확성: Llama-8B의 경우, 훈련은 저자원 언어에 대해 고자원 언어보다 더 큰 유창성 및 정확성 저하를 초래했습니다. Llama-70B의 경우 대부분의 구성이 유창성을 개선했으나, 특히 저자원 언어에 대해 정확성이 약간 감소했습니다.
• 번역 파이프라인: 작은 모델(8B)과 저자원 언어의 경우, 입력을 영어로 번역하고 처리한 뒤 다시 번역하는 번역 파이프라인을 사용하는 것이 모델이 원래 언어로 직접 응답하도록 강제하는 것보다 유창성과 정확성을 유지하는 데 더 효과적인 것으로 나타났습니다.

의의 및 주장

본 논문은 안전 정렬이 영어에서 다른 언어로 신뢰성 있게 전이되지 않음을 주장하며, 전용 다국어 훈련 전략이 필요함을 강조합니다. RefusEU의 도입은 DPO에 적합한 (질문, 선택된 응답, 거부된 응답) 트리플 형태의, 정렬 훈련을 위해 특별히 설계된 최초의 유럽 데이터셋을 제공합니다.

저자들은 다음과 같이 결론짓습니다:

1. **대규모 모델(예: Llama-70B)**은 다국어 데이터로 훈련될 때 일반 지식의 손실을 최소화하면서 강력한 안전 행동과 언어 일관성을 유지할 수 있습니다.
2. **작은 모델(예: Llama-8B)**은 저자원 환경에서 어려움을 겪으며, 안전성과 언어적 품질을 모두 유지하기 위해 균형 잡힌 다국어 데이터와 선택적인 번역 기반 처리가 필요할 수 있습니다.
3. 영어 전용 정렬은 잘못된 보안(false security)입니다: 이는 비영어 사용자들을 유해한 출력에 취약하게 만드는 안전 격차를 만듭니다.

이 연구는 영어 중심의 데이터셋으로 인해 다국어 안전성이 미발달되어 있지만, 체계적인 다국어 훈련이 일반적인 모델 능력을 저해하지 않으면서 이러한 위험을 효과적으로 완화할 수 있음을 보여줍니다. 저자들은 데이터셋이 합성적으로 생성되었으며 현재 24개 공식 EU 언어 중 12개만을 다루고 있다는 한계를 인정하며, 향히 연구에서 범위를 확장하고 실제 언어적 뉘앙스를 포함해야 한다고 제언합니다.