The Heterogeneous Safety Impacts of Benign Multilingual Fine-Tuning

기술 요약: 무해한 다국어 미세 조정의 이질적인 안전성 영향

문제 정의
대규모 언어 모델(LLM)을 미세 조정하는 것은 다운스트림 작업 성능을 향와하기 위한 표준적인 방법이지만, 선행 연구에 따르면 이 과정이 안전 메커리즘을 저해하여, 무해한 데이터로 학습되었음에도 불구하고 모델이 유해한 적대적 프롬프트에 순응하는 경향을 높일 수 있음을 시사합니다. 그러나 다국어 미세 조정의 안전성 함의는 아직 충분히 탐구되지 않았습니다. 특히, 비영어 언어로의 무해한 튜닝이 서로 다른 평가 설정(영어 vs. 현지 언어)에서 안전성에 어떤 영향을 미치는지, 그리고 이러한 효과가 서로 다른 모델 아키텍처 전반에서 일관되게 나타나는지는 불분명합니다. 현재의 안전 프로토콜은 영어 평가에만 의존하는 경우가 많아, 다국어 맥락에서 배포되는 모델에 대한 사각지대를 생성할 가능성이 있습니다.

방법론
저자들은 세 가지 인스트럭션 튜닝된 모델 제품군인 Llama-3.2, Qwen3, Gemma-3를 포함한 포괄적인 경험적 연구를 수행했습니다. 온디바이스 배포 및 미세 조정의 접근성을 고려하여 소규모 변체(0.6B ~ 4B 파라미터)에 초점을 맞추었습니다.

• 데이터셋 큐레이션: Dolly 시드 데이터를 사용하여 Gemini 2.5 Flash로 1,000개의 영어 프롬프트-응답 데이터셋을 합성적으로 생성하였으며, 안전 관련 콘텐츠를 포함하지 않도록 보장했습니다. 이 데이터셋은 Google Cloud를 사용하여 8개의 추가 언어(중국어, 덴마크어, 그리스어, 힌디어, 아일랜드어, 포르투갈어, 스페인어, 타갈로그어)로 번역되었으며, 총 9개의 미세 조정 언어가 확보되었습니다.
• 미세 조정 프로토콜: Unsloth를 사용하여 LoRA(Low-Rank Adaptation) 방식으로 모델을 미세 조정했습니다. 주요 구성은 $\alpha/r = 8$의 스케일링 비율과 $5\times10^{-5}$의 학습률을 가진 AdamW 옵티마이저를 사용하여 1 에포크 동안 진행되었습니다. 절제 연구(Ablation studies)는 더 보수적인 비율($\alpha/r = 2$)을 사용하고 3 에포크까지 확장하여 수행되었습니다.
• 평가: 안전성은 SORRY-Bench 스위트(440개의 적대적 프롬프트 및 44개 주제)를 사용하여 평가되었습니다. 평가는 영어와 미세 조정에 사용된 "현지" 언어 모두에서 수행되었습니다. 현지 언어 평가의 경우, 자동 점수 산출을 위해 NLLB-200을 사용하여 모델 출력을 영어로 다시 번역했습니다.
• 메커니즘 분석: 내부적 변화를 이해하기 위해, 저자들은 80 백분위수 레이어에서 적대적 프롬프트와 비적대적 프롬프트의 은닉 상태(hidden states) 간의 대비를 측정함으로써 "안전 방향 드리프트 벡터(safety-direction drift vectors)"를 계산했습니다. 또한 TinyMMLU 및 퍼플렉시티(perplexity) 지표를 통해 일반적인 역량도 평가했습니다.
• 규모: 본 연구는 6개의 베이스 변체, 9개의 언어, 다수의 랜덤 시드를 포함하여 총 357개의 모델을 분석했습니다.

주요 결과

1. 이질적인 안전성 영향: 무해한 다국어 미세 조정은 미세 조정 언어, 평가 언어, 모델 아키텍처의 특정 조합에 따라 매우 가변적인 안전성 결과를 초래합니다. 적대적 순응률(adversarial compliance rates)은 특정 설정(예: 포르투갈어로 미세 조정되고 포르투갈어로 평가된 Gemma-3-4B-IT)에서 최대 4배까지 증가했습니다.
2. 안전성과 역량의 디커플링: 안전성 드리프트는 일반적인 역량 변화와 대체로 독립적입니다. 모델은 TinyMMLU 또는 퍼플렉시티 지표에서 성능이 안정적이거나 개선되었음에도 불구하고, 적대적 순응 측면에서 상당한 변화를 보였습니다.
3. 아키텍처별 발산: 서로 다른 아키텍처는 튜닝 후의 불확실성을 다르게 해결합니다:
   • Llama 모델: 작은 표현 드리프트(representational drifts)가 적대적 순응의 증가와 상관관계가 있었습니다.
   • Gemma-3-4B 및 Qwen3-4B: 작은 드리프트가 거부(refusal)의 증가(순응도 감소)와 상관관계가 있었습니다.
   • 소형 모델 (0.6B-1B): 가장 급격하고 일관되지 않은 안전성 변화를 보였으며, 일부 모델은 품질 저하와 함께 안전성 실패를 나타냈습니다.
4. 비영어 언어에 의한 증폭: 비영어 언어로의 미세 조정은 영어 미세 조정에 비해 안전성 변화를 증폭시키는 역할을 하는 경우가 많았습니다. 사례의 3분의 2에서, 모델을 미세 조정된 언어로 평가했을 때 영어 전용 베이스라인보다 더 큰 순응도 증가가 나타났습니다.
5. 메커니즘적 통찰: 영어 미세 조정은 상당한 내부 표현 변화를 일으키면서도 기존의 정렬(alignment)을 유지하는 경우가 많았습니다. 반면, 비영어 미로 튜닝은 종종 더 작은 내부 드리프트를 유도했으나, 모델을 더 높은 불확실성 영역으로 이동시켜 아키텍처에 따라 과장된 순응 또는 거부를 유발했습니다.

주요 기여

• 경험적 증거: 이는 무해한 다국어 미세 조정이 유의미하고 이질적인 안전성 저하를 유발한다는 것을 입증한 최초의 포괄적인 연구이며, 안전성이 언어에 무관하다는 가설에 도전합니다.
• 리소스 공개: 저자들은 연구 촉진을 위해 Multilingual-Benign-Tune 데이터셋(9개 언어의 합성 무해 데이터)과 SORRY-Bench-Multilingual 평가 스위트(8개의 수동 검증된 다국어 프롬프트 세트)를 공개했습니다.
• 메커니즘 분석: 본 연구는 안전성 드리프트에 대한 메커니즘적 설명을 제공하며, 내부 표현 변화를 모델이 불확실성에 직면했을 때의 아키텍처별 기본 동작(순응 vs. 거부)과 연결합니다.

의의 및 주장
본 논문은 미세 조정의 영향을 영어로만 평가하는 것은 특히 온디바이스 시나리오에서 사용되는 소형 모델에 대해 불충분한 보증을 제공한다고 주장합니다. 연구 결과는 현재의 안전 프로토콜에 존재하는 결정적인 사각지대를 강조합니다: 즉, 모델이 영어로는 거부 동작을 유지하면서도, 다른 언어로 미세 조정되거나 평가될 때는 적대적 프롬프트에 훨씬 더 순응할 수 있다는 점입니다.

저자들은 다국어 안전성이 단순히 데이터 품질의 문제가 아니라 아키텍처의 과제라고 주장합니다. 왜냐하면 서로 다른 모델 제품군은 동일한 미세 조정 자극에 대해 다르게 반응하기 때문입니다. 따라서 다국어 배포를 위해 미세 조정을 수행하는 연구자와 실무자들은 영어 중심의 벤치마크에 의존하기보다, 다양한 언어와 아키텍처에 걸쳐 안전성을 평가해야 한다고 권고합니다. 본 연구는 대규모 모델은 다른 스케일링 법칙을 보일 수 있지만, 소형 모델에서 관찰된 위험은 즉각적이며 배포 전 엄격한 교차 언어 안전 테스트가 필요하다고 결론짓습니다.