💬 NLP

Layer-wise Swapping for Generalizable Multilingual Safety

이 논문은 영어 중심의 안전성 정렬을 저자원 언어 모델에 추가 학습 없이 계층 교환 기법으로 전이하여, 일반 언어 이해 능력을 유지하면서 다국어 안전성을 향상시키는 방법을 제안합니다.

원저자: Hyunseo Shin, Wonseok Hwang

게시일 2026-02-16

📖 3 분 읽기☕ 가벼운 읽기

원저자: Hyunseo Shin, Wonseok Hwang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "영어 요리사는 안전하지만, 다른 언어 요리사는 위험해"

지금까지 AI 를 개발할 때, **안전 규칙 (누가 해서는 안 되는 말, 폭력적인 내용 등)**을 가르치는 데이터는 거의 영어로만 만들어졌습니다.

영어 요리사 (Safety Expert): 영어로 된 '안전 레시피'를 완벽하게 익혀서, 어떤 요청이 들어와도 위험한 요리는 절대 하지 않습니다.
한국어/베트남어 요리사 (Low-resource Experts): 이 요리사들은 각 언어의 '맛있는 요리법 (일반 지식)'은 잘 알고 있지만, 안전 레시피를 배우지 못했습니다. 그래서 "폭력을 가르쳐줘" 같은 위험한 요청을 받으면, "알겠습니다!" 하고 위험한 요리를 만들어낼 위험이 큽니다.

기존에는 이 두 가지를 섞어서 다시 훈련시키려고 했지만, 그렇게 하면 요리사의 실력 (지식) 이 떨어지거나, 안전 규칙이 다시 사라지는 문제가 생겼습니다.

2. 해결책: "안전 레시피 조각을 잘라 붙이는 기술" (Layer-wise Swapping)

이 논문은 새로운 훈련 없이, 이미 만들어진 두 요리사의 **레시피 (모델의 내부 구조)**를 잘게 잘라 서로 섞는 방법을 제안합니다.

🧩 비유: "안전한 주방과 맛있는 주방의 부품 교환"

AI 모델은 거대한 레시피책 (수십 개의 층, Layer) 으로 이루어져 있습니다.

중간 층들: 주로 '무엇이 옳고 그른지 (안전성)'를 판단하는 부분입니다.
위/아래 층들: 주로 '언어 자체 (문법, 단어)'를 이해하는 부분입니다.

저자들은 **"영어 요리사의 '안전 판단' 부품 (중간 층) 을 가져와서, 다른 언어 요리사의 레시피책에 끼워 넣자"**고 제안합니다.

하지만 단순히 통째로 끼우면 안 됩니다. 어떤 언어에서는 안전 부품이 위쪽에 더 중요할 수도 있고, 아래쪽에 더 중요할 수도 있기 때문입니다.

3. 핵심 기술: "자동으로 가장 잘 맞는 부품을 고르는 스마트 기계"

이 연구의 가장 큰 특징은 무작정 끼우는 게 아니라, AI 가 스스로 "어디에 안전 부품을 넣어야 할지" 판단한다는 점입니다.

부품 분석: "이 레시피책의 5 번째 장은 안전 규칙을 바꾸는 데 가장 큰 영향을 줘요"라고 AI 가 계산합니다.
스마트 교체:
- 안전 규칙이 중요한 부품: 영어 요리사의 '안전 부품'을 가져와서 꽂습니다.
- 언어 이해가 중요한 부품: 원래 한국어 요리사의 '맛있는 부품'을 그대로 둡니다.
- 중간 영역: 두 부품을 적당히 섞어서 (Blending) 사용합니다.

이 과정을 통해 "한국어는 잘 이해하면서도, 영어 요리사처럼 위험한 말은 하지 않는" 완벽한 요리사를 만들 수 있습니다.

4. 결과: "안전하면서도 똑똑한 AI"

실험 결과 (한국어, 벵골어, 스와힐리어, 텔루구어 등) 에서 이 방법이 아주 잘 작동했습니다.

안전성: 위험한 요청을 거절하는 능력이 영어 요리사 못지않게 뛰어났습니다.
지식: 원래 가지고 있던 언어 실력이나 수학 문제 풀기 능력은 떨어지지 않았습니다.
비용: 다시 훈련을 시키지 않고, 레시피책만 편집하는 방식이라 시간과 돈이 거의 들지 않습니다.

요약

이 논문은 **"영어 AI 가 가진 '안전한 마음'을, 다른 언어 AI 에게 수술 없이 (훈련 없이) 이식하는 기술"**을 개발했습니다. 마치 안전한 자동차의 브레이크 시스템을 다른 나라에서 만든 차에, 차체 모양을 해치지 않고 가장 잘 맞는 위치에 자동으로 맞춰서 장착하는 것과 같습니다.

이 기술이 보편화되면, 전 세계 모든 언어를 사용하는 사람들이 AI 와 대화할 때 언어 장벽 없이 안전하게 정보를 얻을 수 있게 될 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 안전성 정렬 (Safety Alignment) 은 여전히 언어 간 불균형이 심각한 문제입니다.

영어 중심의 편향: 기존 안전성 데이터셋과 튜닝 노력은 대부분 영어에 집중되어 있어, 저자원 언어 (Korean, Bengali, Swahili, Telugu 등) 에서는 모델이 유해하거나 안전하지 않은 응답을 생성할 확률이 높습니다.
저자원 언어의 취약성: 각 언어에 맞춰 파인튜닝된 '언어 전문가 (Language Expert)' 모델은 일반 언어 이해 능력은 우수하지만, 안전성 측면에서는 영어 기반의 '안전 전문가 (Safety Expert)' 모델보다 훨씬 낮은 성능을 보입니다.
기존 방법의 한계:
- 단순한 다국어 파인튜닝 (Mixed SFT) 은 안전성을 완전히 해결하지 못하거나 일반 성능을 저하시킬 수 있습니다.
- 기존 레이어 스와핑 (Layer Swapping) 기법은 주로 수동적이고 정적 (Static) 인 방식으로, 특정 언어나 작업에 최적화된 레이어를 고정적으로 교체하여 안전성 전이와 일반 성능 유지 사이의 균형을 찾기 어렵습니다.
- 안전성 관련 뉴런이 언어 공간마다 다르게 작동할 수 있어, 단순한 지식 전이가 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 훈련이 필요 없는 (Training-free) 전략인 "안전 인식 레이어 스와핑 (Safety-aware Layer Swapping)" 을 제안합니다. 이 방법은 고자원 (영어) 안전 전문가 모델의 안전성 정렬을 저자원 언어 전문가 모델로 전이합니다.

핵심 아이디어: 태스크 벡터 (Task Vectors) 의 조합

태스크 벡터 정의: 사전 학습된 베이스 모델 ( $\theta_{base}$ ) 과 특정 작업 (안전성 또는 다국어) 에 파인튜닝된 모델 ( $\theta_{safe}, \theta_{multi}$ ) 간의 파라미터 차이를 태스크 벡터 ( $\tau = \theta_{ft} - \theta_{base}$ ) 로 정의합니다.
계층적 (Layer-wise) 및 모듈 단위 (Module-wise) 스와핑:
- 기존 레이어 단위 스와핑을 넘어, Self-Attention과 MLP (Feed-Forward Network) 모듈 단위로 세분화하여 적용합니다.
- 각 모듈이 안전성이나 다국어 능력에 얼마나 특화되었는지를 정량화하여 자동으로 선택하거나 혼합합니다.

자동 선택 및 혼합 전략 (Automatic Selection Strategy)

상대적 변화 비율 계산: 각 모듈 ( $l, m$ $l, m$ ) 에 대해 안전성 ($safe $) 과 다국어 ($ $) 과다국어 ($ multi$) 파인튜닝으로 인한 파라미터 업데이트 크기를 베이스 모델 대비 계산합니다.
- $n^{safe}_{l,m} = \|\Delta W^{safe}_{l,m}\|^2 / \|\theta^{base}_{l,m}\|^2$
중요도 점수 도출: 모든 모듈에 걸쳐 정규화하여 각 모듈이 안전성 또는 다국어에 기여하는 확률적 중요도 ( $p^{safe}, p^{multi}$ ) 를 산출합니다.
차이 기반 결정: 두 중요도의 차이 ( $d_{l,m} = p^{safe}_{l,m} - p^{multi}_{l,m}$ $d_{l, m} = p_{l, m}^{s a f e} - p_{l, m}^{m u l t i}$ ) 를 임계값 ( $\tau$ $τ$ ) 과 비교합니다.
- 강한 선호 ( $|d_{l,m}| > \tau$ ): 해당 모듈을 안전성 전문가 또는 다국어 전문가 모델에서 직접 선택 (Swapping).
- 중간 영역 ( $|d_{l,m}| \le \tau$ ): 두 모델을 가중치 $\alpha$ 로 혼합 (Blending).
- 공식: $\theta^{hybrid}_{l,m} = \alpha \theta^{safe}_{l,m} + (1-\alpha) \theta^{multi}_{l,m}$

이러한 접근법은 모델이 안전성 관련 표현을 전파하면서도 추론 및 일반 언어 이해 능력을 유지하도록 돕습니다.

3. 주요 기여 (Key Contributions)

체계적인 공식화: 레이어 스와핑을 다국어 및 안전성 태스크 벡터의 조합으로 체계적으로 정의했습니다.
동적 모듈 스와핑: 기존 레이어 단위 스와핑을 모듈 단위 (Attention/MLP) 로 확장하고, 태스크 벡터 기반 해석을 통해 각 모듈의 특화 정도를 정량화하여 자동 선택/혼합이 가능하게 했습니다.
훈련 없는 전략의 유효성 증명: 추가 학습 없이 저자원 언어의 안전성 일반화를 획기적으로 개선하면서도 일반 벤치마크 성능을 유지함을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

실험 설정: LLaMA 3.1 8B Instruct 및 Qwen3 8B 베이스 모델을 사용하며, 한국어, 벵골어, 스와힐리어, 텔루구어 등 4 개 저자원 언어를 대상으로 실험했습니다.
안전성 평가 (MultiJail Benchmark):
- 제안된 모듈 단위 스와핑은 기존 레이어 스와핑 및 다른 병합 기법 (Task Arithmetic, TIES, DARE 등) 보다 일관되게 낮은 유해성 비율 (Unsafety Ratio) 을 기록했습니다.
- 특히, 저자원 언어 전문가 모델이 가진 높은 유해성 문제를 크게 완화하여 영어 안전 전문가 모델과 유사하거나 더 나은 안전성 성능을 달성했습니다.
일반 언어 이해 능력 평가 (MMMLU, BELEBELE, MGSM):
- 안전성 전이 과정에서 일반 언어 이해 능력이나 추론 능력이 저하되지 않았습니다.
- 오히려 고정된 레이어 스와핑보다 모듈 단위 스와핑이 언어 간 성능 편차를 줄이고 더 일관된 성능을 보였습니다.
분석 결과:
- 레이어별 분석: 안전성 정렬은 주로 모델의 중간 레이어에서 두드러지는 반면, 다국어 적응은 하단 및 상단 레이어에서 강하게 나타남을 확인했습니다.
- 모듈별 분석: Attention 모듈과 MLP 모듈마다 안전성과 언어 이해에 대한 기여도가 상이하게 분포하여, 모듈 단위의 세밀한 제어가 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 다국어 안전성 격차를 해결하기 위한 효율적이고 확장 가능한 솔루션을 제시합니다.

비용 효율성: 추가적인 파인튜닝이나 대규모 데이터 수집 없이, 기존 모델의 파라미터를 지능적으로 재조합 (Merging) 함으로써 안전성을 확보할 수 있습니다.
실용성: 저자원 언어 환경에서도 영어 기반의 안전성 기준을 효과적으로 전이할 수 있어, 글로벌 LLM 배포 시 발생할 수 있는 윤리적 위험을 줄이는 데 기여합니다.
기술적 통찰: 안전성과 언어 이해 능력이 모델의 서로 다른 계층과 모듈에 국소화되어 있음을 발견하고, 이를 정량적으로 제어하는 메커니즘을 제안함으로써 모델 병합 (Model Merging) 연구의 새로운 지평을 열었습니다.

결론적으로, 이 논문은 "훈련 없는 (Training-free)" 모듈 단위 스와핑 기법을 통해 다국어 LLM 의 안전성과 일반 성능을 동시에 최적화할 수 있음을 입증한 중요한 연구입니다.