💻 computer science

Layer-Targeted Multilingual Knowledge Erasure in Large Language Models

이 논문은 다국어 지식 삭제의 실패 원인을 분석하고, Centered Kernel Alignment 와 Linguistic Regions Development Score 를 활용하여 언어 중립적인 중간 계층을 식별함으로써 소수 언어만으로 모든 언어의 지식을 효과적으로 삭제하는 'MUTE' 프레임워크를 제안합니다.

원저자: Taoran Li, Varun Chandrasekaran, Zhiyuan Yu

게시일 2026-02-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taoran Li, Varun Chandrasekaran, Zhiyuan Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"거대 인공지능 (LLM) 이 특정 언어로 배운 나쁜 지식 (예: 위험한 화학 물질 제조법) 을 잊게 할 때, 왜 다른 언어로는 여전히 그 지식이 남아있는지"**에 대한 놀라운 발견과 해결책을 제시합니다.

간단히 말해, "어디를 지우느냐 (깊이)"가 "무엇을 지우느냐"보다 훨씬 중요하다는 것을 증명했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🌍 비유: 거대한 도서관과 '잊혀진 책'

마치 전 세계 모든 언어로 된 책이 꽂혀 있는 거대한 도서관 (AI 모델) 이 있다고 상상해 보세요. 도서관 사서 (AI 개발자) 는 어떤 위험한 책 (나쁜 지식) 을 도서관에서 영구적으로 없애야 합니다. 하지만 문제는 이 도서관에는 영어, 스페인어, 독일어 등 수많은 언어 버전의 같은 책이 존재한다는 점입니다.

❌ 기존 방식의 실패 (왜 안 될까?)

지금까지의 시도들은 두 가지 실수를 저질렀습니다.

깊은 곳 (Deep Layers) 에서 지우기: "표지만 찢기"
- 상황: 도서관의 가장 깊은 곳, 즉 책이 최종적으로 독자에게 전달되기 직전의 '출구' 근처에서 지우기를 시도했습니다.
- 결과: 실패! 책의 내용 (지식) 은 이미 출구보다 훨씬 앞선 곳에서 저장되어 있었습니다. 출구 근처의 책장만 비워봤자, 책 내용은 여전히 도서관 어딘가에 남아있어서 다른 언어로 질문하면 다시 찾아옵니다.
- 비유: 쓰레기통 (출구) 을 비웠다고 해서 집 안 (지식 저장소) 이 깨끗해진 게 아닙니다.
얕은 곳 (Shallow Layers) 에서 지우기: "도서관 전체를 부수기"
- 상황: 책이 들어오는 입구, 즉 모든 언어가 섞여 들어오는 가장 앞단에서 지우기를 시도했습니다.
- 결과: 나쁜 책은 사라졌지만, 좋은 책도 다 사라졌습니다! 입구를 막아버렸으니 나쁜 책뿐만 아니라 역사나 법률 같은 좋은 지식도 모든 언어로 접근할 수 없게 되었습니다.
- 비유: 도서관 문을 아예 폐쇄해서 나쁜 책을 못 들어오게 했지만, 좋은 책도 읽을 수 없게 된 꼴입니다.

💡 이 논문의 해결책: 'MUTE' (중간층 타격)

연구진은 이 도서관의 구조를 분석한 후, 가장 이상적인 지우기 위치를 찾아냈습니다. 바로 **"모든 언어가 하나로 합쳐지는 중간층"**입니다.

비유: 도서관의 1 층 (입구) 은 각 언어별 책장이고, 10 층 (출구) 은 각 언어별 번역실입니다. 하지만 **5 층 (중간층)**은 모든 언어의 책 내용이 **'의미 (Semantic)'**라는 공통 언어로 변환되어 섞여 있는 곳입니다.
방법 (MUTE):
1. 위치 찾기: 연구진은 'CKA'와 'LRDS'라는 정교한 나침반을 이용해, **"어떤 언어로 쓰여도 같은 의미로 해석되는 층"**을 정확히 찾아냈습니다.
2. 정밀 타격: 그 층의 책장 (지식) 만을 정확히 제거했습니다.
3. 결과:
  - 나쁜 지식은 모든 언어로 사라졌습니다. (영어로 지우면, 독일어나 힌디어로도 그 지식을 찾을 수 없게 됨)
  - 좋은 지식은 모든 언어로 여전히 잘 작동합니다.

🎯 핵심 요약

문제: AI 가 영어로 나쁜 지식을 잊게 해도, 다른 언어로는 그 지식이 여전히 살아있었습니다.
원인: 지우기를 할 때 어떤 층 (Layer) 에서 하느냐가 중요했는데, 기존에는 이를 잘못 선택했습니다.
- 너무 깊게 하면 지우기 실패.
- 너무 얕게 하면 다른 능력까지 망가짐.
해결 (MUTE): 모든 언어의 의미가 하나로 모이는 **'중간층'**을 찾아 그곳만 정밀하게 지웠습니다.
효과: 3 개 언어 (영어, 스페인어, 포르투갈어) 로만 학습시켜 지우기를 했음에도, 12 개 이상의 언어에서 나쁜 지식이 완벽하게 사라지고 좋은 능력은 그대로 유지되었습니다.

🗣️ 한 줄 평

"나쁜 기억을 지울 때는 책장 끝이나 입구가 아니라, 모든 언어가 섞여 있는 '의미의 중심'을 정확히 파고들어야 한다."

이 연구는 AI 의 안전성을 높이기 위해, 단순히 데이터를 더 많이 모으는 것이 아니라 AI 의 뇌 구조를 이해하고 정확한 부위를 건드리는 것이 얼마나 중요한지를 보여줍니다.

1. 문제 정의 (Problem Definition)

기존의 LLM 언러닝 연구는 주로 단일 언어 (주로 영어) 환경에서 수행되었습니다. 그러나 다국어 LLM 의 경우, 한 언어 (예: 영어) 에서 위험한 지식 (예: 위험 물질 합성 방법) 을 삭제하더라도 다른 언어 (예: 독일어, 힌디어 등) 를 통해 해당 지식이 여전히 접근 가능한 다국어 일반화 실패 (Multilingual Generalization Failure) 현상이 발생합니다.

기존 접근법의 한계: 모든 레이어에 걸쳐 파라미터를 업데이트하거나 단순히 출력 레이어를 수정하는 기존 방법들은 다국어 간 지식의 분포 구조를 고려하지 못합니다.
핵심 가설: 다국어 언러닝의 성패는 **'언어 중립적 (Language-agnostic) 인 중간 레이어'**를 타겟팅하느냐에 달려있다.

2. 핵심 발견: 개입 깊이 (Intervention Depth) 의 중요성

저자들은 LLM 의 내부 구조가 언어별로 어떻게 처리되는지 분석하여 두 가지 실패 모드를 발견했습니다.

얕은 레이어 (Shallow Layers) 개입:
- 결과: 타겟 지식은 성공적으로 삭제되지만, 다국어 능력 전체가 붕괴됩니다.
- 원인: 얕은 레이어는 모든 언어에 공통된 기본적인 언어 처리 기능을 담당하므로, 이를 수정하면 비타겟 언어의 표현 능력 자체가 파괴됩니다.
깊은 레이어 (Deep Layers) 개입:
- 결과: 모델의 일반 능력은 유지되지만, 지식 삭제가 전혀 이루어지지 않습니다.
- 원인: 깊은 레이어는 언어별 토큰 생성에 특화되어 있으며, 의미론적 지식은 이미 이전 레이어에서 처리되어 저장되어 있습니다. 따라서 깊은 레이어만 수정하면 저장된 지식을 지울 수 없습니다.

이러한 실패는 언러닝을 수행할 때 **어떤 레이어를 수정하느냐 (Where)**가 **무엇을 최적화하느냐 (What)**보다 더 중요함을 시사합니다.

3. 제안 방법: MUTE 프레임워크

저자는 다국어 지식이 가장 잘 통합되어 있는 **언어 중립 영역 (Language-agnostic Region)**을 식별하고, 해당 영역 내의 최적 레이어를 타겟팅하여 언러닝을 수행하는 MUTE를 제안합니다.

A. 타겟 레이어 식별 (Layer Identification)

두 가지 지표를 결합하여 최적의 개입 레이어를 찾습니다.

CKA (Centered Kernel Alignment): 서로 다른 언어로 표현된 동일한 개념이 모델 내부에서 얼마나 유사한 표현 (Hidden State) 을 갖는지 측정합니다. (높을수록 다국어 정렬이 잘 됨)
LRDS (Linguistic Regions Development Score): 표현이 언어 정체성 (Language Identity) 에 의해 클러스터링되는지, 아니면 의미 (Semantics) 에 의해 클러스터링되는지 측정합니다. (낮을수록 언어 중립적임)

이 두 지표를 통해 **CKA 는 높고 LRDS 는 낮은 레이어들의 연속된 구간 (Λ)**을 찾으며, 이를 '언어 중립 영역'으로 정의합니다.

B. 레이어 타겟팅 언러닝 (Layer-Targeted Unlearning)

전체 모델 파라미터가 아닌, 식별된 타겟 레이어 ( $l^*$ ) 의 파라미터만 업데이트합니다.

알고리즘 적응: RMU, SLUG, SimNPO 등 기존 언러닝 알고리즘을 이 프레임워크에 적용합니다.
- RMU (파라미터 기반): 언어 중립 영역의 가장 앞쪽 레이어를 타겟팅하여 지식의 전파를 차단합니다.
- SLUG (활성화 기반): 언어 중립 영역의 가장 깊은 레이어를 타겟팅하여 추상적인 의미 표현을 정확히 조작합니다.
- SimNPO (선호도 기반): 타겟 레이어의 파라미터만 고정하고 나머지는 동결하여 최적화를 수행합니다.

4. 실험 결과 (Results)

Llama-3.1, Qwen-2.5, BLOOM 등 3 가지 모델 아키텍처와 3 가지 언러닝 알고리즘, 최대 12 개 언어에 걸쳐 실험을 수행했습니다.

성공적인 다국어 삭제: 소스 언어 3 개 (영어, 스페인어, 포르투갈어) 로만 학습하여, 보지 못한 9 개 이상의 언어에서도 **거의 100% 에 가까운 지식 삭제 (Forget Accuracy $\approx$ 0%)**를 달성했습니다.
유용성 보존: 타겟 레이어를 수정함으로써, 일반 지식 (역사, 법률 등) 에 대한 모델의 성능 (Retain Accuracy) 을 크게 저하시키지 않았습니다.
- 예시: Llama-3.1 에서 얕은 레이어 개입 시 보지 못한 언어의 유지 정확도가 58% 에서 1% 로 추락했으나, MUTE 는 55% 수준을 유지했습니다.
기계적 검증 (Logit Lens): 출력 토큰이 억제된 것이 아니라, 모델의 내부 표현 (Intermediate Representations) 에서 지식이 실제로 제거됨을 확인했습니다. 깊은 레이어 개입 시에는 내부 확률이 변하지 않아 삭제 실패를 증명했습니다.

5. 주요 기여 및 의의

실패 원인 규명: 다국어 언러닝 실패의 근본 원인이 '데이터 부족'이 아니라 '부적절한 개입 깊이 (Layer Depth)'임을 최초로 체계적으로 증명했습니다.
새로운 패러다임 제안: "어떤 데이터로 학습할 것인가"에서 **"모델의 어디를 수정할 것인가 (Where to intervene)"**로 언러닝 연구의 초점을 이동시켰습니다.
실용적 솔루션: 모든 언어에 대한 언러닝 데이터를 준비할 필요 없이, 소수 언어로만 학습하여 전 세계 모든 언어의 위험 지식을 효과적으로 제거할 수 있는 확장 가능한 방법론 (MUTE) 을 제시했습니다.
안전성 강화: 다국어 재해킹 (Jailbreak) 이나 우회 공격을 방지하기 위해, 모델 내부의 지식 구조를 이해하고 정밀하게 제어하는 접근법의 중요성을 강조했습니다.

결론

이 논문은 다국어 LLM 의 안전성을 확보하기 위해, 모델의 계층적 구조를 이해하고 언어 중립적인 중간 레이어를 정밀하게 타겟팅하는 것이 핵심임을 입증했습니다. MUTE 프레임워크는 계산 비용이 많이 드는 전 언어 학습 없이도, 소수 언어만으로 전 세계 언어에 걸친 효과적인 지식 삭제를 가능하게 하여 LLM 안전 분야의 중요한 진전을 이루었습니다.