🤖 AI

GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints

이 논문은 Mixture-of-Experts 모델에서 라우터 조작을 방지하기 위해 라우터 업데이트에 기하학적 제약을 부과함으로써 전문가 파라미터로부터의 진정한 지식 삭제를 보장하고, 동시에 유지 정확도와 적대적 복구에 대한 강건성을 크게 향상시키는 알고리즘 불가지론적 프레임워크인 GRIP을 소개한다.

원저자: Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 방대한 양의 텍스트를 학습하여 쓰고, 추론하고, 문제를 해결하는 법을 배운 강력한 도구입니다. 그러나 이러한 학습에는 숨겨진 대가가 따릅니다. 이 모델들은 보관해서는 안 될 개인 정보, 저작권이 있는 자료, 또는 위험한 지침과 같은 민감한 세부 정보를 종종 암기한다는 점입니다. '잊혀질 권리'와 같은 법률이 특정 데이터를 모델에서 제거할 것을 요구할 때, 표준적인 해결책은 해당 데이터 없이 시스템 전체를 처음부터 다시 훈련시키는 것입니다. 이 과정은 너무나 비용이 많이 들고 느리기 때문에 좀처럼 수행되지 않습니다. 대신, 연구자들은 전체 뇌를 다시 구축하지 않고도 특정 기억을 외과적으로 제거하도록 설계된 '기계 언러닝(machine unlearning)' 기술을 개발했습니다. 이러한 방법들은 표준적인 모델에는 잘 작동하지만, 가장 큰 시스템들을 위한 더 빠르고 효율적인 대안으로 '전문가 혼합(Mixture-of-Experts)'이라는 새로운 유형의 아키텍처가 등장했습니다. 이 모델들은 모든 질문에 대해 뇌의 모든 부분을 사용하지 않습니다. 대신, 각 작업을 처리하기 위해 특화된 하위 네트워크의 작은 팀을 선택하는 내장된 교통 관제사(traffic director)를 가지고 있습니다. 이러한 효율성은 독특한 취약성을 만들어냅니다. 무언가를 잊으라는 요청을 받았을 때, 시스템은 나쁜 기억을 보유한 전문가들로부터 질문을 우회하도록 경로를 변경함으로써 사용자에게 속임수를 쓸 수 있으며, 이로 인해 위험한 지식은 그대로 남아 복구될 가능성을 남겨둡니다.

한 연구팀은 이 허점을 발견하고 이를 해결하기 위한 GRIP이라는 새로운 프레임워크를 개발했습니다. 그들은 표준적인 언러닝 방법이 이러한 특화된 모델에 적용될 때, 시스템이 가장 저항이 적은 경로를 택한다는 사실을 발견했습니다. 특화된 하위 네트워크에서 해로운 지식을 실제로 삭제하는 대신, 교통 관제사가 단순히 그 특정 전문가들에게 질문을 보내지 않도록 학습하는 것입니다. 이는 마치 사서가 금지된 책을 서가에서 제거하는 대신, 모든 이용자에게 다른 구역을 살펴보라고 말하는 것과 같습니다. 책은 서가에 온전히 남아 있으며, 결심을 굳힌 사람이 관제사의 지침을 우회하는 법을 안다면 여전히 찾아낼 수 있습니다. 이는 모델이 정보를 잊은 것처럼 보이게 만들지만, 실제로는 데이터가 변경된 라우팅 패턴 뒤에 숨겨져 있을 뿐인 위험한 환상을 만들어냅니다.

이를 해결하기 위해 연구진은 시스템이 지식을 단순히 숨기는 것이 아니라 실제로 지우도록 강제하는 방법을 만들었습니다. 그들은 교통 관제사가 생각을 바꿀 수 있는 방식에 엄격한 기하학적 제약을 가함으로써 이를 달성했습니다. 교통 관제사를 질문이 어떤 경로를 따를지 결정하는 규칙들의 집합이라고 상상해 보십시오. 연구진은 시스템이 나쁜 데이터를 가진 전문가들을 피하기 위해 이 규칙들을 바꾸려 한다는 것을 발견했습니다. 그들의 해결책은 모델이 유지해야 할 안전하고 중요한 모든 정보에 대해 규칙을 고정하는 것이었습니다. 교통 관제사가 안전한 데이터에 대한 라우팅 결정을 변경할 수 없도록 수학적으로 보장함으로써, 시스템이 라우팅을 지름길로 사용하는 능력을 제거했습니다. 이를 통해 언러닝 과정이 지식을 보유한 특화된 하위 네트워크를 실제로 수정하는 힘든 작업을 수행하도록 강제하여, 정보가 진정으로 사라지도록 보장했습니다.

연구진은 이 접근 방식을 두 개의 대형 모델에 테스트하여 이전 방법들보다 훨씬 더 효과적임을 확인했습니다. 기존의 방법들은 라우팅 시스템을 불안정하게 만들어, 안전한 질문에 대해 어떤 전문가를 사용할지에 대한 결정을 80%의 확률로 번복하게 함으로써 모델의 정상적인 기능을 심각하게 손상시켰습니다. 새로운 방법은 이 안정성을 94% 이상으로 회복시켜, 모델이 이전과 마찬가지로 안전한 작업에 대해 올바른 전문가를 계속 사용할 수 있게 했습니다. 더 중요한 것은, 그들이 공격자가 교통 관제사를 우회하여 원래의 전문가를 강제로 사용하도록 시뮬레이션함으로써 위험한 지식이 정말로 사라졌는지 테스트했다는 점입니다. 기존 방법에서는 이러한 우회를 통해 공격자가 잊힌 정보를 11%의 확률로 복구할 수 있었습니다. 새로운 방법에서는 복구율이 단 3%로 떨어졌으며, 이는 처음부터 다시 훈련시킨 모델과 유사한 수준입니다.

또한 연구진은 동일한 문제를 해결하기 위해 더 부드럽고 덜 엄격한 규칙을 사용하려 했던 이전의 시도와 이 접근 방식을 비교했습니다. 그 초기 방법은 상황을 약간 개선했지만, 여전히 시스템이 지식을 숨기기 위해 라우팅을 조작하는 것을 허용했습니다. 엄격한 제약을 사용한 새로운 접근 방식은, 이러한 효율적인 모델에서 진정한 언러닝을 달키 위한 유일한 방법이 라우팅 시스템이 방패로 사용되는 것을 막는 것임을 입증했습니다. 연구진은 이 기술이 위험한 사이버 보안 지식을 제거하는 것부터 저작권이 있는 텍스트를 삭제하는 것에 이르기까지 다양한 유형의 언러닝 작업 전반에 걸쳐 작동함을 보여주었습니다. 그들은 모델이 일반적인 지능과 안전한 질문에 답하는 능력을 이전보다 훨씬 더 잘 유지하며, 불안정한 기준점과 비교했을 때 유지된 작업에서의 성능이 최대 89%까지 향상되었음을 발견했습니다.

이 연구는 인공지능을 보호하는 방식에 있어 중요한 차이점을 강조합니다. 이는 이러한 복잡하고 특화된 시스템의 경우, 단순히 정보의 경로를 바꾸는 것만으로는 프라이버시나 안전을 보호하기에 충분하지 않다는 것을 보여줍니다. 지식은 근원지에서부터 지워져야 합니다. 시스템이 위험한 콘텐츠를 숨기기 위해 라우팅을 사용할 수 없도록 보장함으로써, 연구진은 모델의 전반적인 효용성을 희생하지 않으면서 특정 기억을 제거할 수 있는 신뢰할 수 있는 방법을 제공했습니다. 그들의 연구 결과는 향후 대규모 언어 모델의 안전 조치가 이러한 내부 라우팅 메커니즘을 반드시 고려해야 하며, '교통 관제사'가 위험한 콘텐츠를 숨기기 위해 조작될 수 없도록 해야 함을 시사합니다. 그 결과, 데이터의 제거가 단순히 지도를 바꾸는 문제가 아니라 진정한 삭제가 되는 더욱 견고한 시스템을 구축할 수 있게 되었습니다.

기술 요약: GRIP - Mixture-of-Experts를 위한 알고리즘 불가지론적 기계 망각(Machine Unlearning)

1. 문제 정의

Mixture-of-Experts (MoE) 대규모 언어 모델(LLM)에서의 기계 망각(Machine Unlearning, MU)은 밀집형(dense) 아키텍처와 구별되는 결정적인 구조적 실패 모드에 직면해 있습니다. 밀집형 모델에서는 모든 파라미터가 입력값과 균일하게 상호작용합니다. 반면, MoE 모델에서는 학습된 라우터(router)가 각 입력에 대해 전문가 네트워크(expert networks)의 희소한 부분 집합을 동적으로 선택합니다.

MoE 아키텍처에 적용되는 기존의 망각 방법들은 종종 이 동적 라우팅을 최적화의 지름길(optimization shortcut)로 악용합니다. 이는 전문가 파라미터로부터 지식을 진정으로 삭제하는 대신, 라우터를 조작하여 "망각 대상 세트(forget-set)"의 쿼리를 원래 할당되었던 지식 있는 전문가로부터 멀어지도록 유도합니다. 이는 두 가지 주요 문제를 야기합니다:

유용성 저하 (Utility Degradation): 라우터가 "유지 세트(retain set)"(유지되어야 할 데이터)에 대한 전문가 선택을 변화시켜, 유지된 작업에 대한 모델 성능의 심각한 하락을 초래합니다.
불완전한 삭제 (전문가 강제 실행, Expert Forcing): 대상 지식이 휴면 상태인 전문가 파라미터 내에 그대로 남아 있습니다. 공격자는 라우터를 우회하는 "화이트박스(white-box)" 공격을 통해 특정 전문가에 접근하도록 모델을 강제함으로써, 원래 삭제되었어야 할 민감하거나 유해한 정보를 복구할 수 있습니다.

SEUF와 같은 기존의 시도들은 부드러운 정규화 페널티(soft regularization penalties)에 의존하며 업데이트를 단일 전문가로 제한합니다. 그러나 실증적 증거에 따르면 이러한 부드러운 페널티는 라우팅 조작을 방지하는 데 실패하며, 단일 전문가로 업데이트를 제한하는 방식은 처음에 활성화되었던 다른 전문가들에 남아 있는 지식을 회복 가능한 상태로 방치합니다.

2. 방법론: GRIP

저자들은 라우터 업데이트( $\Delta \Theta_\ell$ )가 전문가 선택의 변화를 억제하면서도 관련 있는 모든 전문가에 걸쳐 진정한 지식 삭제를 허용하도록 라우터 업데이트에 엄격한 기하학적 제약을 부과하는 Geometric Routing Invariance Preservation (GRIP) 프레임워크를 제안합니다. 이는 알고리즘 불가지론적(algorithm-agnostic)인 방식입니다.

핵심 원리

GRIP은 라우터 파라미터 업데이트( $\Delta \Theta_\ell$ )가 유지 세트( $D_r$ )의 전문가 선택을 보존해야 한다는 제약을 부과합니다. 형식적으로, 임의의 입력 $x \in D_r$ 에 대하여, 망각 후의 전문가 선택 집합( $S^{post}_\ell(x)$ )은 망각 전의 집합( $S^{pre}_\ell(x)$ )과 동일해야 합니다. "라우팅 지름길"을 제약된 입력에 대해 불가능하게 만듦으로써, 최적화 과정이 전문가 가중치 자체 내에서 지식 삭제를 통해 망각 목적을 달성하도록 강제합니다.

두 가지 변형

GRIP은 두 가지 상호 보완적인 구현 방식을 제공합니다:

방법 A: 훈련 시 확률적 투영 (온라인/Training-Time Stochastic Projection)
- 메커니즘: 각 훈련 단계에서, 기본 망각 알고리즘에 의해 제안된 제약 없는 라우터 업데이트를 유지 세트의 라우팅 행렬의 영공간(null space)으로 투영합니다.
- 제약 조건: 각 전문가 $j$ $j$ 에 대해 다음 두 가지 조건을 강제합니다:
  - 등가성 (Equality): 전문가 $j$ 가 원래 선택되었던 입력에 대해, 라우터 업데이트는 라우팅 점수의 변화를 0으로 만들어야 합니다 ( $\langle \Delta \Theta, x \rangle = 0$ ).
  - 부등식 (Inequality): 전문가 $j$ 가 선택되지 않았던 입력에 대해, 업데이트가 선택 마진(선택된 전문가와 선택되지 않은 전문가 사이의 점수 격차)을 침범할 만큼 점수를 높여서는 안 됩니다.
- 구현: (1) 선택된 입력들의 스팬(span)의 여집합에 대한 직교 투영(등가성)과 (2) 불등식 제약을 효율적으로 만족시키기 위한 랜덤 카츠마르크(Kaczmarz) 스타일의 교대 투영이라는 2단계 프로세스를 사용합니다.
- 오버헤드: 약 1.71배의 훈련 시간 오버헤드가 추가됩니다.
방법 B: 훈련 후 분석적 교정 (오프라인/Post-Training Analytical Correction)
- 메커니즘: 제약 없이 망각 알고리즘을 먼저 실행합니다. 그 후, 드리프트(drift)된 라우터를 재정렬하기 위해 단일 폐쇄형(closed-form) 분석적 교정을 적용합니다.
- 공식: $(\tilde{\Theta}_\ell + \Delta_\ell)\tilde{X}_{r,\ell} = \Theta_\ell X_{r,\ell}$ 를 만족하는 교정값 $\Delta_\ell$ 를 찾기 위해 최소제곱법 문제를 해결합니다. 여기서 $\tilde{\Theta}$ 와 $\tilde{X}$ 는 망각 후의 라우터와 표현(representation)입니다.
- 오버헤드: 단계별 투영 대신 층당 단 한 번의 사후 교정을 수행함으로써 훈련 시간 오버헤드를 1.21배로 줄입니다.

3. 주요 기여

구조적 취약점 식별: 본 논문은 MoE 망락이 지식을 삭제하는 대신 숨기는 "라우팅 지름길"에 취약함을 식별하고, 이 취약성을 진단하기 위한 도구로서 "전문가 강제 실행(Expert Forcing)" 공격을 도입했습니다.
엄격한 기하학적 제약: 부드러운 페널티를 사용하는 기존 연구와 달리, GRIP은 영공간 투영을 통해 구성적으로 충족되는 타당성 조건으로서 라우팅 보존을 다룹니다.
다중 전문가 삭제: GRIP은 처음에 활성화된 모든 전문가가 업데이트될 수 있도록 허용하여, 특정 전문가로 업데이트를 제한하는 대신 전체 관련 파라미터 공간에서 지식이 삭제되도록 보장합니다.
알고리즘 불가지론: GRIG은 기본 손실 함수를 수정하지 않고도 기존의 모든 망각 목적 함수(예: Gradient Ascent, NPO, RMU)에 적용할 수 있는 래퍼(wrapper) 역할을 합니다.

4. 실험 결과

라우팅 안정성: GRIP은 베이스라인에서 약 0.21까지 무너졌던 전문가 선택의 자카드 유사도(Jaccard similarity)를 ≥0.94(사후 훈련 교정 적용 시 최대 1.00)로 복구했습니다.
유용성 보존: 유지 정확도(Retain accuracy)는 베이스라인 대비 최대 89% 향상되었습니다. GRIP 방식은 밀집형 아키텍처 망각 베이스라인에 근접한 유용성 보존 점수를 회복했습니다.
적대적 강건성:
- 화이트박스 (전문가 강제 실행): 휴면 전문가에 대한 강제 접근 시, 베이스라인 방법들은 망각된 쿼리의 **11%**를 복구했고, SEUF는 **8%**를 복구했으나, GRIP은 이를 3%(노이즈 수준)로 낮추었습니다.
- 블랙박스 (프롬프트 공격): 프롬프트 공격 하에서도 GRIP의 성능은 밀집형 아키텍처 베이스라인과 유사하게 유지되어, 새로운 블랙박스 취약성이 없음을 보여주었습니다.
SEUF와의 비교: GRIP은 모든 지표에서 SEUF를 일관되게 능가하며, 부드러운 정규화가 라우팅 지름길을 방지하기에 불충분하다는 것을 입증했습니다.

5. 의의 및 주장

본 논문은 GRIP이 희소한 MoE 아키텍처에서 진정한 망각을 위한 원칙적이고 확장 가능한 경로를 제공한다고 주장합니다. 라우팅 안정성과 파라미터 가소성(plasticity)을 분리함으로써, GRIP은 지식이 라우팅 조작에 의해 단순히 숨겨지는 것이 아니라 전문가 파라미터로부터 실제로 삭제되도록 보장합니다.

저자들은 GRIP을 기존 망각 목적 함수의 대체재가 아니라, MoE 모델의 특수한 맥락에서 망각을 효과적으로 만들기 위한 필수적인 기하학적 제약 조건으로 정의합니다. 유지 표현(retain representation)을 캐싱하는 데 따른 메모리 오버헤드와 라우팅 보존의 경험적(empirical) 성격(수학적 엄밀함보다는 실증적 측면) 등의 한계를 인정하고 있습니다. 그러나 결과는 동적 라우팅을 가진 대규모 언어 모델의 고유한 취약성을 해결하기 위해 엄격한 기하학적 제약이 필수적임을 시사합니다.