🤖 machine learning

BLADE: Bilevel Low-rank Augmented-Lagrangian Erasure for LLM Unlearning

이 논문은 클램프 엔트로피 손실(clamped-entropy loss), 비대칭 증강 라그랑주(asymmetric augmented Lagrangian), 그리고 LoRA 기반 복구 메커니즘을 활용하여 스케일링 및 반복적 언러닝 상황에서도 안정성을 유지하면서 기존 베이스라인들을 여러 벤치마크에서 크게 능가하는 강건하고 확장 가능한 LLM 언러닝을 달성하는 제약된 바이레벨 프레임워크인 BLADE를 소개한다.

원저자: Md Toufikuzzaman, Ahmad Mousavi, Dongwon Lee

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Md Toufikuzzaman, Ahmad Mousavi, Dongwon Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 인터넷의 방대한 텍스트를 읽음으로써 문장의 다음 단어를 예측하는 법을 배운 강력한 도구입니다. 그러나 이러한 기억 능력은 심각한 문제를 동반합니다. 모델이 삭제되어야 할 정보, 즉 개인적인 사생활 정보, 저작권이 있는 이야기, 또는 위험한 지침 등을 때때로 그대로 보유하고 있다는 점입니다. 특정 데이터의 삭제를 요구하는 개인정보 보호법(GDPR 등)이 적용되거나, 모델이 실수로 잘못된 사실을 학습하여 교정이 필요한 경우, 시스템 전체를 처음부터 다시 훈련시키는 것은 너무 느리고 비용이 많이 듭니다. 이로 인해 연구자들은 훈련된 모델에서 일반적인 지능과 다른 기억은 온전히 유지하면서도 특정 지식만을 정교하게 제거하는 것을 목표로 하는 '머신 언러닝(machine unlearning)'이라는 과정을 개발하게 되었습니다. 문제는 모델이 보유한 지식이 서로 깊게 얽혀 있다는 점입니다. 하나의 사실을 지우려 시도할 때 종종 관련된 무해한 정보까지 실수로 손상시켜, 모델을 혼란스럽게 하거나 쓸모없게 만들 수 있습니다.

연구팀은 이 섬세한 균형 잡기 문제를 해결하기 위해 BLADE라고 불리는 새로운 방법을 개발했습니다. 모델의 일관성을 깨뜨리는 경우가 많은 기존의 방식처럼 원치 않는 데이터로부터 모델을 공격적으로 밀어내어 강제로 잊게 만드는 대신, BLADE는 '수리(repair)'를 우선시하는 두 단계 전략을 사용합니다. 모델의 지식을 복잡한 연결망이라고 상상해 보십시오. 연구자들이 특정 정보를 제거하기 위해 특정 실을 자르려고 시도할 때, 주변의 그물망이 처지거나 찢어지는 경우가 많습니다. BLADE는 먼저 주변의 그물망을 강화하여 견고함을 유지하도록 한 다음, 작고 통제된 절단을 수행합니다. 이는 순환 방식으로 이루어집니다. 시스템은 먼저 모델이 기억해야 할 것을 기억하는 능력을 안정화시킨 다음, 잊어야 할 것에 대해 부드럽고 제한적인 압력을 가합니다. 이는 수정이 반복됨에 따라 모델이 결국 붕괴하게 되는 기존 시도들의 흔한 실패 지점인 '손상의 누적'을 방지합니다.

이 방법의 핵심은 안정성을 유지하기 위해 함께 작동하는 세 가지 구체적인 메커니즘에 있습니다. 첫째, 연구자들은 정보가 충분히 지워지는 즉시 '망각' 과정을 멈추는 기술을 사용합니다. 기존 방식에서는 정보가 이미 사라졌음에도 컴퓨터가 계속해서 지우려고 시도하여 에너지를 낭비하고 다른 기억을 실수로 손상시키곤 했습니다. BLADE는 토큰(단어의 단위)이나 의미의 단위가 높은 불확실성 상태에 도달하면 이를 감지하고 변화를 시도하는 것을 중단하여, 과정이 효율적이고 안전하게 이루어지도록 합니다. 둘째, 시스템은 한 방향으로만 움직이는 래칫(ratchet)처럼 작동하는 동적 페널티를 사용합니다. 모델이 유지해야 할 데이터에 대한 성능이 안전 임계값보다 조금이라도 떨어지면, 시스템은 즉시 해당 데이터를 보호하기 위한 규칙을 강화하며, 그 보호를 다시 완화하지 않습니다. 이는 모델이 기억과 망각 사이를 오가며 혼란스럽게 요동치는 현상을 방지하며, 이는 이전의 접근 방식들에서 나타났던 무질서한 행동입니다. 마지막으로, 이 과정은 모델 전체의 뇌를 바꾸는 것이 아니라 모델 내의 조정 가능한 작은 특수 부분들로 국한됩니다. 이러한 구조적 제한은 망각 과정이 지나치게 공격적이 되더라도 모델의 전반적인 능력에 치명적인 손상을 입힐 수 없도록 물리적으로 보장합니다.

연구진은 합성 전기, 도서, 뉴스 기사, 저작권 자료를 포함한 여러 벤치마크 데이터셋을 통해 이 접근 방식을 테스트했습니다. 모든 테스트에서 BLADE는 가장 강력한 기존 방식들을 능가했습니다. 합성 전기 데이터셋 테스트에서는 기존 최고의 기술보다 전체 점수를 6% 향상시켰습니다. 도서 관련 테스트에서는 점수를 9% 향상시켰고, 개인정보 보호 테스트에서는 7%를 향상시켰습니다. 결정적으로, 이 방법은 한계 상황에서도 놀라울 정도로 견고함을 입증했습니다. 연구진이 잊어야 할 데이터의 양을 4배로 늘리거나, 모델에게 4회의 연속적인 언러닝 과정을 수행하도록 요청했을 때, 기존의 최선책들은 모델의 기능 자체를 상실하게 만들며 완전히 실패했습니다. 그러나 BLADE는 이러한 스트레스 테스트 전반에 걸쳐 안정적이고 효과적인 상태를 유지했습니다.

이 방법의 성공은 예측 가능한 동작에 있습니다. 다른 방법들이 모델의 성능이 망각과 기억 사이에서 갈등하며 급격히 오르내리는 등 격렬하게 진동하는 것과 달리, BLADE는 매끄러운 3단계 경로를 따릅니다. 먼저 준비 단계(warm-up)를 거친 후, 내부 보호 기능을 조정하는 짧은 단계를 지나, 망각과 기억이라는 두 목표가 충돌 없이 달성되는 안정적인 수렴 단계로 들어갑니다. 이러한 일관성은 연구자들이 과정이 통제되고 있으며, 시간이 흐름에 따라 모델의 품질을 조용히 저하시키지 않을 것이라는 확신을 갖게 합니다. 또한, 이 연구는 교묘하게 재구성된 질문이나 적대적 공격을 통해 모델이 잊힌 정보를 드러내도록 속이려는 시도에 대해서도 이 방법이 회복 탄력성이 있음을 확인했습니다. 비록 이 방법이 원래의 데이터와 모델의 내부 가중치(weights)에 접근하여 정보를 재학습할 수 있는 공격자에게는 면역이 없지만, 표준적인 블랙박스 공격에 대해서는 상당한 수준의 보호 계층을 제공합니다.

이 작업은 과정이 신중하게 제약되고 기존 지식의 보존을 우선시한다면, 거대 언어 모델에서 특정 지식을 파괴하지 않고도 제거하는 것이 가능하다는 것을 보여줍니다. '수리 우선' 접근 방식을 사용하고 변화의 범위를 제한함으로써, 연구진은 언러닝 작업의 변화하는 난이도에 적응할 수 있는 시스템을 만들어냈습니다. 결과는 새로운 삭제 요청과 안전 사고가 필연적으로 발생하는 실제 환경에 배치된 모델을 위해, 붕괴 없이 반복적인 교정을 처리할 수 있는 방법이 필수적임을 시사합니다. 이 발견은 인공지능 시스템이 계속해서 진화하고 민감한 인간 데이터와 상호작용함에 따라, 그 안전성과 적법성을 유지하기 위한 실질적인 경로를 제시합니다.

=== 요약 ===

기술 요약: BLADE – LLM 언러닝을 위한 이중 레벨 저계수 증강 라그랑주 제거 기법

1. 문제 정의

배포된 대규모 언어 모델(LLM)은 규제 준수(예: GDPR), 저작권 콘텐츠 제거, 또는 유해 지식 억제 등을 위해 지속적인 사후 교정이 필요합니다. 그러나 머신 언러닝(Machine Unlearning)은 본질적으로 반복적입니다. 새로운 요청과 정책 변화가 모델의 수명 주기 전반에 걸쳐 발생하기 때문입니다. 핵심 과제는 단순히 무엇을 잊게 할 것인가가 아니라, 잔존 데이터에 대한 모델의 효용성을 저해하지 않으면서 어떻게 잊게 할 것인가입니다.

기존 방법들은 망각 대상(Forget)과 잔존 지식(Retain)의 얽힌 표현으로 인해 세 가지 반복적인 실패 모드에 직면합니다:

무제한적 망각(Unbounded Forgetting): 경사 상승(Gradient ascent) 방식은 모델의 일관성을 파괴하는 임의로 큰 그래디언트를 생성합니다.
정적 트레이드오프(Static Tradeoffs): 고정 가중치 손실 균형(예: GradDiff, NPO)은 지식 유지의 난이도가 훈련 중간에 변하더라도 적응하지 못하여, 자가 수정 없이 진동을 초래합니다.
과잉 망각(Over-Forgetting): 클램프(Clamped)되지 않은 엔트로피 손실은 이미 충분한 불확실성에 도달한 토큰까지 계속해서 섭동을 가하여, 그래디언트 예산을 낭비하고 부수적인 피해를 입힙니다.

2. 방법론

BLADE(Bilevel Low-rank Augmented-Lagrangian Erasure)는 저계수 적응(LoRA) 어댑터 내로 국한된 제약 조건부 이중 레벨 최적화 프레임워크를 통해 이러한 문제들을 해결합니다. 이 방법은 세 가지 핵심 메커니즘을 통합합니다:

2.1 LoRA를 통한 파라미터화

전체 가중치 행렬을 수정하는 대신, BLADE는 투영 행렬에 LoRA 어댑터( $W' = W_0 + \frac{\alpha}{r}BA$ )를 부착합니다. 이러한 구조적 제약은 표현 가능한 업데이트 부분 공간을 제한하여, 공격적인 망각 그래디언트 하에서도 파멸적인 가중치 표류(Weight drift)를 방지하는 암묵적 정규화 역할을 합니다. 또한 롤백과 디버깅을 용이하게 합니다.

2.2 선(先) 수리형 이중 레벨 공식화 (Repair-First Bilevel Formulation)

BLADE는 언러닝을 다음과 같이 구성된 제약 조건부 이중 레벨 문제로 간주합니다. 여기서 **내부 루프(Inner loop)**는 잔존 수리(Retain repair)를 우선시하고, **외부 루프(Outer loop)**는 제약된 망각을 처리합니다:

내부 루프 (잔존 수리): 각 외부 단계마다 모델은 이전 망각 단계로 인해 발생한 손상을 복구하기 위해 잔존 데이터셋( $D_{retain}$ )에 대해 $K$ 번의 빠른 SGD 단계를 수행합니다. 이 "선 수리" 원칙은 새로운 섭동이 적용되기 전에 공유 표현을 안정화합니다.
외부 루프 (제약된 망각): 외부 목적 함수는 잔존 손실이 임계값 $\epsilon$ 미만으로 유지된다는 제약 조건 하에서 망각 손실을 최소화합니다.

2.3 비대칭 증강 라그랑주 (Asymmetric Augmented Lagrangian)

잔존 제약을 적응적으로 강제하기 위해, BLADE는 비대칭 듀얼 업데이트를 사용하는 증강 라그랑주 방법(ALM)을 채택합니다:

라그랑주 승수 $\lambda$ 는 위반 정도 $r = L_{ret} - \epsilon$ 에 따라 업데이트됩니다.
비대칭성: 위반이 발생하면( $r > 0$ ), $\lambda$ 가 크게 증가합니다 ( $\lambda \leftarrow \lambda + \rho |r|$ ). 제약이 충족되면( $r \le 0$ ), $\lambda$ 는 매우 느리게 감소합니다 ( $\lambda \leftarrow \lambda - \alpha \rho |r|$ , 여기서 $\alpha \ll 1$ ).
이 "래칫(Ratchet)" 동작은 위반 발생 후 잔존 보호를 영구적으로 강화하여, 대칭적 업데이트 방식에서 나타나는 진동 사이클을 방지합니다.

2.4 클램프된 엔트로피 망각 손실 (Clamped Entropy Forget Loss)

망각 손실은 다음과 같이 클램프된 엔트로피 최대화로 정의됩니다:
$L_{forget} = \frac{1}{N} \sum_{i=1}^{N} \max(0, \tau \cdot H_{max} - H(p_i))$
여기서 $H(p_i)$ 는 토큰 엔트로피이며, $\tau \in (0,1)$ 는 목표 분율입니다.

하드 데드존(Hard Deadzone): 토큰의 엔트로피가 $\tau \cdot H_{max}$ 에 도달하면 그래디언트는 정확히 0이 됩니다.
이점: 이는 망각 손실을 제한하고, 자가 안정화(토큰이 망각됨에 따라 섭동이 축소됨)를 보장하며, 참조 모델 없이도 과잉 망각을 제거합니다.

3. 주요 기여

제약 조건부 이중 레벨 프레임워크: 잔존 수리를 내부 루프에 배치하고 망각을 제약된 외부 루프로 처리하는 새로운 구조를 통해, 각 망각 단계 전에 모델이 공유 표현에서 안정화되도록 보장합니다.
비대칭 증강 라그랑주: 위반 발생 시 잔존 보호를 영구적으로 강화하는 듀얼 업데이트 규칙을 제공하여, 정적 균형을 적응형 자가 수정으로 대체합니다.
클램프된 엔트로피 손실: 충분히 망각된 토큰에 대해 제로 그래디언트를 생성하는 경계가 있는 참조 없는 망각 목적 함수를 통해 과잉 망각을 제거합니다.
LoRA를 통한 견고성: 업데이트를 LoRA 어댑터로 한정함으로써 파멸적인 표류를 방지하고 안정적인 언러닝을 촉진함을 입증했습니다.

4. 실험 결과

성능 우위: BLADE는 가장 강력한 베이스라인 대비 평균 복합 점수에서 TOFU 6%, MUSE Books 9%, **KnowUndo 7%**의 향상을 보였습니다. LLM 판정관을 통해 확인된 바와 같이, 의미론적 누출(Semantic leakage)이 거의 제로에 가깝습니다.
스트레스 상황에서의 견고성:
- 확장성: 4배 스케일링이 적용된 MUSE News에서 BLAME은 안정적인 성능을 유지했으나, 가장 강력한 베이스라인인 PDU는 붕괴되었습니다 (HM이 0.005로 하락).
- 지속성: 4회의 연속적인 언러닝 단계 이후에도 BLADE는 안정적이었으나, PDU는 단 2단계 만에 붕괴되었습니다.
훈련 역학: BLADE는 (1) 웜업, (2) 스파이크 및 래칫(일시적 위반이 영구적 $\lambda$ 증가를 유발), (3) 매끄러운 수렴이라는 일관되고 해석 가능한 3단계 패턴을 보입니다. 이는 다른 방법들의 진동하는 역학과는 대조적입니다.
적대적 견고성: BLADE는 블랙박스 추출, 탈옥(Jailbreak), 멤버십 추론, 그리고 최적화 기반의 적대적 접미사 공격에 대한 탄력성을 입증했습니다.

5. 의의 및 주장

본 논문은 BLADE가 현재의 언러닝 방법들이 가진 고유한 불안정성을 해결하여, 최적화 지형에 대한 매끄럽고 예측 가능한 제어를 제공한다고 주장합니다. 선(先) 수리형 이중 레벨 구조, 적응형 비대칭 라그랑주, 그리고 경계가 있는 망각 손실을 결합함으로써, BLADE는 기존 방법들이 파멸적으로 실패하는 조건인 반복적 적용 및 스케일링 환경에서도 견고하게 작동하는 자가 수정 시스템을 달 Achieve 합니다.

저자들은 BLADE의 성공이 구성 요소들의 특정한 상호작용에 달려 있다고 강조합니다. 즉, 경계가 있고 자가 포화되는 망각 손실은 구조적 제약(LoRA) 및 적응형 페널티 강제화와 결합될 때에만 제약 조건부 이중 레벨 최적화와 호환 가능하며, 이러한 특정 상호작용이 결여된 알려진 기술들의 조합(예: LoFA와 결합된 경사 상승)은 파멸적인 실패를 초래한다는 점을 명시합니다.

6. 한계점

논문은 다음과 같은 몇 가지 한계를 인정합니다:

범위: BLADE는 사실적 및 지식 수준의 언러닝을 대상으로 하며, 얽힘이 그 용량을 초과할 수 있는 개념적 또는 표현 수준의 도메인 제거에 대해서는 테스트되지 않았습니다.
위협 모델: 블랙박스 추출에는 견고하지만, BLAME은 재학습 공격(공격자가 화이트박스 접근 권한과 원본 망각 데이터를 가진 경우)에 취적될 수 있습니다. 현재의 공식은 파라미터를 삭제를 위한 최소 필요 영역으로 밀어붙이며, 적대적 안전 마진을 고려하지 않습니다.
모달리티: 평가는 텍스트 전용 LLM에 국한되어 있으며, 멀티모달 모델에 대한 효과는 테스트되지 않았습니다.