💬 NLP

CALIBURN: Self-Calibrated LLM Unlearning Alignment

본 논문은 원치 않는 지식에 대한 LLM의 확신도를 정량화하여 언러닝 그래디언트를 정밀하게 보정하는 자기 보정 방식인 CALIBURN을 제안하며, 이를 통해 기존 방식들에 비해 대규모 유지 데이터셋에 대한 의존도를 낮추면서도 유틸리티 보존 능력을 높이고 효과적인 지식 제거를 달성한다.

원저자: Zhengbang Yang, Yisheng Zhong, Junyuan Hong, Zhuangdi Zhu

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhengbang Yang, Yisheng Zhong, Junyuan Hong, Zhuangdi Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 방대한 양의 텍스트를 학습하여 인간의 언어를 이해하고 생성하도록 훈련된 강력한 지식 엔진입니다. 그러나 이러한 대규모 암기는 중대한 위험을 수반합니다. 즉, 모델이 의도치 않게 민감한 개인 정보, 저작권이 있는 이야기, 또는 유해한 물질 제조를 위한 위험한 지침을 회상할 수 있다는 점입니다. 이러한 정보가 모델에 내재되어 있을 때, 단순히 소스 파일을 삭제하는 것만으로는 기계의 기억에서 그 지식을 제거할 수 없습니다. "언러닝(unlearning, 망각 학습)" 분야는 모델이 일반적인 유용성을 유지하면서도 특정하고 바람직하지 않은 정보를 잊도록 가르치는 방법을 통해 이 문제를 해결하고자 합니다. 과제는 이를 정밀하게 수행하는 데 있습니다. 만약 모델이 너무 공격적으로 잊도록 강요받으면, 흔히 "파괴적 망각(catastrophic forgetting)"이라 불리는 현상처럼 일반적인 지능을 상실하게 됩니다. 반대로, 너무 조심스럽게 접근하면 위험하거나 원치 않는 지식이 그대로 남게 됩니다.

연구자들은 이를 해결하기 위해 종종 모델이 유지해야 할 유익한 지식의 예시인 대규모 "유지 데이터(retention data)" 세트에 의존하여 안전망 역할을 하게 하는 다양한 방법들을 시도해 왔습니다. 어떤 방식은 모델의 선호도를 조정하여 나쁜 답변을 거부하도록 가르치기도 하지만, 이러한 방식은 모델이 변화함에 따라 점점 쓸모가 없어지는 고정된 참조점에 의존하기 때문에 어려움을 겪는 경우가 많습니다. 한 새로운 연구는 CALIBURN이라는 방법을 소개하는데, 이는 망각 과정을 자기 조절 가능하게 만드는 것을 목표로 합니다. 외부 데이터나 고정된 참조 모델에 의존하는 대신, CALIBURN은 모델이 잊어야 할 정보에 대해 스스로 느끼는 확신도를 판단할 수 있게 합니다. 만약 모델이 원치 않는 지식에 대해 매우 확신하고 있다면, 그 지식을 제거하기 위해 더 강한 페널티를 적용합니다. 반면 모델이 이미 확신이 없는 상태라면, 페널티를 가볍게 적용합니다. 이 접근 방식은 모델이 자신의 기억을 미세 조정할 수 있게 하여, 가장 필요한 곳에 정확히 노력을 집중할 수 있도록 합니다.

연구진은 이 아이디어를 사이버 보안 및 생물학 관련 위험 정보와 해리 포터 도서 시리즈의 저작권 텍스트라는 두 가지 뚜렷한 유형의 원치 않는 지식에 대해 테스트했습니다. 그들은 이 방법을 대규모 유지 데이터셋을 사용하는 기술 및 유익한 답변과 나쁜 답변의 대조 쌍을 사용하는 기술을 포함한 여러 기존 기법들과 비교했습니다. 위험한 지식에 관한 테스트에서, 이 새로운 방법은 모델의 일반적인 학술적 질문 성능을 유지하면서도 위험한 콘텐츠를 생성하는 능력을 성공적으로 감소시켰습니다. 또한, 추가적인 유지 데이터를 사용하지 않는 다른 방법들이 모델의 일반적인 유용성을 너무 많이 상실하게 만든 것과 달리, 이 방법은 더 우수한 성능을 보였습니다. 마찬가지로, 해리 포터 시리즈에 대한 지식을 제거하는 작업에서도 이 방법은 매우 효과적이었습니다. 단 132개의 질문-답변 쌍이라는 매우 적은 데이터만으로도 모델의 책에 대한 기억을 거의 제로(0)에 가깝게 줄였으며, 이는 다른 방법들이 제한된 데이터 환경에서 크게 고전했던 것과 대조적입니다.

이 연구의 핵심적인 혁신은 언어의 구조를 다루는 방식에 있습니다. 이 방법은 문장이나 단락 전체를 하나의 잊어야 할 단위로 취급하는 대신, 과정을 개별 단어, 즉 토큰 수준으로 세분화합니다. 이를 통해 훨씬 더 정밀한 조정을 가능하게 합니다. 연구진은 각 특정 단어에 대한 모델의 확신도를 바탕으로 학습 과정을 보정함으로써, 다른 기술들을 괴롭히는 "과잉 망각(over-forgetting)"을 피할 수 있다는 것을 발견했습니다. 예를 들어, 모델에게 특정 책에 대한 세부 사항을 잊으라고 요청했을 때, 이 방법은 해당 책과 직접 관련된 단어들을 높은 정밀도로 타겟팅하는 동시에, 관련 없는 단어나 일반적인 지식은 그대로 유지했습니다. 이러한 자기 보정 메커니즘 덕분에 모델은 올바르게 작동하기 위해 고정된 참조 모델이나 방대한 양의 안전한 예시 라이브러리와 짝을 이룰 필요가 없습니다.

본 연구는 이전의 접근 방식들을 제한해 온 무거운 데이터 요구 사항 없이도 효과적인 언러닝을 달ato는 것이 가능하다는 것을 보여줍니다. 모델 자신의 확신도가 망각 과정을 안내하게 함으로써, 연구진은 학습 데이터가 부족하거나 길이가 다양하더라도 견고하게 작동하는 시스템을 만들었습니다. 결과는 이러한 자기 조절 접근 방식이 특정하고 원치 않는 지식을 제거하는 것과 모델의 전반적인 유용성을 보존하는 것 사이의 균형 잡힌 절충안을 제공한다는 점을 시사합니다. 실험은 특정 크기의 모델과 통제된 벤치마크 환경에서 수행되었지만, 이 결과는 인공지능 시스템의 안전과 프라이버시를 관리하는 데 있어 더 실용적이고 효율적인 방법을 제시합니다. 이 작업은 적절한 내부 보정이 있다면, 모델이 알아야 할 것을 잃지 않으면서도 알지 말아야 할 것을 잊도록 가르칠 수 있음을 나타냅니다.

기술 요약: CALIBURN - 자기 교정형 LLM 언러닝 정렬 (Self-Calibrated LLM Unlearning Alignment)

문제 정의

대규모 언어 모델(LLM)은 방대한 양의 사전 학습 데이터를 기억하며, 이 과정에서 의도치 않게 유해한 절차적 정보, 저작권이 있는 자료 또는 민감한 개인 정보가 포함될 수 있습니다. **LLM 언러닝(unlearning)**은 처음부터 다시 학습시키는 막대한 비용을 들이지 않고도 이러한 바람직하지 않은 지식의 영향을 선택적으로 제거하는 것을 목표로 합니다.

기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

경사 상승법 (Gradient Ascent, GA): 바람직하지 않은 데이터에 대한 손실(loss)을 높이는 데는 효과적이지만, 세만틱(semantic) 중요도와 상관없이 망각해야 할 데이터를 생성하는 것에 대해 균등하게 페널티를 부여하기 때문에, 모델의 일반적인 지식과 유용성을 저하시키는 **파괴적 망각(catastrophic forgetting)**을 초래하는 경우가 많습니다.
정렬 기반 방법 (예: NPO): 이러한 방법들은 선호도 정렬을 최적화하지만, 종종 정적 참조 모델(예: 학습 전의 베이스 모델)에 의존합니다. 타겟 모델이 학습 과정에서 진화함에 따라, 고정된 참조 모델은 업데이트를 가이드하기 위한 정보력이 떨어지게 되어 언러닝 효능이 제한됩니다. 또한, 많은 방법이 일반적인 지식을 보존하기 위해 대규모의 **유지 데이터셋(retention datasets)**을 여전히 필요로 하는데, 이는 실제 환경에서 매우 제한적이고 데이터 집약적인 전제 조건입니다.
데이터 편향: 학습 데이터의 다양한 시퀀스 길이는 세만틱 중요도와 관계없이 긴 샘플이 경사 업데이트에 불균형적으로 기여하게 만드는 편향을 유발하며, 이는 언러닝 효능에 추가적인 영향을 미칩니다.

핵심 과제는 외부 유지 데이터, 대조 쌍(contrastive pairs), 또는 정적 참조 모델에 의존하지 않으면서, 지식 제거와 유용성 보존 사이의 균형을 맞추는 효과적인 언러닝을 달하는 것입니다.

방법론: CALIBURN

저자들은 바람직하지 않은 지식에 대한 타겟 LLM의 확신(confidence)을 정량화하여 경사 업데이트를 정밀하게 교정하는 원칙적인 방법인 CALIBURN(Self-Calibrated LLM Unlearning)을 제안합니다.

1. 정책에 대한 선호도 최적화로서의 언러닝 정식화

데이터 샘플에 대해 선호도를 최적화하는 기존의 정렬 방식과 달리, CALIBURN은 언러닝을 **모델 정책(model policies)**에 대한 선호도 최적화로 정식화합니다.

언러닝 샘플 $\tau = (x, y)$ 가 주어졌을 때, 목표는 타겟 정책 $\pi_\theta$ 가 참조 정책 $\pi_\beta$ 보다 선호될 확률을 최소화하는 것입니다.
언러닝 마진(margin)은 로그 비율 $\log \frac{\pi_\theta(y|x)}{\pi_\beta(y|x)}$ 로 정의됩니다. 마진이 클수록 바람직하지 않은 궤적(trajectory)을 생성하는 것에 대해 더 강력한 페널티를 부여함을 의미합니다.

2. 자기 교정 참조 항 (Self-Calibrated Reference Term)

핵심 혁신은 정적 참조 모델 $\pi_{ref}$ 를 타겟 모델 자체에서 직접 도출된 동적이고 자기 교정된 항으로 대체하는 것입니다:
$\pi_\beta(y|x) \equiv 1 - \hat{\pi}_\theta(y|x)$
여기서 $\hat{\pi}_\theta$ 는 현재 타겟 모델에 대한 stop-gradient 연산을 나타냅니다.

메커니즘: 이 항은 높은 확신을 가진 바람직하지 않은 응답에 대해서는 분모를 감소시키고, 낮은 확신을 가진 응답에 대해서는 분모를 증가시킵니다.
이점: 이는 모델의 확신도에 따라 단조 증가하는 적응형 마진을 생성합니다. 높은 확신을 가진 토큰(언러닝이 가장 필요한 부분)은 증폭된 페널티를 받는 반면, 낮은 확신을 가진 토큰은 더 작은 가중치를 받아 이미 억제된 콘텐츠에 대한 과도한 페널티를 피할 수 있습니다.
적응성: 이 항은 $\pi_\theta$ 로부터 도출되므로 모델과 함께 공진화하며, 외부의 캐싱된 참조 모델을 필요로 하지 않습니다.

3. 토큰 수준 구현 (Token-Level Implementation)

길이 편향 문제를 해결하기 위해, CALIBURN은 토큰 수준 정규화 전략을 채택합니다. 전체 시퀀스를 단일 샘플로 취급하는 대신, 각 조건부 토큰 생성 $\pi(y_i|x, y_{<i})$ 을 독립적인 학습 샘플로 프레임화합니다.

최종 목적 함수는 시퀀스의 모든 토큰에 대한 평균 손실을 최소화합니다.
이를 통해 시퀀스 수준의 방법보다 더 세밀하게 높은 확신의 토큰과 억제된 토근을 구분하여 정밀한 제어가 가능해집니다.

4. 경사 재가중치 부여 (Gradient Reweighting)

저자들은 CALIBURN 목적 함수의 경사를 분석하여, 이것이 재스케일링된 경사 업데이트로 작용함을 보여줍니다:
$\nabla \mathcal{L}_{CALIBURN} = w_i(\beta, \pi_\theta) \cdot \nabla \log \pi_\theta(y_i|x, y_{<i})$
가중치 함수 $w_i$ 는 토큰 확률 $z_i = \pi_\theta(y_i|x, y_{<i})$ 에 따라 단조 증가합니다. 이는 모델이 높은 확신으로 예측하는 토큰에 더 큰 경사 가중치를 부여하여, 표적화된 페널티를 강제함을 보장합니다.

주요 기여

자기 교정 목적 함수: 외부 참조 모델 없이도 미세한 정렬을 가능하게 하기 위해 모델의 현재 예측 확신도에 따라 손실을 적응적으로 재가중하는 새로운 언러닝 목적 함수를 제안했습니다.
선호도 순위 정식화: 자기 교정된 언러닝을 타겟 모델과 자기 교정된 항 사이의 선호도 순위로 보는 원칙적인 관점을 제공하며, 이를 통해 목적 함수가 어떻게 확신 기반의 재가중치를 강제하는지 설명합니다.
강건성 및 효율성: 지식 제거와 유용성 보존 사이의 트레이드오프를 개선하며, 길이 관련 데이터 편향에 강건하고, 이질적이거나 희소한 언러닝 데이터(예: 소수의 앵커 예시만 있는 개념 수준의 언러닝)에서도 효과적으로 작동합니다.

실험 결과

유해 지식 완화 (WMDP): CALIBURN은 유지 데이터가 없는 방법들 중 가장 높은 전반적인 품질 변화(quality shift)를 달 achieved 했습니다. 이는 효능이 제한적이거나 과잉 망각을 겪는 NPO, SimNPO, WGA와 같은 베이스라인들을 크게 상회했습니다. 특히, CALIBURN은 유지 데이터를 사용하는 방법(RMU)의 성능에 근접하면서도 실제로는 그러한 데이터를 요구하지 않았습니다.
데이터 희소성: 전체 텍-코퍼스 대신 경량 QA 데이터셋(132쌍)을 사용했을 때도, NPO와 SimNPO가 언러닝 효능에서 상당한 하락을 보인 것과 달리 CALIBURN은 견고한 성능을 유지했습니다.
구성 요소 분석: 절제 연구(Ablation studies)를 통해 자기 교정 항과 토کن 수준 목적 함수가 모두 핵심적임을 확인했습니다. 두 구성 요소 중 하나라도 제거하면 언러닝 효능이나 전반적인 품질 변화가 크게 저하되었습니다.

의의 및 주장

본 논문은 CALIBURN이 LLM 언러닝을 위한 원칙적이고 데이터 효율적인 솔루션을 제공한다고 주장합니다. 정적 참조를 동적인 자기 교정 마진으로 대체함으로써, 이 방법은:

외부 유지 데이터나 과도한 언러닝 학습 세트에 대한 의존도를 줄입니다.
바람직하지 않은 지식을 망각하는 것과 일반적인 유용성을 보존하는 것 사이에서 기존 최첨단 방법들보다 더 강력한 경험적 트레이드오프를 달성합니다.
다양한 시퀀스 길이에 의해 발생하는 학습 편향에 대한 견고한 메커니즘을 제공합니다.

저자들은 본 연구가 기존 방식들의 제한적인 데이터 요구 사항 없이도 효과적이고 실용적인 LLM 언러닝의 실현 가능성을 입증했다고 결론짓습니다.