🤖 machine learning

Natively Unlearnable Large Language Models

이 논문은 공동 학습의 이점과 일반적인 언어 능력을 유지하면서도 개별 학습 소스의 효율적이고 견고하며 데이터가 필요 없는 언러닝(unlearning)을 가능하게 하기 위해, 공유된 백본 뉴런과 희소하게 활성화되는 소스별 싱크(sink)를 사용하는 모델 아키텍처인 NULLs(Natively Unlearnable LLMs)를 소개한다.

원저자: Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 뇌(대규모 언어 모델, LLM) 안에 거대한 지식의 도서관을 구축한다고 상상해 보세요. 보통 이 뇌를 가르칠 때는 모든 것을 한데 섞어서 학습시킵니다. 만약 당신이 "해리 포터"에 관한 사실과 "제2차 세계 대전"에 관한 사실을 함께 가르친다면, 이 기억들은 같은 뉴런 속에 뒤엉키게 됩니다. 만약 나중에 법적 요청 때문에 "해리 포터"의 기억을 삭제해야 한다면, 이는 스웨터에서 실 한 가닥을 뽑아내려다 전체를 풀어버리는 것과 같습니다. 실수로 역사 수업 내용까지 지워버릴 수도 있고, 혹은 해리 포터의 기억이 다시 몰래 스며들 수도 있습니다 있습니다.

이 논문은 NULLs(Natively Unlearnable LLMs, 태생적으로 학습 제거가 가능한 LLM)라고 불리는 새로운 방식의 AI 뇌 구축법을 소개합니다. 모든 것을 하나의 큰 더미로 섞는 대신, NULLs는 처음부터 특별한 "분류 시스템"을 갖추고 뇌를 구축합니다.

작동 원리는 다음과 같습니다. 쉬운 비유를 들어 설명하겠습니다.

1. "공용 주방" vs "개인 사물함"

AI의 뇌를 두 가지 유형의 저장 공간을 가진 것으로 생각해보세요:

공용 주방 (Backbone): 이곳은 AI가 문법, 문장 형성 방식, 또는 세상에 대한 일반적인 사실(예: "파리는 프랑스에 있다")처럼 모든 것에 적용되는 일반적인 것들을 배우는 곳입니다. 모두가 이 주방을 사용합니다.
개인 사물함 (Sinks): 이것이 새로운 발명품입니다. 모든 특정 정보 출처(예: 단일 위키피디아 문서나 특정 책)마다 AI에게는 그 출처만이 사용할 수 있는 고유한 세트의 "사물함"(뉴런)이 주어집니다.

AI가 특정 문서에만 해당하는 고유한 사실(예: 특정 뉴스 기사에 등장하는 특정 내부 고발자의 이름)을 배울 때, AI는 자연스럽게 그 사실을 해당 문서의 개인 사물함에 저장합니다. 반면, 일반적인 사실(예: "내부 고발자는 중요하다")을 배울 때는 이를 공용 주방에 저장합니다.

2. 마법의 스위치 (학습 제거)

표준 AI에서는 무언가를 잊게 만들고 싶을 때, 뇌 전체를 다시 학습시키거나 가중치를 정교하게 제거하려고 시도해야 하며, 이 과정은 종종 다른 기능들을 망가뜨리곤 합니다.

NULLs에서 "학습 제거(unlearning)"는 전등 스위치를 끄는 것만큼 간단합니다.

만약 한 출판사가 "우리 모델에서 특정 기사를 삭제해 달라"고 요청한다면, 모델을 다시 학습시킬 필요가 없습니다. 그저 해당 기사에 할당된 "개인 사물함"을 비활성화하기만 하면 됩니다.
그러면 AI는 즉시 그 기사의 고유한 사실들을 잊어버립니다. 왜냐하면 그 사물함이 잠겼기 때문입니다.
하지만 공용 주방은 열려 있는 상태로 유지됩니다. AI는 해당 주제에 대한 일반적인 사실들을 여전히 알고 있는데, 그 사실들은 특정 사물함이 아닌 공통 영역에 저장되어 있기 때문입니다.

이는 마치 손님마다 침실이 있고 거실을 공유하는 집과 같습니다. 손님이 떠나면, 그들의 침실 문을 잠그기만 하면 됩니다. 거실(사람들이 모이는 곳)은 똑같이 유지되며, 집 전체가 무너지지도 않습니다.

3. 연구진이 발견한 점

연구진은 이 아이디어를 두 가지 주요 방식으로 테스트했습니다.

위키피디아 테스트 (세밀한 수준): 연구진은 600만 개의 위키피디아 문서로 모델을 학습시켰습니다. 그리고 유사한 다른 문서들에 담긴 일반적인 지식은 삭제하지 않으면서, 딱 하나의 문서만을 제거할 수 있는지 확인하고자 했습니다.
- 결과: 한 문서의 사물함을 "잠갔을" 때, 모델은 그 문서만의 고유한 세부 사항은 잊었지만, 다른 문서들과 공유되는 일반적인 지식은 유지했습니다. 이는 모델을 처음부터 다시 학습시키는 것(보통 비용이 너무 많이 듭니다)과 거의 비슷하게 효과적이었습니다.
해리 포터 테스트 (포괄적인 수준): 연구진은 해리 포터 시리즈 전체로 모델을 학습시킨 후, 해리 포터와 관련된 모든 지식을 제거하려고 시도했습니다.
- 결과: "해리 포터 사물함"을 끄자, 모델은 마법사에 대해 말하는 것을 멈추고, 해리 포터 관련 문장이 입력되었을 때 일반적인 것들(예: 시의회 회의)에 대해 말하기 시작했습니다.
- 보너스: 연구진은 "적대적(adversarial)" 프롬프트를 사용하거나 약간의 재학습을 통해 모델이 해리 포터를 다시 기억하도록 속이려 했습니다. 표준 AI 모델들은 실패하고 빠르게 해리 포터를 기억해냈습니다. 그러나 NULLs 모델은 "학습 제거" 상태를 유지하며 이러한 속임수에 저항했습니다.

4. AI를 멍청하게 만드는가?

기억을 분리하면 AI의 일반적인 능력이 떨어질 수 있다는 큰 우려가 있습니다. 연구진은 표준 언어 벤치마크(과학 질문에 답하거나 논리 퍼즐을 푸는 등)를 통해 이를 테스트했습니다.

결과: NULLs 모델은 표준적인, 특화되지 않은 AI만큼 잘 작동했습니다. 일반적인 지능을 잃지 않았습니다.

요약

이 논문은 AI를 학습시킨 후에 어떻게 데이터를 삭제할지 고민하는 것이 아니라, 설계 단계부터 "삭제 버튼"을 직접 구조 안에 심어야 한다고 주장합니다. 모든 데이터 출처에 전용 "사물함"을 부여하면서도 공통의 "주방"을 공유하게 함으로써, 우리는 모델을 망가뜨리거나 처음부터 다시 학습시킬 필요 없이 특정 정보를 정교하게 제거할 수 있습니다.

기술 요약: 네이티브하게 학습 불가능한 대규모 언어 모델 (NULLs)

1. 문제 정의

대규모 언어 모델(LLM)은 저작권이 있는 자료, 개인 정보, 규제 대상 콘텐츠가 포함된 웹 규모의 데이터셋을 통해 학습됩니다. 법적 및 윤리적 요구 사항에 따라 배포된 모델에서 특정 데이터 소스(unlearning, 망각)를 제거해야 할 수도 있습니다. 그러나 기존의 학습 방식은 경사 하강법(gradient descent)을 통해 모든 데이터 소스를 하나의 공유된 가중치 세트로 얽히게 만들어, 단일 소스의 기여도를 격리하는 것을 어렵게 만듭니다.

기존의 접근 방식들은 다음과 같은 트레이드오프(trade-off) 문제를 겪습니다:

사후 망각 (Post-hoc unlearning): 학습 후 교정 업데이트를 적용합니다. 이는 공동 학습(joint learning)을 보존하지만, 타겟의 영향력이 공유 가중치에 여전히 얽혀 있어 불완전한 제거, 관련 지식의 저하, 그리고 적대적 재학습(adversarial relearning)에 대한 취약성을 초래합니다.
소스 격리 (Mixture-of-Experts): 각 소스에 대해 별도의 모델이나 모듈을 학습시킵니다. 이는 용이한 제거를 가능하게 하지만, 소스 간의 공동 학습을 방해하여 일반화 능력을 희생시키며, 미세한 수준의 소스(예: 수백만 개의 개별 문서)로 확장하기 어렵습니다.

핵심 과제는 공동 학습과 일반화 능력을 희생하지 않으면서 **소스 수준의 망각(source-level unlearning)**을 달리는 것입니다.

2. 방법론: NULLs 아키텍처

저자들은 소스별 기여도를 격리하는 것과 소스 간 공동 학습을 수행하는 것 사이의 상충하는 목표를 동시에 만족하도록 설계된 모델 클래스인 **NULLs (Natively Unlearnable LLMs)**를 제안합니다.

아키텍처 수정 사항:

백본 및 싱크 (Backbone and Sinks): 이 모델은 트랜스포머의 완전 연결(MLP) 레이어를 수정합니다. 은닉 뉴런은 두 가지 집합으로 분할됩니다:
1. 공유 백본 ( $N_{gen}$ ): 모든 입력에 대해 활성화되는 뉴런 집합으로, 일반적인 능력과 소스 간에 공유되는 정보를 학습하는 역할을 합니다.
2. 메모리화 싱크 풀 ( $N_{pool}$ ): 소스별 정보가 국지화되는 더 큰 규모의 뉴런 풀입니다.
희소 활성화 마스크 (Sparse Activation Masks): 각 데이터 소스 $S_i$ $S_{i}$ 에는 싱크 풀에 대한 결정론적이고 희소한(sparse) 마스크가 할당됩니다. 이 마스크는 의사 난수 생성기를 사용하여 소스 식별자로부터 생성됩니다.
- 학습 중, 문서는 공유 백본 뉴런과 해당 마스크에 의해 정의된 싱크 뉴런의 특정 부분 집합을 활성화합니다.
- 전체 풀( $N_{pool}$ ) 대비 활성 싱크 뉴런의 비율( $N_{source}/N_{pool}$ )은 **중첩 비율(overlap ratio)**이며, 이는 소스 간의 간섭을 제어합니다.
학습 역학 (Training Dynamics): 이 메커니즘은 공유 백본이 모든 소스로부터 경사 업데이트를 받아 소스별 사실에 대해 간섭을 일으킨다는 원리에 기반합니다. 반대로, 싱크 뉴런은 일부 소스에 대해서만 활성화되므로 간섭을 적게 받습니다. 결과적으로, 소스별 사실은 백본보다 싱크에 먼저 "적합(fit)"되며, 공유된 사실은 백본에 축적됩니다.
망각 메커니즘: 추론 시, 망각은 타겟 소스에 해당하는 싱크 마스크를 비활성화함으로써 수행됩니다. 이는 다음과 같이 이루어질 수 있습니다:
- 싱크-오프 (Sink-Off): 입력을 다음으로 가까운 소스의 싱크로 라우팅하거나(임베딩 유사도 기준), 단순히 타겟 마스크를 적용하지 않는 방식입니다.
- 영구 제거 (Permanent Removal): 타겟의 마스크에 활성화된 뉴런의 파라미터를 0으로 만듭니다.
- 결정적으로, 이는 경사 업데이트와 기존 데이터에 대한 접근을 필요로 하지 않습니다.

3. 주요 기여

네이티브한 망각 가능성 (Native Unlearnability): NULLs는 망각을 모델 구조 내에 직접 통합하여, 사후 가중치 업데이트의 필요성을 제거합니다.
확장성 (Scalability): 공유 싱크 풀에 대한 희소 마스크를 사용함으로써, 파라미터 수를 선형적으로 증가시키지 않고도 조합 가능한 수의 소스(예: 약 600만 개의 위키피디아 문서)를 처리할 수 있습니다.
감독 없는 분리 (Disentanglement without Supervision): 이 방법은 어떤 정보가 어느 소스에 속하는지 식별하기 위한 명시적인 감독 없이도 소스별 지식을 자동으로 격리합니다.
강건성 (Robustness): 이 아키텍처는 사후 망각을 전형적으로 무력화하는 적대적 추출 및 재학습 공격에 저항합니다.

4. 실험 결과

저자들은 두 가지 사례 연구를 통해 NULLs를 평가했습니다.

A. 문서 수준 망각 (위키피디아)

설정: 약 600만 개의 위키피디아 문로 학습된 1B 파라미터 모델.
결과:
- 정밀한 제거: 특정 문서의 싱크를 비활성화하면 해당 문서 고유의 사실에 대한 모델의 회상 능력이 급격히 감소(Truth Ratio $\approx$ 0)하는 동시에, 의미론적으로 연관된 문서들과 공유하는 사실은 보존되었습니다.
- 베이스라인과의 비교: NULLs (Sink-Off)의 성능은 타겟 문서를 제외하고 처음부터 다시 학습시킨 골드 스탠다드(gold-standard) 모델과 매우 유사했습니다.
- 기존 방식과의 대조: 사후 경사법(예: NPO, gradient ascent)은 타겟 특정 지식과 동일한 비율로 공유 지식을 저하시켜, 둘 사이를 구분하지 못했습니다.

B. 주제 수준 망각 (해리 포터)

설정: C4 코퍼스와 해리 포터 시리즈 7권을 혼합하여 학습된 1B 파라미터 모델.
결과:
- 행동 변화: "해리 포터" 싱크를 비활성화하면 생성된 텍스트에서 책에 대한 언급이 사라졌으며, 일관성을 유지하면서도 주제를 관련 없는 내용으로 전환했습니다.
- 적대적 강건성:
  - 추출 (Extraction): NULLs (Sink-Off)는 학습되지 않은 텍스트를 유도하려는 적대적 프롬프팅(GCG 최적화)에 저항하며, 책을 학습하지 않은 모델의 성능과 일치하는 모습을 보였습니다.
  - 재학습 (Relearning): 해리 포터 데이터의 일부를 사용하여 미세 조정을 수행했을 때, 사후 망각을 적용한 표준 트랜스포머는 학습되지 않은 정보를 빠르게 복구했습니다(10단계 이내). 반면, NULLs (Sink-Off)는 데이터를 본 적이 없는 모델과 동일한 재학습 역학을 보였습니다.

C. 일반 능력 및 스케일링

능력 보존: NULLs는 다운스트림 벤치마크(ARC-E, Winogrande, PIQA, SciQ)에서 표준 트랜스포머와 대등한 성능을 보였으며, 문서 특정적 사실에 대한 지식 용량을 유지했습니다.
싱크 풀 민감도: 싱크 풀 크기를 키워(중첩을 줄임) 메모리 용량을 높여도 망각 능력은 크게 약화되지 않았습니다. 싱크 풀의 크기는 주로 '얼마나 많이' 학습할지를 결정하며, '망각할 수 있는지 여부'를 결정하는 것은 아닙니다.

5. 의의 및 주장

본 논문은 소스 수준의 망각이 사후적인 고려 사항이 아니라, LLM 학습 과정에 네이티브하게 구축될 수 있음을 주장합니다.

목표의 조화: NULLs는 소스 기여도를 분리하는 것과 소스 간 공동 학습을 수행하는 것이 서로 배타적이지 않음을 보여줍니다.
네이티브 제어: 이를 통해 모델의 출력뿐만 아니라 데이터 수준에서 모델을 제어할 수 있게 합니다.
속성 부여 (Attribution): 소스 기여도가 격리되어 있기 있으므로, 모델의 출력을 특정 사전 학습 데이터 소스에 귀속시킬 수 있으며, 싱크를 토글함으로써 단일 소스의 영향을 직접 측정할 수 있습니다.

저자들은 1B 파라미터 모델의 사용과 학습 시점에 정의된 소스 정의에 대한 의존성이라는 한계를 언급하며, 정의되지 않은 소스에 대한 망각 요청을 처리하는 것은 여전히 미해결 과제임을 인정했습니다. 그러나 결과는 네이티브한 망각 가능성이 준수하고 통제 가능한 AI 시스템을 위한 실행 가능한 경로임을 시사합니다.