💻 computer science

What to Forget in Unlearning? Forget Set Curation for Language Models

이 논문은 단순한 선택 방식은 타겟 콘텐츠를 억제하는 데 실패하는 반면 지나치게 공격적인 전략은 모델 능력에 상당한 부수적 피해를 입힌다는 점을 보여줌으로써, 망각 세트(forget sets)의 큐레이션이 머신 언러닝(machine unlearning)에서 중요한 상류 과제임을 입증하는 벤치마크인 CleanSlate를 소개한다.

원저자: Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인류의 방대한 지식이 하나의 매우 똑똑한 컴퓨터 프로그램으로 압축된 세상을 상상해 보십시오. 언어 모델이라고 알려진 이 프로그램은 책, 웹사이트, 노래에서 추출한 수조 개의 단어를 읽으며 학습합니다. 이 과정에서 프로그램은 시인의 문체를 흉내 내거나 유명 소설의 문장을 완성할 정도로 정교해집니다. 하지만 때때로 이 프로그램의 소유자들은 특정 정보를 제거해야 할 때가 있습니다. 예를 들어, 허가 없이 노래가 사용되었거나 개인적인 이야기가 실수로 기억되었을 경우입니다. 목표는 컴퓨터가 전체 기억을 삭제하고 처음부터 다시 시작하지 않고도, 그 특정 콘텐츠를 '망각'하도록 만드는 것입니다. 이 과정을 머신 언러닝(machine unlearning)이라고 부릅니다. 수년 동안 연구자들은 어떤 단어를 대상으로 할지 정확히 알고 있다는 전제하에, 데이터를 어떻게 삭제할 것인가 하는 메커니즘에 집중해 왔습니다. 그들은 잊어야 할 단어 목록을 단순한 출발점으로 간주하며, 만약 컴퓨터에게 특정 문장을 잊으라고 말하면 그것이 단순히 실행될 것이라고 가정했습니다.

하지만 스탠퍼드 대학교의 새로운 연구는 이러한 가정이 결정적이고 어려운 단계를 놓치고 있다고 시사합니다. 연구자들은 현실 세계에서 무언가를 잊어달라는 요청이 정밀한 단어 목록과 함께 오는 경우가 드물다는 사실을 깨달았습니다. 사용자가 모델에게 특정 노래를 부르지 말라고 요청할 수 있지만, 그 노래는 컴퓨터의 기억 속에 다양한 형태로 존재합니다. 공식 가사 속에 나타날 수도 있고, 가사를 인용한 뉴스 기사, 멜로디를 논하는 팬 포럼, 텍스트를 저장하는 코드 파일, 또는 후렴구를 언급하는 리뷰 속에도 나타날 수 있습니다. 컴퓨터는 단 하나의 완벽한 복사본만으로 노래를 아는 것이 아니라, 이러한 다양한 언급들이 흩어져 있는 구름 형태의 데이터로부터 노래를 학습합니다. 새로운 연구는 근본적인 질문을 던집니다. 이 거대한 텍스트 도서관 안에서 어떻게 그 노래나 책의 흩어진 조각들을 모두 찾아내어 컴퓨터에게 그것들을 잊으라고 명령할 수 있을 것인가? 연구팀은 이 누락된 단계를 '망각 집합 큐레이션(forget set curation)'이라 부르며, 이를 잘못 수행할 경우 컴퓨터가 원치 않는 노래 이상의 것을 잃게 될 수 있다는 것을 발견했습니다.

이를 조사하기 위해 연구진은 CLEANSLATE라는 테스트 환경을 구축했습니다. 그들은 1970년부터 2025년까지의 빌보드 핫 100 차트에 오른 수천 곡의 노래와 50권의 책을 모았습니다. 그런 다음 서로 다른 방법들이 제거해야 할 특정 텍스트 파편들을 얼마나 잘 식별하는지 테스트했습니다. 그들은 두 가지 주요 접근 방식을 비교했습니다. 첫 번째 접근 방식은 사람이 검색 엔진을 사용하여 책을 찾는 것과 유사한 표준 검색 도구에 의존했습니다. 이 도구들은 단어나 구절의 정확한 일치를 찾았습니다. 두 번째 접근 방식은 더 공격적이었습니다. 이는 컴퓨터가 해당 내용을 재현할 가능성이 가장 높은 특정 텍스트 부분을 직접 찾아내어 이를 제거 대상으로 선택함으로써, 검색 단계를 건너뛰고 문제의 핵심 영역을 직접 겨냥했습니다.

결과는 놀라운 복잡성을 드러냈습니다. 연구진이 표준 검색 도구를 사용하여 텍스트를 찾았을 때, 결과는 종로 미흡했습니다. 검색 도구가 명백한 복사본들을 제거한 후에도 컴퓨터는 여전히 노래를 부르거나 책을 낭독했습니다. 이는 컴퓨터가 표준 검색 도구가 놓친 수많은 작고 흩어진 출처들로부터 노래를 학습했기 때문입니다. 노래의 '발자국'은 단순히 공식 가사만이 아니라, 인터넷 전반에 퍼져 있는 인용, 참조, 그리고 파편들의 확산된 네트워크입니다. 연구진이 컴퓨터가 노래를 생성하는 데 사용하는 정확한 텍스트 창(window)을 타겟팅하여 더 철저하게 시도했을 때, 그들은 또 다른 종류의 문제를 겪었습니다. 그들은 컴퓨터가 노래를 부르는 것을 성공적으로 막아냈지만, 그 과정에서 컴퓨터가 다른 것들을 기억하는 능력을 손상시켰습니다. 모델은 노래에 관한 사실에 대한 질문에 답하는 능력이 떨어졌고, 추론이나 수학 문제를 푸는 것과 같은 일반적인 기술도 상실했습니다.

이 연구는 어떤 텍스트를 제거할 것인가에 대한 선택이 단순한 기술적 세부 사항이 아니라, 해결책 자체의 핵심적인 부분임을 보여주었습니다. 연구진은 잊어야 할 텍스트 목록이 같더라도 어떤 알고리즘을 사용하여 삭제하느냐에 따라 매우 다른 결과가 초래될 수 있다는 것을 발견했습니다. 어떤 경우에는 한 컴퓨터 모델에 완벽하게 작동했던 방법이 다른 모델에는 심각한 손상을 입히기도 했습니다. 이는 단순히 단어 목록을 고르고 삭제가 깔끔하게 이루어질 것이라고 가정할 수 없음을 의미합니다. 데이터의 선택 과정과 삭제하는 과정은 깊게 연결되어 있습니다. 너무 적게 선택하면 원치 않는 행동이 남게 되고, 너무 많이 혹은 잘못된 종류의 텍스트를 선택하면 귀중한 지식을 지워버리고 컴퓨터의 일반 지능을 해칠 위험이 있습니다.

궁극적으로 이 연구는 단순하고 완벽한 '잊어야 할 목록'이라는 개념이 환상임을 시사합니다. 모델이 학습하는 무질서한 현실 속에서, 노래나 책은 거대하고 보이지 않는 텍스트의 웹으로 지탱됩니다. 모델의 정신을 해치지 않으면서 특정 콘텐츠를 진정으로 망각하기 위해서는, 해당 특정 컴퓨터 모델이 그 콘텐츠를 어떻게 학습했는지를 고려하여 데이터를 매우 신중하게 선택해야 합니다. 연구는 실질적인 언러닝이 단순히 삭제 도구를 개선하는 것만으로는 해결될 수 없다고 결 결론짓습니다. 그것은 무엇을 잊을 것인지 선택하는 방식과 잊는 방법이 함께 계획되는 시스템을 설계하는 새로운 사고방식을 요구합니다. 이를 통해 컴퓨터가 세상을 이해하는 능력을 잃지 않으면서도 특정 요청을 놓아줄 수 있도록 보장할 수 있습니다.

기술 요약: 언어 모델을 위한 데이터 세트 큐레이션의 중요성

문제 정의

기계 망각(Machine unlearning)은 처음부터 다시 학습하지 않고도 훈련된 모델에서 특정 데이터나 행동을 제거하는 것을 목표로 합니다. 그러나 기존의 벤치마크와 방법론들은 일반적으로 "망각 세트(forget set)"—즉, 망각 업데이트를 유도하는 데 사용되는 구체적인 예시들—가 이미 알려져 있고 제공된다고 가정합니다. 하지만 실제 배포 시나리오에서, 요청자는 모델이 특정 노래, 책 또는 보호된 저작물을 재생하지 않도록 요청할 수 있지만, 그 동작을 뒷받침하는 구체적인 텍스트 구간, 문서 또는 유사 중복 데이터가 1조 개의 토큰으로 구성된 코퍼스 내 어디에 존재하는지는 알지 못할 수 있습니다.

본 논문은 누락된 상위 단계의 문제인 **망각 세트 큐레이션(forget set curation)**을 식별합니다. 이는 고수준의 억제 요청(예: "Never Gonna Give You Up 재생을 중단하라")을 망각 알고리즘에 전달할 구체적인 데이터 구간으로 매핑하는 과정입니다. 과제는 모델의 버벌(verbatim) 재생을 뒷받침하는 증거가 결코 하나의 정형화된 복사본에만 국한되지 않는다는 점입니다. 대신, 이는 가사 수집 사이트, 팬 포럼, 코드 스니펫, 뉴스 기사 및 부수적인 논의 등 전반에 걸쳐 분산된 "코퍼스 발자국(corpus footprint)"을 형성합니다. 큐레이터는 일반적인 모델 능력이나 요청되지 않은 콘텐츠에 대한 부수적 피해를 일으키지 않으면서, 타겟 행동을 억제하기 위해 충분한 발자국을 복구해야 합니다.

방법론: CLEANSLATE 벤치마크

이 문제를 연구하기 위해 저자들은 억제 요청에서부터 큐레이션된 망각 세트를 거쳐 편집된 모델에 이르는 전체 파이프라인을 평가하도록 설계된 벤치마크이자 평가 프로토콜인 CLEANSLATE를 소개합니다.

데이터셋 및 범위

콘텐츠: CLEANSLATE는 4,616개의 빌보드 Hot 100 곡(1970~2025)과 50권의 도서(대부분 Project Gutenberg 출처)를 다룹니다.
모델: 7B에서 32B 파라미터 규모의 6개 모델(LLaMA-3.1, OLMo, Gemma, Nemotron, Qwen 포함)을 평가 대상으로 합니다.
추출 프로필(Extraction Profiles): 본 벤치마크는 확률적 추출을 사용하여 "추출 가능성(extractability)"을 측정합니다. 저작물이 특정 접두어에 대해 타겟 접미사를 할당할 확률( $p \geq 0.001$ )이 높을 경우 해당 저작물은 추출 가능한 것으로 간주됩니다. 프로피은 다양한 메모리 수준을 반영하기 위해 모델별로 생성됩니다.
콘텐츠 기반 QA: Verbatim(축자적) 재생 억제와 사실적 지식 삭제를 구분하기 위해, 저자들은 12,088개의 QA 쌍을 구축했습니다. 이는 모델이 텍스트를 암송할 수는 없더라도 해당 저작물에 대한 사실적 질문(예: 줄거리, 저자, 연도 등)에 여전히 답할 수 있는지 테스트합니다.

평가 파이프라인

큐레이터 ( $A$ ): 억제 요청( $W_f$ )과 코퍼스( $C$ )를 전달받아, 망각 세트( $D_f$ )와 선택적으로 유지 세트( $D_r$ )를 출력합니다.
언러너 (Unlearner, $U$ ): 고정된 망각 알고리즘이 $D_f$ 와 $D_r$ 을 사용하여 모델 $\theta$ 를 $\theta'$ 로 업데이트합니다.
평가: 결과 모델은 다음 항목에 따라 점수가 매겨집니다.
- 타겟 억제 (Target Suppression, $F$ ): 망각 세트에 대한 추출 가능한 윈도우의 감소량.
- 부수적 억제 (Collateral Suppression, $R$ ): 유지 세트에 대한 의도치 않은 추출 가능성 감소.
- 역량 유지 (Capability Retention): 콘텐츠 기반 QA 및 일반 벤치마크(GSM8K, BBH, WinoGrande, CoQA, HumanEval+, LAMBADA)에서의 성능.

테스트된 큐레이터

연구에서는 세 가지 유형의 큐레이터를 비교합니다:

BM25-pre / BM25-mid: 사전 훈련 및 중간 훈련 코퍼스에 대한 BM25 인덱스를 사용한 어휘 검색(Lexical retrieval).
Infini-gram-mid: Infini-gram-mini 인덱스를 사용하여 최대 문자 구간을 찾는 정확한 부분 문자열(Exact-substring) 검색.
평가 인식형 (Evaluation-Aware, EA): 검색 과정을 건너뛰고 추출 가능한 것으로 알려진 특정 평가 윈도우를 직접 선택하는 이론적 베이스라인으로, 평가 프로토콜의 견고성을 테스트하기 위한 용도이며 실질적인 해결책은 아닙니다.

주요 결과

1. 확산된 코퍼스 발자국 (Diffuse Corpus Footprints)

연구는 문화적 저작물이 "확산된 코퍼스 발자국"을 가지고 있음을 확인했습니다. 오래된 저작물은 인용과 논의를 통해 외부로 퍼져 나가는 반면, 새로운 저작물은 관용구나 상투적인 문구를 통해 내부로 유입되는 경로를 가집니다(내향적 확산).

외향적 확산 (Outward Diffusion): "Smile" (2024)과 같은 노래는 Common Crawl 스냅샷의 5-gram 레벨에서 100% 커버리지를 달성했으며, 가사 사이트뿐만 아니라 코드, 리뷰, 포럼 등에서도 구간이 나타났습니다.
내향적 확산 (Inward Diffusion): 새로운 노래들은 종종 노래 자체보다 앞선 문구들을 포함하고 있습니다(예: 1910년의 시를 인용). 즉, 이를 뒷받침하는 증거가 타겟 저작물의 복사본처럼 보이지 않을 수도 있습니다.

2. 검색 기반 큐레이터의 실패 모드

자연어 어휘 및 정확한 부분 문자열 큐레이터(BM25, Infini-gram)는 약한 억제를 초래하는 망각 세트를 생성합니다.

모델 의존성: 검색 기반 망각 세트의 효과는 모델에 크게 의존합니다. 큰 모델(예: Gemma-3-12B)은 어느 정도 변화를 보였으나, 작은 모델(예: OLMo-3-7B)은 거의 변화가 없었습니다.
선택성 부족: 억제가 발생하더라도 선택적이지 않은 경우가 많았습니다. 예를 들어, LLaMA-3.1-8B는 망각 풀(forget pool)에서 최대 29%의 억제를 얻는 동안, 유지 풀(retain-pool)의 추출 가능성을 51%에서 55% 사이로 손실했습니다.

3. 평가 인식형 큐레이션의 선택성 격차

큐레이터가 검색을 우회하여 평가에 사용된 정확한 윈도우를 선택할 때(EA 큐레이터):

높은 억제율: 모든 모델에서 타겟 억제가 100%에 근접했습니다.
심각한 부수적 피해: 이 접근 방식은 상당한 부수적 억제(유지 풀 추출 가능성의 80~100% 감소)와 심각한 역량 저하를 야기했습니다.
알고리즘 상호작용: 역량 손실의 정도는 망각 알고리즘에 따라 달랐습니다. 예를 들어, EA 입력을 SimNPO와 함께 사용하면 평균 5.1% 포인트의 역량 저하가 발생한 반면, UNDIAL은 유사한 억제 수준에도 불구하고 역량을 대부분 유지했습니다(+0.1 pp).

4. 큐레이션과 망각의 상호 의존성

연구는 망각 세트와 망각 알고리즘이 강력하게 상호작용함을 보여줍니다. 동일한 망각 세트라도 사용하는 언러로(unlerner)에 따라(예: SimNPO vs. RMU vs. UNDIAL) 판이하게 다른 결과를 낳습니다.

보편적 해결책의 부재: 검색 기반 또는 평가 인식형 큐레이션 모두 테스트된 그리드 전반에서 선택적 망각(낮은 부수적 피해를 동반한 높은 타겟 억제)을 달성하지 못했습니다.
파이프라인 성격: 실질적인 망각은 큐레이션을 고정된 전제로 두는 모듈형 프로세스로 취급될 수 없습니다. 데이터의 선택이 무엇을 망각할 것인지와 무엇이 손상될지를 모두 결정합니다.

의의 및 주장

본 논문은 망각 세트 큐레이션이 단순히 전처리 단계가 아니라, 기계 망각의 평가 대상 중 하나로 취급되어야 한다고 주장합니다.

문제의 재정의: 저자들은 실질적인 망각이 단순히 망각 세트가 주어졌을 때의 최적화 문제가 아니라, 선택된 데이터가 억제와 효용 사이의 트레이드오프를 근본적으로 결정하는 문제라고 주장합니다.
기존 벤치마크의 한계: 망가진 망각 세트를 가정하는 기존 벤치마크들은 실제 요청을 데이터로 매핑하는 중요한 상위 단계의 과제를 가립니다.
미래 방향: 저자들은 향-후 큐레이터가 "알고리즘 인식형(algorithm-aware)"이 되어야 하며, 잠재적으로 코퍼스 발자국 신호와 모델별 추출 프로필 및 영향력 추정을 결러 합하여 효과를 국소화할 수 있는 망각 세트를 구축해야 한다고 제안합니다.

저자들은 CLEANSLATE가 노래와 도서라는 좁은 설정을 다루고 있지만, 핵심 통찰은 광범위하게 적용된다고 결론짓습니다. 즉, 요청에서 데이터로의 매핑은 망각 알고리즘과 공동 평가되어야 하는, 매우 중요하고 비자명한 구성 요소라는 점입니다.