기술 요약: LACUNA – LLM 언러닝(Unlearning)의 로컬라이제이션 정밀도 평가를 위한 테스트베드

문제 정의

방대한 비정형 웹 데이터로 학습된 대규모 언어 모델(LLM)은 민감한 개인 식별 정보(PII)를 암기하여 심각한 프라이버시 위험을 초래할 수 있습니다. "언러닝(unlearning)"은 전체 재학습 없이 학습된 모델에서 특정 지식을 제거하는 유망한 해결책으로 부상했으나, 현재의 평가 패러다임은 불충분합니다. 기존 벤치마크는 언러닝을 오직 출력 수준(즉, 모델이 금지된 정보를 생성하는지 여부)에서만 평가합니다. 이러한 접근 방식은 진정한 지식 삭제와 단순한 은폐(obfuscation)를 구분하지 못합니다. 최근 연구에 따르면 "언러한" 지식이 정교한 공격이나 양호한 재학습(benign relearning)을 통해 다시 나타날 수 있으며, 이는 근본적인 모델 파라미터에 여전히 정보가 인코딩되어 있음을 시사합니다. 결정적인 격차가 존재합니다: 커뮤니티는 어떤 특정 모델 파라미터가 타겟 지식을 저장하고 있는지에 대한 그라운드 트루스(ground-truth) 정보가 부족하며, 이로 인해 언러닝 방법이 실제로는 올바른 가중치를 타겟팅하고 있는지 검증하는 것이 불가능합니다.

방법론

이 격차를 해소하기 위해 저자들은 지식 저장의 그라운드 트루스 로컬라이제이션(localization)을 제공하도록 설계된 새로운 테스트베드인 LACUNA를 소개합니다. 방법론은 세 가지 주요 단계로 구성됩니다.

1. 데이터 구축 및 주입 (1단계)

저자들은 9,674개의 PII 프로필로 구성된 합성 데이터셋인 PANORAMA 코퍼스를 활용하여, 주입을 위해 1,200개의 프로필을 선택했습니다. 이 프로필들은 6개의 별도 그룹으로 나뉩니다.

• 마스크드 연속 사전 학습(Masked Continual Pretraining): 표준 미세 조정 대신, 저자들은 마스크드 연속 사전 학습 방식을 채택했습니다. 특정 PII 데이터 그룹에 대해 중복되지 않는 이진 마스크(binary masks)를 할당합니다. 각 마스크는 레이어 0과 $N-2$ 사이의 특정 파라미터(구체적으로 피드포워드 및 어텐션 레이어, 정규화 및 임베딩 제외)의 5%를 커버합니다.
• 그래디언트 마스킹(Gradient Masking): 역전파 과정에서, 특정 그룹에 속하는 샘플에 대한 그래디언트는 해당 그룹의 지정된 마스크 외부의 모든 파라미터에 대해 0으로 처리됩니다. 이를 통해 각 그룹의 지식이 할당된 가중치 서브셋에만 독점적으로 저장되도록 보장합니다.
• 인스트럭션 튜닝(Instruction Tuning): 모델이 질의응답(QA) 형식을 통해 이 암기된 PII를 추출할 수 있도록 하기 위해, 저자들은 마지막 두 레이어에 대해 파라미터 효율적 인스트럭션 튜닝(LoRA 사용)을 수행하여 모델이 특정 QA 형식으로 응답하도록 학습시킵니다.

2. 언러닝 평가 (2단계)

테스트베드는 1B 및 7B OLMo 기반 모델에 대해 최신(SOTA) 언러닝 방법들을 평가합니다. 테스트된 방법은 다음과 같습니다:

• 그래디언트 기반(Gradient-based): SimNPO (부정적 선호 최적화 접근 방식).
• 로컬라이제이션 기반(Localization-based): AlphaEdit (인과적 추적 및 널 공간 제약 기반) 및 MemFlex (발산하는 모듈의 그래디언트 기반 로컬라이제이션).
• 오라클 베이스라인(Oracle Baseline): OracleGrad, 그라운드 트루스 포겟 마스크(forget mask)에 대한 특권적 접근 권한을 부여받아, 언러닝 목적 함수를 타겟 지식을 포함하고 있는 것으로 알려진 가중치에 엄격히 제한하는 방법입니다.

3. 평가 지표 (3단계)

LACUNA는 이중 평가 프레임워크를 도입합니다:

• 행동 평가(Behavioral Evaluation): 포겟(forget) 및 리테인(retain) 세트에 대한 Exact Memorization (EM), Extraction Strength (ES), Probability (Prob)를 포함한 표준 출력 수준 지표와 MMLU, ARC와 같은 벤치마크에서의 유틸리티 보존 능력을 평가합니다.
• 로컬라이제이션 정밀도(Localization Precision): "인-마스크(in-mask, 타겟)" 파라미터와 "아웃-오브-마스크(out-of-mask, 비타겟)" 파라미터를 얼마나 잘 구별하는지 측정하기 위한 ROC AUC를 사용하는 새로운 지표입니다. 점수는 가중치 수정 패턴(크기, 반전 및 대비 기반 스코어링)으로부터 도출됩니다.
• 재출현 공격(Resurfacing Attacks): 홀드아웃(held-out) PII 데이터를 통해 모델을 미세 조정함으로써 "언러된" 정보가 다시 누출되는지 스트레스 테스트를 수행합니다.

주요 기여

1. 확장 가능한 주입 프레임워크: 마스크드 연속 사전 학습을 통해 1B 및 7B 모델의 전용 파라미터에 PII를 주입하는 방법으로, 분산 학습(DDP/FSDP)과 호환되며 대규모 모델로 확장이 가능합니다.
2. LACUNA 테스트베드: 그라운드 트루스 마스크, 합성 개인에 대한 포겟/리테인 세트, 로컬라이제이션 정밀도 측정을 위한 지표를 포함한 종합적인 테스트베드를 공개합니다.
3. SOTA 방법론에 대한 실증적 분석: 출력 수준의 성능에도 불구하고, 현재의 SOTA 언러닝 방법들(SimNPO, AlphaEdit, MemFlex)이 낮은 로컬라이제이션 정밀도(AUC $\approx$ 0.5)를 보이며, 이는 그들이 특정 저장 위치를 타겟팅하기보다 무차별적으로 가중치를 수정함을 드러내는 벤치마킹 연구입니다.
4. 오라클 입증: 완벽한 로컬라이제이션을 통해 단순한 그래디언트 기반 방법이 복잡한 SOTA 방법들보다 우수한 삭제 및 재출현 공격에 대한 강건성을 달성할 수 있음을 보여주는 OracleGrad를 소개합니다.

결과

• 로컬라이제이션 정밀도: 분석된 SOTA 방법 중 어떤 것도 유의미한 로컬라이제이션 정밀도를 달eric하지 못했습니다. SimNPO는 0.515로 약간 높았으나 무작위 추측(0.5)에 가까웠습니다. 반면, OracleGrad는 0.915의 높은 AUC를 달성하여 정밀한 타겟팅이 가능하다는 것을 확인시켜 주었습니다.
• 언러닝 성능 vs. 강건성: SimN포(SimNPO)는 강력한 출력 수준의 언러닝(포겟 세트에 대한 낮은 EM)을 보여주었으나, 재출현 공격에는 매우 취약했습니다. 로컬라이제이션 성능이 낮은 방법들(AlphaEdit, MemFlex)은 훨씬 더 취약했습니다.
• 오라클의 우월성: OracleGrad는 단순한 Gradient Difference 목적 함수를 사용했음에도 불구하고, 포겟 성능, 리테인 안정성, 유틸리티 보존 및 재출현 공격에 대한 강건성에서 최상의 조합을 달성했습니다. 이는 현재 방법들의 실패가 언러닝 목적 함수 자체의 문제가 아니라, 올바른 파라미터를 찾는 능력의 문제임을 시사합니다.
• 모델 규모: 7B 모델은 일반적으로 1B 모델보다 더 나은 메모리 추출율과 재출현에 대한 약간 더 나은 강건성을 보였으나, 정밀하지 못한 로컬라이제이션이라는 근본적인 문제는 두 규모 모두에서 지속되었습니다.

의의 및 주장

본 논문은 LLM 언러닝 분야가 출력 수준의 지표 측면에서는 정체기에 도달했으나, 진정한 지식 삭제를 달성하는 데는 실패하고 있다고 주장합니다. 저자들은 로컬라이제이션 정밀도가 견고한 언러닝을 위한 누락된 연결 고리라고 주장합니다.

• 패러다임 전환: 본 연구는 순수하게 행동적 평가에서 로컬라이제이션 기반 평가로의 전환을 옹호합니다. 지식이 어디에 저장되어 있는지에 대한 그라운드 트루스가 없다면, 언러닝이 효과적인지 아니면 단순히 은폐하는 것인지 검증하는 것은 불가능합니다.
• 정밀한 언러닝의 실현 가능성: 완벽한 로컬라이제이션을 가진 오라클이 단순한 방법으로도 강력한 언러닝을 달성할 수 있음을 입증함으로써, 본 논문은 주요 병목 현상이 언러닝 알고리즘이 아니라 로컬라이제이션 기술임을 시사합니다.
• 미래 방향: 저자들은 향-후 연구가 정밀한 지식 로컬라이제이션 기술 개발에 집중해야 한다고 상정합니다. 그러한 기술이 존재하기 전까지 언러닝 방법들은 재출현 공격에 취약할 것입니다. LACUNA는 행동적 평가를 보완하고 로컬라이제이션 기반 언러닝 방법의 발전을 도모하기 위해 공개되었습니다.

저자들은 밀집된(dense) 모델에서의 지식 저장이 항상 완벽하게 국소화될 수는 없다는 점과, 현재의 주입 방식(5% 파라미터 커버리지)이 정밀도와 메모리 신뢰성 사이의 절충안을 나타낸다는 점을 인정하며 겸허한 태도를 유지합니다. 그들은 로컬라이제이션 문제를 해결했다고 주장하는 것이 아니라, 이를 측정하고 발전시키기 위한 필수적인 인프라를 제공했다는 점을 강조합니다.