Position: The Term "Machine Unlearning" Is Overused in LLMs

기술 요약: "LLM에서 '기계 언러닝(Machine Unlearning)'이라는 용어가 남용되고 있다"

문제 제기
대규모 언어 모델(LLM)은 개인정보 보호 권리(예: 잊힐 권리), 저작권 분쟁, 안전 정책 등에 의해 특정 학습 데이터를 "망각"해야 한다는 규제적 및 상업적 압력에 직면해 있습니다. 그러나 "기계 언러닝"이라는 용어는 LLM 연구에서 용어적으로 과잉 적용되어 왔습니다. 현재 이 용어는 유해한 행동 거부, 엔티티 제거, 지식 억제, 출력 은폐 등 매우 다양한 목적에 광범위하게 적용되고 있습니다.

식별된 핵심 문제는 이러한 서로 다른 목적들이 근본적으로 다른 목표를 추구함에도 불구하고, 동일한 지표와 벤치마크를 사용하여 평가된다는 점입니다. "언러닝"으로 명명된 많은 방법들은 특정 데이터 세트 부분 집합의 근본적인 학습 영향력을 제거하기보다는, 단순히 특정 출력을 억제하거나 특정 질의를 거부하는 것(정책 기반의 행동 제어)을 목표로 합니다. 이러한 혼동은 표면적인 비공개(예: 낮은 ROUGE 점수 또는 특정 질문에 대한 답변 실패)를 보상하는 반면, 모델이 해당 데이터 없이 재학습된 모델과 진정으로 구별 불가능한지를 검증하는 데는 실패하는 평가로 이어집니다. 결과적으로, "망각 세트(forget set)"로부터 학습된 파생된 능력(예: 일반화된 기술 또는 추론 패턴)은 직접적인 암기(memorization)가 억제되더라도 지속될 수 있습니다.

방법론 및 프레임워크
본 포지션 페이퍼(position paper)는 새로운 알고리즘이나 실험적 프레임워크를 제안하는 것이 아니라, 이 분야를 명확히 하기 위한 개념적 프레임워크와 분류 체계를 제공합니다:

1. 기계 언러닝의 공식 정의: 저자들은 진정한 기계 언더닝을 엄격하게 데이터셋 정의 삭제(dataset-defined deletion) 문제로 정의합니다. 학습 세트 $D$와 망각 세트 $F \subset D$가 주어졌을 때, 목표는 (근사적으로) $D \setminus F$로 처음부터 다시 학습된 카운터팩추얼(counterfactual) 모델 $\Theta_R$과 구별 불가능한 업데이트된 모델 $\Theta'$를 생성하는 것입니다. 성공 여부는 단순히 특정 프롬프트에 대한 출력 실패가 아니라, $\Theta'$와 $\Theta_R$ 사이의 분포 차이(예: $(\epsilon, \delta)$-indistinguishability 또는 기타 발산 지표를 통해 측정)에 의해 측정됩니다.
2. 의도에 따른 "언러닝"의 분류 체계: 논문은 실제 보장(guarantees)에 따라 LLM 문헌에서 사용되는 다른 일반적인 용어들을 다음과 같이 구분합니다:
   • 출력 가능도 억제(Output Likelihood Suppression): 재학습과의 동등성을 보장하지 않고 특정 토큰이나 응답의 확률을 낮추는 방법들(예: Gradient Ascent, NPO).
   • 내부 표현 은폐(Internal Representation Obfuscation): 대상 입력에 대해 높은 엔트로피나 낮은 신뢰도를 유도하여, 데이터를 제거하는 대신 내부 활성화(activations)를 왜곡하는 기술들.
   • 지식 편집(Knowledge Editing): 원래 데이터의 학습 영향력을 제거하기보다, 출력을 재지정하기 위해 특정 사실이나 연관 관계를 덮어쓰는 방식(예: counterfactual fine-tuning을 통한 접근).
   • 행동 거부(Behavioral Refusal): 모델이 특정 질의에 대해 답변을 유보하거나 "모른다"고 말하도록 학습시키는 전략으로, 데이터 삭제가 아닌 정책 정렬(policy alignment)로서 기능함.
   • 추론 시 개입(Inference-time Interventions): 가중치를 수정하지 않고 공개를 방지하는 외부 필터 또는 디코딩 제약 조건.
3. 파생된 능력(Derived Capabilities) 분석: 논문은 "파생된 능력"—즉, 망각 세트의 특정 예제를 넘어 일반화되는 행동이나 역량(예: 수학적 추론 기술)—이라는 개념을 도입합니다. 저자들은 만약 $F$에 대한 학습이 이러한 능력에 기여했다면, 진정으로 $F$를 언러닝한 모델은 $D \setminus F$로 재학습된 모델과 마찬가지로 해당 능력을 상실해야 한다고 주장합니다.

주요 기여

• 용어의 명확화: 본 논문은 "기계 언러닝"이라는 용어를 재학습 불변성(retraining-indistinguishability) 보장을 위해서만 사용할 것을 주장합니다. 안전 중심 또는 정책 중심의 "망각" 작업은 억제(suppression), 정렬(alignment) 또는 편집(editing)과 같은 별개의 문제로 명명되고 평가되어야 한다고 제안합니다.
• 현재 벤치마크에 대한 비판: 저자들은 주요 벤치마크(TOFU, MUSE, RWKU, WMDP)를 분석하고, 많은 벤치마크가 재학습 참조 모델에서 벗어나 출력 실패 지표로 이동했음을 보여줍니다. ROUGE나 망각 프롬프트에 대한 QA 정확도와 같은 지표는 학습 영향력의 제거가 아닌 출력 제어를 측정하는 경우가 많으며, 이로 인해 방법론들이 잠재적 지식을 보유한 상태에서도 성공적인 것처럼 보이게 만든다고 지적합니다.
• 평가 프로토콜 권고: 논문은 기계 언러닝 주장에 대한 엄격한 평가 표준을 제안합니다:
  • 참조 기반 평가(Reference-Based Evaluation): 주장은 명시적인 참조 모델(이상적으로는 $D \setminus F$로 재학습된 모델 또는 명확히 명시된 대리 모델)에 근거해야 합니다.
  • 파생 능력 프로브(Derived-Capability Probes): 평가는 전이 가능한 능력(예: 분포 외 추론 작업)에 대한 테스트와 개입 기반 회복 테스트(예: "망각된" 지식을 양호한 미세 조정을 통해 회복할 수 있는지 확인)를 포함해야 하며, 이를 통해 학습 영향력이 실제로 제거되었는지 확인해야 합니다.

결과 및 증거
포지션 페이퍼로서 본 연구는 새로운 실험 결과를 제시하지 않습니다. 대신 기존 문헌의 증거를 종합하여 논지를 뒷받침합니다:

• 고정된 프롬프팅 프로토콜 하에서 성공적으로 보이는 방법들이 적대적 조건(패러프레이징, 탈옥)이나 양호한 후처리(양자화, 미세 조정) 하에서는 실패한다는 기존 연구들을 인용하며, 이는 지식이 언러닝된 것이 아니라 억제되었음을 나타냅니다.
• "언러닝" 방법들이 데이터 포이즈닝 시나리오에서 유도된 행동을 제거하는 데 실패하는 사례들을 강조하며, 이를 통해 출력 억제와 영향력 제거 사이의 간극을 입증합니다.
• 현재의 벤치마크들이 모델이 진정으로 데이터를 잊었는지, 아니면 단순히 특정 질의를 거부하도록 학습되었는지를 구별하는 데 필요한 재학습 베이스라인이 부족함을 보여줍니다.

의의 및 주장
논문은 현재의 용어 혼란이 단순한 외적 문제가 아니라 중대한 실무적, 과학적 결과를 초래한다고 주장합니다. 정책 중심의 행동 제어와 데이터셋 정의 삭제를 혼동함으로써, 학계는 다음과 같은 위험에 처할 수 있습니다:

1. 오도하는 벤치마크: 지속적인 학습 영향력과 파생된 능력을 무시한 채 표면적인 비공개만을 보상함.
2. 호환 불가능한 비교: 서로 다른 보장을 주장하는 방법들을 동일한 라벨 아래에서 비교하는 것을 불가능하게 만듦.
3. 컴플라이언스 리스크: (단순한 출력 억제가 아닌) 영향력 제거를 요구하는 엄격한 규제적 삭제 요건을 충족하지 못함.

저자들은 이러한 혼란을 해결하기 위해서는 명시적인 보장 및 참조 모델과 결합된 더 엄격한 용어 사용이 필요하다고 결론짓습니다. 이들은 주장하는 목적에 부합하는 평가를 옹호합니다: 만약 목표가 기계 언러닝이라면, 평가는 망각 세트에 기인한 모든 파생된 능력의 상실을 포함하여 재학습된 모델과의 구별 불가능성을 입증해야 합니다. 만약 목표가 정책 준수나 출력 억제라면, 이를 별개의 목적로서 프레임화하고 평가해야 합니다.