기술 요약: Leak@k: 기계적 망각은 확률적 디코딩 하에서 LLM 을 잊게 하지 않음

문제 제기

대형 언어 모델 (LLM) 은 사생활, 유해성, 불법성 또는 저작권이 있는 콘텐츠를 포함한 방대한 웹 데이터셋으로 훈련됩니다. 기계적 망각 (Machine unlearning) 은 이러한 특정 지식을 제거하면서도 모델의 일반적 유용성을 유지하는 것을 목표로 합니다. 그러나 현재 망각 평가 프로토콜은 거의 독점적으로 결정론적 (탐욕적) 디코딩 (온도 $T=0$, top-$p=0$) 에 의존합니다. 이 설정에서 모델은 각 단계에서 가장 확률이 높은 단일 토큰을 선택합니다.

저자들은 중요한 격차를 지적합니다. 즉, 망각 방법들은 종종 탐욕적 디코딩 하에서 성공적으로 보이지만, 실제 배포 (대화 에이전트 및 코드 생성 등) 에서 표준인 확률적 디코딩 (예: $T > 0$ 또는 top-$p > 0$) 하에서는 진정한 망각을 달성하지 못한다는 점입니다. 확률적 샘플링 하에서는 탐욕적 경로에서 억제되었던 민감한 정보가 다시 표면화될 수 있습니다. 일단 초기 민감 토큰이 샘플링되면, 모델의 조건부 분포가 종종 변하여 후속 민감 토큰들이 높은 확신으로 생성되게 합니다. 이는 "망각된" 모델이 여러 번 쿼리되거나 확률적 매개변수로 사용될 때 여전히 사적이거나 해로운 지식을 유출할 수 있는 보안 맹점을 만듭니다.

방법론

1. Leak@k 메타 지표

이 취약점을 엄격하게 정량화하기 위해 논문은 leak@k라는 분포적 메타 지표를 도입합니다. 단일 생성당 유출을 측정하거나 생성 전반에 걸쳐 평균을 내는 기존 평가와 달리, leak@k 는 동일한 프롬프트에서 확률적 디코딩 하에 생성된 $k$개의 독립 샘플 중 적어도 하나의 민감한 응답이 나타날 확률을 정량화합니다.

• 정의: 프롬프트 $q$에 대해, $j$번째 생성된 응답 $f(q; \theta)$에 대한 정답성 점수 (예: ROUGE-L, Entailment Score, 정확도) 를 $S_j$라고 합시다. 이 지표는 $k$개 샘플에 대한 기대 최대 점수로 정의됩니다:
  $$\text{leak@k} := \mathbb{E}\left[\max_{1 \le j \le k} S_j\right]$$
• 추정: 저자들은 편향 없는 추정치 $\widehat{\text{leak@k}}$를 제안합니다. 이는 $n \ge k$개의 샘플을 생성하고, 단순한 "최악의 $k$" 접근법보다 분산을 줄이기 위해 크기 $k$인 모든 가능한 부분집합에 대한 최대 점수를 계산합니다.
• 감쇠 분석: 샘플링 예산이 증가함에 따라 유출이 어떻게 진화하는지 특징짓기 위해, 저자들은 로그 - 로그 모델을 적합시킵니다: $L_k = 1 - (1 - L_1)k^{-\gamma}$. 여기서 $L_1$은 초기 단계 유출을 나타내고, $\gamma$는 남은 비유출 질량의 감쇠율을 나타냅니다. 성공적인 망각 방법은 작은 $L_1$과 작은 $\gamma$를 보여야 합니다.

2. RULE 알고리즘

확률적 디코딩 하에서 정적 망각 집합의 실패를 해결하기 위해, 저자들은 **Leak@k 메트릭 하의 견고한 망각 (Robust Unlearning under LEak@k metric, RULE)**을 제안합니다. 이는 망각 집합을 동적으로 증강시키는 반복적 메타 알고리즘입니다:

1. 다중 샘플 생성: 현재 모델과 확률적 디코딩을 사용하여 망각 집합의 쿼리에 대한 여러 후보 응답을 생성합니다.
2. 유출 감지: 핵심 지표 (예: Entailment Score) 를 사용하여 이러한 응답을 필터링합니다. 민감한 정보를 성공적으로 드러내는 응답 (임계값 초과) 을 식별합니다.
3. 데이터셋 증강: 이러한 "유출" 응답들을 망각 집합에 추가하여, 모델이 원래 정답뿐만 아니라 확률적 조건 하에서 생성하려는 특정 변형과 의역까지 잊도록 효과적으로 가르칩니다.
4. 최적화: 모델을 이 증강된 망각 집합으로 재훈련합니다. 이 과정은 몇 번의 반복으로 진행됩니다.

주요 기여

1. Leak@k 도입: 결정론적 단일 응답 검사에서 여러 생성에 걸친 확률적 최악의 경우 분석으로 평가 패러다임을 전환하는 새로운 메타 지표입니다.
2. 체계적 경험적 연구: 다양한 디코딩 전략 ($T, p$) 과 샘플링 예산 ($k$) 을 사용하여 세 가지 주요 벤치마크 (TOFU, MUSE-News, WMDP) 에 대한 망각 신뢰성의 첫 대규모 평가입니다.
3. 실패 증명: 이 연구는 최신 (SOTA) 방법들 (GradDiff, NPO, SimNPO, RMU, BLUR-NPO 포함) 이 단지 "망각의 환상"을 제공할 뿐임을 보여줍니다. $k$가 증가함에 따라 기존 모든 방법들에 대해 leak@k 가 급격히 상승하여, 민감한 지식이 현실적인 샘플링 하에서 안정적으로 재등장함을 나타냅니다.
4. RULE 제안: 정보 유출을 현저히 줄이는 동적 훈련 알고리즘입니다. TOFU 벤치마크에서 RULE 은 $k=128$일 때조차 거의 0 에 가까운 leak@k 를 달성하여 모든 베이스라인을 능가합니다. MUSE-News 에서는 대부분의 샘플링 예산에 걸쳐 SOTA 방법들보다 우수한 성능을 보입니다.

결과

• TOFU 벤치마크: LLaMA-3.2-1B 를 사용하여, 저자들은 탐욕적 디코딩 ($T=0, p=0$) 은 NPO 및 BLUR-NPO 와 같은 방법들에 대한 성공적인 망각을 시사하지만, 확률적 디코딩 ($T=1.0, p=1.0$) 은 $k$가 증가함에 따라 leak@k (Entailment Score 로 측정) 가 1.0 에 근접하게 만든다고 보여줍니다. top-$p$ 매개변수가 온도보다 유출의 주요 동인으로 발견되었습니다.
• MUSE-News 벤치마크: LLaMA2-7B 를 사용하여 유사한 경향이 관찰되었습니다. 기존 방법들은 $p$가 증가하거나 $k$가 커짐에 따라 안전한 출력에서 유출되는 출력으로 전환됩니다. RULE-NPO 는 유출 증가율 ($\gamma$) 을 억제하는 데 뛰어난 성능을 보였습니다.
• WMDP 벤치마크: Zephyr-7B-beta 를 사용하여, 정확도 기반 지표는 오해의 소지가 있을 수 있음을 강조했습니다. 일부 방법들 (NPO 등) 이 객관식 질문에서 낮은 정확도를 달성했지만, 종종 의미 없는 글이나 "과도한 망각" (거부 옵션 선택) 을 생성한 반면, 다른 방법들 (RMU 등) 은 자유 형식 생성에 대해 LLM-as-Judge 로 평가할 때 높은 무작위성 하에서 명확한 유출 경향을 보였습니다.
• 유용성 보존: 모든 벤치마크에서 제안된 방법들 (RULE 포함) 은 유지 집합 (retain set) 에서 안정적인 성능을 유지하여, 견고한 망각이 반드시 일반 모델 유용성의 대가를 치르는 것은 아님을 나타냈습니다.

중요성과 주장

이 논문은 현재 망각 평가가 LLM 의 확률적 특성을 무시함으로써 잘못된 안도감을 조성하기 때문에 근본적으로 결함이 있다고 주장합니다. 저자들은 안전성을 보장하기 위해 망각은 배포에 사용되는 동일한 확률적 조건 하에서 평가되어야 한다고 주장합니다.

이 작업의 중요성은 다음과 같습니다:

• 중요한 격차 폭로: 탐욕적 디코딩 하의 "성공적인" 망각이 규제 준수 및 윤리적 AI 에 충분하지 않음을 입증합니다. 민감한 데이터는 반복적인 샘플링을 통해 복구될 수 있기 때문입니다.
• 견고한 평가 프레임워크 제공: Leak@k 는 평균 사례 성능이 아닌 최악의 경우 유출 잠재력을 기반으로 망각 방법들을 비교할 수 있는 표준화된 분포적 지표를 제공합니다.
• 해결책 제시: RULE 은 모델의 자체 확률적 실패에 기반하여 망각 집합을 반복적으로 정제함으로써 정적 훈련 집합을 넘어 견고한 망각을 달성할 수 있음을 보여줍니다.

저자들은 이러한 견고한 평가 및 훈련 방법 없이는, 적대적 사용자들이 확률적 디코딩을 악용하여 "잊혀진" 정보를 추출할 수 있으므로 고위험 환경에서 망각된 LLM 의 배포는 여전히 위험하다고 결론지었습니다.