기술 요약: MAAT: 다단계 어댑터 인식 표적 언러닝 (Multi-phase Adapter-Aware Targeted Unlearning)

1. 문제 정의

본 논문은 기존의 머신 언러닝 벤치마크(예: CounterFact, ZSRE, TOFU, MUSE, WMDP-Cyber)에 존재하는 심각한 구조적 편향을 지적한다. 이러한 데이터셋들은 엔티티 중심의 "What", "Who", "When", "Where" 질문에 과도하게 치우쳐 있으며, 인과 관계 및 관계적 지식 체인을 탐색하는 "Why" 질문은 이들 데이터셋에서 0.06% ~ 1.3% 미만을 차지한다.

이러한 거의 제로에 가까운 표현력은 측정상의 간극을 만든다: 인과적 지식을 제거하는 데 실패한 언러닝 방법론들이 높은 총체적 점수를 달성할 수 있다는 것이다. 저자들은 인과적 지식을 언러닝하는 것이 다음 두 가지 요인 때문에 질적으로 더 어렵다고 주장한다:

1. 길이와 복잡성: "Why" 답변은 평균 40.1 토큰인 반(기타 질문의 4.2~10.5 토큰 대비), 44%가 멀티홉 추론 체인을 포함한다(기타 질문의 ≤2% 대비).
2. 그래디언트 희석 (Gradient Dilution): 사실을 언러닝하기 위해 필요한 상승 신호(ascent signal)가 긴 토큰 구간에 걸쳐 넓게 퍼져 있으며 지배적인 방향이 없기 때문에, 표준 그래디언트 기반 방식들은 강하게 적용될 경우 망각을 달성하지 못하거나 유지된 지식을 저하시킨다.

기존 방법들(Gradient Ascent, KL-regularized GA, Adapter Negation)은 근본적인 트레이드오프에 직면한다: 공격적인 망각은 모델 유틸리티(유지 성능)를 저하시키고, 보수적인 방법은 인과적 사실을 망각하는 데 실패한다.

2. 방법론: MAAT 프레임워크

저자들은 LoRA 어댑터를 베이스 모델에 병합하지 않고 직접 조작하는 세 단계의 프레임워크인 MAAT(Multi-phase Adapter-Aware Targeted Unlearning)를 제안한다. 이를 통해 균일한 그래디언트 압력이 아닌 구조화된 "어댑터 수술(adapter surgery)"이 가능하다.

1단계: 그래디언트 투영 상승 (Gradient-Projected Ascent)

표준 그래디엔트 상승은 업데이트를 균일하게 적용하며, 이는 망각 그래디언트($g_f$)가 유지 그래디언트($g_r$)와 정렬될 경우 유지된 지식을 침식시킬 수 있다. MAAT는 **조건부 직교 투영(conditional orthogonal projection)**을 채택한다:

• 만약 $g_f \cdot g_r > 0$ (충돌 발생)이면, $g_r$과 정렬된 $g_f$의 성분을 투영을 통해 제거한다:
  $$g^\perp_f = g_f - \frac{g_f \cdot g_r}{\|g_r\|^2 + \epsilon} g_r$$
• 충돌이 존재하지 않으면, 전체 망각-상승 방향을 보존한다.
• 목적 함수는 KL 발산을 통해 언러닝 전의 어댑터 상태에 고정하면서 망각 손실을 최소화한다.

2a: SVD 랭크-차원 프루닝 (MLP 전용)

낮은 크기의 방향에 남아있는 잔여 신호를 처리하기 위해, MAAT는 망각 세트에 대한 그래디언트-컬럼 노름(gradient-column norms)을 기준으로 MLP 어댑터 차원의 점수를 매긴다.

• MLP 모듈(down_proj, up_proj, gate_proj)의 $A$ 및 $B$ 행렬에서 상위-$\rho$ 비율의 랭크 차원을 제로(zero)로 만든다.
• 결정적으로, 지시 이행 능력을 파괴하는 것을 방지하기 위해 어텐션 모듈은 프루닝 대상에서 제외한다.

2b: 태스크 벡터 부정 (Task Vector Negation)

이 단계는 2a단계에서 식별된 특정 망각 서브스페이스를 타겟팅한다.

• 각 LoRA $B$ 행렬의 상위-$k_F$(예: 50%) 망각-스코어 랭크 차원을 마스킹하여 "망각 태스크 벡터" $\tau^F_l$을 형성한다.
• 이 벡터를 가중치에서 뺸다: $B_l \leftarrow B_l - \alpha \cdot \tau^F_l$.
• 이를 통해 유지 관련 방향을 무분별하게 지우지 않고도 타겟팅된 억제를 달성한다.

3단계: 하이브리드 유지 수리 (Hybrid Retain Repair)

프루닝 및 부정에 의해 저하된 성능을 회복하기 위해, 네 가지 항을 결합한 하이브리드 수리 목적 함수를 최소화한다:

1. KL 발산: 모델을 유지 분포에 고정한다.
2. 은닉 상태 거리 (Hidden-State Distance): 유지 샘플에 대해 현재 은닉 상태와 참조 은닉 상태 사이의 거리를 최소화한다.
3. 엔트로피 최대화: 망각 세트 예측에 대한 음의 엔트로피 항($-w_{ent} H_F$)을 사용하여 엔트로피를 최대화함으로써, 수리 과정 중 모델이 망각된 내용을 다시 학습하는 것을 방지한다.
4. 태스크 벡터 페널티: 현재 가중치와 망각 태스크 벡터 사이의 코사인 유사도에 페널티를 부여한다.

3. 주요 기여

1. 5WBENCH 벤치마크

저자들은 Factify-5WQA 코퍼스에서 유도된 균형 잡힌 5,000개 샘플 벤치마크인 5WBENCH를 도입한다.

• 구조: 5W 카테고리(Who, What, When, Where, Why)당 1,000개의 예시.
• 의의: "Why" 질문(데이터셋의 20%)에 대한 최초의 통계적으로 유의미한 커버리지를 제공하여, 왜곡된 벤치마크에서는 감지할 수 없었던 인과적 언러닝 실패를 정량화할 수 있게 한다.
• 형식: Ground-truth 답변, 레이블, 그리고 강건성 테스트를 위한 재구성된 변형들을 포함하여 EasyEdit와 호환된다.

2. MAAT 알고리즘

MAAT는 "Why" 유형의 인과적 지식에 대해 높은 망각과 높은 유지 성능을 동시에 달성하는 최초의 방법이다. 이 방법은 LoRA 어댑터의 구조적 특성을 활용하여, SVD 스코어링과 태스크 벡터 부정을 통해 망각 세트 입력에 의해 활성화되는 특정 랭크 차원을 격리하고 억제한다.

4. 실험 결과

프레임워크는 LLaMA 3.2-3B 및 Gemma 3-4B에 대해 Qwen 2.5-7B LLM-as-a-Judge를 사용하여 평가되었다.

5WBENCH 성능

• 파레토 프런티어 (Pareto Frontier): MAAT는 LLaMA 3.2-3B에서 5가지 5W 카테고리 모두에 대해 **60% 이상의 망각 성공률(FSR)**과 **60% 이상의 유지 성공률(RSR)**을 동시에 초과하는 새로운 운영 지점을 달성한다.
  • Llama 3.2-3B: FSR 77.4% / RSR 71.6% (종합).
  • Gemma 3-4B: FSR 64.0% / RSR 61.8% (종합).
• "Why" 유형 성능:
  • MAAT: FSR 63% / RSR 65% (Llama).
  • 베이스라인(GA, GA+KL, AN, RO-FT)은 이러한 균형을 달성하는 데 실패한다. 예를 들어, Gradient Ascent(GA)는 FSR 44%, RSR 78%를 달성하는데, 저자들은 이를 "언더-포게팅(under-forgetting)" 때문이라고 설명한다(모델이 유틸리티를 보존했기 때문이 아니라, 단순히 사실을 망각하지 못했기 때문에 높은 유지 점수를 받은 것).
• 베이스라인 실패 사례:
  • Adapter Negation (AN): 거의 완벽한 망각(FSR 99.8%)을 달성하지만, 파멸적인 유지 붕괴(RSR 0.4%)를 초래한다. 이는 전체 태스크 벡터 부정이 망각할 지식과 유지할 지식을 구분 없이 모두 제거함을 확인시켜 준다.
  • RO-FT: 높은 유지 성능을 보이지만, MAAT에 비해 망각 효율이 낮다.

TOFU 성능

"Why" 커버리지가 부족한 TOFU 데이터셋에서 MAAT는 Llama 기준 FSR 67.5% / RSR 46.6%를 달성하며 다양한 데이터 분포에서의 강건성을 입증했다. 다만, 논문은 TOFU의 카테고리 불균형이 인과 분석 도구로서의 효용성을 제한한다고 언급한다.

절제 연구 (Ablation Studies)

• 그래디언트 투영: 상승 과정 중 유지된 지식을 보호하는 데 필수적이다.
• 하이브리드 수리: 프루닝/부정으로 인해 손실된 유지를 회복하는 데 필요하다. 엔트로피 항이 없다면 수리 단계에서 망각된 내용이 의도치 않게 복구된다.
• 태스크 벡터 부정 vs. 어텐션 프루닝: 어텐션 프루닝을 태스크 벡터 부정(Condition D)으로 교체하면, 유사한 망각 강도를 유지하면서도 유지 성능(RSR 54% $\rightarrow$ 76%)이 크게 향상된다. 이는 구조적 프루닝 시 어텐션 모듈을 제외하기로 한 결정이 타당함을 입증한다.

5. 의의 및 주장

본 논문은 MAAT가 특히 인과적(Why-type) 지식에 대한 망각-유지 트레이드오프를 성공적으로 극복하는 최초의 방법이라고 주장한다.

• 구조적 통찰: 저자들은 인과적 사실의 언러닝이 어려운 이유가 고유한 가중치 공간 풋프린트 때문이 아니라, 관계적 복잡성과 그래디언트 희석 때문임을 입증한다(인코딩 분석 결과 모든 5W 카테고리에 걸쳐 균일하게 분포된 인코딩이 나타남).
• 평가 영향: 5WBENCH를 도입함으로써, 본 논문은 기존 방법론들이 보이는 "언더-포게팅" 아티팩트를 폭로하는 도구를 제공한다. 즉, 높은 유지 점수가 실제로는 망각 실패의 부산물일 수 있음을 보여준다.
• 아키텍처 민감도: 결과는 어댑터 기반 언러닝이 베이스 모델의 지식 인코딩 구조를 상속받는다는 것을 시사한다. LLaMA와 Gemma 사이의 성능 차이는 어댑터 랭크 차원에서의 지식 분리 가능성이 아키텍처에 의존적임을 나타낸다.

저자들은 MAAT가 새로운 파레토 프런티어를 달성하긴 했으나, 표준 벤치마크가 은폐하고 있는 인과적 지식 언러닝의 실패를 탐지하기 위해서는 균형 잡힌 평가 체계가 필요하다고 결론짓는다.