기술 요약: 언어 모델의 엔티티 수준 언러닝을 위한 일관성 인지 편집 (Consistency-Aware Editing)

1. 문제 정의

대규모 언어 모델(LLM)은 의도치 않게 민감하거나 저작권이 있는, 또는 유해한 정보를 기억하여 개인정보 보호 및 보안 리스크를 초래할 수 있습니다. **지식 언러닝(knowledge unlearning)**은 특정 원치 않는 지식을 제거하는 것을 목표로 하지만, 기존 방법론들은 **엔티티 수준의 언러닝(entity-level unlearning)**에 적용할 때 상당한 한계에 직면합니다.

현재의 접근 방식은 주로 선별된 망각 세트(forget set)로부터 특정 사실이나 표현을 삭제하는 데 집중하는 **인스턴스 수준 언러닝(instance-level unlearning)**에 초점을 맞추고 있습니다. 그러나 엔티티 수준의 언러닝은 특정 엔티티(예: "성룡(Jackie Chan)")와 관련된 모든 정보를 문구나 맥락에 관계없이 포괄적으로 제거해야 합니다. 기존 기술들은 다음과 같은 이유로 이 영역에서 종종 실패합니다:

• 표면 형태에 대한 과적합(Overfitting to Surface Forms): 이들은 학습 프롬프트의 특정 표면 형태에 과적합되는 경향이 있어, 동일한 엔티티에 대한 다양한 언어적 실현(의역/패러프레이징)에 걸쳐 일반화하는 데 어려움을 겪습니다.
• 편집의 불일치(Inconsistency in Editing): 특정 사실을 위해 파라미터를 수정하는 위치 기반 모델 편집 방법은 각 입력을 독립적으로 처리합니다. 동일한 엔티티와 관련된 여러 프롬프트에 적용될 때, 이러한 독립적인 최적화는 **불일치하는 편집 방향(inconsistent edit directions)**을 초과하게 됩니다. 서로 다른 사실에 대한 업데이트가 충돌하거나 타겟 지식을 부분적으로만 삭제하여, 모델이 패러프레이징된 쿼리에 여전히 올바르게 답하는 "누출(leakage)" 현상이 발생합니다.
• 부수적 피해(Collateral Damage): 커버리지를 높이기 위해 망각 세트를 확장하면 관련 없는 사실이나 밀접하게 연관된 다른 엔티티에 대한 모델의 성능이 크게 저하되는 결과가 나타납니다.

2. 방법론: 일관성 인지 편집 (CAE)

저자들은 효과적인 엔티티 수준 언러닝을 위해 모델 편집 기술을 적응시킨 프레임-워크인 **일관성 인지 편집(Consistency-Aware Editing, CAE)**을 제안합니다. 핵심 통찰은 엔티티 수준의 지식이 트랜스포머의 MLP(Multi-Layer Perceptron) 모듈, 특히 출력 가중치($W_{out}$)에 저장되어 있다는 점입니다. CAE는 타겟 엔티티와 관련된 다양한 프롬프트에 대해 업데이트를 공동으로 최적화함으로써 불일치 문제를 해결합니다.

주요 구성 요소:

1. 데이터 집계 및 선택:

   • 이 방법은 Wikidata에서 타겟 엔티티에 대한 다양한 사실을 검색하여 이를 자연어 프롬프트($T_e$)로 변환합니다.
   • 이 프롬프트들은 텍스트 생성 모델을 통한 패러프레이징을 통해 증강된 세트($T_g$)로 더욱 확장됩니다.
   • SVD 기반 선택: 중복과 충돌하는 업데이트를 피하기 위해, 이 프롬프트들로부터 도출된 키 벡터($K_f$)를 특이값 분해(SVD)를 통해 처리합니다. 이 방법은 가장 중요한 투영 에너지를 포착하는 상위-$r$개 키 벡터를 선택하여, 편집을 위한 압축적이고 정보가 풍부한 하위 집합을 보장합니다.

2. 일관성 인지 최적화:

   • 각 프롬프트를 독립적으로 편집하는 대신, CAE는 **일관성 제약 조건(consistency constraint)**을 도입합니다.
   • 각 프롬프트 $x_j$에 대해, 엔티티의 사실적 연관성을 억제하도록 최적화된 잔차 벡터 $\delta_j$를 구합니다.
   • 목적 함수에 **일관성 손실(consistency loss, $L_{Cons}$)**을 추가하여, 프롬프트 세트 전체에 걸쳐 업데이트된 은닉 상태($h_j^L + \delta_j$)의 분산을 최소화합니다. 이는 모든 잔차가 공통된 방향으로 정렬되도록 강제하여, 엔티티의 모든 패러프레이즈에 대해 파라미터 업데이트가 일관되게 만듭니다.
   • 최종 목적 함수는 불확certainty(예: "모르겠습니다")를 유도하는 부정 로그 가능도(negative log-likelihood) 손실과 일관성 정규화 항을 결합합니다.

3. 다층 전파 (Multi-Layer Propagation):

   • 최적화된 잔차는 네트워크 전체에 걸쳐 억제 효과가 전파되도록 후속 레이어들에 분배됩니다.
   • 모델 전체를 재학습하지 않고도 엔티티의 지식을 효과적으로 삭제하기 위해, MLP 레이어의 $W_{out}$ 행렬에 저계수 업데이트(rank-one modification)가 적용됩니다.

3. 주요 기여

1. 한계 식별: 본 논문은 기존의 위치 기반 편집 방법들이 동일한 엔티티와 관련된 여러 프롬프트를 독립적으로 편집함으로써 발생하는 불일치 때문에 엔티티 수준의 언러닝에 실패한다는 점을 밝혀냈습니다. 또한 엔티티 수준의 지식이 주로 MLP 모듈에 저장되어 있음을 확인했습니다.
2. 새로운 프레임워크 (CAE): 저자들은 일관성 제약 조건 하에서 가치 있는 사실들을 공동으로 최적화하는 일관성 인지 편집 프레임워크를 도입했습니다. 이를 통해 엔티티 전체의 일관되고 포괄적인 언러닝이 가능해집니다.
3. SVD 기반 사실 선택: SVD를 사용하여 엔티티에 대한 가장 가치 있는 사실을 선택하는 전략을 제안함으로써, 필요한 프롬프트의 수는 줄이면서 언러닝 효능은 극대화합니다.
4. 실증적 검증: 방법론을 두 가지 도전적인 벤치마크인 RWKU(100개 엔티티)와 ToFU(20개 엔티티)에서 엄격하게 평가하여, 기존의 언러닝 및 편집 베이스라인 모델들보다 우수한 성능을 입증했습니다.

4. 실험 결과

저자들은 LLaMA3-Instruct (8B) 및 LLaMA3.1-Instruct (8B)를 대상으로 CAE를 평가하였으며, 이를 그래디언트 기반 방법(GA, DPO, NPO), 프롬프트 기반 방법(ICU, RepE), 그리고 편집 기반 방법(MEMIT, EMMET, AlphaEdit)과 비교하였습니다.

• 망각 성능 (Forgetting Performance): CAE는 빈칸 채우기(FB), 질의응답(QA), 적대적 공격(AA) 프로브 전반에서 망각 세트에 대해 가장 낮은 점수(지식의 성공적 제거를 의미)를 기록했습니다. 예를 들어, LLaMA3를 사용한 RWKU에서 CAE는 "All" forget 점수 15.9를 달 기록하며, 차순위의 편집 방법(EMMET 29.0) 및 학습 기반 방법들을 능가했습니다.
• 강건성 및 일반화 (Robustness and Generalization): CAE는 이웃 세트(Neighbor Sets)(관련은 없으나 의미적으로 가까운 사실들)와 유틸리티 세트(Utility Sets)(MMLU, TruthfulQA와 같은 일반 능력)에서 높은 성능을 유지했습니다. CAE는 가장 높은 Mean FN(망각과 이웃 보존 사이의 균형을 측정하는 지표)을 달성하여, 타겟 지식을 삭제하면서도 유용한 맥락을 유지하는 데 있어 탁월한 트레이드오프를 보여주었습니다.
• 효율성: CAE는 풀 파인튜닝(full fine-tuning) 방식에 비해 훨씬 적은 수의 예시(최소 100개 미만)와 적은 계산 자원(단일 40GB GPU)을 필요로 합니다.
• 순차적 언러닝 (Sequential Unlearning): 이 방법은 여러 엔티티를 순차적으로 제거할 때, 이전에 언러닝한 엔티티의 망각 성능을 저하시키지 않고 안정성을 유지함을 보여주었습니다.
• 절제 연구 (Ablation Studies):
  • 토큰 선택: **마지막 주어 토큰(Last Subject Token, LST)**을 편집하는 것이 마지막 토큰(Last Token, LT)을 편집하는 것보다 더 효과적이고 안정적이었습니다.
  • 일관성 가중치: 방법론은 일관성 제약 조건의 가중치 변화에도 강건하게 유지되었습니다.
  • 데이터 소스: 방법론은 Wikidata 대신 LLM으로 생성된 합성 데이터를 사용했을 때도 잘 일반화되었습니다.

5. 의의 및 주장

본 논문은 **일관성 인지 편집(CAE)**이 인스턴스 수준의 편집과 더 복잡한 요구사항인 엔티티 수준의 언러닝 사이의 간극을 메움으로써, 지식 언러닝 분야의 중요한 진보를 나타낸다고 주장합니다.

• 확장성: CAE는 신중하게 선택된 수십 개의 프롬프트만을 사용하여 엔티티를 제거할 수 있는 확장 가능한 솔루션을 제공하며, 전체 재학습의 계산 비용을 피할 수 있습니다.
• 정밀도: 일관성 제약을 통해 편집 방향을 정렬함으로써, CAE는 독립적인 편집 접근 방식에서 흔히 발생하는 "부분적 망각"과 지식 누출을 방지합니다.
• 통찰력: 이 연구는 엔티티 수준의 지식이 LLM 내부에 어떻게 내부적으로 표현되는지(주로 MLP에 저장됨)와 이를 어떻게 체계적으로 삭제할 수 있는지에 대한 통찰을 제공합니다.

저자들은 결론적으로 CAE가 망각과 유지 사이에서 더 유리하고 안정적인 트레이드오프를 제공하며, 특정 엔티티를 포괄적으로 언러닝해야 하는 안전하고 책임감 있는 LLM 배포를 위한 유망한 방향임을 강조합니다.