기술 요약: 언어를 넘어선 지식: 다국어 기계 망각 평가의 간극 해소

1. 문제 제기

다국어 코퍼스로 훈련된 대규모 언어 모델 (LLM) 은 개인정보 유출 위험을 내포하므로, 여러 언어에 걸쳐 민감 정보를 제거하기 위한 **다국어 기계 망각 (Multilingual Machine Unlearning, MMU)**이 필요합니다. 기존 기계 망각 (MU) 연구는 영어 중심 데이터셋에 집중해 왔으나, 최근 연구들은 다국어 환경에서의 망각이 **언어 간 확산 (cross-linguistic spread)**으로 인해 복잡해졌음을 강조합니다. 즉, 한 언어로 습득된 지식이 다른 언어로 지속되거나 확산되는 현상입니다.

현재 MMU 에 대한 평가 프로토콜은 다음과 같은 이유로 불충분합니다:

1. 언어를 고립적으로 평가: "Veronica Bowman"이라는 이름이 영어로 잊혔는지 확인하는 등 언어별 망각 성능을 평가할 뿐, 동일한 지식이 알바니아어나 아프리칸스어 등 다른 언어에서도 접근 가능한지 검증하지 않습니다.
2. 분포를 반영하지 못함: MMU 에서 지식은 여러 언어에 분산되어 있으며, 직접 암기(특정 언어 쌍 훈련) 와 간접적 언어 간 확산을 통해 습득된다는 사실을 고려하지 않습니다.
3. 효과를 과장함: 평가된 언어에서는 정보가 성공적으로 망각된 것처럼 보일지라도, 다른 언어에서는 해당 정보가 여전히 검색 가능할 수 있어 개인정보 보호 안전성에 대한 오해를 초래합니다.

2. 방법론

데이터셋 구축

표준화된 평가 데이터의 부재를 해결하기 위해, 저자들은 대규모 다국어 병렬 데이터셋을 구축했습니다:

• 규모: 10 개 언어에 걸친 3,800 개의 합성 질문 - 답변 (QA) 쌍 (19 개 속성 × 200 개 프로필).
• 언어: 5 개 고자원 언어 (영어, 중국어, 독일어, 러시아어, 스페인어) 와 5 개 저자원 언어 (벵골어, 히브리어, 타밀어, 아프리칸스어, 알바니아어) 를 포함합니다.
• 생성 파이프라인: Faker를 사용하여 합성 프로필을 생성한 후, LLM 을 이용해 영어 QA 쌍으로 변환하고 이를 9 개 다른 언어로 번역했습니다. 역번역 검증 과정(Google Translate 및 LLM 사용) 을 통해 모든 언어 간의 의미적 동등성을 보장했습니다.
• 실험 설정: 데이터셋을 훈련 언어(암기 및 망각에 사용) 와 홀드아웃 언어(교차 언어 확산을 시뮬레이션하기 위해 평가 전용으로 사용) 로 분할했습니다.

제안된 지표

이 논문은 망각의 다국어적 특성을 평가하기 위해 두 가지 새로운 지표를 도입합니다:

1. 지식 분리성 점수 (Knowledge Separability Score, KSS):

   • 목적: 모든 언어에 걸쳐 목표 지식(잊혀져야 함) 과 비목표 지식(유지되어야 함) 을 구분하여 망각의 전반적인 품질을 측정합니다.
   • 메커니즘: 확률 기반 및 생성 기반 (의미적 동등성) 방법을 사용하여 각 지식 인스턴스에 대한 '망각 점수'($S_i$) 를 언어 간에 집계합니다.
   • 구성 요소:
     • KSS-ROC: 망각 집합과 유지 집합 간의 일반적인 분리성을 측정하는 수신자 조작 특성 곡선 (ROC) 아래 면적.
     • KSS-PR: 일반적으로 망각 집합이 유지 집합보다 훨씬 작은 클래스 불균형 문제를 특히 다루는 정밀도 - 재현율 곡선 아래 면적.

2. 지식 지속성 점수 (Knowledge Persistence Score, KPS):

   • 목적: '기본 언어'에서 성공적으로 망각된 목표 지식이 다른 언어에서 얼마나 지속(검색 가능하게 유지) 되는지 정량화합니다.
   • 메커니즘: 기본 언어 $l_1$과 비교 언어 $L_2$에 대해, 모델이 $l_1$에서는 지식을 잊었음 (의미적 동등성 = 0) 하지만 $l_2$에서는 유지함 (의미적 동등성 = 1) 한 샘플의 비율을 계산합니다.
   • 해석: 낮은 KPS 는 더 나은 망각 성능 (적은 언어 간 지속성) 을 나타냅니다.

실험 구성

저자들은 Llama3.1-8B-Instruct 모델에 대해 다양한 최적화 기반 망각 방법 (Gradient Ascent, GAGDR, GAKLR, NPO) 과 가지치기 기반 방법을 평가했습니다. 실험은 다양한 망각 집합 비율 (1%, 3%, 5%) 하에서 수행되었으며, 훈련 언어 집합과 홀드아웃 언어 집합에 대해 별도로 분석되었습니다.

3. 주요 결과

홀드아웃 언어에서의 망각 어려움

• 성능 차이: 훈련 언어 (Case 2) 에 비해 **홀드아웃 언어 (Case 1)**에서 망각이 훨씬 더 어렵습니다.
• 증거: KSS-ROC 점수는 홀드아웃 언어에서 일관되게 낮았습니다 (예: 최선의 방법의 경우 훈련 언어에서는 0.99 이지만 홀드아웃 언어에서는 최대 0.76). 이는 직접 훈련이 아닌 언어 간 확산을 통해 습득된 지식을 목표 지식과 비목표 지식으로 구분하는 것이 더 어렵다는 것을 나타냅니다.

망각 비율의 영향

• 열화: 망각 비율이 증가함에 따라 (1% 에서 5% 로) 망각 성능이 저하됩니다. 목표 지식과 비목표 지식 간의 경계가 점점 모호해져 모델이 무엇을 잊어야 할지 구분하기 어려워집니다.
• 지속성: KPS 점수는 더 높은 망각 비율에서 크게 증가하여, 더 큰 망각 집합이 더 심각한 언어 간 지속성을 초래함을 보여줍니다.

방법별 발견 사항

• 최적화 대 가지치기: 가지치기 기반 방법은 높은 KSS-ROC 점수 (좋은 전역 분리성) 를 달성했지만, 비례적으로 매우 낮은 KSS-PR 점수를 보였습니다. 망각 점수 ($S_i$) 의 시각화는 가지치기가 상당량의 비목표 지식에 높은 망각 점수를 부여하여 분포가 겹치게 만들었음을 드러냈으며, 이는 최적화 기반 방법들이 피한 현상이었습니다.
• 언어 간 지속성: 훈련 언어에서 성공적인 망각이 이루어졌음에도 불구하고, 목표 지식은 홀드아웃 언어에서 지속되었습니다 (모든 방법에서 KPS > 0). 이는 언어 간 정보 유출 위험을 확인시켜 줍니다.

4. 주요 기여

1. 종합적인 MMU 시나리오: MMU 에서의 지식을 직접 암기와 언어 간 확산을 통해 습득된 여러 언어로 표현된 인스턴스로 정의했습니다.
2. 대규모 데이터셋: 엄격한 품질 관리 하에 10 개 언어에 걸친 3,800 개 인스턴스의 다국어 병렬 QA 데이터셋을 구축했습니다.
3. 새로운 평가 지표: 망각 품질을 전체적으로 평가하기 위한 KSS와 언어 간 일관성을 측정하기 위한 KPS를 제안했습니다.
4. 실증적 통찰: 기존 언어별 평가 프로토콜이 불충분하며, 망각 성능이 훈련 언어와 홀드아웃 언어 간에 크게 달라진다는 것을 입증했습니다.

5. 의의 및 한계

의의:
이 논문은 신뢰할 수 있는 MMU 평가를 위해서는 모든 언어에 걸쳐 일관되게 정보 접근 불가능성을 검증하는 지표가 필요하다고 주장합니다. 제안된 KSS 와 KPS 지표는 MMU 평가에 새로운 패러다임을 제공하며, 홀드아웃 언어에서의 망각 어려움과 다국어 환경에서 가지치기 기반 방법의 특정 실패 모드와 같은 고유한 현상을 밝혀냈습니다.

한계:

• 언어 다양성: 홀드아웃 언어가 인도 - 유럽 어족 (아프리칸스어와 스페인어) 으로 제한되어 있어, 다양한 언어 구조에 대한 연구 결과의 일반화 가능성이 제한적입니다.
• 모델 규모: 계산적 제약으로 인해 실험은 8B 파라미터 모델로 제한되었으며, 더 큰 모델은 다른 망각 역학을 보일 수 있습니다.
• 지표 범위: KSS 와 KPS 가 지식 단위 측정을 다루지만, 저자들은 대체 또는 더 다양한 평가 방법론의 가능성을 인정합니다.

저자들은 향후 MMU 연구는 명시적으로 다국어적 특성을 고려하여, 언어를 고립된 개체로 취급하는 대신 언어 간에 지식을 망각하는 것을 목표로 해야 한다고 결론지었습니다.