기술 요약: ICCU – 패턴 유도 거절 규칙을 통한 문맥 기반 지속적 망각

1. 문제 정의

대규모 언어 모델 (LLM) 은 웹 규모의 코퍼스로 훈련되며, 여기에는 종종 민감하거나 유해하거나 저작권이 있는 정보가 포함되어 있습니다. '기계적 망각 (machine unlearning)'은 훈련된 모델에서 특정 데이터의 영향을 제거하는 것을 목표로 하지만, 기존 접근 방식은 시간이 지남에 따라 순차적으로 삭제 요청이 들어오는 실제 배포 환경에서 상당한 장애물에 직면합니다 (지속적 망각).

현재의 방법들은 주로 파인튜닝이나 매개변수 업데이트에 의존합니다. 이러한 방법들을 요청 스트림을 처리하기 위해 순차적으로 적용할 경우, 다음과 같은 세 가지 치명적인 문제점이 발생합니다:

1. 높은 비용: 매 라운드의 파인튜닝은 계산 비용이 많이 들며, 비용이 빠르게 누적됩니다.
2. 재학습 (Relearning): 후속 파인튜닝 라운드는 이전에 제거된 지식을 실수로 복원하여 초기 망각 노력을 무효화할 수 있습니다.
3. 유틸리티 저하: 반복적인 매개변수 업데이트는 비대상 작업에서 모델의 일반적 능력을 저하시키는 경향이 있습니다.

또한, 대부분의 기존 지속적 망각 방법들은 여전히 파인튜닝 기반이며, 이러한 동일한 한계점을 물려받고 있습니다. 효율적이고 확장 가능하며 요청 간 간섭이 없는 프레임워크가 필요합니다.

2. 방법론: ICCU 프레임워크

저자들은 ICCU(문맥 기반 지속적 망각, In-Context Continual Unlearning) 를 제안합니다. 이는 모델 가중치를 수정하는 대신 가독성 있는 거절 규칙을 유도하고 적용함으로써 지속적 망각을 수행하는 매개변수 없는 프레임워크입니다. 이 프레임워크는 두 가지 명확한 단계로 운영됩니다:

단계 1: 지속적 거절 규칙 생성

개인정보 우려와 저장 비용을 야기하는 원시 망각 세트 데이터를 저장하는 대신, ICCU 는 각 들어오는 망각 데이터셋 ($D_t$) 을 처리하여 자연어 규칙의 컴팩트한 세트를 생성합니다.

• 클러스터링: $D_t$ 내의 샘플은 사전 훈련된 임베딩 모델을 사용하여 인코딩되고 (예: K-means 를 통해) 의미론적 그룹으로 클러스터링됩니다. 이는 관련 지식을 그룹화합니다 (예: 저자의 이름, 출생지, 작품 등) 반면 원시 샘플은 폐기합니다.
• 패턴 유도: 각 클러스터에 대해 LLM 이 샘플의 공유 특성을 간결하고 인간이 읽을 수 있는 거절 규칙으로 요약하도록 프롬프트됩니다.
• 누적: 이러한 규칙들은 글로벌 공유 저장소에 추가됩니다. 이 누적은 순서 독립적이며 구성적입니다. 즉, 최종 규칙 세트는 유도된 모든 규칙의 합집합이며, 새로운 요청을 추가해도 기존 규칙과 간섭하지 않습니다. 규칙이 유도된 후, 원시 망각 세트 데이터는 폐기됩니다.

단계 2: 추론 시 적응형 규칙 검색

추론 시점, 사용자 쿼리가 도착하면 ICCU 는 재훈련 없이 모델의 행동을 규제하기 위해 관련 규칙을 동적으로 선택합니다.

• 클러스터 게이팅 (빠른 확인): 쿼리가 임베딩되어 저장된 클러스터의 중심점 (centroids) 과 비교됩니다. 쿼리가 모든 중심점과 멀리 떨어져 있는 경우 (거리 > 임계값 $\tau$), 이는 범위를 벗어난 것으로 간주되어 기본 모델이 직접 답변합니다.
• 규칙 선택 (의미론적 확인): 쿼리가 중심점과 가까운 경우, 시스템은 상위 $m$개의 가장 관련성 높은 거절 규칙을 검색합니다. LLM 은 임베딩 근접성 확인으로 인한 오탐을 방지하기 위해 쿼리가 규칙과 진정으로 일치하는지 여부를 결정하는 의미론적 추론 확인을 수행합니다.
• 배포 모드:
  1. 필터 기반 망각: 규칙은 독립적인 의미론적 필터로 작용합니다. 시스템은 먼저 쿼리를 거부할지 여부를 결정합니다. 거부되지 않는 경우, 별도의 생성 호출이 답변을 생성합니다.
  2. 엔드 투 엔드 망각: 규칙이 시스템 프롬프트에 주입됩니다. 모델은 단일 호출로 일치 판결과 후보 답변을 함께 출력합니다. 일치가 감지되면 응답이 거절로 대체됩니다.

3. 주요 기여

1. 새로운 문제 정의: 이 논문은 매개변수 업데이트 없이 순차적 삭제 요청의 특정 과제를 해결하는 문맥 기반 지속적 망각을 연구합니다.
2. ICCU 프레임워크: 다음과 같은 새로운 규칙 기반 프레임워크입니다:
   • 모델 매개변수를 수정하지 않고 망각을 수행합니다.
   • 요청 간 간섭이 없는 컴팩트하고 가독성 있는 거절 규칙을 유도합니다.
   • 필터 기반 및 엔드 투 엔드 배포 모드를 모두 지원합니다.
3. 실증적 검증: 광범위한 실험을 통해 ICCU 는 일반 유틸리티를 유지하면서 대상 지식을 효과적으로 억제하고, 순차적 요청에 걸쳐 확장 가능하며, 재구문 및 다국어 쿼리에 대해 견고함을 입증했습니다.

4. 실험 결과

저자들은 TOFU(가상 저자 전기) 와 WMDP(생물학, 화학, 사이버 보안의 유해 지식) 두 가지 벤치마크에서 ICCU 를 평가했으며, 일반 능력 유지 정도를 측정하기 위해 MMLU를 사용했습니다. 테스트된 모델에는 Qwen 및 Llama 계열이 포함되었습니다.

• 망각 효과성: ICCU 는 비대상 쿼리에서 낮은 거부율 (예: MMLU 에서 <0.04) 을 유지하면서 높은 거부율 (예: WMDP 하위 집합에서 >0.93) 을 달성하여 프롬프트 기반 가드레일보다 우수했고, 훈련된 분류기와 동등한 성능을 보였습니다.
• 지속적 안정성: 구성성 테스트 (표 3) 에서 규칙 하위 집합을 활성화한 결과, 새로운 망각 요청을 추가해도 이전 요청의 망각 효과가 저하되지 않았으며, 이는 요청 간 간섭이 없음을 확인시켜 주었습니다.
• 견고성: ICCU 는 재구문 쿼리 및 번역 쿼리 (프랑스어, 포르투갈어, 러시아어 등) 에서 높은 성능을 유지한 반면, 분류기 기반 베이스라인은 다국어 환경에서 급격히 저하되었습니다.
• 유틸리티 보존: 파인튜닝 베이스라인 (Gradient Ascent, RMU, O3) 에 대한 엔드 투 엔드 비교에서 ICCU 는 파인튜닝 방법과 유사하게 유해 지식을 억제했지만, 일반 능력 (MMLU 정확도) 은 훨씬 더 잘 보존했습니다.
• 효율성: 엔드 투 엔드 모드는 필터링과 생성을 단일 호출로 병합하여 추론 비용을 줄인 반면, 필터 기반 모드는 모듈형 인터페이스를 제공했습니다.

5. 중요성 및 주장

이 논문은 ICCU 가 지속적 망각의 증가하는 과제에 대한 훈련이 필요 없고, 프라이버시를 고려하며, 확장 가능한 솔루션을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 망각과 훈련의 분리: 망각 논리를 규칙을 통해 추론 컨텍스트로 이동시킴으로써 반복적인 파인튜닝과 관련된 계산 비용과 유틸리티 저하를 제거합니다.
• 프라이버시 및 감사 가능성: 이 프레임워크는 규칙 유도 후 원시 망각 세트 데이터를 폐기하고 클러스터 중심점과 인간이 읽을 수 있는 규칙만 유지합니다. 이는 망각 정책을 규칙 수준에서 감사 가능하고 제어 가능하게 만듭니다.
• 의미론적 견고성: 표면 수준의 키워드가 아닌 의미론적 표현에 의존함으로써 ICCU 는 재구문 및 다국어 쿼리로 일반화되어 키워드 기반 필터의 주요 약점을 해결합니다.
• 유연성: 규칙 저장소는 다양한 배포 시나리오 (필터 대 엔드 투 엔드) 를 지원하며 규칙의 선택적 활성화를 허용하여 다양한 지연 시간 및 통합 제약 조건에 적응할 수 있습니다.

저자들은 망각 세트 쿼리가 임베딩 공간에서 유틸리티 쿼리와 분리 가능하다는 가정과 수백 또는 수천 개의 순차적 요청으로 프레임워크가 확장되는 방식에 대한 추가 연구 필요성을 포함한 한계를 지적합니다. 그러나 그들은 ICCU 가 LLM 을 위한 효율적이고 효과적인 지속적 망각을 향한 중요한 단계라고 주장합니다.