기술 요약: 재학습 공격에 대한 견고한 LLM 망각: 표현의 소수 성분이 중요하다

1. 문제 정의 및 동기

대형 언어 모델 (LLM) 망각은 전제 비용이 prohibitive 한 전체 재학습 없이 사전 훈련된 모델에서 특정 데이터 영향 (예: 개인 정보, 저작권이 있는 정보, 또는 위험한 정보) 을 제거하는 것을 목표로 합니다. 그러나 최근 연구들은 중요한 취약점을 확인했습니다. 망각된 모델은 매우 취약하여 재학습 공격을 통해 "잊혀진" 지식을 빠르게 회복할 수 있습니다. 이러한 공격에서 적대자는 원래 망각 데이터의 부분 집합에 대해 망각된 모델을 미세 조정하여 모델이 망각 전 상태로 되돌아가게 합니다. 이러한 취약성은 특히 하위 작업의 모든 주자가 의도된 보호를 쉽게 역전시킬 수 있는 오픈 가중치 모델의 경우 심각한 보안 위험을 초래합니다.

Sharpness-Aware Minimization(SAM) 및 표현 수준 개입 (예: RMU, MLP Breaking) 과 같은 기존 방법들이 제안되었지만, 이들은 대부분 경험적입니다. 현재 망각 방법이 재학습에 저항하지 못하는 근본적인 메커니즘은 여전히 잘 이해되지 않고 있습니다.

2. 핵심 통찰: 표현 기하학 및 취약성

저자들은 표현 기하학의 관점에서 LLM 망각의 취약성을 조사합니다. Llama-3.1-8B 의 내부 표현 (특히 MLP 활성화) 을 분석함으로써, 취약성의 구조적 원인을 확인합니다:

1. 우세한 성분 내의 집중: LLM 표현은 소수의 우세한 성분(분산이 높은 주성분) 에 크게 집중되어 있습니다. 기존 망각 방법들은 주로 이러한 우세한 방향을 따라 최적화하여 소수 성분은 거의 변경되지 않게 둡니다.
2. 우세한 성분의 가역성: 재학습 공격 동안, 이러한 우세한 성분에 대한 수정은 쉽게 역전됩니다. 이론적 분석에 따르면, 우세한 성분은 데이터셋 전체에 걸쳐 공유되는 샘플 간 규칙성을 포착하기 때문에, 공격자는 매우 적은 미세 조정 단계로 이를 재구성할 수 있습니다.
3. 소수 성분의 견고성: 반면, 소수 성분은 회복에 대해 훨씬 더 강력한 저항을 보입니다. 이들은 공격자가 상당한 미세 조정 예산을 사용하더라도 신뢰할 수 있는 재구성을 위해 필요한 규칙성이 부족한 샘플별 정보를 인코딩합니다.

저자들은 선형화 (NTK 스타일) 분석을 통해 이를 공식화하여, 망각 업데이트가 자연스럽게 우세한 방향을 통해 채널링된다는 것 (정리 1) 과, 재학습 회복률이 우세한 성분의 경우 소수 성분보다 지수적으로 더 빠르게 포화됨을 증명합니다 (정리 2).

3. 방법론: 소수 성분 망각 (MCU)

우세한 방향에 집중된 망각 효과가 쉽게 역전된다는 통찰에 기반하여, 저자들은 **소수 성분 망각 (MCU)**을 제안합니다. 이 방법은 망각 최적화를 견고한 소수 성분 부분 공간으로 명시적으로 재지향합니다.

핵심 메커니즘

MCU 는 손실을 계산하기 전에 우세한 성분을 투영하여 제거함으로써 표현 기반 망각 손실 (예: RMU 및 MLP Breaking) 을 수정합니다.

1. 주성분 추출: 망각 전에, 이 방법은 원래 모델의 망각 세트 표현에서 상위-$K$개 주성분 (및 평균 벡터) 을 추출합니다.
2. 투영: 임의의 표현 벡터에서 이러한 상위-$K$개 방향 (및 평균) 을 제거하도록 투영 연산자 $P_\perp$를 정의합니다.
3. 손실 수정: 망각 손실은 투영된 표현에 대해 계산됩니다.
   • RMU의 경우, 손실은 투영된 현재 표현과 무작위 목표 벡터 간의 거리를 최소화합니다.
   • MLP Breaking의 경우, 손실은 투영된 현재 MLP 출력과 투영된 원래 출력 간의 직교성을 최대화합니다.

손실 기울기가 주로 소수 성분 부분 공간 내에서 작동하도록 제약함으로써, MCU 는 유도된 변화가 공격자가 회복하기 본질적으로 어려운 방향에서 발생하도록 보장합니다.

4. 실험 결과

저자들은 WMDP-Cyber, WMDP-Bio, Years라는 세 가지 데이터셋에서 MCU 를 평가합니다. Gradient Ascent(GA), Negative Preference Optimization(NPO), RMU, MLP Breaking, 그리고 SAM 및 Collapse of Irrelevant Representations(CIR) 과 같은 견고성 지향 기법을 포함한 최첨단 베이스라인과 MCU 를 비교합니다.

주요 발견

• 우수한 견고성: MCU 는 재학습 후 정확도와 망각 후 정확도 간의 차이로 정의되는 재학습 간격($\Delta$) 을 크게 줄입니다. WMDP-Cyber 에서 MLP Breaking + CIR + MCU 를 결합하면 $\Delta$를 5.7로 줄인 반면, MLP Breaking + CIR 단독은 17.0 이었고 MLP Breaking 단독은 28.4 였습니다.
• 유용성 보존: 일부 견고성 방법이 일반 성능을 저하시키는 것과 달리, MCU 는 모델 유용성을 유지합니다. MCU 변형의 MMLU 점수와 WikiText perplexity 는 비-MCU 대응 모델과 비교하거나 더 나은 수준을 유지합니다.
• 상호 보완성: MCU 는 CIR 와 시너지 효과를 냅니다. CIR 가 기울기 수준에서 우세한 성분을 필터링하는 반면, MCU 는 우세한 방향의 변화를 처벌하도록 손실 지형을 재구성하여 견고성 문제의 서로 다른 측면을 해결합니다.
• 일반화: MCU 의 이점은 모델 계열 간에 이전되어 Gemma2-9B 및 Qwen3-8B에서 일관된 개선을 보여줍니다.
• 적응형 공격: MCU 는 공격자가 망각된 모델의 활성화와 원래 모델의 활성화 간의 MSE 를 직접 최소화하는 적응형 표현 기반 공격에 대해서도 강력한 저항을 보여줍니다.

5. 중요성 및 주장

이 논문은 이론적 유도를 뒷받침으로 표현 기하학 관점에서 LLM 망각 취약성에 대한 첫 번째 체계적 분석을 제공한다고 주장합니다. 주요 중요성은 다음과 같습니다:

1. 취약성의 구조적 원인 식별: 이 작업은 현재 방법들의 회복 용이성이 특정 알고리즘의 결함이 아니라 우세한 표현 방향을 따라 최적화하는 것의 구조적 결과임을 지적합니다.
2. 원칙적인 해결책: MCU 는 이론적으로 재학습에 저항하는 것으로 입증된 소수 성분 부분 공간을 명시적으로 대상으로 함으로써 망각에 대한 원칙적인 접근 방식을 제공합니다.
3. 실용적 견고성: 이 방법은 모델 유용성을 유지하면서 재학습 공격에 대한 저항력을 크게 향상시켜 SAM 을 포함한 기존 최첨단 방법들을 능가합니다.

저자들은 재학습 공격에 초점을 맞추고 (추론 시간 제이브킹 제외) 이론적 분석에 1 차 선형화를 사용한다는 한계를 지적하지만, 표현 기하학에 대한 핵심 발견이 다양한 최적화 체계 (전체 FT 및 LoRA) 와 망각 세트 크기 전반에 걸쳐 유효하다고 주장합니다.