기술 요약: 망각을 넘어: 기계적 망각이 조절 가능한 부수적 행동과 능력을 유발함

문제 제기

기계적 망각 (Machine Unlearning, MU) 은 대규모 언어 모델 (LLM) 에서 특정 지식이나 능력을 선택적으로 제거하면서도 일반적인 성능은 유지하는 것을 목표로 합니다. **표현 왜곡 (Representation Misdirection, RM)**이라는 주목할 만한 방법론 군은 '망각-샘플 (forget-samples)'의 잠재 표현을 목표 벡터로 재지시함으로써 망각을 달성합니다. 이는 효과적이지만, 이 목표 벡터의 역할은 아직 충분히 탐구되지 않았습니다. 기존 접근법들은 종종 잔여 흐름 (residual stream) 에 노이즈를 주입하기 위해 고정된 사전 정의된 무작위 벡터를 사용합니다. 그러나 통제되지 않은 무작위 노이즈의 주입은 일관성 없거나 의미 없는 출력을 초래하여, 고위험 분야에서 망각된 모델의 신뢰성을 훼손할 수 있습니다. 더 나아가, 목표 방향이 망각된 모델의 발현 행동과 능력에 미치는 구체적인 기계적 효과는 체계적으로 규명된 바 없습니다.

방법론

저자들은 **선형 표현 가설 (Linear Representation Hypothesis)**의 관점에서 RM 을 재검토합니다. 이 가설은 고차원 개념이 모델의 잠재 공간에서 1 차원 벡터로 선형적으로 인코딩된다고 주장합니다. 이를 바탕으로 본 논문은 **조절 가능한 발현 능력 가설 (Controllable Emergent Capability Hypothesis)**을 제안합니다. 즉, 선형 연산을 통해 망각-표현을 특정 고차원 개념 방향에 대해 재지시하는 것은 망각을 촉진할 뿐만 아니라, 해당 개념에 상응하는 조절 가능한 부수적 행동과 능력을 유발한다는 것입니다.

이를 검증하기 위해 저자들은 두 가지 개념적 망각 모델을 제안합니다:

1. 표현 추가 (Representational Addition, RAd): 이 방법은 모델이 망각하도록 유도하기 위해 망각-표현을 고차원 개념의 표현을 향해 이끌어갑니다. 수학적으로 이는 망각-표현 ($\lambda_f$) 에 스케일링된 개념 벡터 ($\bar{\lambda}_W$) 를 더합니다. 이론적으로, 이 가산적 개입은 개념과 일치하는 결과 생성의 로그-오즈 (log-odds) 를 이동시켜 부수적 행동 (예: 진실성 증가) 과 능력을 유발합니다.
2. 표현 제거 (Representational Ablation, RAb): 이 방법은 망각-표현을 고차원 개념 방향의 영공간 (null space) 에 투영함으로써 모델이 망각하도록 유도합니다. 이는 목표 개념과 정렬된 표현의 성분을 제거하면서 목표 외 성분을 보존합니다. 이론적으로 이는 해당 행동과 능력을 억제합니다.

개념 방향 추출:
이 방법들을 구현하기 위해 저자들은 목표 개념과 관련된 프롬프트 (레이블 1) 와 반사실적 프롬프트 (레이블 0) 로 구성된 데이터셋으로 훈련된 로지스틱 회귀 프로브 (probe) 를 사용하여 개념 방향을 추출합니다. 이 프로브의 정규화된 가중치가 1 차원 개념 벡터 ($\bar{\lambda}_W$) 를 정의합니다.

무작위 벡터에 대한 이론적 보장:
본 논문은 고차원 표현 공간에서 무작위로 샘플링된 단위 벡터는 높은 확률로 임의의 특정 고차원 개념 벡터와 거의 직교함을 보여주는 이론적 분석 (명제 1) 을 제공합니다. 이는 RAd 에서 무작위 벡터를 사용하는 것은 우연히 특정 개념과 정렬되거나 간섭할 가능성이 낮음을 의미하는 반면, 개념 벡터를 사용하면 의도적으로 모델을 유도한다는 것을 시사합니다.

주요 기여

1. 선형 표현 가설을 통한 RM 재검토: 본 논문은 RM 목표 벡터를 고차원 개념과 연결하는 이론적 프레임워크를 정립하여, 망각이 단순한 소멸이 아니라 특정 의미 영역으로의 재지시임을 제안합니다.
2. 조절 가능한 발현 능력 가설: 저자들은 RM 이 선택된 목표 벡터에 기반하여 조절 가능한 부수적 행동 (진실성, 감정, 거절, 언어) 을 유발하고 능력 (맥락 내 학습) 을 향상시킬 수 있음을 가설화하고 실증적으로 입증합니다.
3. RAd 및 RAb 프레임워크: 망각 과정에서 특정 모델 행동을 체계적으로 유도하거나 억제할 수 있는 두 가지 구별된 망각 메커니즘 (추가 및 제거) 을 도입합니다.
4. 종합적 실증 검증: Zephyr-7B, Mistral-7B, Llama-3-8B 와 같은 모델들을 대상으로 WMDP, MMLU, TruthfulQA, GLUE-SST2, HellaSwag, GSM8K 등 여러 벤치마크에서 광범위한 실험을 수행했습니다.

실험 결과

실험은 여러 차원에서 가설을 검증했습니다:

• 행동 제어:

  • 진실성: "진실성" 방향으로 RAd 를 적용하면 WMDP 에서의 망각 효과를 유지하면서 TruthfulQA 성능이 크게 향상되었습니다 (예: Mistral-7B 의 개방형 생성에서 +12.7). 반면, 같은 방향으로 RAb 를 적용하면 진실성이 저하되었습니다.
  • 감정: "부정→긍정" 방향으로 RAd 를 적용하면 SST2 에서 모델 출력이 긍정적 감정으로 성공적으로 이동했으며, "긍정→부정" 방향으로 RAb 를 적용하면 긍정적 감정이 억제되었습니다.
  • 거절: "거절" 방향으로 RAd 를 적용하면 모델이 무해한 지시 (Alpaca) 를 거부하도록 유도되었고, 같은 방향으로 RAb 를 적용하면 모델이 유해한 지시 (AdvBench) 를 거부하는 능력이 제거되었습니다.
  • 언어: 언어별 방향 (예: 영어에서 프랑스어로) 으로 RAd 를 적용하면 HellaSwag 완성에서 목표 언어의 언어 존재율 (LPR) 이 증가했습니다.

• 능력 향상:

  • 맥락 내 학습 (ICL): "국가→수도"와 같은 작업별 컨텍스트 벡터로 RAd 를 적용하면 언어 및 지식 작업에서 제로샷 ICL 성능이 크게 향상되었습니다 (예: Zephyr-7B 의 국가→수도 작업에서 정확도가 24.6% 에서 69.0% 로 상승).
  • 추론: "생각의 사슬 (CoT)" 방향으로 RAd 를 적용하면 모델 용량 제약으로 인해 복잡한 추론 작업 (GSM8K) 에서 제한적인 효과만 보였으나, 여전히 무작위 벡터 베이스라인보다 성능이 우수하여 노이즈보다 작업 관련 정보가 더 많이 인코딩되어 있음을 시사했습니다.

• 베이스라인 비교:

  • RAd 는 Gradient Ascent (GA), DPO, NPO, RMU 와 같은 최첨단 방법들과 비교하여 WMDP(위험 지식 제거) 에서 경쟁력 있는 망각 성능을 달성하면서도 독특하게 조절 가능한 부수적 행동을 제공했습니다.
  • 고정된 무작위 벡터를 사용한 RAd 는 재샘플링된 무작위 벡터를 사용한 RAd 보다 성능이 우수하여, 효과적인 왜곡을 위해서는 일관된 방향이 필요함을 확인시켰습니다.

• 출력 품질:

  • 분석은 트레이드오프를 드러냈습니다: 개념 벡터를 사용한 RAd 는 무작위 벡터에 비해 망각-작업에서 더 일관성 있고 문법적으로 정확한 출력을 생성했으나, 보존-작업 (MMLU) 에서는 품질이 저하되는 경우가 있었습니다. 이는 보존된 도메인에서의 표현 이동 때문일 가능성이 높습니다.

중요성 및 주장

본 논문은 표현 왜곡에서 목표 벡터의 선택이 더 강력한 부수적 능력과 조절 가능한 행동을 가진 망각된 모델을 개발하는 데 활용할 수 있는, 이전까지 충분히 탐구되지 않았던 중요한 메커니즘이라고 주장합니다.

• 이중적 성격: 이 현상은 양날의 검으로 제시됩니다. 오용될 경우 (무해한 쿼리에 대한 거절 유도 또는 유해한 콘텐츠 생성 등) 은 숨겨진 위험이 될 수 있습니다. 그러나 활용될 경우, 특정 지식에 대해 안전할 뿐만 아니라 향상되거나 조절 가능한 특성 (예: 더 높은 진실성 또는 특정 언어 생성) 을 가진 망각된 모델을 개발할 수 있는 메커니즘을 제공합니다.
• 기계적 통찰: 이 연구는 망각을 단순한 "소멸"이나 "마스킹"으로 보는 것을 넘어, 잠재 공간 내에서의 재지시 과정으로 간주하여 모델의 발현 속성을 체계적으로 변화시킨다는 점을 시사합니다.
• 실용적 함의: 저자들은 그들의 핵심 목표가 가중치에서 지식의 "진정한 소멸"을 주장하는 것이 아니라, 이 발현 현상을 규명하는 것임을 명확히 합니다. 이러한 규명은 망각과 원하는 행동 제어 사이의 균형을 맞추는 원칙적인 망각 방법 설계에 대한 새로운 렌즈를 제공합니다.

본 논문은 선형 표현 가설을 활용함으로써 기계적 망각이 단순한 파괴적 과정이 아니라, 지식 제거와 함께 모델 행동을 정밀하게 조정할 수 있는 건설적인 과정으로 변모할 수 있음을 결론짓습니다.