기술 요약: 이진 보상을 넘어: 강화 학습 기반 망각을 위한 보상 설계에 관한 비교 연구

문제 정의

기계 망각(Machine Unlearning, MU)은 훈련된 대규모 언어 모델(LLM)로부터 특정 지식(예: 개인 데이터, 저작권이 있는 자료)을 선택적으로 제거하는 것을 목표로 하며, 이는 전체 재학습에 드는 막대한 비용 없이 수행되어야 합니다. 이러한 능력은 GDPR 및 EU AI 법과 같은 규제에 의해 점점 더 요구되고 있습니다.

최근의 접근 방식들은 강화 학습 기반 검증 가능 보상(Reinforcement Learning with Verifiable Rewards, RLVR), 특히 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 활용하여 망각을 RLVR 문제로 재정의했습니다. 이 프레임워크에서 모델은 금지된 개념의 부재를 검증하기 위해 출력값으로부터 직접 계산된 보상에 대해 최적화됩니다. 그러나 PURGE와 같은 기존 방법은 **희소한 이진 보상(sparse binary rewards)**에 의존합니다. 이러한 보상은 완료된 응답에 금지된 항목이 전혀 포함되지 않은 경우에만 1을 제공하고, 그렇지 않으면 0을 제공합니다. 이러한 희소성은 노이즈가 많은 훈련 신호를 생성하며, 모델에게 부분적인 응답이 성공적인 망각에 얼마나 근접했는지에 대한 그래디언트(gradient) 정보를 제공하지 못합니다. 이러한 한계는 강화 학습 기반 망각(Reinforcement Unlearning, RUL)을 더 복잡한 작업으로 확장하는 데 병목 현상으로 작용하며, 결과적으로 수렴 속도를 늦춥니다.

방법론

저자들은 **검증 가능성(verifiability)**과 **희소성(sparsity)**을 분리하는 원칙적인 프레임워크를 제안합니다. 그들은 보상이 원래의 훈련 데이터에 접근하지 않고도 완전히 검증 가능하면서도, 동시에 밀도 있고 정보가 풍부한 신호를 제공할 수 있다고 주장합니다.

1. 보상 분해 프레임워크

본 논문은 $\phi(y; F, \psi) = \Gamma(I(y; F, \psi); H)$로 정의되는 일반적인 보상 구조를 도입합니다:

• 정보 구성 요소 ($I$): 금지된 항목의 출현 횟수를 세는 금지된 매칭 연산자와 보조 부가 정보(예: 시맨틱 그래프)로부터 데이터를 추출합니다.
• 변환 함수 ($\Gamma$): 추출된 정보를 $[0, 1]$ 범위의 보상으로 매핑합니다.
• 가설: 정보 구성 요소와 변환 함수를 변경함으로써, 검증 가능성을 희생하지 않으면서도 더 밀도 높은 학습 신호를 생성할 수 있습니다.

2. 제안된 보상 함수들

저자들은 이 프레임워크를 사용하여 기존의 이진 보상보다 더 높은 "정보 계층(Information Hierarchy)"에 위치한 두 가지 새로운 보상 함수를 구현했습니다.

• 지수형 보상 (Exponential Reward):

  • 메커니즘: 금지된 개념의 총 출현 횟수($m$)를 정보 구성 요소로 사용합니다.
  • 공식: $\phi_{exp}(y) = \exp(-m/\tau)$, 여기서 $\tau$는 감쇠 상수입니다.
  • 효과: 등급이 매겨진 페널티를 제공합니다. 단순히 0 또는 1인 이진 방식 대신, 위반 횟수가 증가함에 따라 보상이 부드럽게 감소하여 이진 베이스라인보다 더 밀도 높은 신호를 제공합니다.

• PageRank 기반 보상 (PageRank Inspired Reward):

  • 메커니즘: 금지된 개념들 사이의 시맨틱 관계를 활용합니다. 노드는 삭제 대상 항목이며, 엣지는 시맨틱 유사성(임베딩의 코사인 유사도)을 나타내는 시맨틱 그래프를 구축합니다.
  • 공식: 주요 타겟 엔티티에 편향된 개인화된 PageRank 알고리즘을 적용하여 각 항목에 대한 중요도 가중치($w_j$)를 계산합니다. 이 보상은 가중치에 따라 위반 사항에 대한 페널티를 부과합니다.
  • 효과: 주변부 연관 개념보다 시맨틱적으로 중심적인 개념(예: 타겟 엔티티 자체)의 위반에 더 높은 페널티를 부여합니다. 이는 최적화 과정이 가장 정보가 많은 위반 사항부터 우선적으로 학습하도록 유도합니다.

3. 이론적 분석

본 논문은 GRPO 하에서의 수렴 속도에 대한 이론적 분석을 제공합니다. 저자들은 밀도 높은 보상이 이진 보상에 비해 더 안정적인 어드밴티지 추정치(advantage estimate, $\hat{A}$의 낮은 분산)를 유지한다고 가정합니다.

• 이진 보상: 성공 확률이 0 또는 1에 접근함에 따라 "어드밴티지 붕괴(advantage collapse)"를 겪으며, 이로 인해 그래디언트가 소실됩니다.
• 밀도 높은 보상: 훈련 전반에 걸쳐 보상 분포의 비제로(non-zero) 분산을 유지하여, 더 큰 유효 스텝 사이즈와 빠른 수렴을 가능하게 합니다.

실험 설정

• 벤치마크: 100명의 실제 유명인을 대상으로 하는 실세계 지식 망각(Real World Knowledge Unlearning, RWKU)을 평가합니다.
• 모델: Phi-3-Mini-4K-Instruct (3.8B 파라미터).
• 베이스라인:
  • Base: 망각 전의 원래 모델.
  • Binary (PURGE): 표준적인 희소 이진 보상.
• 지표:
  • Forget (망각): 빈칸 채우기(FB), 질의응답(QA), 적대적 공격(AA)에 대한 ROUGE-L 재현율(Recall). 낮을수록 좋습니다.
  • Neighbor (주변 지식): 타겟 주변 지식의 유지 정도. 높을수록 좋습니다.
  • MIA: 멤버십 추론 공격(Membership Inference Attack) 점수 (프라이버시).
  • Utility (유용성): 일반적인 능력 (MMLU, 추론, 진실성 등). 높을수록 좋습니다.

주요 결과

20개의 망각 타겟에 대해 1,500번의 훈련 스텝 동안 실험이 수행되었습니다.

1. 수렴 속도: 두 제안된 보상 모두 이진 베이스라인에 비해 훈련 효율성 측면에서 크게 앞섭니다.

   • PageRank Softmax 변형은 이진 베이스라인과 동일한 수준의 망각 성능에 도달하는 데 약 3배 적은 훈련 스텝이 소요됩니다.
   • 500 스텝 시점에서 PageRank Softmax는 37.1%의 개선을 달着하는데, 이는 이진 베이스라인이 1,500 스텝이 되어서야 도달하는 임계치입니다.

2. 망각 성능:

   • PageRank Softmax는 모든 지표(FB, QA, AA)에서 가장 강력한 망각 점수를 달성하며, 이진 및 지수 감쇠 베이스라인을 일관되게 능가합니다.
   • Exponential Decay 또한 이진 베이스라인보다 개선된 성능을 보이지만, 일반적으로 PageRank보다는 효과가 떨어집니다.

3. 유용성 및 주변 지식 보존:

   • 결정적으로, 향상된 효율성이 일반적인 모델 유용성이나 주변 지식 유지의 희생을 초래하지 않습니다. 유용성 지표(GA, RA, TRU, FAC, FLU)는 모든 보상 설계에서 안정적으로 유지되며, Base 모델 대비 최대 0.014 이내의 변화만을 보였습니다.
   • 주변 지식 점수는 모든 방법론에서 균일한 저하를 보여, 이러한 트레이드오프가 특정 보상 설계보다는 최적화 목적 함수 자체에 의해 유도됨을 나타냅니다.

4. 절제 연구 (Ablation Studies):

   • Exponential Decay: 감쇠 상수 $\tau$가 매우 중요합니다. $\tau=0.5$가 그래디언트의 정보성과 최적화 압력 사이의 균형을 맞추는 최적값으로 발견되었습니다. 너무 작으면($\tau=0.1$) 거의 이진 형태의 희소성으로 돌아가고, 너무 크면($\tau \ge 1.0$) 너무 관대해집니다.
   • PageRank 변형: Raw PageRank 점수에 온도 조절된 소프트맥스를 적용하는 Softmax 변형이 표준 PageRank 및 Linear 변형보다 우수한 성능을 보였습니다. Softmax는 가중치의 멱법칙(power-law) 분포를 효과적으로 평탄화하여, 시맨틱 순서를 유지하면서도 페널티 질량을 더 고르게 분산시키는 반면, Linear 리스케일링은 왜곡을 유발합니다.

의의 및 주장

본 논문은 보상 설계가 강화 학습 기반 망각 프레임워크 내에서 망각 효율성을 결정하는 핵심 동력이라고 주장합니다.

• 이론적 기여: 보상의 귀납적 편향(inductive bias)과 최적화 속도 사이의 트레이드오프를 공식화하여, 검증 가능성이 반드시 희소성을 의미하지는 않는다는 것을 입증했습니다.
• 실질적 영향: Exponential 및 PageRank 보상을 도입함으로써, 저자들은 보다 확장 가능하고 효율적인 기계 망각을 위한 실질적인 경로를 제시했습니다. 결과적으로 정교하게 설계된 보상이 망각 성능을 유지하면서도 망각 과정을 최대 3배까지 가속화할 수 있음을 보여주었습니다.
• 향ere 방향: 본 연구는 원래의 훈련 데이터에 접근하지 않고도 검증 가능한 적응형 보상에 대한 방향을 열어주며, 보상의 "정보 계층"이 더욱 탐구될 수 있음을 시사합니다.

저자들은 이진 보상을 넘어서는 것이 단순한 구현상의 미세 조정이 아니라, 학습 신호 구조의 근본적인 개선이며, 이를 통해 RUL을 더 어려운 망각 작업으로 확장할 수 있다고 결론짓습니다.