💬 NLP

Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning

이 논문은 강화 학습 기반의 LLM 언러닝(unlearning)을 위해 보상이 낮은 까다로운 사례의 롤아웃(rollout)을 저장하고 재사용함으로써 경계 사례에 대한 수렴도를 높이고 품질을 유지하면서도 추가적인 학습 시간을 최소화하는 오프-폴리시 리플레이 메커니즘인 ReRULE를 소개한다.

원저자: Zirui Pang, Chenlong Zhang, Haosheng Tan, Zhuoran Jin, Jiaheng Wei, Zixin Zhong

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zirui Pang, Chenlong Zhang, Haosheng Tan, Zhuoran Jin, Jiaheng Wei, Zixin Zhong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수백만 권의 책을 암기한 아주 똑똑하고 박식한 사서(AI)가 있다고 상상해 보세요. 하지만 그 책들 중에는 잊어야 할 비밀들이 들어있을 수 있습니다. 예를 들어 저작권이 있는 이야기나 개인 정보 같은 것들 말이죠. 목표는 이 사서가 특정 비밀에 대한 질문을 받았을 때 "모릅니다"라고 말하게 만드는 것이지만, 그 과정에서 사서가 알고 있는 다른 모든 지식까지 잊어버리게 해서는 안 됩니다.

이것이 바로 **AI 언러닝(Unlearning, 망각 학습)**의 문제입니다.

기존 방식: "온-폴리시(On-Policy)"의 고충

이 논문은 사서에게 특정 질문을 거절하도록 가르치는 RULE이라는 방법을 설명합니다. 이는 "시행착오(Trial-and-error)" 방식인 강화 학습을 사용합니다.

이것을 연습 시험을 치르는 학생에 비유해 보겠습니다.

쉬운 질문: 학생은 이미 정답을 알고 있는 질문들입니다. 즉시 정답을 맞힙니다.
어려운 질문: 학생이 알아야 할 것과 잊어야 할 것의 경계에 있는 까다로운 질문들입니다. 학생은 여기서 계속 틀리거나 머뭇거립니다.

기존 방식(RULE)에서 선생님은 학생에게 똑같은 질문 세트를 반복해서 던집니다.

문제점: 선생님은 쉬운 질문을 던지는 데 너무 많은 시간을 낭비합니다. 학생은 매번 완벽하게 대답하지만, 이는 새로운 것을 배우는 데 아무런 도움이 되지 않습니다. 이미 골대에 들어간 공을 향해 계속 슛 연습을 하는 것과 같습니다. 실력이 늘지 않는 것이죠.
놓친 기회: 반면, 학생이 어려워하는 어려운 질문들은 단 한 번만 질문됩니다. 만약 학생이 틀린다면, 그 시도는 그냥 버려지고 선생님은 다음 질문으로 넘어갑니다. 학생에게 그 특정 실수를 바로잡을 두 번째 기회가 주어지지 않는 것입니다.

새로운 방식: ReRULE ("리플레이" 시스템)

저자들은 ReRULE이라는 새로운 방법을 제안했습니다. 그들은 "어려운 질문"이 학습에 가장 가치 있는 데이터임에도 불구하고, 기존 시스템은 이를 일회용 쓰레기처럼 취급했다는 점을 깨달았습니다.

ReRULE의 작동 원리를 비디오 게임 비유를 통해 설명하겠습니다:

리플레이 버퍼 (하이라이트 영상):
학습 초기 단계에서 ReRULE은 스포츠 코치가 비디오 카메라를 들고 있는 것처럼 행동합니다. 학생(AI)이 질문에 고전하며 낮은 점수를 받으면, 코치는 그 시도를 그냥 버리지 않습니다. 대신, 그 특정한 고전했던 순간을 기록하여 "리플레이 버퍼"(특정한 어려운 사례들을 모아둔 특별 폴더)에 저장합니다.
하이브리드 트레이닝 (드릴 세션):
학습 후반부에, 코치는 단순히 새로운 질문을 던지는 대신, 리플레이 버퍼에서 저장된 "고전했던 영상"들을 꺼냅니다.

코치는 학생에게 동일한 어려운 질문을 다시 보여줍니다.
학생은 이 질문을 전에 본 적이 있기 때문에 다시 시도할 수 있지만, 이번에는 약간 다른 전략을 사용하여 시도합니다.
이것은 마치 코치가 "아까 슛을 놓쳤던 거 기억나니? 이번에는 팔꿈치에 집중하면서 다시 해보자"라고 말하는 것과 같습니다.

결과:
컴퓨터는 이미 알고 있는 쉬운 것들을 연습하며 시간을 낭비하는 것을 멈춥니다. 대신, 잊어야 할 경계선 근처에 걸려 있는 "어려운 사례들"에 에너지를 집중합니다. 시스템은 학생이 마침내 이를 숙달할 때까지 그 어려운 예시들을 재사용합니다.

이것이 왜 중요한가 (결과)

논문은 세 가지 서로 다른 "도서관"(데이터셋)을 통해 이를 테스트했습니다:

실제 세계의 지식: 유명인에 관한 사실들.
저작권이 있는 책: 특히 해리 포터.
가상의 작가: 가상의 전기(biographies).

연구 결과:

기억 유지 능력 향상: 해리 포터 테스트에서, 새로운 방식(ReRULE)은 사서의 일반적인 지식을 온전히 유지하는 데 훨씬 뛰어났습니다(품질 점수가 46.3에서 56.2로 향상됨). 그러면서도 동시에 특정 도서의 세부 내용은 성공적으로 잊었습니다.
효율성: 훈련 시간이 크게 늘어나지 않았습니다(약 5~11% 정도만 더 소요됨). 단지 그 시간을 더 현명하게 사용했을 뿐입니다.
"쉬운 경우"의 예외: 매우 단순한 데이터셋(TOFU)에서는 새로운 방식이 큰 도움이 되지 않았습니다. 이는 당연한 결과입니다. 모든 질문이 쉽다면, 재생할 "고전 영상"이 없으므로 시스템은 기존 방식과 똑같이 동작하기 때문입니다. 이는 이 방법이 일부 질문이 진정으로 어려울 때 발생하는 상황을 위해 설계되었음을 증명합니다.

요약하자

ReRULE은 쉬운 연습을 반복하는 것이 시간 낭비라는 것을 깨달은 스마트한 튜터와 같습니다. 대신, 학생의 가장 어려운 실수들을 모아 라이브러리를 구축하고, 그 문제들이 해결될 때까지 그 특정 문제들을 반복해서 연습하도록 강제합니다. 이를 통해 AI의 일반적인 지능을 보존하면서도, "언러닝(망각 학습)" 과정을 더 빠르고 똑똑하게 만듭니다.

기술 요약: Replay What Matters: 효율적인 LLM 강화 학습 기반 언러닝을 위한 Off-Policy Replay

문제 정의

대규모 언어 모델(LLM)의 언러닝(unlearning)은 사전 학습된 모델로부터 유해한 지식(예: 저작권 콘텐츠, 개인 정보)을 제거하는 것을 목표로 하며, 전체 재학습에 드는 막대한 비용 없이 이를 수행하고자 합니다. 최근 RULE와 같은 강화 학습(RL) 기반 접근 방식은 언러닝을 '거절 행동(refusal behavior)'을 학습하는 것으로 재정의합니다. 즉, 모델에게 "망각 집합(forget set)"과 관련된 질의는 거절하도록 가르치되, "유지 집합(retain set)" 및 "경계 집합(boundary set)"에 대한 응답은 보존하도록 하는 것입니다.

그러나 저자들은 RULE과 같은 방식에서 사용되는 Stage 2 온-폴리시(on-policy) 최적화(구체적으로 GRPO 사용 시)의 결정적인 비효[율성을 식별했습니다. 훈련 과정에서 뚜렷한 **하드-이지 불균형(hard–easy disparity)**이 발생합니다:

쉬운 사례 (Easy Cases): 많은 프롬프트가 높은 보상 상태로 빠르게 수렴합니다. 훈련 후기 단계에서 이러한 프롬프트를 계속 샘플링하는 것은 정보가 풍부한 그래디언트 신호(advantage $\approx 0$ )를 거의 생성하지 못하면서도 상당한 계산 자원을 소모합니다.
어려운 사례 (Hard Cases): 망각과 유지 사이의 의미론적 경계 근처에 있는 프롬프트들은 훈련 내내 낮은 보상 상태로 남아 있는 경우가 많습니다. 표준 온-폴리시 설정에서는 이러한 어려운 사례들에 대해 생성된 낮은 보상의 롤아웃(rollout)들이 단 한 번 사용된 후 버려지는데, 이는 모델의 실패 모드에 대한 매우 가치 있는 정보를 포함하고 있음에도 불구하고 그렇습니다.

이러한 역학 관계는 계산 자원이 이미 수렴한 쉬운 사례에 낭비되는 반면, 어려운 사례는 여전히 미흡하게 최적화되어, 결과적으로 모델의 일반적인 유용성(Retain Quality)을 저해할 잠재적 위험이 있는 비효율적인 훈련을 초래합니다.

방법론: ReRULE

이를 해결하기 위해 저자들은 RULE 프레임워크에 통합된 오프-폴리시 리플레이(off-policy replay) 강화 메커니즘인 ReRULE(Replay-enhanced Reinforcement UnLEarning)을 제안합니다.

프레임워크 개요

ReRULE는 RULE의 2단계 구조를 유지합니다:

Stage 1 (Rejection Steering): 거절 데이터셋에 대한 지도 미세 조정(SFT)을 통해 모델의 거절 능력을 예열(warm-start)합니다.
Stage 2 (Refusal Boundary Optimization): 망각 및 유지 질의 사이의 경계를 정교화하기 위한 RL 기반 최적화를 수행합니다.

ReRULE 파이프라인

핵심 혁신은 Stage 2에서 발생하며, 여기서 ReRULE은 **리플레이 버퍼(replay buffer)**와 하이브리드 훈련을 도입합니다:

어려운 사례 식별 및 저장:
초기 GRPO 훈련 중에 시스템은 각 프롬프트에 대해 생성된 롤아웃 그룹의 평균 보상을 모니터링합니다. 만약 특정 그룹의 평균 보상이 사전 정의된 임계값 $\tau$ 보다 낮으면, 이를 "어려운 사례"로 분류하고 리플레이 버퍼 $\mathcal{B}$ 에 저장합니다. 이 버퍼는 모델의 현재 실패 모드를 나타내는 낮은 보상의 궤적(trajectory)들을 축적합니다.
하이브리드 훈련 (Off-Policy 업데이트):
버퍼에 충분한 수의 어려운 사례( $|\mathcal{B}| \ge B_{min}$ )가 쌓이고 웜업 기간( $t \ge T_{warm}$ )이 완료되면, ReRULE은 하이브리드 훈련 체제를 활성화합니다. 각 단계에서 다음을 수행합니다:
- 표준 온-폴리시 업데이트: 현재 정책 $\pi_\theta$ 로부터 추출된 신선한 샘플을 사용하는 표준 GRPO 업데이트를 수행합니다.
- 오프-폴리시 리플레이 업데이트: 리플레이 버퍼 $\mathcal{B}$ 에서 추출한 샘플을 사용하여 추가적인 그래디언트 업데이트를 수행합니다.
중요도 샘플링 (Importance Sampling):
저장된 롤아웃을 생성한 정책( $\pi_{\theta_{old}}$ )과 현재 정책( $\pi_\theta$ ) 사이의 분포 변화(distribution shift)를 교정하기 위해, ReRULE은 중요도 샘플링을 사용합니다. 오프-폴리시 그래디언트는 다음과 같이 계산됩니다:
$\nabla_\theta J_{off}(\theta) = \mathbb{E}_{g \sim \mathcal{B}} \left[ \mathbb{E}_{y \sim \pi_{\theta_{old}}} \left[ \tilde{\rho}(y|x) \nabla_\theta \log \pi_\theta(y|x) \hat{A}(x, y) \right] \right]$
여기서 $\tilde{\rho}(y|x)$ 는 클리핑(clipped) 및 정규화된 중요도 가중치입니다. 이를 통해 모델은 새로운 고비용 샘플링 없이도 어려운 사례들에 대해 다시 훈련할 수 있습니다.

주요 기여

훈련 비효율성 식별: 본 논문은 LLM 언러닝에서 온-폴리시 GRPO가 쉬운 사례에 대해서는 수익 체감(diminishing returns)을 겪고 어려운 사례에 대해서는 활용도가 낮아지는 "하드/이지 불균형"을 겪는다는 것을 경험적으로 입증했습니다.
ReRULE 제안: 낮은 보상의 어려운 사례 롤아웃을 저장하고 이를 중요도 샘플링 업데이트를 통해 재사용하는 오프-폴리시 리플레이 메커니즘을 도입했습니다. 이는 계산의 초점을 추가 최적화가 필요한 경계 사례로 재지향합니다.
이론적 분석: 저자들은 ReRULE이 순수 온-폴리시 RULE에 비해 어려운 사례에 대해 더 타이트한 수렴 바운드(convergence bound)를 제공한다는 이론적 증명을 제시합니다. 어려운 영역에서의 유효 훈련 토큰 수를 늘림으로써( $N_{H}^{ReRULE} = N_{H}^{on} + \eta_\rho N_{H}^{off}$ ), 이 방법은 어려운 영역에서의 탐색 오차(exploration error)를 줄입니다.
경험적 검증: 세 가지 벤치마크(RWKU, MUSE-Books, TOFU)에 걸친 광범위한 실험을 통해 이 방법의 효과를 검증했습니다.

실험 결과

저자들은 세 가지 데이터셋에 대해 GA, NPO, SimNPO 및 원본 RULE을 포함한 베이스라인들과 ReRULE을 비교 평가했습니다:

MUSE-Books (저작권 언러닝): 해리 포터 콘텐츠를 포함하는 이 설정은 높은 비율의 어려운 사례를 특징으로 합니다. ReRULE은 Forget Quality를 최상위 수준으로 유지하면서 Retain Quality를 46.3(RULE)에서 56.2로 크게 향상시켰습니다. 훈련 시간은 단 5–11% (6.8시간에서 7.1시간으로) 증가했습니다.
RWKU (실제 세계 지식): ReRULE은 최고의 Forget Quality를 달성했으며, Forget Naturalness와 Retain Quality에서 Top-2 성능을 유지하며 어려운 사례에 대한 효율성 측면에서 RULE을 능가했습니다.
TOFU (엔티티 언러닝): 이 설정은 망각 집합이 더 작고 일반적으로 더 쉽습니다(어려운 사례가 적음). ReRULE은 RULE 대비 제한적인 개선을 보였으며, 저자들은 이것이 리플레이 메커니즘이 뚜렷한 하드/이지 불균형이 존재할 때 가장 유익하다는 가설을 뒷받침한다고 언급했습니다.
Ablation 연구:
- 어려운 사례 선택을 **무작위 저장(random storage)**으로 대체했을 때 성능이 표준 RULE 수준으로 저하되었으며, 이는 어려운 사례를 타겟팅하는 것이 중요하다는 점을 확인시켜 줍니다.
- 임계값 $\tau$ 를 변화시킨 결과, 너무 높게 설정하여 쉬운 사례까지 포함하면 효율성이 떨어지는 반면, 최적의 설정(MUSE의 경우 0.4)은 선택성과 버퍼 크기 사이의 균형을 맞춘다는 것을 보여주었습니다.

의의 및 주장

본 논문은 ReRULE이 RL 기반 언러닝에 대한 비용 효율적인 향상책이라고 주장합니다. "실패한" 어려운 사례의 롤아웃을 재활용함으로써, ReRULE은 전면적인 재학습이나 상당한 추가 계산 없이도 언러닝 작업에서 흔히 훼손되는 핵심 지표인 Retain Quality를 개선합니다.

저자들은 이 방법이 **조건부적(conditional)**임을 강조합니다. 즉, 이점은 쉬운 프롬프트와 어려운 프롬프트 사이에 상당한 격차가 존재하는 시나리오(예: MUSE-Books)에서 가장 두드러집니다. 더 단순한 설정(예: TOFU)에서는 이득이 미미하며, 이는 리플레이 메커니즘이 저옵티마이즈된 어려운 사례의 비효율성을 구체적으로 겨냥한다는 가설을 뒷받침합니다. 이 연구는 ReRULE을 특정 유해 지식을 제거하면서도 일반적인 모델 유용성을 보존하기 위한 실용적인 단계로 자리매김하며, 보다 효율적이고 견고한 머신 언러닝을 향한 진전입니다.