🤖 machine learning

Robust Policy Optimization to Prevent Catastrophic Forgetting

본 논문은 잠재적 정책 변화의 근방에서 보상 안정성을 최적화하기 위해 최대-최소 형식을 활용하여 후속 하류 미세 조정 중 안전 및 기타 학습된 행동의 재앙적 망각을 효과적으로 방지하면서도 추가적인 계산 비용을 수반하지 않는 강인한 RLHF 프레임워크인 미세 조정 강인 정책 최적화 (FRPO) 를 소개합니다.

원저자: Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 여러분은 'AI'라고 부르기로 한 뛰어난 학생이 있다고 가정해 봅시다. 여러분은 이 학생이 도움이 되고, 정중하며, 안전하도록 수년간 훈련시켰습니다. 그들은 무례하지 않게 질문에 답하는 법을 알고, 위험한 요청 (예: "폭탄 만드는 법") 을 거절하는 법도 알고 있습니다. 이것이 '안전 훈련' 단계입니다.

이제 여러분은 같은 학생에게 고급 수학이나 코딩과 같은 새로운 구체적인 기술을 가르치고 싶어 합니다. 새로운 수업 (파인튜닝) 을 시작합니다. 하지만 여기에 문제가 있습니다. 학생이 새로운 수학 규칙을 배우는 과정에서, 그들은 오래된 안전 규칙을 잊기 시작합니다. 갑자기 수학 질문을 받으면, 수학에 너무 집중하다 보니 '해를 끼치지 말라'는 훈련을 잊어버려 실수로 위험한 답변을 할 수 있습니다. 이 논문에서는 이를 **재앙적 망각 (Catastrophic Forgetting)**이라고 부릅니다.

이 문제를 해결하려는 대부분의 이전 시도들은 수학 수업이 이미 시작된 후에 학생에게 "이봐, 수학 하는 동안 안전 규칙을 잊지 마!"라고 말하는 것과 같았습니다. 이 논문은 이것이 너무 늦었다고 주장합니다. 대신, 학생이 수학 수업을 시작하기 전에 **견고 (robust)**하도록 가르쳐야 합니다.

핵심 아이디어: '평탄한' 지점을 찾기

저자들은 **FRPO(Fine-tuning Robust Policy Optimization)**라는 새로운 훈련 방법을 제안합니다. 이것이 어떻게 작동하는지 이해하기 위해 언덕과 계곡이 있는 지형을 상상해 보세요:

기존 방식 (표준 훈련): 학생은 지형에서 가장 높은 봉우리를 찾습니다. 이 봉우리는 현재 작업에 대한 가능한 최고 점수를 나타냅니다. 그러나 이 봉우리는 날카롭고 바늘처럼 뾰족한 산일 수 있습니다. 학생이 어떤 방향으로라도 아주 작은 한 걸음을 내딛는다면 (예: 새로운 수학 규칙을 배우는 경우), 그들은 바로 그 봉우리에서 미끄러져 절벽으로 떨어지고 모든 안전 기술을 잃게 됩니다.
FRPO 방식: FRPO는 단일한 가장 높은 바늘 끝을 찾는 대신, 학생이 여전히 매우 높은 곳에 있는 넓고 평탄한 고원을 찾도록 가르칩니다. 이 고원 위에서 학생은 새로운 기술을 배우는 등 어떤 방향으로든 몇 걸음을 내딛어도 가장자리에서 떨어지지 않습니다. 보상은 (안전이) 그들이 움직이는 동안에도 높게 유지됩니다.

작동 방식 ('만약에' 게임)

이 논문은 이러한 평탄한 고원을 찾기 위해 교묘한 수학적 트릭을 사용합니다. 단순히 "지금 학생은 얼마나 좋은가?"라고 묻는 대신, FRPO 는 다음과 같이 묻습니다:

"우리가 학생의 행동에 작고 합리적인 변화 (일반적인 수학 수업이 일으킬 변화와 같은) 를 가한다면, 이 학생이 얻을 수 있는 최악의 점수는 무엇일까?"

그런 다음 알고리즘은 그 최악의 경우 점수를 최대화하려고 노력합니다. 이는 학생이 상황이 약간 변하더라도 안전한 전략을 배우도록 강제합니다. 마치 운동 선수가 완벽한 트랙에서만 빠르게 달리는 것이 아니라, 트랙이 약간 울퉁불퉁하거나 바람이 불어도 빠르게 달릴 수 있도록 훈련하는 것과 같습니다.

결과: 유지되는 안전성

연구자들은 두 가지 주요 시나리오에서 대규모 언어 모델 (즉, '학생들') 에 대해 이를 테스트했습니다:

안전 훈련: 그들은 모델이 안전하도록 훈련시킨 후, 수학 문제 (GSM8K) 나 일반적인 지시 (Alpaca) 로 '파인튜닝'을 시도했습니다.
- 결과: 표준 훈련 모델은 안전 규칙을 잊어버리고 위험해졌습니다. 반면 FRPO 로 훈련된 모델은 수학을 배우면서도 안전 장치를 유지했습니다. 그들은 단순히 '덜 잊은' 것이 아니라, 새로운 기술을 배운 후에도 나쁜 요청에 대해 "아니오"라고 말할 능력을 실제로 유지했습니다.
수학 훈련: 그들은 모델이 수학에 능숙하도록 훈련시킨 후, 코딩을 가르치려 했습니다.
- 결과: 보통 수학 전문가에게 코딩을 가르치면 수학 실력이 떨어집니다. 그러나 FRPO 모델은 코딩을 배운 후에도 표준 모델보다 수학 정확도가 훨씬 높게 (약 22% 더) 유지되었습니다.

이것이 중요한 이유

이 논문은 초기에 기본 모델을 어떻게 훈련시키는지 (이를 '평탄'하고 견고하게 만드는 것) 를 변경함으로써, 나중에 복잡하고 비싼 수정이 필요하지 않다고 주장합니다. 우리는 과거 데이터를 저장하여 '재연습'할 필요가 없으며, 뇌의 일부를 잠그는 특수 소프트웨어 모듈도 필요하지 않습니다. 우리는 처음부터 견고한 모델을 구축하면 됩니다.

간단히 말해: FRPO 는 AI 모델이 새로운 것을 배우면서도 절벽에서 떨어지지 않을 정도로 넓은 '안전 지대'를 찾도록 가르칩니다. 이는 집에 새로운 방을 추가할 때 균열이 생기지 않는 기초를 쌓는 것과 같습니다.

기술적 요약: 재앙적 망각 방지를 위한 견고한 정책 최적화

문제 정의

대형 언어 모델 (LLM) 은 일반적으로 다단계 파이프라인을 통해 훈련되는데, 먼저 인간 피드백을 통한 강화 학습 (RLHF) 을 수행하여 모델의 안전성과 유용성을 정렬한 후, 수학적 추론이나 코딩과 같은 특정 하위 작업에 맞춰 미세 조정 (fine-tuning) 을 거칩니다. 이러한 패러다임의 치명적인 취약점은**재앙적 망각 (catastrophic forgetting)**입니다. 사소한 하위 작업 업데이트조차도 안전 가드레일과 같은 이전에 학습된 행동을 저하시킬 수 있습니다.

이전 연구들은 주로 사후에 능력을 보존하기 위한하위 작업 시 완화 전략(예: 리허설, 매개변수 효율적 미세 조정, 정규화, 또는 모델 병합) 에 초점을 맞추었습니다. 그러나 저자들은 이러한 방법들이 특정 하위 작업 절차에 의존하기 때문에 불충분하다고 주장합니다. 만약 모델이 이러한 특정 프로토콜과 다른 "일반적인" 미세 조정을 받게 된다면, 이전에 학습된 행동은 여전히 취약하게 남습니다. 핵심적인 과제는 하위 작업이나 사용된 알고리즘에 관계없이기저 정책 (base policy) 자체가 미래 적응에 대해 견고하도록보장하는 것입니다.

방법론: 미세 조정 견고 정책 최적화 (FRPO)

저자들은 미래의 하위 작업 변화에 대한 안정성을 위해 기저 정책을 최적화하도록 설계된**미세 조정 견고 정책 최적화 (FRPO)**를 제안합니다.

1. 문제 공식화: 최대 - 최소 (Max-Min) 견고성

저자들은 문제를최대 - 최소 최적화로 공식화합니다. 현재 정책 $\pi_\theta$ 에서의 기대 보상만을 최대화하는 대신, $\pi_\theta$ 의 KL 경계 내 이웃에 있는 모든 하위 작업 정책 $Q$ 가 달성할 수 있는최소보상을 최대화하는 것을 목표로 합니다.

최적화 문제는 다음과 같이 정의됩니다:
$\max_{\pi_\theta} \left( \inf_{Q: \mathbb{E}[\text{KL}(Q \parallel \pi_\theta)] \le \rho} \mathbb{E}_{x,y \sim Q}[r(x,y)] - \beta \text{KL}(\pi_\theta \parallel \pi_{\text{ref}}) \right)$

여기서 $\rho$ 는 KL 이웃의 반경을 나타내며, 신뢰 영역, 작은 학습률, 또는 LoRA 제약과 같은 하위 작업 미세 조정의 표준 제약을 반영합니다. 이 제약은 프롬프트 분포에 대한 기대값으로 부과되어, 작업 관련 프롬프트에서는 큰 변화를 허용하면서도 기저 정책과의 평균적 근접성을 유지합니다.

2. 이론적 유도

분포 강건 최적화 (특히 $f$ -발산 제약 하) 에 대한 쌍대성 이론을 사용하여, 저자들은 내부 최소화 문제의 쌍대 형태를 유도합니다.

엔트로피 위험 목적 함수: 쌍대 형식을 통해 견고한 목적 함수가**엔트로피 위험 (entropic risk)**목적 함수를 최적화하는 것과 동등함이 드러납니다. $Q$ 에 대한 내부 최소화는 다음을 최대화하는 문제로 변환됩니다:
$-\lambda \log \mathbb{E}_{y \sim \pi_\theta} \left[ e^{-r(x,y)/\lambda} \right]$
여기서 $\lambda$ 는 위험 민감도를 조절하는 조정 가능한 하이퍼파라미터입니다.
해석: 이 목적 함수는 표준 기대 보상 최대화보다 낮은 보상을 받는 궤적에 더 큰 페널티를 부과합니다. 이는 정책 공간 내에서 보상 지형의 "평탄한" 영역을 효과적으로 찾아내어, 작은 교란 (하위 작업 미세 조정) 이 성능의 급격한 하락으로 이어지지 않도록 보장합니다.
한계 경우: $\lambda \to \infty$ 로 갈 때, 이 목적 함수는 기대 보상을 최대화하는 표준 GRPO(그룹 상대 정책 최적화) 목적 함수를 회복합니다.

3. 알고리즘적 구현

저자들은 추가적인 계산 오버헤드 (예: 학습된 크리틱이나 추가 순전파 없음) 없이 이 새로운 목적 함수를 최적화하기 위해GRPO알고리즘을 적응시켰습니다.

중요도 샘플링: 새로운 정책 하의 기대값은 중요도 샘플링을 통해 지연된 정책 $\pi_{\text{old}}$ 에서 샘플링된 값을 사용하여 추정됩니다.
클리핑 및 기준선: 안정성을 보장하기 위해 알고리즘은 중요도 비율에 PPO 스타일의 클리핑을 적용합니다. 특히, 저자들은 $\lambda$ 가 클 때 로그-분할 함수의 기울기에서 발생하는 높은 분산을 상쇄하기 위한기준선 항을 유도했습니다.
편향 감소: 로그-분할 함수의 몬테카를로 추정은 $O(1/G)$ 의 편향 (여기서 $G$ 는 그룹 크기) 을 도입합니다. 저자들은 이 편향을 $O(1/G^2)$ 로 줄이기 위해잭나이프 기법(leave-one-out 추정)을 사용하여 작은 그룹 크기에서도 안정적인 수렴을 보장합니다.

주요 기여

견고한 RLHF 프레임워크: 이 논문은 KL 볼 내의 모든 하위 작업 변화를 고려하는 최대 - 최소 형식을 도입합니다. 이 형식이 수학적으로 엔트로피 위험 목적 함수를 최적화하는 것과 동등함을 보여줌으로써 정책 공간 내의 보상 평탄함에 대한 이론적 기반을 제공합니다.
FRPO 알고리즘: 추가 계산이 필요 없는 GRPO 의 실용적인 대체 수단입니다. 기존 RLHF 파이프라인과 원활하게 통합되며, 안정성을 위한 유도된 기준선을 포함하고, $\lambda \to \infty$ 일 때 표준 GRPO 를 회복합니다.
실증적 검증: 이 방법은 안전 정렬과 수학적 추론을 포함한 다양한 시나리오에서 평가되었으며, 표준 미세 조정 및 기타 견고성 기준선보다 이전 능력을 보존하는 데 있어 우수한 성능을 입증했습니다.

실험 결과

저자들은 FRPO 를안전 훈련과수학적 추론이라는 두 가지 주요 시나리오에서 평가했습니다.

1. 안전 훈련 (안전 가드레일)

설정: Mistral-v0.1 및 Qwen2.5 모델은 다양한 $\lambda$ 를 사용하여 FRPO 로 안전 데이터셋에서 훈련된 후, 지시 따르기 (Alpaca), 수학 (GSM8K), RL (UltraFeedback) 과 같은 하위 작업에 대해 미세 조정되었습니다.
결과:
- FRPO 로 훈련된 모델 ( $\lambda \approx 0.2$ ) 은 표준 GRPO 에 비해 미세 조정 후 안전 거절률이 훨씬 높고 유해성 점수 (StrongREJECT) 는 훨씬 낮게 유지되었습니다.
- 이 방법은 전체 매개변수 SFT, 다양한 학습률, LoRA 등 공격적인 미세 조정 설정에서도 안전 가드레일을 효과적으로 보존했습니다.
- 트레이드오프 분석: 작은 $\lambda$ 는 안전을 더 잘 보존하는 반면, 큰 $\lambda$ 는 안전을 희생하여 유용성을 약간 향상시켰습니다. 최적의 $\lambda$ 는 작업에 따라 다르지만 일반적으로 안전의 경우 낮았습니다.
- 하위 작업 성능: 중요한 점은 FRPO 가 GRPO 에 비해 하위 작업 성능 (예: GSM8K 정확도, MMLU 점수) 을 저해하지 않았으며, 이는 안전 유지가 새로운 작업을 학습하지 못했기 때문이 아님을 확인시켜 주었습니다.

2. 지속적 학습 (수학에서 코딩으로)

설정: 모델은 먼저 수학적 추론 (MATH 데이터셋) 으로 훈련된 후 코드 생성 (OpenCodeInstruct) 에 대해 미세 조정되었습니다.
결과:
- 수학 보상의 더 높은 분산을 위해 최적화된 $\lambda = 2.0$ 을 사용한 FRPO 는 GRPO 보다 수학적 정확도를 훨씬 더 잘 보존했습니다.
- 구체적으로, FRPO 는 코딩 미세 조정 후 MATH500 벤치마크에서 GRPO 대비22% 높은 정확도를 유지하면서 코딩 벤치마크 (MBPP+) 에서 동등한 향상을 달성했습니다.

3. 제거 연구 (Ablation Studies)

SAM 과의 비교: 저자들은 FRPO 를 Sharpness-Aware Minimization(SAM) 과 비교했습니다. 매개변수 공간에서 작동하는 SAM 은 GRPO 대비 일부 개선을 보였지만, 정책/KL 공간에서 작동하는 FRPO 가 더 우수했습니다. 저자들은 매개변수 공간의 SAM L2 볼은 하위 작업 정책 변화를 완전히 포착하지 못하지만, KL 볼은 출력 분포 변화를 직접 제약한다고 지적했습니다.
$\lambda$ 의 역할: 실험을 통해 $\lambda$ 가 평균 보상과 분산 사이의 트레이드오프를 조절함을 확인했습니다. 최적의 $\lambda$ 는 보상의 표준 편차와 KL 예산 $\rho$ 와 상관관계가 있었습니다.

중요성과 주장

이 논문은 하위 작업 미세 조정 견고성이 나중의 개입에 의존하기보다RLHF 동안 기저 정책에 직접 통합되어야 한다고 주장합니다. KL 경계 내 이웃에서 보상 안정성을 최적화함으로써 FRPO 는 "보상 평탄한"영역에 위치한 정책을 식별하여 재앙적 망각에 본질적으로 저항하도록 합니다.

저자들은 FRPO 를 다음과 같은 범용 솔루션으로 위치시킵니다:

안전, 수학, 코딩 등 다양한 도메인에서 작동합니다.
표준 GRPO 에 비해 추가적인 계산 비용이 필요 없습니다.
특정 하위 작업 미세 조정 프로토콜에 구애받지 않는 LLM 의 지속적 학습을 위한 원칙적이고 수학적으로 근거 있는 접근 방식을 제공합니다.

이 연구는 미래 적응 견고성을 위한 최적화 원칙이 RLHF 를 넘어 사전 훈련과 지도 미세 조정으로 확장될 수 있음을 시사하며, 정렬 및 지속적 학습 연구에 새로운 방향을 제시합니다.