🤖 machine learning

Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

본 논문은 트래젝토리 수준의 드리프트 무관성을 보상 재설계 및 교차 작업 이점 정규화를 통해 해결함으로써 비주얼 지속 학습에서 파국적 망각을 완화하고 기존 접근법보다 우수한 성능을 달성하는 새로운 강화 미세 조정 방법인 Retention-aware Policy Optimization(RaPO)을 소개합니다.

원저자: Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"강화 미세 조정을 통한 시각적 지속 학습에서 파국적 망각 극복"이라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 정리합니다.

큰 문제: '금붕어' 같은 AI

매우 똑똑한 로봇에게 다양한 종류의 새를 인식하도록 가르친다고 상상해 보세요.

월요일: 참새 사진을 보여줍니다. 로봇은 이를 완벽하게 학습합니다.
화요일: 매 사진을 보여줍니다. 로봇은 매를 학습하지만, 갑자기 참새가 어떤 모습인지 잊어버립니다. 참새를 그냥 작은 매로 생각합니다.
수요일: 올빼미 사진을 보여줍니다. 이제 로봇은 참새와 매 모두를 잊어버립니다.

이 현상을 **파국적 망각 (Catastrophic Forgetting)**이라고 합니다. 로봇은 3 초 기억력을 가진 금붕어처럼, 새로운 것을 배울 때마다 뇌에서 이전 정보를 모두 지워버립니다. 이는 현실 세계에서 지속적으로 학습해야 하는 AI 에게 매우 큰 문제입니다.

현재의 해결책 (그리고 완벽하지 않은 이유)

연구자들은 이 문제를 해결하기 위해 두 가지 주요 방법을 시도했습니다.

지도 미세 조정 (SFT): 이는 "이 답을 정확히 암기하라"고 말하는 엄격한 교사 같은 방식입니다. 어느 정도 작동하지만, 로봇은 여전히 이전 답을 빠르게 잊어버립니다.
강화 미세 조정 (RFT): 이는 "이 문제를 해결하는 다양한 방법을 시도해 보라. 맞으면 보상을 주겠다"고 말하는 코치 같은 방식입니다. 최근 연구들은 이 '코치' 방식 (특히 GRPO라는 기술) 이 '교사' 방식보다 기억력이 더 뛰어나다는 것을 보여주었습니다.

하지만, 이 논문의 저자들은 한 가지 함정을 발견했습니다. '코치' 방식 (GRPO) 조차도 과제가 매우 어려워지면 여전히 많은 것을 잊어버립니다. 교사 방식보다는 낫지만 완벽하지는 않습니다.

발견: '이탈' 탐정

연구자들은 질문했습니다. 왜 '코치' 방식은 여전히 것을 잊어버릴까요?

그들은 로봇이 어떻게 생각하는지 자세히 관찰했습니다. 그리고 **궤적 수준의 이탈 무관심 (Trajectory-level Drift Agnosticism)**이라는 이상한 현상을 발견했습니다.

비유: 로봇이 시험을 본다고 상상해 보세요. 로봇은 현재 문제를 두 가지 다른 방식으로 올바르게 풀 수 있습니다.
- 방법 A: 어제 문제를 풀었던 논리와 매우 유사한 논리를 사용합니다.
- 방법 B: 어제와 완전히 다른, 매우 엉뚱하고 새로운 논리를 사용합니다.
문제: 현재의 '코치' (GRPO) 는 최종 점수만 봅니다. 방법 A 와 방법 B 가 모두 문제를 맞히면, 코치는 두 가지에 동일한 보상을 줍니다. 방법 B 가 로봇의 기존 지식에서 '이탈'하고 있다는 사실을 신경 쓰지 않는 것입니다.
결과: 시간이 지남에 따라 로봇은 점수를 얻는 '엉뚱한' 방법 (방법 B) 을 계속 선택합니다. 결국 로봇은 원래 지식에서 너무 멀리 이탈하여 과거에 알던 모든 것을 잊어버리게 됩니다.

해결책: RaPO (유지 인식 정책 최적화)

이를 해결하기 위해 저자들은 RaPO라는 새로운 방법을 개발했습니다. RaPO 는 정답을 맞추는 것뿐만 아니라, '어제 당신이었던 모습'을 유지하는 것에도 관심을 가지는 '스마트 코치'라고 생각하세요.

RaPO 에는 두 가지 주요 트릭이 있습니다.

1. '기억 닻' (유지 보상)

작동 원리: 로봇이 문제를 풀려고 시도할 때마다 RaPO 는 확인합니다. "이 새로운 사고 방식이 어제의 사고 방식과 얼마나 유사한가?"
비유: 새로운 춤 동작을 배운다고 상상해 보세요.
- 이전 스타일에서 자연스럽게 이어지는 동작을 배우면, 코치는 보너스 점수를 줍니다.
- 이전 리듬을 완전히 깨는 혼란스러운 동작을 배우면, 춤을 끝냈더라도 코치는 더 적은 점수를 줍니다.
목표: 이는 로봇이 완전히 기존 습관을 버리지 않고 새로운 것을 배우도록 장려합니다. 로봇을 '기억 닻'에 가깝게 유지하도록 부드럽게 밀어줍니다.

2. '고정된 손' (교차 작업 이점 정규화)

작동 원리: 로봇이 '새' 학습에서 '자동차' 학습으로 전환할 때, 과제의 난이도가 갑자기 변합니다. 이는 로봇의 학습 과정을 혼란스럽게 만들어, 로봇이 지나치게 자신감 있거나 지나치게 불확실한 상태 사이를 극단적으로 오가게 만듭니다.
비유: 자동차를 운전한다고 상상해 보세요. 갑자기 매끄러운 고속도로에서 울퉁불퉁한 흙길로 바뀝니다. 만약 자동차의 서스펜션이 모든 요철에 즉시 반응한다면, 사고가 날 것입니다.
해결책: RaPO 는 '쇼크 업소버' (지수 이동 평균) 를 사용합니다. 지금 당장의 요철에 반응하는 대신, 시간이 지남에 따라 요철을 부드럽게 만듭니다. 이는 과제가 극적으로 변하더라도 로봇의 학습 속도를 일정하게 유지시킵니다.

결과

연구자들은 RaPO 를 다양한 시각 작업에 대해 테스트했습니다.

새로운 유형의 이미지 인식 (이미지 분류).
사진 속 사물 찾기 (객체 탐지).
비디오 이해 (비디오 분류).

결과:
RaPO 는 명백한 승자였습니다. 다른 방법들과 마찬가지로 새로운 것을 빠르게 학습했지만, 잊어버린 양은 훨씬 적었습니다.

한 테스트에서 기존 방법은 학습한 것의 약 **20%**를 잊어버렸습니다.
RaPO 는 약 **4%**만 잊어버렸습니다.

결론

이 논문은 단순히 "AI 가 더 똑똑해지고 있다"고 말하는 것이 아닙니다. 구체적으로 AI 가 새로운 것을 배우면서 기존 기억을 삭제하지 않고 계속 학습하는 방법을 해결합니다.

그들은 단순히 AI 를 '정확함'에 대해 보상하는 것만으로는 부족하다는 것을 발견했습니다. 또한 AI 가 과거의 자신과 일관성을 유지하도록 보상해야 합니다. 학습 과정에 '기억 확인'과 '안정화 장치'를 추가함으로써, 그들은 정체성을 잃지 않고 성장할 수 있는 AI 를 만들었습니다.

참고: 이 논문은 완전히 컴퓨터 비전 작업 (이미지 및 비디오) 에 초점을 맞추고 있으며, 이러한 방법들이 현재 의료 진단, 감시 또는 기타 특정 현실 세계 응용 분야에 사용된다고 주장하지는 않습니다. 이는 미래 AI 시스템이 지속적으로 학습할 수 있도록 돕는 기초 연구입니다.

기술 요약: 강화 미세 조정 (RFT) 을 통한 시각적 지속 학습에서의 파국적 망각 극복

문제 제기
최근 연구들은 다중 모달 대규모 언어 모델 (MLLM) 에서 강화 미세 조정 (RFT), 특히 그룹 상대 정책 최적화 (GRPO) 와 같은 방법이 지도 미세 조정 (SFT) 보다 본질적으로 파국적 망각에 더 강건함을 시사하고 있으나, 이는 도전적인 시각적 지속 학습 (VCL) 환경에서의 효능이 여전히 미해결 과제로 남아있다. 구체적으로, 클래스 증분 학습 (CIL) 과 도메인 증분 학습 (DIL) 과 같은 리허설 없는 시나리오에서 표준 RFT 는 여전히 무시할 수 없는 망각을 겪는다. 저자들은 **궤도 수준 드리프트 무관성 (Trajectory-level Drift Agnosticism)**이라는 특정 병목 현상을 규명하였다: 동일한 작업 보상을 달성하는 후보 롤아웃들 사이에서도 선행 작업의 정책으로부터의 클루백 (Kullback-Leibler, KL) 발산은 현저히 다양하게 나타난다. 순수하게 작업 보상에만 기반한 행동은 이러한 궤도들을 구별하지 못하여, 우연히 높은 드리프트를 가진 해를 선호하는 신용 부여를 초래하고 역사적 지식의 상실을 가속화한다.

방법론: 유지 인식 정책 최적화 (Retention-aware Policy Optimization, RaPO)
궤도 수준 드리프트 무관성을 해결하기 위해 저자들은 궤도 수준 보상 형성을 통해 망각을 명시적으로 완화하는 간단하면서도 효과적인 RFT 방법인 RaPO를 제안한다. RaPO 는 두 가지 핵심 구성 요소로 이루어져 있다:

유지 보상 (Retention Reward): 이 구성 요소는 궤도 수준 분포 드리프트를 연속적인 보상 신호로 변환한다. 현재 정책 $\pi_t$ 가 생성한 롤아웃 $y_i$ 에 대해, 드리프트는 고정된 앵커 정책 $\pi_{t-1}$ (선행 작업의 정책) 에 대한 길이 정규화 로그 확률 비율로 측정된다.
- 드리프트 지표는 $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$ 로 정의된다.
- 이 드리프트는 $\exp(-\alpha \bar{D}_{drift}(y_i))$ 로 계산되는 유계 양의 보상 $R_{ret}(y_i)$ 로 매핑되며, 여기서 낮은 드리프트는 더 높은 보상을 산출한다.
- 총 보상은 $R_{total} = R_{task} + \lambda R_{ret}$ 로 공식화된다. 핵심적으로, 이 보상은 그룹 상대 이득 (group-relative advantage) 계산 이전에 추가된다. 이는 유사한 작업 성능을 가진 롤아웃들 사이에서 앵커 정책에 더 가깝게 머무는 것 (즉, 이전 지식을 보존하는 것) 이 더 높은 이득을 받도록 하여, 정책을 낮은 드리프트 영역으로 유도한다.
교차 작업 이득 정규화 (Cross-Task Advantage Normalization, CTAN): 작업 경계에서 보상 분포의 급격한 변화로 인한 최적화 불안정성을 상쇄하기 위해, RaPO 는 배치별 보상 표준 편차를 지속적인 지수 이동 평균 (EMA) $\hat{\sigma}$ 로 대체한다.
- $\hat{\sigma}$ 는 최적화 단계 및 작업 경계를 걸쳐 업데이트된다 ( $\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$ ).
- 이득은 $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$ 로 계산된다.
- 이 메커니즘은 작업 간 전환 시 이득 척도가 붕괴하거나 폭발하는 것을 방지하여 지속 학습 스트림 전반에 걸쳐 안정적인 신용 부여를 보장한다.

주요 기여

드리프트 무관성의 경험적 규명: 본 논문은 바닐라 GRPO 가 시각적 VCL 에서 궤도 수준 드리프트 무관성에 시달린다는 최초의 체계적 분석을 제공한다. 여기서 동일한 보상을 받는 궤도들은 이전 작업에 비해 분포 드리프트의 정도가 극적으로 다르다.
RaPO 프레임워크: 저자들은 높은 드리프트를 가진 롤아웃에 명시적으로 패널티를 부과하고 최적화 척도를 안정화하기 위해 유지 보상과 CTAN 을 통합한 RaPO 를 도입한다.
포괄적 평가: 이 방법은 클래스 증분 이미지 분류, 도메인 증분 이미지 분류, 클래스 증분 객체 감지, 도메인 증분 객체 감지, 그리고 클래스 증분 비디오 분류 등 다섯 가지 다양한 시각적 지속 학습 환경에서 평가되었다.
최초의 체계적 탐구: 저자들의 지식 범위 내에서, 이는 검증자 기반 RFT 의 시각적 지속 학습 가능성을 체계적으로 탐구한 최초의 작업이다.

실험 결과
ImageNet-R, ImageNet-A, TinyImageNet, CUB-200, COCO 2017, UCF-101, Kinetics-200 을 포함한 데이터셋에 대한 광범위한 실험은 RaPO 가 SFT, EWC, LwF, 표준 GRPO 를 포함한 강력한 베이스라인보다 일관되게 우월함을 입증한다.

이미지 분류: ImageNet-R(10 개 작업) 에서 RaPO 는 85.92% 의 정확도를 달성하고 망각을 4.69% 로 제한하여, GRPO(74.67% 정확도, 20.02% 망각) 를 크게 능가했다.
객체 감지: COCO(5 개 작업) 에서 RaPO 는 박스 AP 를 14.64% 에서 19.31% 로 향상시키면서 망각을 6.67% 에서 1.39% 로 감소시켰다.
일반화: RaPO 는 비디오 분류 및 도메인 증분 환경 전반에 걸쳐 견고한 성능을 보여주었으며, 새로운 작업에 대한 강력한 가소성을 유지하면서도 역사적 지식을 보존했다.
절대 실험 (Ablation Studies): 저자들은 유지 보상과 CTAN 이 상호 보완적임을 확인했다. 어느 하나를 제거해도 성능이 저하된다. 또한 이 방법은 하이퍼파라미터 선택에 강건하며 다른 정책 최적화 알고리즘 (예: SAPO) 에 적용될 때도 효과적임이 입증되었다.

의의 및 주장
본 논문은 RFT 가 SFT 보다 파국적 망각에 본질적으로 더 강건하지만, 궤도 수준 드리프트에 대한 명시적 개입 없이는 도전적인 시각적 VCL 에는 불충분하다고 주장한다. RaPO 는 구조 변경이나 데이터 리플레이 없이 지식 보존 롤아웃을 우선시하도록 보상 신호를 수정함으로써 이를 해결한다. 저자들은 이 작업을 복잡한 공학을 통한 최첨단 벤치마크 추구가 아닌, 지속 학습을 위해 RFT 가 어떻게 적응될 수 있는지에 대한 기초적 탐구로 위치시킨다. 그들은 RaPO 가 MLLM 의 강력한 추론 및 적응 능력을 보존하면서 파국적 망각을 현저히 감소시키는 간단하고 효과적인 전략을 제공한다고 결론지으며, RFT 기반 지속 학습에 대한 추가 연구를 고무하기를 희망한다.