🤖 machine learning

Beyond Reasoning Gains: Mitigating General-Capability Forgetting in Large Reasoning Models

이 논문은 동적 목적 함수 재가중치를 적용한 엔드투엔드 리플레이 전략인 RECAP을 소개하며, 이는 강화 학습으로 훈련된 대규모 추론 모델의 일반 능력 망각을 효과적으로 완화하는 동시에 유연한 보상 트레이드오프를 통해 추론 성능을 향상시킨다.

원저자: Hoang Phan, Xianjun Yang, Yuanshun Yao, Jingyu Zhang, Shengjie Bi, Xiaocheng Tang, Madian Khabsa, Lijuan Liu, Deren Lei

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Hoang Phan, Xianjun Yang, Yuanshun Yao, Jingyu Zhang, Shengjie Bi, Xiaocheng Tang, Madian Khabsa, Lijuan Liu, Deren Lei

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "전문가"의 함정

당신이 무엇이든 요리할 수 있는 아주 유능하고 다재다능한 셰프를 고용했다고 상상해 보세요. 이 셰프는 완벽한 케이크를 굽고, 정교하게 채소를 다질 수 있으며, 심지어 주방의 새는 수도꼭지를 고칠 수도 있습니다(이는 모델의 수학, 시각, 일반 지식 처리 능력을 비유합니다).

그런 그 후, 당신은 이 셰프가 중요한 파이 먹기 대회에서 우승하도록 특화된 훈련을 시키기로 결정했습니다. 당신은 셰프를 파이 레시피와 포크를 잡는 엄격한 규칙만 있는 방에 가두고 훈련시킵니다.

그 결과는 어떨까요?
몇 주간의 집중 훈련 끝에, 셰프는 세계적인 수준의 파이 먹기 전문가가 되었습니다. 포크 규칙도 완벽하게 따릅니다. 하지만 파이 연습에만 모든 시간을 쏟은 나머지, 채소를 써는 법이나 수도꼭지를 고치는 법을 잊어버리기 시작합니다. 만약 당신이 양파를 썰어달라고 요청한다면, 셰프는 멍하니 바라보거나 양파를 통째로 삼키려 할지도 모릅니다.

AI의 세계에서도 정확히 이런 일이 일어나고 있습니다. 연구자들은 대규모 언어 모델(LLM)이 "추론"(수학 문제 풀기, 복잡한 논리 따르기)을 학습하도록 RLVR(검증 가능한 보상을 통한 강화 학습)이라는 기술을 사용하고 있습니다. 모델은 추론 능력 면에서 놀라운 발전을 보이지만, 이미지 속 사물을 인식하거나 이미지 내 텍스트를 읽거나, 안전하고 정직함을 유지하는 것과 같은 다른 기술들을 망각하기 시작합니다.

논문의 해결책: "RECAP"

저자들은 RECAP(Replay-Enhanced CApability Preservation)이라고 불리는 새로운 방법을 제안합니다. RECAP을 그 셰프를 위한 스마트한 훈련 일정이라고 생각하면 됩니다.

단순히 셰프에게 하루 종일 파이 레시피만 먹이는 대신, RECAP은 두 가지 일을 수행합니다:

기초 재현 (Replays the Basics): 셰프가 잊어버리지 않도록 가끔씩 예전의 "채소 썰기"나 "수도꼭지 고치기" 레시피를 다시 가져옵니다.
동적 가중치 조절 (Dynamic Weighting): 실시간으로 셰프의 진척도를 지켜보는 스마트한 코치 역할을 합니다.

"스마트 코치"의 작동 방식 (비유)

셰프가 동시에 세 가지를 연습하고 있다고 가정해 봅시다:

포크 규칙 (Format): 포크를 잡는 법.
맛 (Accuracy): 파이가 맛있는가?
뒷정리 (General Skills): 주방을 깨끗하게 유지하는 것.

일반적인 훈련 세션에서 코치는 "세 가지를 모두 똑같이 연습해!"라고 말할 수 있습니다. 하지만 이는 비효럽습니다.

포크 규칙은 쉽습니다. 셰프는 5분 만에 마스터합니다. 코치가 셰프에게 한 시간 동안 계속 이 연습을 시킨다면 그것은 시간 낭비입니다.
맛은 어렵습니다. 셰프는 이 부분에서 고전합니다.
뒷정리는 셰프가 딴 데 정신이 팔려 있어 엉망이 되어가고 있습니다.

RECAP의 코치는 데이터를 보고 이렇게 말합니다:

"이봐, 셰프는 이미 포크 규칙을 마스터했어. 이제 그 부분에 집중하는 건 그만하자(가중치를 낮춤). 대신 맛과 뒷정리에 더 많은 시간을 쓰자. 그 부분들이 아직 서툴거나 불안정하니까."

RECAP은 어떤 기술이 "포화 상태"(이미 학습됨)인지, 어떤 기술이 "변동성이 큰지"(서투르거나 급격히 변함)를 자동으로 감지합니다. 그리고 훈련의 초점을 어려워하거나 변화가 심한 기술으로 옮겨서, 모델이 쉬운 것에 과하게 몰입하다가 어려운 것을 잊어버리지 않도록 조절합니다.

연구 결과 (The Results)

연구진은 강력한 AI 모델(특히 Qwen2.5-VL 제품군)을 대상으로 테스트를 진행했습니다. 그들이 발견한 내용은 다음과 같습니다:

"망각"은 실재한다: 모델을 추론 작업에만 훈련시켰을 때, 모델은 수학 능력은 향상되었지만 이미지 속 텍ền트를 읽거나 사물을 인식하는 등의 능력은 현저히 떨어졌습니다.
RECAP이 구원하다: 동적 일정을 사용하여 훈련한 결과, 모델은 높은 추론 능력을 유지하면서도(때로는 오히려 개선되기도 함) 일반적인 기술들을 잃지 않았습니다. 실제로 RECAP을 사용한 모델은 표준 방식으로 훈련된 모델보다 일반 작업에서 더 나은 성능을 보이기도 했습니다.
효율성: RE-CAP으로 훈련된 모델은 단순히 똑똑해진 것뿐만 아니라, 더 효율적이 되었습니다. 시스템이 굳이 필요하지 않은 작업에 대해 "생각(긴 텍스트 체인 작성)"하도록 강요하지 않기 때문에, 모델은 더 짧고 직접적인 답변을 내놓기 시작했습니다.

핵심 요약 (The Takeaway)

이 논문은 우리가 AI 모델을 다른 모든 것을 무시한 채 오직 "추론 기계"로만 만들어서는 안 된다고 주장합니다. 그렇게 하면 AI는 현실 세계에서 도움이 되는 법을 잊어버린 '한 가지 기술만 가진 동물(one-trick pony)'이 되어 버립니다.

RECAP은 AI 훈련을 위한 균형 잡힌 식단 역할을 하는 간단한 플러그인 도구입니다. 이는 모델이 복잡한 퍼즐을 푸는 법을 배우는 동안에도, 세상을 보고 읽고 이해하는 법을 잊지 않도록 보장합니다. 즉, AI를 똑똑하게 만드는 동시에, 여전히 다재다능함을 유지하게 만드는 것입니다.

기술 요약: 추론 능력 향상을 넘어: 대규모 추론 모델의 일반 역량 망각 완화

문제 정의

강화 학습 기반 검증 가능한 보상(RLVR)은 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)의 추론 능력을 향상시키기 위한 표준적인 사후 학습(post-training) 패러다임이 되었습니다. 그러나 저자들은 결정적인 실패 모드인 **일반 역량 망각(general-capability forgetting)**을 식별했습니다. RLVR은 특정 추론 작업(예: 수학, 논리적 연역)에 대한 성능을 효과적으로 개선하지만, 시각적 인지, 사실적 근거 제시, 강건성(robustness)과 같이 사전 학습 단계에서 습득한 기초적인 기술의 심각한 퇴보를 초래하는 경우가 많습니다.

본 논문의 실증적 관찰에 따르면, 오픈 소스 추론 모델들은 비추론 벤치마크(예: 이미지 미학, 시공간 추론, OCR, 분포 변화에 대한 강건성)에서 베이스 모델보다 성능이 떨어지는 경우가 빈번합니다. 저자들은 기존의 완화 전략인 KL-divergence 정규화가 불충분하다고 지적하는데, 이는 해당 전략이 현재의 작업에 대해서만 계산되며 더 넓고 이질적인 지식의 보존을 보장하지 못하기 때문입니다. 또한, 이질적인 도메인 간의 표준적인 경험 재생(experience replay)은 목표 불균형(objective imbalance) 문제에 직면합니다. 즉, 서로 다른 목적 함수들이 매우 다른 속도로 수렴하기 때문에, 추론 보상과 일반 역량 손실 사이의 최적의 가중치를 결정하는 것은 쉽지 않은 문제입니다.

방법론: RECAP

이러한 문제를 해결하기 위해 저자들은 일반 역량 데이터를 RLVR 파이프라인에 **동적 목표 재가중치 메커니즘(dynamic objective reweighting mechanism)**과 함께 통합하는 엔드 투 엔드 학습 전략인 RECAP(Replay-Enhanced CApability Preservation)을 제안합니다.

핵심 구성 요소

재생 전략(Replay Strategy): RECAP은 미세 조정(fine-tuning) 중에 일반 도메인 데이터(예: 객체 탐지, 세그멘테이션, OCR)를 타겟 추론 데이터와 교차하여 배치합니다. 이를 통해 모델이 비추론 작업에 지속적으로 노출되도록 하여 치명적 망각을 방지합니다.
동적 재가중치 메커니즘(Dynamic Reweighting Mechanism): 정적 또는 수동으로 조정된 가중치를 사용하는 대신, RECAP은 개별 목적 함수의 수렴 동작과 불안정성을 기반으로 온라인 상에서 손실 계수를 적응시킵니다.
- 수렴 속도( $c_k$ ): 현재 슬라이딩 윈도우의 평균 손실을 이전 윈도우와 비교하여 측정합니다. 비율이 1에 가까우면 포화 상태(목표가 학습됨)를 의미하며, 1보다 크면 최근에 개선이 이루어지고 있음을 나타냅니다.
- 불안정성( $i_k$ ): 슬라이딩 윈도우 내에서의 변동 계수(평균 대비 표준 편차)로 측정됩니다. 높은 불안정성은 해당 목적 함수가 휘발적이며 더 많은 집중이 필요함을 시사합니다.
- 우선순위 점수: 목적 함수 $k$ 에 대한 우선순위 점수는 $s_k = c_k + i_k$ 로 정의됩니다.
- 소프트맥스 재가중치(Softmax Reweighting): 가중치 $\lambda_k$ 는 우선순위 점수에 대해 온도 제어 소프트맥스를 사용하여 계산됩니다:
  $\lambda_k = \frac{K \exp(s_k / T)}{\sum_{j=1}^K \exp(s_j / T)}$
  엔트로피 정규화된 우선순위 할당 문제에서 유도된 이 공식은, 포화된 저분산 목적 함수(예: 형식 준수와 같이 빠르게 수렴하는 것)의 가중치는 자연스럽게 낮추고, 성능이 미흡하거나 분산이 큰 목적 함수(예: 추론 정확도나 인지 능력)로 역량을 전환합니다.

이론적 토대

본 논문은 RECAP 재가중치 규칙이 엔트로피 정규화된 우선순위 할당 문제의 폐쇄형 해(closed-form solution)임을 입증합니다. 이는 소프트맥스 기반 가중치 산출에 대한 이론적 정당성을 제공하며, 할당이 단일 목적에만 집중되는 퇴보적 솔루션을 피하면서 우선순위 점수가 높은 목적 함수를 우선시하도록 보장합니다.

주요 기여

체계적 재평가: 저자들은 추론 중심의 미세 조정이 여러 오픈 소스 모델(Qwen2.5-VL 제품군)에서 일반 역량(인지, 강건성)의 퇴보를 지속적으로 유발한다는 것을 체계적으로 입증했습니다.
RECAP 알고리즘: 수렴 및 불안정성 신호를 기반으로 목적 함수를 동적으로 재가중하는 플러그인 스케줄러를 도입했습니다. 이 방법은 별도의 보조 모델을 필요로 하지 않고, 규모에 무관하며(magnitude-agnostic), 기존 RLVR 파이프라인(특히 GRPO)에 최소한의 오버헤드로 원활하게 통합됩니다.
성능 향상: 이 방법은 일반 역량을 보존할 뿐만 아니라, 태스크 내 보상과 어려운 신호(예: 정확도) 사이의 과최적화를 피함으로써 더 유연한 트레이드오프를 가능하게 하여 추론 성능을 향상시킵니다.

실험 결과

저자들은 Qwen2.5-VL-3B 및 Qwen2.5-VL-7B를 대상으로 두 가지 설정("RLVR 전용" 및 "하이브리드"(RLVR과 SFT 방식의 결합))에서 RECAP을 평가했습니다.

일반 역량 보존: RLVR 전용 설정에서, RECAP은 추론 전용 베이스라인이 심각한 성능 저하를 보인 인지 및 강건성 벤치마크(예: A-OKVQA, VisOnly, OCRBench)에서 성능을 보존하거나 향상시켰습니다. 예를 들어, LISA 세그멘테이션 벤치마크에서 추론 전용 미세 조정은 성능이 65.13에서 57.58로 떨어졌으나, RECAP은 67.24를 유지하여 베이스 모델을 능가했습니다.
추론 성능: RECAP은 추론 전용 미세 조정과 대등하거나 이를 능가하는 추론 성능을 보여주었습니다. ScienceQA 벤치마크에서 RECAP은 71.59의 점수를 기록하여 베이스 모델(6.20) 및 여러 오픈 소스 추론 베이스라인을 앞질렀습니다.
효율성 및 간결성: 동적 재가중치는 더 효율적인 추론을 이끌어냈습니다. RECAP으로 학습된 모델은 정확도를 해치지 않으면서도 추론 과정의 평균 길이(추론 작업에서 약 67단어에서 약 27단어로 감소)를 현저히 줄여, 추론 지연 시간과 컴퓨팅 비용을 절감했습니다.
베이스라인과의 비교: RECAP은 다음을 포함한 강력한 베이스라인들을 일관되적으로 능가했습니다:
- 추론 전용(Reasoning-only): 심각한 망각 현상을 겪음.
- Uniform/PropMix: 정적 가중치를 사용하여 수렴 속도에 적응하지 못함.
- LwF (Learning without Forgetting): KL 정규화를 사용했으나 RECAP에 비해 낮은 추론 점수를 기록함.
- MoDoMoDo: 프록시 모델과 수동 튜닝이 필요한 복잡하고 계산 비용이 많이 드는 베이스라인.

의의 및 주장

본 논문은 RECAP이 "추론 vs 일반 역량"의 트레이드오프에 대한 원칙적이고 오버헤드가 적은 솔루션을 제공한다고 주장합니다. 포화된 목적 함수(형식 준수 등)에서 변동성이 크거나 미흡한 목적 함수(정확도 및 인지 등)로 사후 학습의 초점을 전환함으로써, RECAP은 모델이 "인지하는 법을 잊지 않으면서" "추론하는 법을 배우도록" 합니다.

저자들은 이 방법이 엔드 투 엔드 방식이며 추가적인 보상 모델 학습이나 과도한 하이퍼파라미터 튜닝을 요구하지 않는다는 점을 강조합니다. 그들은 RECAP을 사후 학습 파이프라인의 필수적인 진화로 규정하며, 좁은 범위의 추론 보상만을 최적화하는 것은 현실의 이질적인 시나리오에서 실패하는 취약한 모델을 만든다고 주장합니다. 이 연구는 현재의 추론 모델에서 관찰되는 "망각"이 RLVR의 불가피한 부작 side effect가 아니라, 동적 목적 관리(dynamic objective management)를 통해 해결 가능한 최적화 문제임을 시사합니다.