🤖 machine learning

When Does Continual Learning Require Learning

이 논문은 대규모 언어 모델을 위한 지속 학습이 공간적 및 시간적 변화 속에서 역량을 높이는 방향으로 재정의되어야 한다고 주장하며, 통합된 평가 프로토콜을 통해 단일 방법론이 모든 시나리오에서 탁월할 수는 없으며, 모델 가중치를 업데이트하는 것이든 외부 스캐폴딩을 사용하는 것이든 최적의 전략은 근본적으로 환경 변화의 특정 패턴에 달려 있다는 점을 입증한다.

원저자: Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

게시일 2026-07-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게는 특정 날짜까지의 모든 것을 알고 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 당신은 세상이 변함에 따라 로봇에게 새로운 것들을 계속 가르치고 싶지만, 로봇이 예전에 배운 것을 잊어버리거나 혼란에 빠지게 하고 싶지는 않습니다. 오랫동안 과학자들은 가장 큰 문제가 단순히 "망각"—마치 역사 시험을 공부한 학생이 수학 문제를 푸는 법을 즉시 잊어버리는 것과 같은 현상—이라고 생각했습니다. 하지만 "언제 지속적 학습이 학습을 필요로 하는가(When Does Continual Learning Require Learning)"라는 제목의 이 논문은 진짜 과제가 훨씬 더 흥ًا롭다는 점을 주장합니다. 그것은 바로 세상이 변하는 방식에 따라 로봇이 어떻로 배워야 하는지를 파악하는 것입니다.

저자들은 여덟 가지 서로 다른 학습 전략을 테스트하기 위해 네 가지 유형의 "세상 변화"가 있는 거대한 놀이터를 설정했습니다. 그들은 단순히 추측한 것이 아니라, 특정 로봇의 뇌(Qwen3-8B)를 사용하여 실제 실험을 수행하고 정확히 어떤 일이 일로 일어나는지 관찰했습니다. 연구 결과는 다음과 같이 네 가지 세상 변화 방식에 따라 나누어집니다.

1. "새로운 주제" 도전 (공간)

당신의 로봇 친구가 자동차를 수리하는 데는 능숙하지만, 갑자기 당신이 이탈리아 요리를 해달라고 하거나, 나중에 외과 수술을 수행해 달라고 요청한다고 상상해 보세요. 이것들은 완전히 다른 기술들입니다.

테스트: 그들은 로봇에게 도구 사용, 금융 수학, 생물학이라는 전혀 관련 없는 세 가지 작업을 가르쳤습니다.
결과: 프롬프트 최적화(Prompt Optimization)(채팅 메시지를 통해 로봇에게 새로운 지침을 전달하는 방식)와 같은 방법들은 단거리 선수 같았습니다. 그들은 새로운 작업을 매우 빠르게 배웠습니다. 하지만 다음 작업으로 넘어가자마자 이전 작업들에 대한 능력이 크게 저하되었습니다. 이는 마치 100미터 달리기를 기록적인 속도로 완주한 직후에 바로 넘어지는 단거리 선수와 같았습니다.
승자: 실제로 로봇의 뇌를 다시 쓰는(Rewriting the brain) 방식(SDFT 및 SDPO와 같은 "증류 기반(Distillation-based)" 방식)은 더 느렸지만 훨씬 더 꾸준했습니다. 이 방식들은 시간이 흐름에 따라 지식을 축적할 수 있었습니다. 특히, SDFT는 세 가지 작업 모두에서 처음부터 시작했을 때보다 높거나 같은 점수를 유지하며, 기존의 기술을 유지하면서도 새로운 기술을 성공적으로 추가한 유일한 방법이었습니다.

2. "사실 업데이트" 도전 (시간: 불연속적)

이제 로봇이 "프랑스의 수도는 파리이다"라는 사실을 알고 있다고 상상해 보세요. 그런데 기묘한 운명의 장난으로, 수도가 실제로 리옹(Lyon)으로 바뀌었다고 칩시다(가정입니다!). 로봇은 파리가 과거의 수도였다는 사실이나 런던이 영국의 수도라는 사실을 잊지 않으면서, 오직 이 하나의 사실만을 업데이트해야 합니다.

테스트: 그들은 매달 특정 사실이 변하는 위키피디아 업데이트 스트림을 로봇에게 제공했습니다.
결과: "단거리 선수들"(프롬프트 최적화)은 새로운 사실을 즉시 배우는 데 뛰어났습니다. 그들은 지침에 "리옹"이라고 적어 넣고 끝냈습니다. 하지만 그렇게 하는 과정에서 독일의 수도처럼 변하지 않은 다른 사실들을 실수로 망가뜨렸습니다. 그들은 너무 성급하게 업데이트하려고 했습니다.
놀라운 점: 뇌를 다시 쓰는 방식(SDFT 및 SDPO)은 여기서 오히려 고전했습니다. 이들은 새로운 사실을 기존의 사실과 혼합하려고 시도하다가, 안정적으로 유지되어야 할 사실들의 정확도를 떨어뜨리고 말았습니다.
진정한 영웅: **강화 학습(Reinforcement Learning)**을 사용하는 특정 방법(GRPO)이 안정적인 사실들이 반대 방향으로 움직이지 않도록 하면서 사실을 "리옹"으로 업데이트할 수 있었던 유일한 가중치 업데이트(Weight-update) 방식이었습니다. 그러나 문맥 압축(Context Compression) 방식(Cartridges와 같은)이 새로운 사실을 아주 잘 배우지는 못했을지라도, 안정적인 사실들을 가장 깨끗하게 보존했다는 점은 주목할 만합니다.

3. "노이즈가 섞인 트렌드" 도전 (시간: 표류)

10,000단어 분량의 금융 보고서를 바탕으로 주식이 오를지 내릴지를 예측하려고 한다고 상상해 보세요. 시장의 규칙은 수년에 걸쳐 천천히 변합니다. 때로는 어떤 문구가 "매수"를 의미하지만, 5년 후에는 똑같은 문구가 "매도"를 의미할 수도 있습니다. 신호는 약하고 노이즈가 많습니다.

테스트: 그들은 로봇에게 2015년부터 2020년까지의 금융 보고서를 1년 단위로 입력하고 미래를 예측하도록 했습니다.
결과: "단거리 선수들"(프롬프트 최적화)은 "위험(risk)"이라는 단어가 나타나면 "매도"한다는 식의 단순한 규칙을 찾으려 했습니다. 하지만 이러한 규칙들은 그 특정 연도에만 운 좋게 맞았던 추측에 불과했습니다. 시장이 변하자 로봇은 완전히 실패했습니다.
승자: 증류(Distillation) 방식(SDFT)은 과거의 성과를 안정적으로 유지하면서 미래 연도를 예측하는 능력을 잘 유지했습니다. 그러나 문맥 압축 방식(Cartridges)은 테스트된 방식 중 가장 안정적이었으며, 성능이 저하되거나 과적합(Overfitting)되지 않고 전체 과정 동안 일정한 정확도를 유지했습니다. 이는 마치 파도에 당황하지 않고 바다의 느린 변화를 아는 현명한 노련한 선원과 같았습니다.

4. "에이전트" 도전 (시간: 누적)

마지막으로, 로봇이 "라벨을 생성하고, 이름을 바꾸고, 이메일을 보낸다"와 같은 일련의 단계를 수행해야 하는 게임을 하고 있다고 상상해 보세요. 문제는 로봇의 자신의 행동이 다음 단계의 게임 상태를 변화시킨다는 것입니다. 만약 1단계에서 실수하면 2단계는 불가능해집니다.

테스트: 그들은 웹 작업(이메일 관리 등)의 체인을 만들고, 이 체인의 길이가 1단계에서 10단계까지 늘어나도록 하여 로봇을 테스트했습니다.
결과: 학습 없이는 로봇은 몇 단계 만에 무너지고 말 것입니다. 하지만 로봇이 과거의 시도로부터 배우게(학습하게) 했을 때(뇌를 업데이트하거나 "플레이북" 형태의 노트를 보관하는 방식 모두), 로봇은 훨씬 더 나아졌습니다.
함정: 학습을 하더라도, 체인이 길어질수록 로봇은 점점 더 나빠졌습니다. 10단계에 도달했을 때 성공률은 급격히 떨어졌습니다. 이는 학습이 도움이 되기는 하지만, 게임이 복잡해질 때 로봇이 기억 속에 담을 수 있는 능력에는 한계가 있음을 시사합니다.

핵심 결론

이 논문은 로봇이 영원히 학습할 수 있도록 가르치는 데 있어 단 하나의 "마법의 탄환"은 없다는 점을 시사합니다.

세상이 새로운 기술을 주는 방식으로 변한다면, 당신은 뇌를 천천히 그리고 꾸준하게 다시 써야 합니다 (특히 SDFT와 같은 방법을 사용하여).
세상이 특정 사실을 업데이트하는 방식으로 변한다면, 당신은 뇌를 정교하게 수술하듯 편집할 수 있는 방법(GRPO와 같은)이 필요하거나, 다른 것들을 망가뜨리지 않기 위해 외부 메모리를 사용해야 합니다.
세상이 느리고 노이즈가 섞인 트렌드로 변한다면, 당신은 노이즈를 무시하고 안정적인 패턴을 찾아내는 방법(Cartridges 또는 SDFT와 같은)이 필요합니다.
세상이 누적되는 상태(긴 게임과 같은)로 변한다면, 당신에게는 경험이 필요하지만, 그럼에도 게임이 길어질수록 점점 더 어려워집니다.

저자들은 단순히 추측한 것이 아니라, 수천 개의 사례를 통해 이를 측정했습니다. 그들은 서로 다른 유형의 변화에는 근본적으로 다른 학습 방식이 필요하다는 것을 발견했습니다. 단순히 "더 많이 배우는 것"이 중요한 것이 아니라, 게임의 규칙이 바뀔 때 어떻게 배워야 하는지를 아는 것이 핵심입니다.

기술적 요약: 언제 지속적 학습(Continual Learning)이 학습을 필요로 하는가

문제 정의

본 논문은 현재 거대 언어 모델(LLM)에서의 지속적 학습(CL) 프레임스(framing)가 불완전하다고 주장한다. 전통적으로 CL은 파괴적 망각(catastrophic forgetting)—즉, 작업 A를 잃지 않으면서 작업 B를 배우는 것—을 완화하는 문제로 정의되어 왔다. 저자들은 이러한 관점이 모델이 변화하는 세상에 맞춰 역량을 높여야 하는 현대의 LLM 배포 환경에는 불충분하다고 주장한다. 이들은 다음과 같이 재정의할 것을 제안한다: 지속적 학습은 세상이 변함에 따라 모델의 역량을 높이는 문제이다.

이를 분석하기 위해, 저자들은 환경 변화를 두 가지 축을 따라 분리한다:

공간 (도메인 시프트/Domain Shift): 모델이 새로운 도메인이나 작업에 직면하는 경우 (예: 도구 사용에서 금융으로 이동).
시간 (시간적 드리프트/Temporal Drift): 작업 자체는 고정되어 있으나 기저의 데이터 분포가 변하는 경우. 이는 다시 다음과 같이 세분화된다:
- 느린 추세 (Slow Trends): 지속적인 구조와 정렬이 필요한 점진적 변화 (예: 연간 재무 보고서).
- 이산적 사실 변화 (Discrete Fact Changes): 안정적인 지식을 손상시키지 않으면서 특정 지식에 대한 갑작스러운 업데이트가 필요한 경우 (예: 위키피디아 수정).
- 에이전트적 축적 (Agentic Accumulation): 에이전트 자신의 이전 행동의 직접적인 결과로 환경의 상태가 변하는 경우 (예: 다단계 웹 네비게이션). 이는 모델이 어떤 믿음이 구식인지 결정해야 하는 "프레임 문제(frame problem)"를 생성한다.

방법론

저자들은 CL 방법들을 동등한 선상에서 평가하기 위해 **통합된, 메커니즘 불가지론적 프로토콜(unified, mechanism-agnostic protocol)**을 도입한다. 특정 업데이트 메커니즘에 맞춰 벤치마크를 설계하는 대신, 널리 사용되는 LLM 벤치마크를 순차적 문제로 재구성하였다.

프로토콜:

학습자는 단계 $T_1, \dots, T_K$ 를 정해진 순서대로 처리한다.
단계 사이에는 업데이트 연산자 $\theta_k = U_k(\theta_{k-1}, D^{\text{tr}}_k)$ 가 적용된다.
$U_k$ 는 제한이 없다: 가중치를 수정하거나, 시스템 프롬프트를 편집하거나, 외부 메모리에 기록하거나, 혹은 업데이트를 수행하지 않을 수도 있다.
평가: 단계 $i$ $i$ 에서 모델을 모든 단계 $j$ $j$ 의 테스트 세트에 대해 평가하여 "망각 행렬(forgetting matrix)"을 생성한다. 이를 통해 두 가지 지표를 얻는다:
- 역방향 전이 (Backward Transfer, BWT): 후기 단계가 초기 단계를 손상시키는지 측정한다.
- 순방향 전이 (Forward Transfer, FWT): 이전 단계가 미래의 보이지 않는 단계들을 준비시키는지를 측정한다.

평가된 방법들:
Qwen3-8B 백본을 대상으로 네 가지 계열, 총 8가지 방법을 테스트하였다:

프롬프트 최적화 (Prompt Optimization): GEPA (반성 및 변형), ACE (마크다운 플레이북).
오프라인 지도 학습 (Offline Supervised Learning): SFT (전체 미세 조정), SDFT (자기 증류).
온라인 강화 학습 (Online Reinforcement Learning): GRPO (그룹 상대 정책 최적화), SDPO (순차적 DPO).
컨텍스트 압축 (Context Compression): Cartridges (학습된 KV 캐시 어댑터), In-place TTT (테스트 시간 훈련).

실험 설정:

도메인 시프트 (Domain Shift): ToolUse, FinQA, SciKE-Bio에 대한 순차적 학습.
이산적 사실 업데이트 (TempWiki): 위키피디아 차이(diff)로부터 새로운 사실을 학습하면서, 안정적인 사실을 모니터링하여 "파괴적 암기(catastrophic memorizing)"를 감지.
노이즈가 있는 시간적 드리프트 (Noisy Temporal Drift): 10-K 공시 자료(2015~2020)로부터 주가 움직임을 예측. 신호가 약하고 체제(regime)가 변하는 환경.
에이전트적 작업 (Agentic Tasks): 상태가 단계 간에 지속되는 WebArena-Infinity (예: Gmail) 상의 순차적 체인.

주요 결과

연구는 방법론 계열 간의 일관된 트레이드오프를 드러내며, 모든 레짐(regime)을 처리할 수 있는 단일 접근법은 없음을 시사한다:

프롬프트 기반 방법 (GEPA, ACE):
- 강점: 새로운 단계에 빠르게 적응하며 강력한 역방향 정확도를 달성한다.
- 약점: 미래의 작업에 대해 심각한 파괴적 망각을 겪는다. TempWiki 설정에서 이들은 새로운 사실에 맞추기 위해 안정적인 지식을 덮어쓴다. 10-K 작업에서 이들은 일시적인 휴리스틱에 과적합되어 순방향 일반화에 실패한다.
- 에이전트적: ACE는 절차적 가이드를 축적함으로써 제로샷 베이스라인보다 개선된 성능을 보인다.
증류 기반 방법 (SDFT, SDPO):
- 강점: 과거의 능력을 최소한으로 저하시키면서 시간을 두고 지식을 안정적으로 축적한다. SDFT는 모든 도메인 시프트 작업에서 제로샷 베 是否(baseline)를 유지하거나 능가하는 유일한 방법이다.
- 약점: 새로운 정보를 빠르게 통합하거나 오래된 사실을 업데이트하는 데 어려움을 겪는다. TempWiki 설정에서 이들은 새로운 데이터를 보간하려 할 때 안정적인 사실을 저하시킨다. 노이즈가 있는 시간적 드리프트(10-K)에서 강한 순방향 전이를 보이지만, 이산적 사실 업데이트를 효과적으로 학습하는 데는 실패한다.
컨텍스트 압축 (Cartridges, In-place TTT):
- 강점: 효율성과 메모리 관리를 개선한다. 프롬프트 방법보다 도메인 시프트에 덜 민감하다.
- 약점: 새로운 작업을 학습하거나 능력을 축적하는 능력을 실질적으로 향상시키지는 못한다. 10-K 작업에서 이들은 습득하지도 저하시키지도 않으며, 느리게 움직이는 추세를 흡수하는 데 실패한다.
온라인 강화 학습 (GRPO, SDPO):
- 강점: 이산적 지식 업데이트(TempWiki)에 가장 효과적으로 적응한다. GRPO는 안정적인 지식을 더 잘 보존하면서 새로운 사실을 학습하는 데 있어 가장 가파른 이득을 보인다.
- 약점: 노이즈가 있는 보상 신호에 매우 민감하다. 10-K 작업에서 GRPO는 약하고 노이즈가 많은 보상 때문에 과거와 미래 연도 모두에서 크게 저하된다.
에이전트적 축적 (Agentic Accumulation):
- 프롬프트 기반(ACE)과 가중치 기반(SFT) 방법 모두 경험을 결합하여 모든 체인 길이에서 제로샷 베이스라인을 능가한다. 그러나 절대적인 성공도는 체인이 길어짐에 따라 감소하며, 이는 축적된 상태가 결국 모델의 행동 근거(grounding) 능력을 압도함을 나타낸다.

핵심 기여

통합 프레임워크: 지속적 학습을 시간(도메인, 드리프트, 사실, 에이전트 상태) 축을 따라 변화하는 역량 증가로 공식화하였다.
메커니즘 불가지론적 프로토콜: 프롬프트, 가중치, 아키텍처 업데이트를 공통의 백본 위에서 공정하게 비교할 수 있는 프로토콜을 도입하였다.
순차적 벤치마크 스위트: 현실적인 CL 평가를 위해 표준 벤치마크(FinQA, 10-K, TempWiki, WebArena)를 순차적 작업으로 변형하였다.
경험적 트레이드오프 분석: 서로 다른 환경 변화 패턴이 근본적으로 다른 업데이트 동작을 요구함을 입증하였다. 프롬프팅은 빠르지만 불안정하고, 증류는 안정적이지만 업데이트가 느리며, RL은 사실에는 잘 적응하지만 노이즈에는 실패하고, 압축은 효율성을 돕지만 학습을 돕지는 않는다.

의의 및 주장

본 논문은 지속적 학습은 단일한 능력이 아니다라고 주장한다. 저자들은 분야의 초점이 "망각을 완화하는 것"에 맞춰져 있는 것이, 변화하는 세상에 적응해야 하는 실제 배포된 LLM의 실질적 요구사항과 어긋나 있다고 주장한다.

주요 의의는 환경 변화의 서로 다른 패턴이 근본적으로 다른 업데이트 동작을 요구한다는 발견에 있다.

세상이 이산적 사실을 통해 변할 때는 모델 가중치 내부(특히 RL 또는 타겟 업데이트)를 통한 학습이 필요하다.
세상이 느린 추세를 통해 변할 때는 과거의 구조를 보존하는 안정성 중심의 방법(증류 등)이 우수하다.
세상이 에이전트적 축적을 통해 변할 때는 외부 스캐폴딩(플레이북)이나 미세 조정이 도움이 될 수 있지만, 상태 복잡성이 증가함에 따라 한계에 부딪힌다.

저자들은 어떤 방법이 어디에서 성공하고 실패하는지를 이해하는 것이 더 강력한 지속적 학습 시스템을 설계하는 데 필수적이라고 결론짓는다. 이들은 새로운 알고리즘을 제안하는 것이 아니라, 환경 변화의 구체적인 성격에 따라 업데이트 메커니즘을 선택할 수 있도록 돕는 진단적 프레임워크를 제공한다.

한계점: 저자들은 자신들의 결론이 단일 모델(Qwen3-8B)과 특정 하위 집합의 환경 변화에 기반하고 있음을 명시한다. 이들은 결과가 더 큰 모델이나 추론 능력이 있는 모델에서는 달라질 수 있다고 경고하며, 실제 배포 환경은 테스트된 환경보다 훨씬 더 개방적이고 불확실한 환경임을 주의시킨다.