🤖 machine learning

TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents

이 논문은 멀티턴 에이전트 환경에서 온폴리시 증류(OPD) 시 발생하는 오류 누적으로 인한 학습 불안정성(Trajectory-Level KL Instability) 문제를 해결하기 위해, 궤적의 길이를 점진적으로 늘려가는 커리큘럼 학습 방식인 TCOD를 제안하여 에이전트의 성능과 학습 안정성을 크게 향상시켰습니다.

원저자: Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "처음부터 10첩 반상을 만들라고요?" (기존 방식의 한계)

기존의 AI 학습 방식(Vanilla OPD)은 마치 **'천재 요리사(선생님 모델)'**가 옆에서 지켜보며, **'초보 요리사(학생 모델)'**에게 실시간으로 피드백을 주는 것과 같습니다.

그런데 문제가 하나 있습니다. 초보 요리사에게 처음부터 "자, 이제 1시간 안에 코스 요리 10개를 완벽하게 만들어봐!"라고 시키는 격이죠.

실수의 연쇄 반응 (Compounding Errors): 초보 요리사가 첫 번째 요리에서 소금을 너무 많이 넣었습니다. 그럼 그다음 요리부터는 맛이 엉망이 되겠죠? 요리가 진행될수록 실수는 눈덩이처럼 불어납니다.
멘붕 상태 (KL Instability): 요리가 뒤로 갈수록 맛이 형편없어지니, 천재 요리사는 "이건 도저히 못 봐주겠네!"라며 화를 내거나(KL Divergence 급증), 아예 가르침을 포기해 버립니다. 결국 초보 요리사는 요리 자체를 포기하고 망쳐버리게 됩니다(성공률 급락).

2. 해결책: TCOD - "단계별 요리 커리큘럼"

연구진은 이 문제를 해결하기 위해 **TCOD(Temporal Curriculum On-Policy Distillation)**라는 똑똑한 교육법을 제안했습니다. 핵심은 **"처음부터 끝까지 다 하라고 하지 말고, 조금씩 범위를 넓혀가자!"**는 것입니다.

이 방식에는 두 가지 똑똑한 전략이 있습니다.

① 전략 A: "앞에서부터 차근차근" (TCOD-F2B)

처음에는 딱 **'재료 손질하기'**만 배우게 합니다. 그다음엔 **'재료 손질 + 볶기'**를 배우고, 마지막엔 **'전체 요리 완성하기'**를 배웁니다.

비유: 처음엔 짧은 레시피부터 시작해서, 실력이 늘수록 점점 긴 레시피로 난이도를 높이는 방식입니다. 실수가 쌓여서 요리를 망치기 전에, 일단 짧은 단계부터 완벽하게 익히게 만드는 것이죠.

② 전략 B: "결과부터 거꾸로" (TCOD-B2F)

이게 아주 기발합니다. 천재 요리사가 요리의 **'90% 정도는 미리 다 해놓은 상태'**에서 초보 요리사를 불러옵니다. 그리고 "자, 이제 마지막에 접시에 담기만 해봐!"라고 시킵니다.

비유: 요리의 마지막 단계(성공 직전)부터 시작해서, 점점 더 앞 단계(재료 준비 단계)로 거슬러 올라가며 배우는 것입니다. 이렇게 하면 초보 요리사가 중간에 실수를 해서 요리를 망칠 확률이 확 줄어들고, "성공하는 법"을 아주 가까이서 경험할 수 있습니다.

3. 결과: "스승을 뛰어넘는 제자"

이 커리큘럼을 적용했더니 놀라운 결과가 나왔습니다.

안정적인 학습: AI가 중간에 멘붕(KL 폭발)에 빠지지 않고 차분하게 학습합니다.
압도적인 실력 향상: 기존 방식보다 성공률이 훨씬 높아졌고, 학습 시간도 32%나 단축되었습니다.
스승을 넘어서다: 가장 놀라운 점은, 선생님 AI조차 어려워하는 문제들을 학생 AI가 스스로 해결하기 시작했다는 것입니다. 단순히 스승을 흉내 내는 것을 넘어, 스스로 응용하는 법을 깨우친 것이죠.

요약하자면?

이 논문은 **"AI에게 너무 어려운 과제를 한꺼번에 던져주면 학습이 망가진다"**는 사실을 발견하고, **"쉬운 단계부터 차근차근, 혹은 성공 직전의 단계부터 거꾸로 가르치는 '단계별 커리큘럼'이 AI를 훨씬 똑똑하게 만든다"**는 것을 증명한 연구입니다.

[기술 요약] TCOD: 멀티턴 자율 에이전트를 위한 온폴리시 증류의 시간적 커리큘럼 탐색

1. 문제 정의 (Problem Statement)

최근 거대 언어 모델(LLM)의 추론 능력을 작은 모델로 전이하기 위해 **온폴리시 증류(On-Policy Distillation, OPD)**가 핵심 패러다임으로 부상했습니다. 기존 OPD는 수학 문제 풀이나 단답형 질의응답과 같은 단일 턴(Single-turn) 작업에서는 효과적이지만, 에이전트가 환경과 상호작용하며 긴 호흡으로 행동해야 하는 멀티턴(Multi-turn) 자율 에이전트 환경에서는 심각한 한계가 있음이 발견되었습니다.

본 논문은 이 문제를 **"궤적 수준의 KL 불안정성(Trajectory-Level KL Instability)"**이라고 정의합니다.

오차 누적(Compounding Errors): 학생 모델이 매 턴 생성하는 행동에 미세한 오류가 발생하면, 이 오류가 다음 턴의 상태(State)에 영향을 주어 누적됩니다.
KL 발산 및 성공률 급락: 오류가 누적됨에 따라 학생 모델은 교사 모델(Teacher)이 학습한 데이터 분포를 벗어난 상태(Out-of-distribution)로 밀려나게 됩니다. 이로 인해 교사 모델의 지도 신호(Supervision signal)가 신뢰할 수 없게 되어, 학습 과정에서 KL 발산(Divergence)이 급증하고 에이전트의 작업 성공률은 0에 가깝게 급락하는 현상이 발생합니다.

2. 제안 방법론 (Methodology: TCOD)

저자들은 커리큘럼 학습(Curriculum Learning) 개념을 도입하여, 학생 모델이 처음부터 긴 궤적을 학습하는 대신 상호작용의 깊이(Trajectory Depth)를 점진적으로 확장하도록 하는 TCOD(Temporal Curriculum On-Policy Distillation) 프레임워크를 제안합니다.

TCOD는 두 가지 실용적인 변형 모델을 제공합니다:

TCOD-F2B (Forward-to-Backward):
- 개념: "얕은 곳에서 깊은 곳으로" 학습하는 방식입니다.
- 작동 원리: 학습 초기에는 학생 모델이 아주 짧은 단계( $k$ steps)만 수행하도록 제한합니다. 학습이 진행됨에 따라 $k$ 를 점진적으로 늘려 최종적으로는 전체 작업(Full horizon)을 수행하게 합니다.
- 장점: 초기 단계에서 안정적인 행동 패턴을 먼저 학습함으로써 오차 누적을 방지합니다.
TCOD-B2F (Backward-to-Forward):
- 개념: "결과에서 시작점으로" 학습하는 방식입니다.
- 작동 원리: 교사 모델이 성공적인 궤적의 앞부분을 미리 실행하여 에이전트를 작업 완료 직전의 상태(Near-terminal state)로 데려다 놓습니다. 학생 모델은 그 지점부터 남은 $k$ 단계를 수행하며 학습합니다. 학습이 진행됨에 따라 교사가 수행하는 단계는 줄어들고, 학생이 직접 수행해야 하는 단계는 늘어납니다.
- 장점: 교사가 검증한 성공적인 상태에서 시작하므로, 초기 단계의 오차 누적 문제를 원천적으로 회피할 수 있습니다.

3. 주요 기여 (Key Contributions)

새로운 문제 발견: 멀티턴 에이전트 학습 시 발생하는 '궤적 수준의 KL 불안정성'과 '오차 누적 메커니즘'을 이론적/실험적으로 규명했습니다.
효율적인 커리큘럼 설계: 복잡한 외부 난이도 측정 모델 없이, 오직 상호작용 단계(Step)의 수만을 조절하여 매우 단순하면서도 강력한 커리큘럼 학습 프레임워크를 제안했습니다.
학습 효율성 및 안정성 증대: 기존 OPD 대비 학습 안정성을 높였을 뿐만 아니라, 전체 학습 시간을 최대 32% 단축했습니다.

4. 실험 결과 (Results)

ALFWorld, WebShop, ScienceWorld 등 세 가지 멀티턴 에이전트 벤치마크에서 실험을 진행했습니다.

성능 향상: Vanilla OPD 대비 에이전트의 성공률(Success Rate)을 최대 18포인트 향상시켰습니다. 특히 작은 모델(Qwen3-1.7B 등)이 OPD 학습 시 성능이 0으로 수렴하던 문제를 해결하여 성공적으로 복구시켰습니다.
교사 모델 초월(Generalization): 가장 놀라운 결과 중 하나는, 교사 모델조차 실패하는 어려운 작업(Hard split)에서 학생 모델이 교사보다 높은 성공률을 기록했다는 점입니다. 이는 TCOD가 단순한 모방을 넘어 더 견고한 정책(Robust policy)을 학습할 수 있음을 보여줍니다.
안정성 및 효율성: KL 발산이 급증하지 않고 안정적으로 유지되었으며, 행동 단계(Action rounds)를 평균 2.97단계 줄여 더 효율적인 에이전트를 만들었습니다.

5. 의의 (Significance)

본 논문은 LLM 기반 에이전트의 학습이 단순히 "더 큰 모델을 따라 하는 것"을 넘어, **"어떻게 시간적 흐름(Temporal flow)에 따라 지식을 전달할 것인가"**가 매우 중요하다는 것을 시사합니다. TCOD는 복잡한 강화학습 알고리즘의 수정 없이도 멀티턴 환경의 고질적인 문제인 오차 누적을 해결할 수 있는 실용적인 해법을 제시함으로써, 향후 장기적 목표를 수행하는 자율 에이전트 학습의 중요한 이정표를 마련했습니다.