💬 NLP

TodoEvolve: Learning to Architect Agent Planning Systems

TodoEvolve는 고정된 계획 구조의 한계를 극복하기 위해, 다양한 계획 패러다임을 표준화한 PlanFactory를 기반으로 작업에 최적화된 계획 아키텍처를 스스로 설계하고 동적으로 수정하는 메타 계획(meta-planning) 패러다임을 제안합니다.

원저자: Jiaxi Liu, Yanzuo Jiang, Guibin Zhang, Zihan Zhang, Heng Chang, Zhenfei Yin, Qibing Ren, Junchi Yan

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaxi Liu, Yanzuo Jiang, Guibin Zhang, Zihan Zhang, Heng Chang, Zhenfei Yin, Qibing Ren, Junchi Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 AI의 문제점: "정해진 레시피만 따르는 요리사" 👨‍🍳

지금까지의 AI 에이전트들은 아주 똑똑하지만, 일을 할 때 **'정해진 방식(레시피)'**대로만 움직였습니다.

예시: 만약 AI에게 "여행 계획을 짜줘"라고 하면, 항상 "1단계: 비행기 예약 $\rightarrow$ 2단계: 호텔 예약 $\rightarrow$ 3단계: 맛집 찾기" 같은 일직선 방식만 사용합니다.
문제점: 하지만 만약 "갑자기 폭우가 쏟아지는 상황에서 여행을 계속할 수 있을까?"라는 돌발 상황이 생기거나, "여러 명의 친구가 각자 다른 취향을 가진 복잡한 여행"을 짜야 한다면, 기존의 단순한 레시피는 금방 한계에 부딪힙니다. 상황에 맞춰 계획의 구조를 바꿀 줄 모르기 때문이죠.

2. TodoEvolve의 혁신: "상황에 따라 주방 구조를 바꾸는 마법의 셰프" ✨

TodoEvolve는 단순히 요리를 하는 게 아니라, **"이 요리를 하려면 주방을 어떻게 배치하는 게 가장 효율적일까?"**를 먼저 고민하는 **'설계자(Architect)'**입니다.

이 논문에서 소개하는 Todo-14B라는 모델은 문제를 받으면 다음과 같은 일을 합니다.

구조 설계 (Topology): "이 문제는 단계별로 차근차근 해야 할까(일직선)? 아니면 여러 일을 동시에 처리해야 할까(그물망)? 아니는 아니면 나무 가지처럼 뻗어나가야 할까(트리 구조)?"를 결정합니다.
도구 준비 (Initialization): 설계한 구조에 맞춰 어떤 도구를 먼저 꺼낼지 정합니다.
실시간 수정 (Adaptation): 일을 하다가 예상치 못한 벽(예: 웹사이트 접속 불가)을 만나면, "아, 계획이 틀렸네? 구조를 이렇게 바꿔보자!"라며 즉석에서 계획의 모양을 바꿉니다.
길 찾기 (Navigation): 바뀐 계획 속에서 지금 당장 무엇을 해야 할지 정확히 짚어줍니다.

비유하자면:
기존 AI가 **'정해진 길로만 가는 자동차'**라면, TodoEvolve는 **'지형에 따라 스스로 도로를 깔면서 나아가는 마법의 양단(Magic Carpet)'**과 같습니다. 평지에서는 빠르게 달리고, 산이 나타나면 길을 만들어 넘어가며, 복잡한 미로에서는 미로를 통째로 재구성해 버리는 것이죠.

3. 어떻게 똑똑해졌나요? (IGPO 학습법) 🧠

이 AI는 **'인지적 저항(Cognitive Impedance)'**이라는 개념을 통해 학습했습니다.

쉽게 말해, **"정답만 맞히는 게 목표가 아니라, 가장 '가성비 좋고 깔끔하게' 맞히는 법을 배우는 것"**입니다.

똑같은 정답을 내더라도, 100번의 시행착오를 거쳐 맞힌 계획은 **'나쁜 계획'**으로 간주합니다.
단 3번 만에, 가장 효율적인 경로로 맞힌 계획을 **'최고의 계획'**으로 삼아 집중적으로 공부합니다. 이를 통해 AI는 불필요한 생각(토큰 소모)을 줄이고, 가장 똑똑하고 경제적인 '계획의 틀'을 만드는 법을 깨우칩니다.

4. 결과는 어땠나요? 🏆

연구팀이 여러 가지 어려운 테스트(GAIA, xBench 등)를 해본 결과, TodoEvolve를 적용했을 때 AI의 성공률이 최대 16% 이상 크게 향상되었습니다. 특히, 기존의 비싼 유료 모델(GPT-5-mini 등)을 사용하더라도, TodoEvolve라는 '설계자'가 붙으면 훨씬 더 복잡하고 어려운 문제까지 척척 해결해냈습니다.

요약하자면! 📝

TodoEvolve는 AI에게 **"문제에 맞는 최적의 전략판을 스스로 짜는 능력"**을 준 것입니다. 이제 AI는 단순히 시키는 일을 하는 수준을 넘어, 문제의 성격에 맞춰 자신의 사고 구조를 스스로 진화시키며 가장 효율적인 길을 찾아낼 수 있게 되었습니다.

[기술 요약] TodoEvolve: 에이전트 계획 시스템 설계를 위한 학습 프레임워크

1. 문제 정의 (Problem Statement)

현재 LLM 기반 에이전트 시스템의 핵심 능력은 복잡하고 긴 호흡의 과업을 수행하기 위한 **'계획(Planning)'**에 있습니다. 그러나 기존의 계획 방식은 다음과 같은 한계를 가집니다.

고정된 구조 (Fixed Architectures): 대부분의 에이전트는 선형 리스트(To-do list), DAG(유향 비순환 그래프), 트리 구조 등 사람이 미리 설계한 고정된 계획 구조에 의존합니다.
범용성의 부재 (Lack of Universality): 수학적 추론에는 MCTS 기반 계획이 효과적일 수 있지만, 행동 공간이 방대한 자율 주행에는 부적합합니다. 즉, 모든 문제에 통용되는 '단일 최적 계획 구조'는 존재하지 않습니다.
적응성 부족 (Low Adaptability): 작업의 성격(웹 검색, 프로그래밍, 멀티 에이전트 협업 등)이나 실행 과정에서 발생하는 예기치 못한 상황에 따라 계획의 구조(Topology)를 동적으로 변경하기 어렵습니다.

2. 핵심 방법론 (Methodology)

TodoEvolve는 계획 구조를 고정하는 대신, 작업에 최적화된 계획 아키텍처를 스스로 합성하고 동적으로 수정하는 '메타 계획(Meta-planning)' 패러다임을 제안합니다.

A. PlanFactory: 모듈형 설계 공간 구축

다양한 계획 패러다임을 표준화된 코드베이스로 통합하기 위해 4가지 차원의 설계 공간을 정의했습니다.

Topology (♣): 작업 분해의 구조적 조직 (예: 선형, DAG, 트리 등)
Initialization (♦): 작업 토폴로지를 생성하는 메커니즘
Adaptation (♥): 토폴로지를 언제, 어떻게 수정할 것인가에 대한 로직
Navigation (♠): 에이전트에게 실행 지침을 내리는 메커니즘

B. Todo-14B 학습 전략: IGPO (Impedance-Guided Preference Optimization)

메타 플래너인 Todo-14B를 학습시키기 위해 두 단계의 커리큘럼을 사용합니다.

SFT (Supervised Fine-Tuning): PlanFactory를 통해 검증된(실행에 성공한) 고품질의 계획 설계 코드와 프롬프트 쌍을 사용하여 모델이 올바른 문법과 아키텍처 설계 능력을 갖추도록 학습합니다.
IGPO (Impedance-Guided Preference Optimization): 단순히 정답을 맞히는 것을 넘어, **'효율성'**을 최적화합니다.
- 인지적 임피던스(Cognitive Impedance, $I$ ): 총 비용, 실패 횟수, 실행 안정성, 계획 비용 대비 실행 비용의 비율 등을 결합한 복합 비용 함수를 정의합니다.
- 선호도 학습: 동일하게 정답을 맞히더라도 임피던스(비용/복잡도)가 낮은(즉, 더 효율적인) 계획 구조를 '승자(Winner)'로 선택하여 모델이 경제적이고 안정적인 아키텍처를 설계하도록 유도합니다.

3. 주요 기여 (Key Contributions)

PlanFactory 개발: 다양한 계획 구조를 표준화된 인터페이스로 구현하여, 에이전트 계획 연구를 위한 통합 코드베이스와 데이터 합성 엔진을 제공합니다.
메타 플래너 Todo-14B 제안: 작업의 특성에 맞춰 토폴로지, 초기화, 적응, 내비게이션 전략을 스스로 생성하는 새로운 학습 모델을 제시했습니다.
새로운 최적화 목적 함수 (IGPO): 성능(Correctness)과 효율성(Efficiency)을 동시에 잡기 위해 '인지적 임피던스' 개념을 도입한 새로운 RL(강화학습) 목적 함수를 제안했습니다.

4. 실험 결과 (Results)

다섯 가지 에이전트 벤치마크(GAIA, xBench-DS, TaskCraft, WebWalkerQA 등)를 통해 검증한 결과는 다음과 같습니다.

성능 향상: 기존 Smolagents 프레임워크에 TodoEvolve를 결합했을 때, GAIA 벤치마크에서 최대 16.37%의 성능 향상을 기록했습니다.
범용성 및 확장성: GPT-5-Mini, DeepSeek V3.2, Kimi K2 등 서로 다른 LLM 백본을 사용하는 에이전트 모두에서 일관된 성능 향상을 보였습니다. 이는 메타 플래너의 능력이 특정 모델에 종속되지 않는 '전이 가능한 아키텍처 추론 능력'임을 입증합니다.
효율성 (Pareto Optimality): 성능이 높아짐에도 불구하고, 불필요한 루프를 줄이고 최적의 구조를 선택함으로써 비용과 지연 시간(Latency) 측면에서 기존의 복잡한 정적 프레임워크들과 비교해 우수한 효율성을 유지했습니다.

5. 의의 (Significance)

본 논문은 에이전트 설계의 패러다임을 **"사람이 설계한 고정된 워크플로우(Manual Engineering)"**에서 **"모델이 스스로 설계하는 적응형 아키텍처(Autonomous Synthesis)"**로 전환시켰다는 점에서 매우 중요한 의미를 갖습니다. 이는 에이전트가 단순히 명령을 수행하는 수준을 넘어, 문제의 난이도와 성격에 맞춰 자신의 '사고 구조(Thinking Structure)'를 스스로 최적화할 수 있는 길을 열었습니다.