🤖 AI

Evoflux: Inference-Time Evolution of Executable Tool Workflows for Compact Agents

이 논문은 구조화된 편집과 실행 피드백을 통해 유형화된 워크플로 그래프를 동적으로 복구하고 최적화함으로써 소형 언어 모델의 도구 워크플로 실행 가능성을 크게 향방시키는 추론 시점 진화 탐색 방법인 Evoflux를 소개하며, 이는 실제 도구 환경에서 전통적인 지도 미세 조정 및 강화 학습 방식보다 뛰어난 성능을 보여준다.

원저자: Kushal Raj Bhandari, Ling Yue, Ching-Yun Ko, Dhaval Patel, Shaowu Pan, Pin-Yu Chen, Jianxi Gao

게시일 2026-06-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kushal Raj Bhandari, Ling Yue, Ching-Yun Ko, Dhaval Patel, Shaowu Pan, Pin-Yu Chen, Jianxi Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 그림: "작은 요리사" 문제

당신에게 아주 작고 저렴한 예산의 주방 로봇(소형 AI 모델)이 있다고 상상해 보세요. 이 로봇이 거대하고 끊임없이 변화하는 식료품 창고(실시간 도구 카탈로그)에 있는 도구들을 사용하여 복잡한 요리를 하길 원합니다.

로봇은 다음을 수행해야 합니다:

창고에서 적절한 재료(도구)를 찾습니다.
단계들을 올바르게 연결하는 레시피(워크플로우)를 따릅니다.
실제로 음식을 요리하고(도구 실행) 그 결과를 맛봅니다.

문제점: 작은 로봇은 저렴하고 빠르지만, "취약(brittle)"합니다. 이들은 종로상가 위에서는 그럴싸해 보이지만, 실제로 요리를 시작하면 실패하는 레시피를 작성하곤 합니다. 예를 들어, 엉뚱한 도구를 집거나, 다음 단계로 재료를 전달하는 것을 잊어버리거나, 더 이상 존재하지 않는 도구를 사용하려고 할 수도 있습니다.

보통 이를 해결하기 위해, 우리는 로봇에게 수천 개의 완벽한 레시피 예시를 보여주며 "가르치려고(training)" 시도합니다. 하지만 이 논문은 당신에게 수백 개의 예시(부족한 예산)만 있을 때, 가르치는 방식이 효과적이지 않다고 주장합니다. 이는 로봇이 레시피의 형태만 암기할 뿐, 실제 주방에서 문제가 발생했을 때 이를 어떻게 수정해야 하는지는 배우지 못하기 때문입니다.

해결책: Evoflux ("진화적 수리팀")

로봇의 뇌를 다시 훈련시키는 대신, Evoflux는 로봇이 실제로 요리하는 동안 작동하는 "수리팀"을 제공합니다.

Evoflux를 **동적인 수리 루프(dynamic repair loop)**라고 생각해보세요:

첫 번째 시도: 로봇가 레시피(워크플로우 그래프)를 작성합니다.
시험 가동: 시스템이 레시피를 실행해 봅니다. 만약 작동이 중단되면(예: "도구를 찾을 수 없음" 또는 "재료 누락"), 시스템이 오류를 포착합니다.
진화: 포기하는 대신, 시스템은 고장 난 레시피를 마치 '돌연변이 생명체'처럼 취급합니다. 특정 오류를 고치기 위해 작고 스마트한 변화(편집)를 가합니다.
- 잘못된 도구를 골랐나요? 교체합니다.
- 재료를 잊었나요? 추가합니다.
- 단계 순서가 잘못되었나요? 순서를 바꿉니다.
적자생존: 시스템은 새 버전을 실행합니다. 만약 이전보다 잘 작동한다면, 그것을 유지합니다. 만약 또 실패한다면, 다시 시도합니다. 이 과정을 짧은 시간 동안 여러 번 반복하며, 실제로 음식을 성공적으로 요리할 수 있는 레시피를 찾아낼 때까지 레시피를 진화시킵니다.

논문에 등장하는 핵심 비유들

"그럴싸하지만 고장 난" 그래프: 논문은 작은 모델들이 유효한 지도처럼 보이지만 결국 절벽으로 떨어지는 워크플로우를 생성한다고 지적합니다. Evoflux는 단순히 지도만 보는 것이 아니라, 길이 실제로 존재하는지 확인하기 위해 직접 차를 몰고 달려봅니다.
"수리(Repair)" vs "훈련(Training)" 논쟁:
- 훈련 (SFT/DPO): 요리책을 암기하려고 노력하는 것과 같습니다. 요리책이 작으면(예시가 적으면), 로봇은 레시피의 스타일은 배우지만 재료가 바뀌었을 때 실패합니다. 논문은 적은 예산의 경우, 훈련시키는 것이 차라리 아무것도 하지 않고 그냥 추측하게 두었을 때(zero-shot)보다 성능을 악화시킨다는 것을 발견했습니다.
- Evoflux (탐색): 운전하는 동안 자동차를 고쳐주는 정비사를 두는 것과 같습니다. 이는 운전자의 뇌를 바꾸는 것이 아니라, 도로 상황에 따라 실시간으로 엔진을 고치는 것입니다.
"토큰 비용" (연료):
- ReAct (기존 방식): 이것은 로봇이 다음 단계를 결정하기 위해 혼잣말을 길게 늘어놓는 것과 같습니다. 훌륭한 해결책을 찾을 수는 있지만, 많은 연료(토큰)를 소모하며 예측 불가능합니다.
- Evoflux: 이것은 더 효율적입니다. 몇 가지 구체적인 수정 사항을 시도하고, 그것이 작동하는지 확인한 뒤 멈춥니다. "말하면서 생각하는" 방식보다 적은 연료를 쓰면서도 더 나은 결과를 얻습니다.

이 논문이 실제로 발견한 것

연구진은 금융, 여행, 과학 도구 등 실제 라이브 도구들을 사용하는 MCP-Bench라는 벤치마크를 통해 이를 테스트했습니다.

성공률: 작은 로봇들의 경우, 첫 시도에 레시피가 성공할 확률은 매우 낮았습니다(약 3%).
해결책: Evoflux를 사용하면 성공률이 17%에서 24% 사이로 급증했습니다.
훈련의 실패: 연구진이 Evoflux가 탐색에 사용한 것과 동일한 수백 개의 예시를 사용하여 로봇을 "가르치려고" 했을 때, 로봇은 더 나아지지 않았습니다. 사실, 학습을 전혀 하지 않았을 때보다 오히려 성능이 더 나빠지는 경우가 많았습니다.
비교: ReAct(단계별로 생각하게 하는 방식)는 때때로 더 높은 점수를 얻을 수 있었지만, 매우 일관성이 없고 비용이 많이 들었습니다. Evoflux는 더 신뢰할 수 있고 저렴했습니다.

결론

만약 당신에게 작은 규모의 저렴한 AI 에이전트와 그것을 가르칠 제한된 수의 예시가 있다면, 단순히 훈련시키려 하지 마세요. 대신, 일단 시도하고, 실패하게 둔 다음, 스마트한 진화적 탐색 과정을 통해 실시간으로 실수를 바로잡도록 하세요.

이 논문은 작은 에이전트에게는 레시피를 실행하는 법을 몇 가지 예시로 암기하게 하는 것보다, 실행하는 동안 계획을 수정하는 것이 훨씬 더 신뢰할 수 있는 전략이라고 결론짓습니다.

기술 요약: Evoflux

문제 정의

본 논문은 동적인 라이브 환경인 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)에 배포되는 소형 언어 모델(1.5B–4B 파라미터)의 한계를 다룹니다. 소형 모델은 비용, 지연 시간, 개인정보 보호 측면에서 이점을 제공하지만, 실행 가능한 워크플로우를 구축하는 데 있어 취약합니다. 작은 규모의 플래너(planner)들은 겉보기에는 텍스트상으로 그럴듯해 보이는 그래프를 생성하지만, 도구 해결(tool resolution), 파라미터 검증, 의존성 추적 또는 실행 단계에서 실패하곤 합니다.

저자들은 표준적인 증류(distillation) 방식인 지도 미세 조정(SFT) 및 직접 선호 최적화(DPO)가 이 영역에서는 불충분하다고 주장합니다. 소수의 교사 트레이스(teacher traces, 수백 개 수준)를 활용한 학습은 표면적인 워크플로우 형식을 가르칠 뿐, 도구 카탈로그가 변경되거나 실행이 실패했을 때 필요한 복구 행동을 포착하지 못합니다. 또한, 협소한 지속적 인스트럭션 튜닝(continual instruction tuning)에서의 파괴적 망각(catastrophic forgetting)은 소형 모델에 위험 요소가 됩니다. 핵심 질문은 동일한 희소한 감독 예산(scarce supervision budget)이 주어졌을 때, 연산량을 가중치 업데이트(학습)에 쓸 것인가, 아니면 추론 시점의 복구(탐색)에 쓸 것인가 하는 점입니다.

방법론: Evoflux

저자들은 소형 도구 사용을 일회성 생성 작업이 아닌 실행 가능한 워크플로우 복구 문제로 취급하도록 설계된 추론 시점 진화 탐색 절차인 Evoflux를 소개합니다.

핵심 메커니즘

Evoflux는 소형 모델이 정적인 생성기가 아니라 복구 사이클 내에서 제안 연산자(proposal operator) 역할을 수행하는 유계 진화 루프(bounded evolutionary loop)로 작동합니다.

표현(Representation): 플랜은 도구 노드, 의존성 엣지, 검증 노드, 터미널 출력을 포함하는 **타입화된 워크플로우 그래프(typed workflow graphs)**로 표현됩니다.
실행 기반 스코어링(Execution-Grounded Scoring): 후보들은 단순히 구문론적 타당성만으로 점수가 매겨지지 않습니다. 이들은 컴파일되고, 도구 스키마에 따라 검증되며, 라이브 환경( $E$ )에서 실행됩니다. 스칼라 점수는 LLM 판별기(MCP-Bench LLMJUDGE)로부터 과업 완수, 접지(grounding), 도구 적절성, 파라미터 정확도, 의존성 인식, 병렬성/효율성이라는 6가지 하위 차원을 기준으로 산출됩니다.
진화 루프(Evolutionary Loop):
- 초기화(Initialization): 플래너는 재시도를 통해 실행 가능한 워크플로우를 생성하려고 시도하며, 이때 실행 오류를 후속 시도를 위한 컨텍스트로 사용합니다.
- 변이 및 편집(Mutation & Editing): 시스템은 일반적인 실패 모드를 반영하는 유한한 **타입화된 편집 언어(typed edit language)**를 통해 후보 그래프의 모집단(population)을 진화시킵니다:
  - 도구 교체(Tool Swaps): 사용 불가능한 도구를 대체합니다.
  - 파라미터 편집(Parameter Edits): 스키마 오류를 수정하거나 상위 출력에 인자를 바인딩합니다.
  - 삽입/제거(Insertion/Removal): 증거 수집 단계를 추가하거나 불필요한 단계를 제거합니다.
  - 재정렬(Reordering): 의존성 구조를 수정합니다.
- 적응형 강도(Adaptive Intensity): 성장 통계량( $G$ )이 최근의 진전 상황을 추적합니다. 진전이 정체되면 탐색 강도가 높아지며, 더 많은 탐색적 변이(무작위 편집)와 잠재적인 **메타 가이드(Meta Guidance)**를 트리거합니다.
- 메타 가이드(Meta Guidance): 로컬 변이가 정체될 때, 플래너는 현재의 최적 후보와 가장 취약한 모집단 구성원을 컨텍스트로 사용하여 고차원적인 재설계(예: 단일 서버 경로를 교차 서버 워크플로우로 교체)를 수행하도록 유도됩니다.
- 다양성 프루닝(Diversity Pruning): 모집단은 $K$ 로 제한되며, 고득점 변형을 보존하면서 근사한 중복 워크플로우로의 붕괴를 방지하기 위해 액션 해시 빈닝(action-hash binning)을 사용하여 가지치기(pruning)됩니다.

학습 베이스라인(Training Baselines)

평가를 위해 저자들은 Evoflux를 다음 모델들과 비교합니다:

제로샷 디코딩(Zero-shot decoding).
탐색을 통해 추출된 교사 트레이스에 대한 지도 미세 조정(SFT).
동일한 탐색 데이터로부터 얻은 쌍별 선호도를 사용하는 SFT + 직접 선호 최적화(DPO).
ReAct: 순차적 추론 및 행동 베이스라인.

모든 학습 베이스라인은 가중치 업데이트와 추론 시점 탐색 간의 트레이드오프를 공정하게 비교하기 위해 동일한 제한된 탐색 추출 트레이스 예산을 사용합니다.

주요 결과

평가는 다양한 도메인에 걸친 28개의 라이브 MCP 서버와 250개의 도구를 아우르는 MCP-Bench의 홀드아웃(held-out) 태스크를 대상으로 수행되었습니다.

실행 가능성(Execution Feasibility): Evoflux는 소형 플래너의 실행 가능성을 크게 향상시켰습니다. 홀드아웃 태스크에서 Llama-3.2-3B, Qwen3.5-4B, SmolLM3-3B와 같은 모델들의 실행 가능성은 약 **3%**의 베이스라인에서 **17–24%**로 상승했습니다.
소규모 코퍼스 학습의 실패: Evoflux와 대조적으로, 동일한 탐색 추출 데이터에 대한 SFT 및 SFT+DPO는 신뢰할 만한 이득을 제공하지 못했습니다. 여러 경우에서 학습된 체크포인트는 제로샷 베이스라인과 일치하거나 오히려 성능이 낮았습니다. 특히, SFT+DPO로 학습된 Qwen3.5-4B 모델은 "플래닝 붕괴(planning collapse)"를 겪으며 사용 가능한 플랜을 생성하지 못하고 휴리스틱으로 회귀하여, 학습되지 않은 제로샷 모델보다 낮은 실행 가능성을 보였습니다.
ReAct와의 비교: ReAct는 더 강력한 플래너(예: Qwen3.5-4B)에서 더 높은 피크 성능을 달랐으나, 긴 궤적(trajectory)에 따른 컨텍스트 누적으로 인해 변동성이 크고 토큰 비용이 현저히 높았습니다. Evoflux는 더 낮은 토큰 예산으로 더 안정적이고 예측 가능한 개선을 제공했습니다.
토큰 효율성: Evoflux는 단일 패스 추론(SFT/Zero-shot)보다 높은 토큰 비용을 발생시키지만, ReAct보다는 토큰 효율적입니다. 탐색 과정은 후보 평가를 위한 프롬프트 토큰에 비용을 집중시키는 반면, ReAct의 비용은 궤적 길이에 따라 급격히 증가합니다.

의의 및 주장

본 논문은 희소한 교사 트레이스 예산 하에서 작동하는 소형 에이전트를 위해, 실행 기반 탐색(execution-grounded search)이 가중치 업데이트보다 성능을 향상시키는 데 더 신뢰할 수 있는 레버라는 점을 주장합니다.

모방보다 복구(Repair over Imitation): 결과는 소규모 코퍼스 미세 조정이 워크플로우의 형태를 얕게 모방할 뿐, 견고한 실행에 필요한 적응적 복구 프로세스를 내재화하지 못한다는 것을 시사합니다.
추론 시점 연산량(Inference-Time Compute): 제한된 데이터로 이러한 복구 행동을 모델 가중치에 증류하려고 시도하는 것보다, 라이브 도구 카탈로그에 대해 워크플로우를 복구, 변이 및 검증하기 위해 온라인에서 연산을 사용하는 것이 미지의 태스크에 대한 일반화 성능을 높이는 데 더 효과적입니다.
리스크 완화: 본 연구는 소형 에이전트 배포 시 발생하는 특정 위험을 강조합니다. 즉, 소규모 탐색 추출 데이터셋으로 학습하는 것은 성능을 개선하기보다 오히려 성능을 저하시킬(제로샷 미만으로 붕괴) 위험이 있으며, 이는 실행 가능성을 보장하기 위해 추론 시점의 진화가 더 안전하고 효과적인 전략임을 보여줍니다.

저자들은 대규모 데이터셋을 활용한 대규모 증류는 여전히 유효할 수 있으나, 현재의 희소 트레이스 환경에서는 실행 가능한 도구 워크플로우를 구축하기 위해 추론 시점의 진화적 탐색이 더 유리하다고 결론짓습니다.