기술 요약: 에이전틱 워크플로우 최적화를 위한 GRAFT

1. 문제 정의

최근 에이전틱 워크플로우(agentic workflows)의 발전은 오프라인 탐색 또는 아키텍처 선택(예: AFlow, MaAS)을 통해 작업별 워크플로우를 설계하는 자동화된 방법들을 확립했습니다. 그러나 이러한 접근 방식들은 하나의 고정된 워크플로우 구조를 실행 전에 결정한다는 근본적인 한계를 가집니다. 이러한 정적인 방식은 개별 입력값에 따른 난이도와 추론 요구사항의 가변성을 반영하지 못합니다. 예를 들어, 단순한 산술 문제는 단일 추론 단계만 필요할 수 있지만, 복잡한 구성 문제는 분해, 검증 및 재추론을 필요로 할 수 있습니다.

추론 시점에 모든 워크플로우를 다시 최적화하려는 시도는 연산자 조합의 지수적 탐색 공간으로 인해 계산적으로 불가능합니다. 또한, 오프라인 방식은 최적화를 위해 정답(ground-truth) 라벨에 의존하지만, 이는 추론 시에는 사용할 수 없습니다. 외부 피드백 없이 LLM이 자신의 추론을 스스로 평가하고 수정하는 것에만 의존하는 것은 신뢰할 수 없을 수 있습니다. 또한, 멀티 에이전트 시스템은 "지역 간 간섭(inter-region interference)" 문제에 직면하는데, 이는 특정 컴포넌트를 국소적으로 교체했을 때 하류(downstream) 입력을 변경하여 최종 결과가 저하될 수 있음을 의미하며, 이는 해당 로컬 컴포넌트 자체가 개선되었더라도 마찬가지입니다.

2. 방법론: GRAFT

이러한 과제를 해결하기 위해, 저자들은 전역적으로 최적화된 워크플로우를 보존하면서도 지역적 영역 교체(local region replacement)를 통해 인스턴스별 적응을 가능하게 하는 훈련이 필요 없는 프레임워크인 GRAFT(Global Optimization and Inference-Time Region Grafting)를 소개합니다.

핵심 아키텍처

• 전역 워크플로우 사전 정보(Global Workflow Prior): GRAFT는 오프라인에서 탐색된 작업별 전역 워크플로우($W_c^*$)로 시작합니다. 이 워크플로우는 단일 진입 단일 출구(SESE) 영역의 시퀀스로 구조화되어 있습니다. 각 영역은 특정 역할(예: 계획, 증거, 추론, 검증)에 대응하며, 해당 역할에 대한 로컬 후보 공간을 포함합니다.
• 추론 시 로컬 그래프팅(Inference-Time Local Grafting): 각 입력에 대해 GRAFT는 전체 그래프를 다시 최적화하지 않습니다. 대신, 적응이 필요한 영역을 식별하고 해당 영역의 역할에 제한된 작은 로컬 후보 공간을 탐색합니다.
• 라벨 프리 평가(Label-Free Assessment): 추론 시에는 정답을 사용할 수 없으므로, GRAFT는 다음과 같은 **라벨 프리 대리 신호(label-free proxy signals)**를 사용하여 후보를 평가합니다:
  • 자기 일관성(Self-Consistency): 여러 추론 체인 간의 합의 정도.
  • 근거성(Groundedness): 답변이 제공된 증거에 의해 뒷받침되는 정도(내용어의 어휘적 커버리지).
  • 검증기 신호(Verifier Signals): 코드 테스트 통과율 또는 LLM 기반 판단.
• 결합 가드(Coupling Guard): "지역 간 간섭"을 방지하기 위해, 결합 가드는 로컬 품질을 개선하면서 동시에 허용 오차 $\epsilon$ 내에서 경계 지원(상류 증거와의 일관성)을 유지하는 경우에만 교체를 수락합니다. 이는 로컬의 개선이 전역 워크플로우의 일관성을 해치지 않도록 보장합니다.
• 메모리 및 분할 상환(Memory and Amortization): 승리한 구성은 입력 유형 시그니처별로 인덱싱된 메모리에 저장됩니다. 후속 입력의 경우, GRAFT는 이러한 구성을 검색하여 반복적인 로컬 탐색을 피하고 계산 비용을 분할 상환합니다.

알고리즘 흐름

1. 오프라인 단계: 품질과 토큰 비용의 균형을 맞추며 검증 세트에서 성능을 극대화하도록 각 영역에 대한 연산자를 선택하여 전역 워크플로우를 구축합니다.
2. 온라인 단계:
   • 시스템은 상류 우선(upstream-first) 순서로 영역을 처리합니다.
   • 메모리에서 알려진 최적의 구성을 검색을 시도합니다.
   • 매칭되는 항목이 없거나 검색된 구성이 품질 목표를 달ers지 못하면, 영역의 후보 공간에 대해 로컬 탐색을 수행합니다.
   • 후보들은 라벨 프리 대리 신호와 결합 가드를 사용하여 평가됩니다.
   • 수락된 구성은 워크플로우 상태와 메모리를 업데이트하며, 하류 영역은 다음 패스에서 재평가를 위해 "stale(오래된)" 상태로 표시됩니다.
   • 더 이상의 변화가 발생하지 않거나 품질 목표가 충족될 때 프로세스가 종료됩니다.

3. 주요 기여

• 추론 시 적응 패러다임: GRAFT는 워크플로우를 정적인 산물이 아니라 적응 가능한 실행 정책으로 취급하는 프레임워크를 제안합니다. 이는 그래디언트 업데이트나 재학습 없이 각 입력에 대해 영역 수준의 구조를 재최적화합니다.
• 라벨 프리 로컬 최적화 메커니즘: 이 설계는 정답 없이도 신뢰할 수 있는 로컬 탐색을 가능하게 하는 특정 대리 신호(자기 일관성, 근거성, 검증기 신호)와 결합 가드를 도입하여, 로컬 개선이 전역 일관성을 해치지 않도록 보장합니다.
• 최첨단 성능: 이 방법은 다양한 작업에서 우수한 성능을 달성하며, 최적화된 워크플로우가 추론 시 피드백 및 더 강력한 실행기와 함께 진화할 수 있음을 입증합니다.

4. 실험 결과

저자들은 수학적 추론(GSM8K, MATH, MultiArith), 코드 생성(HumanEval, MBPP), 다단계 QA(HotpotQA, DROP), 지식 집약적 QA(MMLU-Pro, GPQA)를 아우르는 5개의 벤치마크에서 GRAFT를 평가했습니다.

• 성능 향상: 동일한 옵티마이저 및 실행기 설정(GPT-4o-mini 사용) 하에서, GRAFT는 평균 점수 87.44를 기록하여 가장 강력한 기존 방법인 MaAS보다 3.85 포인트 앞섰습니다. 또한 AFlow보다 5.19 포인트 앞섰습니다.
• 절제 연구(Ablation Studies):
  • 로컬 그래프팅을 제거한 경우(전역 워크플로우를 변경 없이 실행), 성능이 크게 하락하여(평균 -4.10) 성능 향상이 추론 시 적응에서 비롯됨을 확인했습니다.
  • 라벨 프리 대리 신호를 무작위 점수로 대체했을 때도 유사한 하락이 발생하여, 대리 신호의 효용성을 입증했습니다.
  • 결합 가드를 제거했을 때는 더 작지만 일관된 하락이 발생하여, 간섭 방지에 대한 역할을 강조했습니다.
• 실행기 전이(Executor Transfer): 전역 워크플로우를 재최적화하지 않고 실행기 모델을 더 강력한 것(예: GPT-4o-mini에서 Claude Sonnet으로)으로 교체했을 때, GRAFT는 상당한 이득을 얻었습니다. 이는 최적화된 워크플로우가 강력한 모델에 적응하는 유연한 정책 역할을 함을 시사합니다.
• 효율성: 구성 메모리는 탐색 비용을 크게 줄였습니다. 입력 유형이 균일한 작업(예: GSM8K)의 경우, 메모리 재사용률이 0.86~0.92에 달해 로컬 탐색 비용을 효과적으로 분할 상환했습니다.

5. 의의 및 주장

본 논문은 GRAFT가 최적화된 워크플로우가 단순히 정적인 최적화 산물이 아니라 적응 가능한 실행 정책임을 보여준다고 주장합니다. 전역 구조 최적화와 인스턴스별 로컬 적응을 분리함으로써, GRAFT는 전면적인 재최적화의 막대한 비용 없이도 개별 입력의 가변성을 처리할 수 있게 합니다. 이 프레임워크는 고성능 에이전틱 워크플로우가 훈련 없이도, 대신 오프라인 전역 탐색과 온라인 라벨 프리 로컬 정교화의 결적인 조합을 통해 달성될 수 있음을 증명합니다. 결과는 미래의 에이전틱 시스템이 동적으로 진화하며, 더 강력한 실행기와 추론 시 피드백을 활용하여 인스턴스별 성능을 개선할 수 있음을 시사합니다.