기술 요약: 초기 경험 기반 학습 에이전트 라우팅

문제 정의

대형 언어 모델 (LLM) 에이전트는 복잡한 추론, 계획 수립 및 도구 사용에서 뛰어난 능력을 보여주지만, 높은 지연 시간과 계산 비용을 수반합니다. 반면, 직접적인 LLM 추론은 빠르고 비용 효율적이지만, 모델의 능력 한계를 초과하는 작업에서는 종종 신뢰성이 떨어집니다. 본 연구에서 다루는 핵심 과제는 현실적인 콜드스타트 (cold-start) 환경에서 가벼운 LLM 추론과 풀 에이전트 실행 간에 쿼리를 라우팅하는 것입니다. 이러한 시나리오에서는 유입되는 쿼리에 이전 성능 데이터나 정답 (ground-truth) 레이블이 없어 라우터의 표준 지도 학습이 실용적이지 않습니다. 기존 연구는 주로 동질적인 공간 내 (예: 서로 다른 LLM 간 또는 서로 다른 에이전트 간) 라우팅에 초점을 맞추고 있어, LLM 과 에이전트 간의 하이브리드 라우팅 문제는 largely 미개척 상태로 남아 있습니다.

방법론: BoundaryRouter

저자들은 정답 레이블 감독 없이 라우팅 결정을 내리도록 설계된 BoundaryRouter라는 학습이 필요 없는 (training-free) 라우팅 프레임워크를 제안합니다. 이 시스템은 세 가지 핵심 메커니즘을 통해 작동합니다:

1. 초기 경험 학습

콜드스타트 문제를 극복하기 위해 BoundaryRouter 는 컴팩트한 **초기 경험 메모리 ($M$)**를 구성합니다.

• 구성: 소수의 시드 질문 집합 ($D_{seed}$) 을 가벼운 LLM 과 풀 에이전트 모두에서 실행합니다.
• 기록 데이터: 각 쿼리에 대해 입력 질문, 두 솔버의 출력 ($y_{LLM}, y_{Agent}$), 그리고 각각의 지연 시간 ($t_{LLM}, t_{Agent}$) 을 기록합니다.
• 제약 조건: 중요한 점은 정답, 정확성 레이블, 또는 보상 정보가 저장되지 않는다는 것입니다. 메모리는 두 시스템 간의 체계적인 행동 차이 (예: 응답 패턴 및 실행 시간) 를 포착합니다.

2. 검색 증강 라우팅

추론 시 새로운 쿼리 $x$에 대해:

• 시스템은 하이브리드 검색기 (희소 어휘 매칭과 밀집 의미 유사성 결합) 를 사용하여 초기 경험 메모리에서 상위 $K$개의 가장 유사한 레코드를 검색합니다.
• 이러한 검색된 사례들은 증거로 작용하여, 라우터가 현재 쿼리를 두 솔버의 과거 행동과 비교하여 규칙성 (예: 유사한 문구가 이전에 에이전트 특유의 다단계 추론이나 지연 시간 급증을 유발했는지 여부) 을 추론할 수 있게 합니다.

3. 루브릭 기반 사고 연쇄 (Chain-of-Thought, CoT)

결정이 개방형 추론이 아닌 특정 행동 기준과 일치하도록 보장하기 위해, 라우팅 LLM 은 루브릭 기반 CoT를 사용합니다.

• 자유 형식의 추론 대신, 라우터는 프롬프트에 인코딩된 고정된 의사결정 루브릭을 따릅니다.
• 이 루브릭은 모델이 관찰 가능한 차원 (답변 특성과 응답 시간) 을 기반으로 검색된 사례를 명시적으로 평가하여 예상 답변 품질과 지연 시간 간의 균형을 맞추도록 지시합니다.
• 출력은 이진 라우팅 결정입니다: $Route(x) \in \{LLM, Agent\}$.

주요 기여

1. BoundaryRouter 프레임워크

본 논문은 초기 행동 경험과 구조화된 추론을 활용하는 새로운 학습이 필요 없는 라우팅 방법을 소개합니다. 이는 정답 레이블이 없는 콜드스타트 환경에서 신뢰할 수 있는 라우팅을 가능하게 하여, 빠르고 저비용인 LLM 추론과 견고하지만 고비용인 에이전트 실행 간의 간극을 메웁니다.

2. RouteBench 벤치마크

이 문제를 체계적으로 평가하기 위해 저자들은 LLM-에이전트 라우팅을 위해 특별히 설계된 RouteBench 벤치마크를 도입했습니다.

• 구성: GAIA 및 MMLU 데이터셋에서 파생되었으며, 쌍을 이룬 솔버 출력, 지연 시간 데이터, 그리고 결정적 규칙 (정확성 우선순위, 효율성 동점 처리, 실패 시 대체) 에 기반한 인간이 주석한 라우팅 레이블을 포함합니다.
• 평가 세트: 세 가지 차원에 걸쳐 일반화 능력을 평가합니다:
  • Base Set: 도메인 내 작업.
  • Rephrase Set: 강건성을 테스트하기 위해 언어적으로 변형된 쿼리.
  • Advanced Set: 분포 변화를 테스트하기 위한 도메인 외 작업.
• 지표: 인스턴스 수준의 정확도, 솔버 수준의 F1 점수, 그리고 전체 라우팅 효과를 측정하는 복합 지표인 RouteBenchScore를 활용합니다.

실험 결과

RouteBench 에서 GPT-5, Gemini-3-Pro, Claude Sonnet 4 를 포함한 14 개의 최신 모델을 라우팅 백본으로 사용하여 실험을 수행했습니다.

• 성능 대 비용 트레이드오프: BoundaryRouter 는 에이전트만 사용하는 경우보다 평균 추론 시간을 60.6% 단축하면서, 직접적인 LLM 추론 대비 성능을 28.6% 향상시켰습니다.
• 기선 (Baseline) 과의 비교:
  • (경험 없는) 프롬프트 기반 라우팅과 비교할 때, BoundaryRouter 는 라우팅 품질을 37.9% 향상시켰습니다.
  • (루브릭 기반 추론 없는) 검색 전용 라우팅과 비교할 때, 성능을 8.2% 향상시켰습니다.
• 일반화: 이 방법은 Advanced(도메인 외) 세트에서 강력한 성능을 유지하여, 초기 행동 신호와 루브릭 제약 추론의 결합이 학습 분포를 넘어 일반화될 수 있음을 입증했습니다.
• 모델 계층화: 최첨단 모델 중 GPT-5, Gemini-3-Pro-Preview, Gemini-2.5-Pro 가 특히 도메인 외 변화를 처리하는 데 있어 가장 강력한 라우팅 성능을 달성했습니다.

중요성 및 주장

본 논문은 초기 행동 신호가 루브릭 기반 추론과 결합될 때, 정답 레이블이나 라우팅 감독이 부재한 상황에서도 LLM 과 에이전트 간에 신뢰할 수 있는 라우팅을 가능하게 한다고 주장합니다.

• 실용성: 이 프레임워크는 값비싼 지도 학습 데이터 없이도 이질적 추론 시스템에서 확장 가능한 조율을 위한 실용적인 경로를 제공합니다.
• 라우팅 난이도에 대한 통찰: 결과는 라우팅이 도메인 내 환경에서도 여전히 어려운 문제임을 강조하며, 약한 모델들의 경우 분포 변화 하에서 성능이 크게 저하됨을 보여줍니다.
• 향후 방향: 현재 연구는 단일 LLM 과 단일 에이전트 파이프라인 간의 이진 라우팅에 초점을 맞추고 있지만, 저자들은 이 접근 방식이 여러 에이전트 또는 이질적 도구를 포함하는 더 복잡한 시나리오의 기초를 마련한다고 제안합니다.

저자들은 그들의 findings 가 자가 생성된 초기 경험을 시스템 수준 결정을 안내하는 경량 참조로 사용하는 것의 타당성을 입증하며, 정적 모델 선택에서 동적이고 경험 기반의 조율로 패러다임을 전환한다고 강조합니다.