기술 요약: 에이전트-애즈-어-라우터 (Agent-as-a-Router)

1. 문제 정의

실제 사용자들은 서로 다른 도메인(예: 알고리즘 설계, 데이터 과학, 또는 코드 완성)에서 각기 강점을 가진 다양한 제공업체의 여러 대규모 언어 모델(LLM)을 사용할 수 있지만, 모든 작업에서 압도적인 모델은 존재하지 않습니다. 현재의 코딩 에이전트들은 일반적으로 모든 작업을 위해 단일한 고정된 LLM에 의존하며, 이는 사용자 중심의 비용 효율성이나 작업 수준의 품질보다 제공자 측의 예측 가능성을 우선시하는 설계입니다.

핵심 문제는 **자동 모델 라우팅(automatic model routing)**입니다. 즉, 성능을 극대화하면서 비용을 최소화하기 위해 어떤 모델이 들어오는 각 코딩 작업을 처리해야 하는지 결정하는 것입니다. 기존의 라우팅 방식은 이를 정적인 일회성 분류 문제로 취급하며, 종종 언어 모델을 라우팅 정책으로 사용합니다. 그러나 예비 실험 결과, 정적 라우터와 "태스크별 오라클(per-task oracle, 모든 특정 태스크에 대해 최적의 모델을 알고 있는 존재)" 사이에는 상당한 성능 격차가 있음이 드러났습니다. 본 논문은 기존 라우터의 병목 현상이 추론 능력의 부족이 아니라, **정보 결핍(information deficit)**에 있다고 지적합니다. 즉, 정적 라우터는 배포 과정에서 실행 기반의 경험을 축적하지 못한다는 것입니다.

2. 방법론

2.1. 진단: 정보 결핍

저자들은 Claude Sonnet 4.6 기반의 제로샷(zero-shot) LLM 라우터를 사용하여 절제 연구(ablation study)를 수행했습니다.

• 베닐라 라우터(Vanilla Router): 평균 성능 41.41% 기록.
• +성능 통계(+Perf Stats): 홀드아웃 프로빙 세트(held-out probing set)로부터 얻은 사전 성능 통계를 제공했을 때, 점수는 47.74%로 상승했습니다 (+15.3% 상대적 이득). 이는 동일한 정적 사전 정보를 인코딩한 가장 우수한 휴리스틱 라우터(47.50%)조차 능가했습니다.
• 결론: 주요 제한 사항은 라우터 모델 자체의 추론 능력이 아니라, 동적인 실행 기반 정보의 부재입니다.

2.2. 에이전트-애즈-어-라우터 프레임워크

정보 결핍을 해결하기 위해 저자들은 에이전트-애즈-어-라우터(Agent-as-a-Router) 프레임워크를 제안하며, 이를 컨텍스트-액션-피드백(Context-Action-Feedback, C-A-F) 루프로 정형화합니다. 정적 라우터와 달리, 이 프레임워크는 태스크 스트림을 통해 진화합니다:

1. 컨텍스트 ($c_i$): 라우터는 태스크 프롬프트, 메타데이터, 그리고 이전 루프들로부터 축적된 히스토리(Memory)를 관찰합니다.
2. 액션 ($a_i$): 라우터는 후보 풀에서 모델을 선택합니다.
3. 피드백 ($f_i$): 선택된 모델의 출력은 샌드박스 내에서 실행되며, 검증기(verifier)가 점수와 비용을 생성합니다.
4. 업데이트: 피드백은 기억(memorize)되어 다음 태스크($c_{i+1}$)를 위한 컨텍스트에 병합됩니다.

이 공식은 컨텍스추얼 멀티 암드 밴딧(contextual multi-armed bandit) 문제와 관련이 있으며, 여기서 평가를 위한 자연스러운 지표는 누적 후회(cumulative regret)(라우터의 성능과 태스크별 오라클 사이의 누적 격차)입니다.

2.3. ACRouter 구현

이 프레임워크는 세 가지 핵심 모듈로 구성된 ACRouter로 구현됩니다:

• 오케스트레이터(Orchestrator): DimensionBest 사전 지식, 메모리로부터 검색된 상위 10개의 역사적 이웃(cosine kNN을 통해 검색), 그리고 태스크 메타데이터를 통합하여 라우팅 결정을 내립니다. 가중치 투표를 통해 휴리스틱 규칙과 결합된 경량 튜닝된 Qwen3.5-0.8B 모델을 사용합니다.
• 검증기(Verifier): 샌드박스 환경에서 모델 출력을 평가합니다. AST 파싱, 실행 결과, LLM-as-Judge 등의 신호를 통합하여 단일화된 성능 점수($u_i \in [0, 1]$)를 생성합니다.
• 메모리(Memory): 태스크 임베딩을 키로 사용하는 온라인 벡터 스토어입니다. 선택된 모델, 성능, 비용 및 검증 트레이스를 기록합니다. 미세한 컨텍스트 인식 기반의 과거 성공 및 실패 사례 검색을 위해 FIFO 방식의 제한된 스토어(20K 엔트리)를 사용합니다.

2.4. CodeRouterBench

스트리밍 태스크에서의 라우팅을 평가하기 위해 저자들은 다음과 같은 구성 요소를 갖춘 CodeRouterBench를 도입합니다:

• ~10,000개의 태스크: 10개의 코딩 차원(9개의 인-디스트리뷰션 단일 턴 태스크와 1개의 아웃-오브-디스트리뷰션 에이전틱 프로그래밍 차원)에 걸쳐 있습니다.
• 8개의 프런티어 LLM: (Claude Opus 4.6, GPT-5.4, Qwen3-Max, Kimi-K2.5 등을 포함).
• 실행 검증 점수: 태스크는 샌드박스 실행 또는 LLM-as-Judge를 통해 점수가 매겨지며, 이는 후회 기반 비교를 위한 그라운드 트루스 관측 행렬을 제공합니다.

3. 주요 기여

1. 프레임워크: 라우팅을 C-A-F 루프로 정형화하여, 라우터가 실행 기반 피드백을 통해 정보 격차를 능동적으로 좁힐 수 있도록 하는 에이전트-애즈-어-라우터를 제안했습니다.
2. 산출물:
   • ACRouter: 오케스트레이터, 검증기, 메모리 모듈을 갖춘 프레임워크의 구체적인 구현체입니다.
   • CodeRouterBench: 스트리밍 태스크에서 후회 기반 라우터 비교를 위해 설계된 표준화된 평가 환경(~10K 태스크, 8개 LLM)이며, OOD 에이전틱 프로그래밍 테스트베드를 포함합니다.
3. 발견:
   • 정보 결핍: 라우팅의 병목은 추론 능력이 아닌 정보 접근성입니다. 성능 통계를 제공하는 것만으로 15.3%의 상대적 이득을 얻을 수 있습니다.
   • 성능: ACRouter는 인-디스트리뷰션 태스크에서 가장 낮은 누적 후회를 달성하며, OOD(아웃-오브-디스트리뷰션) 에이전틱 프로그래밍 태스크에도 효과적으로 일반화됩니다.
   • 정적 모델의 한계: 경량 정적 라우터(학습된 분류기, 휴리스틱)는 인-디스트리뷰션 태스크에서는 준수한 성능을 보이지만, OOD 태스크에서는 크게 실패하는 반면, ACRouter는 강력한 성능을 유지합니다.

4. 실험 결과

실험은 인-디스트리뷰션(ID) 및 아웃-오브-디스트리뷰션(OOD) 태스크 스트림 모두에서 수행되었습니다.

• 인-디스트리뷰션 성능:

  • ACRouter는 가장 높은 평균 성능(49.98%)과 가장 낮은 누적 후회(205.5)를 달성하여, 정적 "DimensionBest" 휴리스틱(47.50%) 및 모든 학습된 정책 베이스라인을 앞질렀습니다.
  • 또한 항상 가장 강력한 단일 모델을 사용하는 경우(Always-Opus 4.6, Perf/$ 비율 1.29)와 비교하여 더 우수한 비용 효율성(Perf/$ 비율 3.79)을 입증했습니다.

• 아웃-오브-디스트리뷰션(OOD) 일반화:

  • 에이전틱 프로그래밍 테스트베드(176개 태스크)에서 ACRouter는 **62.50%**의 AvgPerf를 달성하여, Always-Opus 베이스라인(57.14%) 및 다른 모든 라우터를 유의미하게 능가했습니다.
  • 정적 분류기(예: LogReg, RouteLLM-BERT)는 OOD 태스크에서 성능이 8.93%~21.43%로 급락하며 무너졌으며, 이는 랜덤 선택보다도 낮은 수치였습니다.
  • 스트림 동안 검증된 경험을 축적하는 ACRouter의 능력은 새로운 태스크 분포에 적응할 수 있게 해주었으나, 고정된 사전 지식에 의존하는 정적 방법들은 실패했습니다.

• 비용 분석:

  • ACRrouter는 메모리 및 검증기 모듈을 위한 오버헤드가 발생하지만, 가장 비싼 모델(Opus 4.6)을 항상 선택하는 것보다 더 높은 품질을 제공하면서도 더 비용 효율적입니다.
  • "Always-Kimi-K2.5" 전략은 가장 높은 비용 효율성(Perf/$ 12.62)을 제공했지만, 절대적인 성능(36.66% AvgPerf) 면에서는 상당한 희생이 따랐습니다.

5. 의의 및 주장

본 논문은 실행 기반 피드백을 통해 정보 격차를 능동적으로 좁히는 것이 이질적인 도구 또는 모델 간의 라우팅을 수행해야 하는 에이전틱 시스템을 구축하기 위한 일반적인 원칙이라고 주장합니다.

• 패러다임의 전환: 이 연구는 라우팅을 정적 분류 문제에서 동적이고 자기 적응적인 프로세스(C-A-F 루프)로 전환합니다.
• 실용적 유용성: 사용자가 단일한 "최고" 모델에 의존하는 대신, 동적으로 태스크를 라우팅함으로써 오라클에 근접한 성능과 비용 효율성을 달 수 있음을 보여줍니다.
• 일반화 가능성: C-A-F 루프는 단순한 라우팅 메커니즘을 넘어, 도구 선택, API 엔드포인트 선택, 노력 할당 등에 적용 가능한 광범위한 의사결정 패러다임으로 제시됩니다.
• 겸허함: 저자들은 제공자 측의 캐시 히트율을 관찰할 수 없어 비용 추정이 절대적이지 않고 상대적이라는 점, 그리고 예산 통제력을 유지하기 위해 OOD 태스크에 대해 축소된 스텝 제한을 사용했다는 점 등 한계를 인정합니다. 또한 현재의 구현체는 LLM 정책과 kNN 메모리를 사용하지만, 대안적인 파라미터 수준의 메모리 기술은 향후 탐구 과제로 남아있다고 언급합니다.

요약하자면, 본 논문은 에이전틱 코딩 시스템의 미래가 단 하나의 지배적인 모델을 찾는 것이 아니라, 실행 피드백으로부터 학습하여 적재적소에 적절한 도구를 선택하는 적응형 라우터를 구축하는 데 있다고 주장합니다.