기술 요약: DecisionBench

문제 제기

대규모 언어 모델 (LLM) 에이전트들은 수분에서 수 시간에 걸친 도구 사용을 포함하는 장기 과제에 점점 더 많이 배치되고 있습니다. 현재 에이전트 워크플로우의 치명적인 비효율성은 하위 과제를 해결할 때 종종 과잉 공급된 단일 모델을 로컬로 사용하는 경향이 있으며, 대신 더 작거나 다른 전문성을 가진 피어 모델들에게 위임하지 않는다는 점입니다. 하위 과제를 피어들에게 라우팅하는 것은 잠재적인 파레토 프론티어 이동자이지만, 실무자들은 에이전트가 무엇을, 누구에게, 그리고 피어에 대한 어떤 정보를 제공할지 자율적으로 결정하는 능력인 **발생적 위임 (emergent delegation)**을 측정할 수 있는 벤치마크를 부족합니다. 기존 벤치마크 (예: GAIA, $\tau$-bench, BFCL) 는 단일 에이전트 능력에 초점을 맞추는 반면, 다중 에이전트 시스템 연구는 종종 발생적 행동보다는 수동으로 코딩된 역할 할당에 의존합니다. 또한 비용 인식 라우팅 벤치마크는 일반적으로 라우팅을 오케스트레이터의 고유한 행동이 아닌 외부 학습 정책으로 취급합니다.

방법론: DecisionBench 서브스트레이트

저자들은 장기 에이전트 워크플로우에서 발생적 위임을 분리하고 측정하도록 설계된 고정 벤치마크 서브스트레이트인 DecisionBench를 소개합니다. 이 서브스트레이트는 피어 정보가 생성되거나 전달되는 방식과 무관하여 다양한 오케스트레이션 방법의 평가를 가능하게 합니다.

핵심 구성 요소

1. 작업 스위트 (Task Suite): GAIA(일반 도구 사용 QA), $\tau$-bench(도구 - 에이전트 - 사용자 대화), BFCL 멀티턴(함수 호출) 의 세 가지 확립된 벤치마크에서 추출된 고정된 장기 작업 세트입니다. 이는 결정론적 20/80 층화 표본을 통해 1 단계 (프로파일링) 세트와 2 단계 (평가) 세트로 나뉩니다.
2. 피어 모델 풀 (Peer-Model Pool): 7 개 벤더 계열(OpenAI, Anthropic, Google DeepMind, DeepSeek, Moonshot, Qwen, MiniMax)의 11 개 모델로 구성된 이질적 풀이며, 재현성을 보장하기 위해 특정 고정일 (2026-04-29) 에 고정되었습니다.
3. 위임 인터페이스: 오케스트레이터 에이전트는 하위 과제를 위임하기 위해 call_model(name, subtask, budget_usd) 도구를 사용합니다. 선택적 read_profile(model) 도구를 통해 오케스트레이터는 피어의 구조화된 설명을 검색할 수 있습니다.
4. 주석 레이어 (Annotation Layer): 고정된 7 가지 기술 분류 체계(예: 도구 호출 스키마 준수, 멀티턴 상태 추적, 정보 검색) 와 결정론적 규칙 기반 단계 태거입니다. 이 레이어는 LLM 판단 없이 궤적 단계에 기술을 할당하여, 위임이 특정 하위 작업 기술에 적합한 피어로 전송되었는지 프로세스 수준의 평가를 가능하게 합니다.
5. 지표 세트 (Metric Suite): 다음을 포함하는 다축 프로파일:
   • 결과 지표: 최종 작업 품질, 비용, 지연 시간.
   • 프로세스 지표: 위임률, $k$에서의 라우팅 충실도(특정 기술에 대해 에이전트가 상위 $k$개 최상위 피어를 선택하는 빈도), 벤더 자기 선호도, 그리고 반사실 위임 상한선.

참조 개입

서브스트레이트를 특성화하기 위해 저자들은 다섯 가지 참조 조건을 구현합니다:

• Blind: 피어 정보 없음; 사전 확률에만 기반하여 위임.
• Aware-C1/C2/C3: (C1) 큐레이팅된 루브릭, (C2) 1 단계 궤적의 결정론적 통계, 또는 (C3) 풀 외부 LLM 판사 요약의 이중을 통해 구성된 사전 로드된 피어 설명. 이들은 온디맨드 read_profile 액세스와 짝을 이룹니다.
• Aware-Tool-Only: C2 와 동일하지만 사전 로드된 설명을 억제하여 전달 채널 (온디맨드 도구 vs 사전 로드된 프롬프트) 의 효과를 분리합니다.

주요 기여

1. 벤치마크 서브스트레이트: 고정된 작업 스위트, 피어 풀, 위임 인터페이스, 주석 레이어, 그리고 발생적 위임을 위한 다축 지표 세트를 포함하는 재사용 가능한 프레임워크.
2. 참조 개입 세트: 향후 오케스트레이션 방법에 대한 비교를 위한 기준선 (C1, C2, C3 및 전달 채널 제거) 세트.
3. 실증적 특성화: 11 개 모델, 3 개 벤치마크, 5 개 조건 ($N=23,375$ 작업 인스턴스) 에 걸친 종합적 스윕으로, 프로세스 수준 지표가 결과만 측정하는 지표가 놓치는 오케스트레이션 신호를 감지함을 발견.
4. 아티팩트 출시: 재현 가능한 연구를 가능하게 하기 위해 서브스트레이트, 주석 레이어, 33 개 프로파일 카드, 분석 파이프라인, 220 개 실행 아카이브를 공개.

주요 결과

실험적 스윕은 세 가지 주요 발견을 도출했습니다:

1. 품질은 조건 간에 평탄함: 평균 최종 작업 품질은 네 가지 인식 조건 간에 통계적으로 구별되지 않습니다 ($|\beta| \le 0.010, p \ge 0.21$). 품질 지표에만 의존하면 오케스트레이션 신호를 완전히 놓치게 됩니다.
2. 전달 채널이 내용을 지배함: 라우팅 충실도는 유의하게 변합니다.
   • 온디맨드 도구 액세스(aware-tool-only) 는 품질 동등성과 더 낮은 평균 비용을 유지하면서 블라인드 기준선에 비해 라우팅 정밀도 -at-1 을 두 배 이상 증가시킵니다 (14.2% $\to$ 29.5%).
   • 사전 로드된 설명은 이 이득의 절반 미만만 포착합니다 (C2: 20.8%, C3: 15.5%, C1: 7.5%).
   • 이는 피어 설명의 특정 내용보다 정보 전달 메커니즘 (검색 가능 도구 vs 정적 프롬프트) 이 더 중요함을 나타냅니다.
3. 상당한 실현되지 않은 여유 공간: 1 단계 최상위 피어로의 완벽한 단일 단계 위임을 가정하는 반사실 위임 상한선은 모든 스위트에서 측정된 성능보다 15~31 퍼센트 포인트 높은 완벽한 성능을 보여줍니다. 이는 향후 오케스트레이션 방법이 해결해야 할 큰 간격을 위치시킵니다.
4. 벤더 자기 선호도: 에이전트들은 "LLM-as-judge" 스타일의 편향을 보이며, 자신의 벤더 계열의 피어들에게 우연보다 1.5~3.7 배 높은 비율로 과도하게 위임합니다.

중요성과 주장

이 논문은 DecisionBench가 결과만 측정 (품질) 하는 평가 패러다임에서 프로세스 수준 분석 (충실도, 라우팅 행동) 으로 전환한다고 주장합니다. 주요 중요성은 다음을 입증하는 데 있습니다:

• 프로세스 지표는 필수적입니다: 현재 설정에서 즉시 더 높은 최종 작업 품질로 이어지지 않더라도 오케스트레이션 방법은 라우팅 충실도와 비용 효율성을 크게 개선할 수 있습니다.
• 전달 메커니즘이 중요합니다: 피어 정보의 "무엇"(설명 내용) 보다 "어떻게"(온디맨드 도구) 가 위임 품질의 더 강력한 동인입니다.
• 상당한 개선 여지가 있습니다: 현재 성능과 반사실 상한선 사이의 간격은 현재 오케스트레이션 방법, 특히 중간 능력 에이전트의 경우 최적에서 멀리 떨어져 있음을 시사합니다.

저자들은 충실도 이득이 아직 품질 개선으로 이어지지 않았음을 겸손하게 지적하며, 이는 낮은 위임률, 피어 설명의 부분적 신호, 또는 사전 로드된 프롬프트로 인한 주의 집중 혼잡 때문일 수 있다고 언급합니다. 그들은 이 간격을 좁히는 것이 더 빈번한 위임, 멀티단계 위임, 또는 더 풍부한 작업 중 피드백을 필요로 한다고 주장하며, 이러한 시나리오들은 DecisionBench 가 평가하도록 설계되었습니다.