AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?

다음은 논문 "AgentFloor: 소형 오픈-가중치 모델이 도구 사용 사다리의 어느 높이까지 도달할 수 있는가?"에 대한 상세한 기술 요약입니다.

1. 문제 제기

생산 환경의 에이전트 시스템은 사용자 요청당 수많은 모델 호출을 수행합니다. 이러한 호출 중 상당 부분은 짧고 구조화되어 있으며 일상적인 작업 (예: 조회, 기록 추출, 단일 제출) 입니다. 현재 업계 표준은 이러한 모든 호출을 비싸고 큰 '프런티어' 모델 (예: GPT-5) 로 라우팅하는 것입니다.

• 핵심 질문: 기존 평가는 에이전트 워크플로우의 어떤 부분이 실제로 프런티어 지능을 필요로 하고, 어떤 부분이 더 작고 오픈-가중치 모델로 처리될 수 있는지에 대해 직접적으로 답하지 못합니다.
• 격차: 단일 턴 벤치마크 (예: BFCL) 는 순차적 의존성을 무시하는 반면, 복잡한 다단계 스위트 (예: SWE-Bench) 는 API 드리프트, 웹 기반, 데이터 오염으로 인해 혼란이 발생합니다. 소형 모델이 프런티어 성능과 일치하는 지점과 이탈하는 지점에 대한 통제된 지도는 존재하지 않습니다.

2. 방법론: AgentFloor 벤치마크

저자들은 도구 사용에서의 인지적 요구 사항을 분리하도록 설계된 결정론적 30 개 작업 벤치마크인 AgentFloor를 소개합니다.

• 구조: 이 벤치마크는 각 티어가 정확히 하나의 새로운 인지적 요구 사항을 도입하는 **6 단계 능력 사다리 (A0 에서 E 까지)**로 구성됩니다.
  • A0: 지시 따르기 (도구 없음).
  • A: 단일 도구 호출.
  • B: 순차적 2 도구 체이닝 (도구 1 의 출력이 도구 2 로 입력됨).
  • C: 중간 결과에 따른 조건부 분기.
  • D: 충돌 복구와 함께 다중 소스 합성.
  • E: 지속적 제약 하의 장기 계획 (8~12 단계).
• 환경: 작업은 고정된 추상적 도구 환경과 메모리 내 고정 데이터베이스에서 실행됩니다. 파일 시스템, 라이브 API, 시간 변화 상태가 없어 환경적 노이즈와 사전 학습 오염을 제거합니다.
• 평가된 모델: 0.27B 에서 32B 파라미터에 이르는 16 개의 오픈-가중치 모델 (Gemma, Qwen, Mistral, Granite, Ministral 포함) 과 GPT-5가 평가되었습니다.
• 평가 프로토콜:
  • 실행: 16,542 회 점수 매겨진 실행.
  • 점수 매기기: 네 가지 검사자 계열 (최종 답변 일치, 제출 검증, 궤적 만족도, 그리고 환각된 도구와 같은 금지된 행동 부재) 을 기반으로 한 이진 통과/실패.
  • 통계적 엄격성: 사전 등록된 ±10 퍼센트 포인트 (pp) 마진에서 동등성을 검증하기 위해 쌍대 부트스트랩 분석 (10,000 회 리샘플링) 과 양측 단측 검정 (TOST) 을 사용했습니다.
  • 실패 분류: 실패는 엄격한 캐스케이드 (F1: 환각된 도구, F4: 단계 예산 소진, F5: 조기 사임 등) 로 분류됩니다.

3. 주요 기여

1. AgentFloor 벤치마크: API 드리프트와 같은 혼란 요인을 제거하고 에이전트 도구 사용에서 특정 인지적 요구 사항을 분리하는 통제된 결정론적 30 개 작업 사다리.
2. 능력과 비용 매핑: 가장 우수한 오픈-가중치 모델 (Gemma 4:26b) 이 GPT-5 와 집계적 동등성을 달성하면서도 훨씬 저렴하고 빠르다는 것을 보여주는 사전 등록 비교.
3. 실패 모드 분석: "장기 계획 격차"가 보편적이지 않다는 세밀한 분석으로, 서로 다른 모델이 서로 다른 이유 (예: 단계 부족 vs 조기 사임) 로 실패한다는 점을 밝혀냈으며, 이는 개입이 보편적이기보다는 모델별임을 의미합니다.

4. 주요 결과

A. 집계적 동등성과 비용 효율성

• 성능: 30 개 작업 전체에 걸쳐 Gemma 4:26b는 GPT-5와 통계적으로 동등합니다 (쌍대 $\Delta = +0.4$ pp, 90% 신뢰구간 $[-4.0, +5.1]$).
• 비용: 일치된 집계 정확도 (~60% TCR) 에서 Gemma 4:26b 는 자체 호스팅 Mac 에서 GPT-5 보다 15 배 저렴하고 클라우드 GPU 에서는 3 배 저렴합니다.
• 지연 시간: Gemma 4:26b 는 통과된 작업당 GPT-5 보다 2.5 배 빠릅니다.
• 파레토 프런티어: 오픈-가중치 모델은 측정된 모든 신뢰도 지점에서 작업당 비용의 파레토 프런티어 전체를 차지합니다.

B. 티어별 세부 분석

• A0 (지시): 오픈-가중치 모델 (예: Gemma 4:26b) 은 GPT-5 를 엄격하게 능가합니다 (100% 대 80%). GPT-5 의 실패는 종종 기술적 어휘의 과도한 재구문화 때문이었습니다.
• A (단일 도구): 오픈-가중치 모델은 GPT-5 와 공식적으로 동등합니다.
• B, C, D (체이닝, 분기, 합성): 점 추정치는 GPT-5 와 가깝습니다 (9 pp 이내), 하지만 ±10 pp 마진에서 동등성을 공식적으로 인증할 만큼 표본 크기가 충분하지 않았습니다.
• E (장기 계획): 이것이 GPT-5 가 엄격하게 우월한 유일한 티어입니다 (Gemma 4:26b 의 0% 대비 10% 통과율). 그러나 어느 모델도 이 티어에서 "실무자 관련" 신뢰도 (>80%) 에 도달하지 못합니다.

C. "절벽"과 모델 크기

• 소형 모델은 일상 작업에 충분함: A0 및 A 티어의 경우 0.6B~4B 파라미터만큼 작은 모델로도 80~90% 신뢰도 목표를 달성하기에 충분합니다.
• B→C 전환: 순차적 체이닝 (B) 에서 분기 (C) 로 이동할 때 성능이 급격히 하락합니다. 코퍼스 내의 제로샷 오픈-가중치 모델 중 어느 것도 티어 C, D, E 에서 80% 신뢰도 기준을 통과하지 못했습니다.
• 비단조적 스케일링: 성능은 파라미터 수와 엄격하게 비례하지 않습니다. 예를 들어, 4B 모델 (Nemotron) 은 티어 D 에서 26B 모델보다 우수했으며, 14B 모델은 동일한 패밀리 내 8B 형제 모델에 의해 압도되었습니다.

D. 개입 분석 (격차가 존재하는 이유)

저자들은 티어 E 격차를 해소하기 위한 개입을 테스트했으나 보편적인 해결책은 없었음을 발견했습니다.

• 명시적 제출 프롬프트: 특정 작업에서 Ministral-3:8b를 0% 에서 100% 로 끌어올렸지만 GPT-5 나 Gemma 4:26b 에는 영향이 전혀 없었습니다.
• 단계 예산 두 배 늘리기: GPT-5 의 경우 특정 작업 (E1) 에서는 도움이 되었으나 다른 작업에서는 효과가 없었습니다.
• 추론 모드: 추론을 비활성화하는 것은 티어 B 에서 32B Qwen 모델에는 도움이 되었지만 8B 및 14B 버전에는 해로웠습니다.
• 구조화된 프롬프트 (계획/실행/제출): 이 "분명한" 보편적 레버는 모든 테스트된 모델의 성능을 악화시켜, 계획은 세우지만 실행하지 못하게 만들었습니다.
• 실패 서명:
  • GPT-5는 주로 **F5(조기 사임)**를 통해 실패합니다: 계획은 세우지만 포기합니다.
  • Gemma 4:26b는 **F4(단계 소진)**와 **F1(환각된 도구)**를 통해 실패합니다: 단계가 부족하거나 도구를 발명합니다.
  • 결론: 실패 메커니즘이 다르기 때문에 단일 개입으로 둘 다 해결할 수 없습니다.

5. 중요성과 설계 원칙

이 논문은 에이전트 시스템 라우팅을 위한 구체적이고 데이터 기반의 가이드를 제공합니다.

1. 일상 작업은 소형 모델로 라우팅: 에이전트 호출의 대다수 (A0, A, 그리고 아마도 B) 는 정확도 측정 가능한 손실 없이 소형 오픈-가중치 모델 (<5B 파라미터) 로 처리할 수 있으며, 비용과 지연 시간에서 막대한 이점을 얻습니다.
2. 장기 계획은 프런티어 모델로 예약: 프런티어 모델은 지속적 조정과 제약 추적이 필요한 좁은 범위의 작업 (티어 E) 에만 엄격히 예약되어야 하지만, 그곳에서도 신뢰도는 여전히 낮습니다.
3. 개입은 모델별임: 장기 계획을 보편적으로 해결하는 "은탄환" 프롬프트나 아키텍처 튜닝은 존재하지 않습니다. 라우팅 전략은 선택된 모델의 특정 실패 모드에 맞춰 조정되어야 합니다.

최종 교훈: "도구 사용 사다리"에는 명확한 경계가 있습니다. 소형 오픈-가중치 모델은 이미 구조화되고 단기적인 에이전트 작업의 광범위한 기반에 충분하며, 모든 것을 프런티어 모델로 라우팅하는 기본 배포 전략에 도전합니다.