기술 요약: ALLOBENCH: LLM 에이전트의 온라인 도구 할당 능력 측정

문제 정의

대규모 언어 모델(LLM) 에이전트는 반복되는 작업을 해결하기 위해 재사용 가능한 도구(스크립트, 매크로, 래퍼)를 생성하는 과업을 점점 더 많이 부여받고 있다. 기존의 벤치마크들은 모델이 올바른 도구를 작성할 수 있는지 또는 기존 라이브러리에서 도구를 선택할 수 있는지를 평가하지만, 도구를 언제 만들 것인가라는 근본적인 결정 과정을 측정하는 데는 대부분 실패한다.

도구 구축은 고정 비용(시간, 토큰, 액션 예산)을 발생시키지만, 향후 재사용 가능성이라는 잠재력을 제공한다. 최적의 에이전트는 일회성 작업에 자원을 낭비할 위험과 빈번하고 반복적인 작업을 포착하기 위해 너무 오래 기다릴 때 발생하는 기회비용 사이에서 균형을 잡아야 한다. 이는 불확실성 하에서의 온라인 학습 문제이다. 본 논문은 현재의 프런티어 모델들이 이러한 트레이드오프를 이성적으로 수행하는 능력이 부족할 수 있다고 상정하며, 특히 도구 생성 과정에 코드 생성이 포함될 때 그러하다.

방법론: AlloBench

저자들은 추상적 맥락에서 완전한 구축 맥락으로 전환되는 "프레이밍 사다리(framption ladder)"를 통해 예산 인식 기반의 도구 투자 능력을 테스트하도록 설계된 쌍을 이룬 벤치마크인 AlloBench를 소개한다.

실험 설정

• 태스크 스트림: 하나의 에피소드는 $N=8$개의 잠재 클래스로부터 추출된 $T=60$개의 숨겨진 태스크 시퀀스로 구성된다.
• 분포: 세 개의 클래스는 "핫(hot)" 클래스(높은 빈도, 약 1323회 발생)이며, 다섯 개의 클래스는 "트랩(trap)" 클래스(낮은 빈도, 약 16회 발생)이다.
• 예산: 에이전트에게는 도구 생성을 위한 고정 예산 $B=3$이 주어진다.
• 메커니즘: 각 턴마다 에이전트는 태스크 인스턴스를 관찰한다. 만약 태스크가 도구가 존재하지 않는 클래스에 속하고 예산이 남아 있다면, 에이전트는 COMMIT(도구를 생성하여 예산 소모)하거나 PASS(기다림)를 선택한다. 도구가 이미 존재한다면 자동으로 적용된다.
• 보상: 에이전트는 해결된 모든 태스크 인스턴스(기존 도구에 의해 해결되거나, 도구가 필요 없는 경우 PASS를 통해 해결됨)에 대해 1점을 얻는다. 목표는 "핫" 클래스의 발생을 최대한 많이 포착하면서 "트랩" 클래스를 피함으로써 총 효용을 극대화하는 것이다.

프레이밍 사다리 (The Framing Ladder)

할당 능력이 어디에서 무너지는지 격리하기 위해, 동일한 태스크 스트림을 네 가지 서로 다른 프레임으로 렌더링한다:

1. R0 (추상적): 모델은 색깔이 있는 공을 보고 자유 텍스트로 KEEP/PASS를 선택한다. 코드는 포함되지 않는다.
2. R1 (선언적): 모델은 수치 문제를 보고 선언적인 KEEP/PASS 도구 호출을 수행한다. 코드 생성은 포함되지 않는다.
3. R2 (코드): 모델은 클래스를 점유하기 위해 비어 있지 않은 Python solve(inputs) 함수를 생성해야 한다. 코드의 정확성은 보상을 위해 평가되지 않지만, 생성 자체는 필수적이다.
4. R3 (전체 구축): 모델은 스크립트를 작성, 실행 및 재사용해야 한다. 스크립트가 크레딧을 받으려면 정확성이 요구된다.

지표

• 첫 관측 시점 커밋 비율 (First-Sight Commitment Rate): 클래스의 첫 번째 등장 시점에 커밋을 수행한 비율. 최적의 행동은 재발 증거를 기다리는 것이므로, 높은 비율은 "성급한(eager)" (차단적인) 행동을 나타낸다.
• 스코어 (Score): 실현된 효용과 이론적 사후 최적값(가장 큰 $B$개 클래스의 합)을 비교한 경쟁 비율.

주요 기여

1. AlloBench 벤치마크: 예산 인식 기반의 도구 투자를 연구하기 위한 일반화 가능한 쌍 구조의 벤치마크.
2. 정량적 스코어링: 타이밍과 도구 생성 능력을 분리하여 모델의 할당 성능을 공정하게 비교할 수 있는 지표.
3. 능력의 벽 발견: 프런티어 모델들이 추상적인 환경에서는 최적으로 할당할 수 있지만, 도구 생성으로 전환될 때는 이 능력이 무너진다는 증거 제시.
4. 실패 지점의 국소화: 대부분의 모델에서 "코드 방출(code emission)"(R2)이 할당 실패의 주요 트리거임을 확인하였고, 가장 강력한 모델들에게는 "전체 구축"(R3)이 트리거임을 확인.
5. 사후 학습의 한계: 추상적 할당에 대해 강화 학습(RL)으로 훈련된 정책이 수치적 또는 코드 기반 프레이밍으로 일반화되지 못함을 입증.

실험 결과

연구는 네 가지 프런티어 모델(Claude Haiku 4.5, Claude Opus 4.8, GPT-5.4-mini, GPT-5.6 Sol)과 오픈 소스 모델(Qwen2.5-Coder-14B)을 평가했다.

1. 추상적 역량 vs. 도구 예산 관리 실패

네 가지 프런티어 모델 모두 R0 (추상적) 프레임에서는 재발 증거를 기다리며 70% 이상의 경우에서 최적에 가까운 할당 능력을 보여주었다. 그러나 이 역량은 **R3 (전체 구축)**에서 붕괴되었다. R3에서 어떤 모델도 첫 번째 인스턴스를 보고 나서 12% 이상 기다리지 않았으며, 거의 즉시 커밋하였다.

2. 실패 모드의 국소화

프레이밍 사다리를 통한 전이를 분석함으로써 저자들은 실패의 구체적인 트리거를 식 발견했다:

• Haiku, Opus, GPT-5.4-mini: 이 모델들은 R0와 R1(선언적)에서는 합리적인 할당 능력을 유지했다. 이들의 할당 능력은 코드를 방출해야 하는 R2 (코드) 단계에서 급격히 붕괴되었으며, 이때 코드의 정확성은 체크되지 않았다.
• GPT-5.6 Sol: 이 모델은 R2에서 일부 할당 능력을 유지했으나(첫 관측 시점 커밋 39%), 스크립트가 실행되고 검증되어야 하는 **R3 (전체 구축)**에서 붕괴되었다.

3. 사후 학습 및 일반화

저자들은 유용성을 극대화하기 위해 Qwen2.5-Coder-14B를 추상적 R0 프레임에서 PPO를 사용하여 미세 조정했다.

• 성공: 사후 훈련된 모델은 R0에서 첫 관측 시점 커밋 비율을 74%에서 6%로 낮추었으며, 어휘적 리스킨(예: 공 대신 동전)에 대해서도 이 행동을 일반화했다.
• 실패: 학습된 정책은 R1 (선언적) 또는 R2 (코드)로 전이되지 않았다. 추상적인 용어로 선택성을 갖도록 훈련되었음에도 불구하고, 수치 문제나 코드 요구 사항이 제시되면 다시 성급한 커밋 상태로 돌아갔다.

4. 경제적 민감도

경제적 민감도 분석(도구 생성 비용 변화)에서, 추상적 정책(R0)은 비용이 증가함에 따라 더 선택적으로 변하며 이론적 최적값을 추적했다. 반면, 코드가 요구되는 정책(R2)은 비탄력적이었으며, 최적의 전략이 거의 아무것도 구축하지 않는 것이 될 정도로 비용이 높아졌음에도 불구하고 계속해서 100%에 가까운 비율로 도구를 구축했다.

의의 및 주장

본 논문은 온라인 도구 할당이 현대 프런티어 모델의 중요한 능력 경계임을 확립한다.

• 프레이밍 격차 (Framing Gap): 모델이 추상적인 상황에서 자원 할당을 추론하는 능력과, 작업에 코드가 포함될 때 그 추론을 실행하는 능력 사이에 근본적인 단절이 존재한다. 저자들은 이것이 코드 데이터셋(예: DeepSWE)에 대한 사후 학습 때문이라고 추측한다. 해당 데이터셋은 독립적인 보상을 가진 무관한 문제들의 스트림을 제시하여, 모델이 "나중을 위해 투자"하기보다 당장의 인스턴스에 집착하도록 조건화하기 때문이다.
• 시스템 설계 시사점: 현재의 도구 구축 에이전트 시스템은 예산 할당과 도구 생성을 동시에 관리할 수 없다. 저자들은 미래의 시스템이 이 작업들을 분리해야 한다고 제안한다. 즉, 한 에이전트는 (R1과 같은 로직을 바탕으로) 추상적인 결정을 내리고, 별도의 에이전트가 구축을 담당해야 한다.
• 평가 제한점: 기존 벤치마크들은 도구 생성 능력과 할당 능력을 혼동하고 있다. 모델이 태스크에 실패하는 이유는 도구를 작성할 수 없어서가 아니라, 구축 프레이밍에 의해 할당 정책이 억제되었기 때문일 수 있다.

결론적으로, 모델은 최적의 온라인 투자를 수행할 수 있는 잠재력을 가지고 있으나, 이 능력은 코드 방출 및 실행이라는 특정 요구 사항에 의해 현재 억제되어 있으며, 이는 표준적인 사후 학습 기법으로는 아직 해결되지 않은 현상이다.