기술 요약: BAGEN: LLM 에이전트는 예산 인지 능력을 갖추고 있는가?

1. 문제 정의

현재의 대규모 언어 모델(LLM) 에이전트들은 토큰 사용량(내부 예산)이나 API 호출, 금전적 비용, 시간(외부 예산)과 같이 상당한 자원 소비를 수반하는 장기적이고 중대한 과업에 점점 더 많이 배치되고 있습니다. 그러나 기존의 평가 패러다임은 예산을 주로 **사후적 지표(post-hoc metric)**로 취급하여, 실행이 완료된 후에만 비용을 측정합니다.

본 논문은 에이전트가 예산 인지 능력(budget awareness), 즉 실행 중간에 남은 예산이 얼마인지, 그리고 해당 과업을 완수할 수 있는 상태인지(finishable)를 추정하는 능력이 부족하다는 결정적인 격차를 식별합니다. 이러한 능력이 없다면 에이전트는 희망 없는 과업을 중단하거나, 추가 자원을 요청하거나, 하위 목표 간에 예산을 재배분하는 것과 같은 중요한 제어 결정을 내릴 수 없습니다. 또한, 기존 연구들은 종종 단일 시점 추정(single-point estimation)(과업 시작 시점의 단일 예측)에 의존하는데, 이는 장기적 과업의 진화하는 실현 가능성을 포착하지 못하며 관찰된 진행 상황에 따른 점진적인 정교화를 허용하지 않습니다.

2. 방법론

2.1. 예산 양상 (Budget Modalities)

저자들은 두 가지 구별되는 예산 유형을 공식화합니다:

• 내부 예산 (Internal Budget): 모델 자체의 추론에 의해 생성되는 계산량 (예: 토큰 수).
• 외부 예산 (External Budget): 환경에 투입된 비용 (예: 돈, 시간, 재고), 이는 다차원적이며 서로 결합될 수 있습니다 (예: 재고 보유는 수익을 높이지만 창고 용량을 소비함).

2.2. 점진적 구간 추정 프로토콜 (Progressive Interval Estimation Protocol)

단일 시점 추정의 한계를 해결하기 위해, 본 논문은 점진적 구간 추정을 제안합니다. 단일 지점 예측 대신, 에이전트가 궤적 $\tau$의 매 턴 $k$마다 다음을 예측하도록 요청합니다:

1. 과업이 수행 가능하다고 판단될 경우, 남은 예산을 나타내는 구간 $[\hat{R}^{lo}_k, \hat{R}^{hi}_k]$.
2. 남은 예산을 고려할 때 과업이 불가능하다고 판단될 경우, 불가능(impossible) 선언.

이 프로토콜은 세 가지 핵심 속성을 도입합니다:

• 불확실성 (Uncertainty): 구간 폭을 통해 표현됨.
• 점진성 (Progressiveness): 에이전트가 부분적인 진행 상황을 관찰함에 따라 추정치가 업데이트됨.
• 불가능성 인지 (Infeasibility Awareness): 명시적인 "불가능" 옵션은 조기 중단을 가능하게 함.

2.3. 롤아웃-리플레이 평가 (Rollout-Replay Evaluation)

예산 추정 능력과 과업 완수 능력을 분리하기 위해, 저자들은 롤아웃-리플레이 프로토콜을 사용합니다:

1. 롤아웃 생성: 에이전트가 예산 제약 없이 과업을 실행하여 전체 궤적과 실제 비용(ground-truth costs)을 생성합니다.
2. 접두사 리플레이 (Prefix Replay): 턴 $k$까지 기록된 접두사를 에이전트에게 다시 재생(replay)하고, 에이전트는 남은 예산과 실현 가능성을 추정하도록 요청받습니다.
3. 점수 산정: 예측값은 실제 실현된 잔여 비용 및 실제 결과와 비교하여 점수가 매겨집니다.

2.4. 하위 능력 지표 (Sub-Capability Metrics)

예산 인지는 세 가지 측정 가능한 하위 능력으로 분해됩니다:

1. 실현 가능성 예측 (Feasibility Prediction): Macro-F1로 측정되는 이진 분류 (실현 가능 vs 불가능).
2. 조기 실패 탐지 (Early Failure Detection): 실패할 운명의 궤적을 조기에 인식하는 능력으로, Fail-F1 ( "불가능" 클래스에 대한 정밀도/재현율)로 측정됩니다.
3. 잔여 예산 추정 (Remaining Budget Estimation): 성공적인 궤적에서의 구간 예측 정확도로, 커버리지(Coverage) (실제 비용이 구간 내에 포함되는지 여부)와 타이트니스(Tightness) (지나치게 넓은 구간에 대해 페널티 부여)로 측정됩니다.

2.5. 실험 설정

본 연구는 네 가지 환경에서 다섯 가지 프런티어 모델(GPT-5.2, Claude Opus 4.7, Claude Sonnet 4.6, Gemini 3.1 Pro, Qwen3-235B)을 평가합니다:

• 내부 예산: Sokoban (계획), Search-R1 (멀티홉 검색), SWE-bench (GitHub 이슈 해결).
• 외부 예산: Warehouse (비용, 시간, 재고 차원이 결합된 공급망 환경).

3. 주요 결과

3.1. 과업 성능과 예산 인지의 분리

• 약한 상관관계: 과업 성공률은 예산 추정 품질과 약한 상관관계를 보입니다 ($r \approx 0.35$). 강력한 과업 수행 능력이 반드시 강력한 추정 능력을 의미하지는 않습니다. 예를 들어, Search-R1에서 Opus는 가장 높은 과업 성공률(75.8%)을 기록했지만, Sonnet이 더 나은 구간 추정 성능(적중률 36.5% vs 23.1%)을 보였습니다.
• 지배적인 모델 없음: 모든 세 가지 하위 능력(실현 가능성, 조기 탐지, 구간 보정)에서 탁월한 성능을 보이는 단일 모델은 존재하지 않았습니다.

3.2. 체계적 실패 (Systematic Failures)

• 낙관적 편향 (Optimistic Bias): 모든 모델이 일관되게 남은 예산을 과소평가하는 경향(낙관적 편향)을 보였습니다. 이 편향은 성능이 낮은 모델에서 더 두드러졌으며 모든 환경에서 지속되었습니다.
• 늦은 실패 인식: 에이전트들이 행동을 취하기에는 너무 늦게 실패를 인식합니다. 실패한 궤적에서 모델들은 예산의 60%가 소비된 후에도 70% 이상의 확신도로 "실현 가능"을 예측하는 경우가 많았습니다. "경보"는 보통 실행 마지막 20% 단계에서야 울립니다.
• 불안정성: 첫 번째 턴의 추정치가 이후 턴의 추정치와 불일치하는 경우가 많으며, 이 불일치의 방향은 모델과 과업에 따라 다양하게 나타납니다.

3.3. 학습 및 실행 가능성

• 이진 실현 가능성은 보정(Calibration) 문제: 지도 미세 조정(SFT)만으로 Qwen-7B의 실현 가능성 정확도를 25.5%에서 약 90%로 높일 수 있었으며, 이는 해당 능력이 잠재되어 있었으나 형식적 보정이 필요했음을 시사합니다.
• 구간 추정은 추론(Reasoning) 문제: SFT는 구간 커버리지를 개선했지만, 커버리지를 47%까지 끌어올리기 위해서는 강화 학습(SFT+RL)이 필수적이었습니다. 그러나 SFT 웜업 없이 RL만 수행할 경우 학습 붕괴가 발생했습니다.
• 실행 가능한 신호: 단순한 조기 중단 정책(모델이 "불가능"을 예측할 때 종료)을 구현했을 때, 전체 성공률에 대한 최소한의 비용(1.64.2 퍼센트 포인트)만으로 실패한 궤적에서 **토큰을 2864% 절감**할 수 있었습니다.

4. 기여

1. 예산 인식의 정의: 예산 인식을 점진적 구간 추정을 통해 정의되는, 과업 실행과 구별되는 별개의 능력으로 공식화했습니다.
2. 평가 프로토콜: 추정 능력과 실행 능력을 분리하기 위한 롤아웃-리플레이 프로토콜을 도입했습니다.
3. 실증적 분석: 프런티어 모델들이 체계적인 낙관주의와 늦은 실패 인식 문제를 겪고 있으며, 이러한 실패가 과업 성능과는 별개임을 체계적으로 입증했습니다.
4. 학습 통찰: 이진 실현 가능성은 SFT로 해결 가능한 보정 문제인 반면, 정밀한 구간 추정은 SFT+RL가 필요한 추론 병목 현상임을 보여주었으며, 이 신호가 자원 절약을 위해 즉각적으로 실행 가능하다는 것을 보여주었습니다.

5. 의의 및 주장

본 논문은 예산을 수동적인 회계 지표가 아닌 능동적인 제어 신호로 취扱해야 한다고 주장합니다. 저자들은 현재의 에이전트들이 장기적 과업에서 자원을 효과적으로 관리하는 데 필요한 메타인지적 모니터링 능력이 부족하다고 주장합니다.

본 연구의 의의는 다음과 같습니다:

• 예산 인식은 비록 현재 모델들이 불완전할지라도, 학습 가능하고 실행 가능한 능력임을 입증했습니다.
• 단순한 개입(모델의 자기 예측에 기반한 조기 중단 등)이 전체 성공률에 미치는 영향은 최소화하면서도 상당한 자원 절감을 가져올 수 있음을 보여주었습니다.
• 과업 성능과 예산 추정 사이의 격차는, 향후 에이전트 개발이 단순히 추론이나 과업 성공의 향상으로부터 이러한 능력이 자연스럽게 발현되기를 기대하기보다, 자기 모니터링 및 보정을 명시적으로 목표로 해야 함을 시사합니다.

결론적으로, 정밀한 구간 보정은 여전히 도전 과제이지만(학습 후에도 커버리지가 47%에 머묾), 불가능성을 탐지하고 비용을 추정하는 능력은 자원이 제한된 환경에서 에이전트가 효과적으로 작동하도록 하기 위해 반드시 개발되어야 할 핵심적이고 구별되는 능력입니다.