[기술 요약] AI 에이전트의 비용 소비 분석 및 예측: 에이전트 기반 코딩 작업에서의 토큰 소비 연구

1. 문제 정의 (Problem Statement)

최근 복잡한 워크플로우에 AI 에이전트(Agent)가 도입되면서 LLM 토큰 소비량이 급격히 증가하고 있습니다. 그러나 현재의 에이전트 서비스는 다음과 같은 경제적 불확실성을 안고 있습니다:

• 투명성 부족: 작업이 완료되기 전까지 최종 비용을 알 수 없음.
• 실패 시 비용 부담: 작업이 성공하든 실패하든 사용자는 사용된 토큰만큼 비용을 지불해야 함.
• 예측 불가능성: 에이전트의 자율적 행동(도구 사용, 반복적 탐색 등)으로 인해 토큰 소비가 매우 가변적임.

본 논문은 **"에이전트가 토큰을 어디에 쓰는가?", "어떤 모델이 효율적인가?", "실행 전 토큰 사용량을 예측할 수 있는가?"**라는 세 가지 핵심 질문을 던집니다.

2. 연구 방법론 (Methodology)

연구진은 에이전트 기반 코딩 작업의 토큰 소비 패턴을 체계적으로 분석하기 위해 다음과 같은 설계를 채택했습니다.

• 데이터셋 및 프레임워크:
  • OpenHands 에이전트 프레임워크를 사용.
  • 실제 GitHub 이슈를 해결하는 SWE-bench Verified 벤치마크 활용.
• 대상 모델: 8종의 최첨단(Frontier) LLM (Claude 3.7/4/4.5 Sonnet, GPT-5, GPT-5.2, Qwen3-Coder, Kimi-K2, Gemini-3-Pro 등).
• 분석 지표:
  • 토큰 유형별(Input, Output, Cache Creation, Cache Read) 비용.
  • 작업 단계별(Setup, Explore, Fix, Validate, Closeout) 비용.
  • 모델별 정확도 대비 토큰 효율성.
• 예측 실험 (Self-prediction): 에이전트에게 작업 실행 전, 가용한 도구와 환경을 바탕으로 예상되는 입력/출력 토큰량을 스스로 예측하도록 하는 태스크를 설계하여 실제 사용량과 비교.

3. 주요 연구 결과 (Key Results)

① 에이전트 작업의 독특한 비용 구조

• 압도적인 비용: 에이전트 코딩 작업은 단순 코드 추론(Reasoning)이나 채팅(Chat)보다 약 1,000배~3,500배 더 많은 토큰을 소비합니다.
• 입력 토큰 주도: 비용 상승의 주범은 출력(Output)이 아닌 입력(Input) 토큰입니다. 에이전트가 반복적으로 컨텍스트를 읽어들이는 과정에서 누적된 입력 토큰이 전체 비용을 결정합니다.

② 높은 변동성과 비효율성

• 확률적 변동성: 동일한 작업이라도 실행할 때마다 토큰 사용량이 최대 30배까지 차이가 날 수 있습니다.
• 수익 체감의 법칙 (Inverse Scaling): 토큰을 더 많이 쓴다고 해서 반드시 정확도가 높아지지 않습니다. 정확도는 중간 정도의 비용에서 정점을 찍고, 그 이상의 비용은 비효율적인 반복 탐색(Redundant exploration)(예: 같은 파일을 계속 읽거나 수정하는 행위)으로 인해 오히려 정확도가 정체되거나 하락합니다.

③ 모델별 효율성 격차

• 모델별 성능 차이: 동일한 작업에 대해 Kimi-K2와 Claude-Sonnet-4.5는 GPT-5보다 평균 150만 개 이상의 토큰을 더 소비합니다. 이는 작업의 난이도 문제가 아니라 모델 고유의 행동 패턴(탐색 방식 등)에서 기인합니다.

④ 인간의 인지와 에이전트 비용의 괴리

• 인간 전문가가 판단한 작업 난이도와 실제 에이전트의 토큰 소비량 사이의 상관관계는 매우 낮았습니다($\tau_b = 0.32$). 즉, 사람이 보기에 쉬운 작업도 에이전트에게는 막대한 계산 자원을 요구할 수 있습니다.

⑤ 예측 능력의 한계

• 과소평가 경향: 모든 모델이 실제 토큰 사용량을 **체계적으로 과소평가(Underestimate)**하는 경향을 보였습니다.
• 낮은 상관관계: 모델의 자기 예측(Self-prediction) 능력은 약하거나 중간 정도의 상관관계(최대 0.39)만을 보였으며, 특히 입력 토큰 예측이 훨씬 어려웠습니다.

4. 핵심 기여 및 의의 (Significance)

1. 최초의 체계적 연구: AI 에이전트의 토큰 소비 패턴을 대규모로 분석한 첫 번째 연구로서, 에이전트 경제학(Economics of AI Agents)에 대한 기초 데이터를 제공합니다.
2. 비용 관리 인사이트: 에이전트의 비용이 단순히 '생각하는 시간'이 아니라 '컨텍스트를 읽고 반복하는 과정'에서 발생함을 밝혀, 향후 캐싱(Caching) 전략 및 효율적인 도구 사용 정책의 중요성을 강조했습니다.
3. 가격 모델 제언: 현재의 단순 토큰 기반 과금 방식이 에이전트 환경에서는 사용자에게 불리할 수 있음을 시사하며, 예산 제한(Budget caps)이나 단계별 승인 시스템 등 새로운 가격 모델의 필요성을 제기했습니다.
4. 오픈 소스 기여: 연구에 사용된 모든 에이전트 궤적(Trajectories)과 코드를 공개하여 후속 연구를 지원합니다.

---

요약 결론: 본 논문은 AI 에이전트가 매우 비싸고 예측 불가능한 방식으로 자원을 소비하며, 현재의 모델들은 자신의 비용을 정확히 예측하지 못한다는 점을 입증했습니다. 이는 향후 더 경제적이고 투명한 AI 에이전트 서비스를 구축하기 위해 모델의 효율성 개선과 새로운 가격 책정 메커니즘이 필수적임을 시사합니다.