💬 NLP

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

이 논문은 CoT 분기 엔트로피(CoT Branching Entropy)를 통해 워크플로 수준의 비용을 예측하고 의미적 교환율(Semantic Exchange Rate)을 통해 모델 선택을 최적화함으로써, FrugalGPT와 같은 기존 방식보다 더 적은 토큰으로 더 높은 정확도를 달arl achieve하여 에이전트 기반 LLM 시스템의 "토큰 인플레이션" 격차를 해결하는 새로운 라우팅 프레임워크인 InflationAgent를 소개한다.

원저자: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

게시일 2026-08-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 배송 부대를 운영하는 배송 서비스를 운영한다고 상상해 보세요. 어떤 로봇은 아주 작고 빠르며 운영 비용이 저렴하지만, 가끔 혼란을 느껴 패키지를 떨어뜨리기도 합니다. 반면 어떤 로봇은 거대하고 매우 똑똑하며 비용이 많이 들지만, 거의 실수를 하지 않습니다. 인공지능의 세계에서 이 로봇들은 "대규모 언어 모델(LLM)"입니다. 이들은 챗봇과 코딩 어시스턴트의 두뇌 역할을 합니다. 보통 우리가 질문을 던질 때, 우리는 단 하나의 로봇에게 질문을 보내고 답변을 기다립니다. 하지만 현실 세계에서는 상황이 복잡하게 돌아갑니다. 만약 작은 로봇이 틀렸을 때, 스마트한 시스템은 그냥 포기하는 대신 로봇에게 다시 시도하라고 요청합니다. 심지어 거대한 로봇이 개입하도록 요청할 수도 있습니다. 이것을 "에이전틱 시스템(agentic system)"이라고 부르며, 문제를 해결하기 위해 협력하는 AI 에이전트들의 팀을 의미합니다.

문제는 우리가 이 배송 비용을 잘못 계산해 왔다는 점입니다. 우리는 단 한 번의 여정에 드는 가격만 계산했을 뿐, 만약 로봇이 사고를 쳐서 다시 창고로 돌아와 재시도를 해야 한다면, 우리가 지불하는 것은 편도 티켓이 아니라 왕복 전체 비용이라는 사실을 잊었습니다. 이 논문은 이러한 AI 팀을 관리하는 새로운 방법을 다룹니다. 이를 통해 우리가 잘못된 로봇을 작업에 투입하여 재시도가 너무 많이 발생하는 바람에 예산을 실수로 탕진하는 일을 방지하고자 합니다.

숨겨진 비용: "다시 시도하기"

당신이 카니발의 게임 부스에 있다고 상상해 보세요. 당신에게는 놀이에 사용할 수 있는 제한된 금액(토큰)이 있습니다. 당신은 한 번 시도할 때 1달러가 드는 저렴하고 덜 견고한 기계와, 한 번 시도할 때 10달러가 드는 화려하고 하이테크한 기계 중 하나를 선택할 수 있습니다.

기존의 사고방식은 단순했습니다: "저렴한 기계는 1달러니까, 그걸 고를래!" 하지만 여기에는 함정이 있습니다. 저렴한 기계는 까다롭습니다. 어려운 질문을 던지면 틀릴 수도 있습니다. 그래서 당신은 두 번째 시도를 위해 다시 1달러를 내야 합니다. 세 번째, 네 번째도 마찬가지입니다. 마침내 정답을 얻었을 때, 당신은 저렴한 기계에 이미 5달러를 쓴 셈이 됩니다. 반면, 화려한 기계는 첫 번째 시도에 10달러를 들여 바로 정답을 맞혔을 것입니다.

이 논문은 이 숨겨진 추가 비용을 **"토큰 인플레이션(Token Inflation)"**이라고 부릅니다. 이는 당신이 지불한다고 생각하는 비용(한 번의 시도)과 당신이 실제로 지불하는 비용(다섯 번의 시도) 사이의 격차입니다. 저자들은 어려운 과업의 경우 이 인플레이션이 엄청날 수 있다는 것을 발견했습니다. 작은 규모의 저렴한 모델은 계속 실패하고 재시도가 필요하기 때문에 예상보다 4.25배 더 많은 비용이 들 수도 있습니다.

새로운 전략: "인플레이션에이전트(InflationAgent)"

연구진은 이를 해결하기 위해 **인플레이션에이전트(InflationAgent)**라는 새로운 시스템을 구축했습니다. 이 시스템은 단순히 한 번의 시도에 드는 가격표만 보는 대신, 어떤 기계가 고장 나기 쉬운지 정확히 알고 있는 노련한 카니발 매니저처럼 행동합니다.

작동 방식은 다음과 같습니다.

1. "직감 테스트" (CoT 분기 엔트로피)
시스템이 로봇에게 문제를 풀라고 요청하기도 전에, 시스템은 빠르고 무료인 사전 테스트를 수행합니다. 시스템은 작은 로규모의 로컬 로봇에게 문제를 세 가지 다른 방식으로 생각해보라고 요청합니다.

만약 로봇이 세 번 모두 같은 답을 내놓는다면, 시스템은 문제가 쉽다는 것을 압니다.
만약 로봇이 완전히 다르고 혼란스러운 세 가지 답을 내놓는다면, 시스템은 문제가 어렵고 로봇이 재시도의 굴레에 빠질 가능성이 높다는 것을 압니다.
저자들은 이 측정값을 **CoT 분기 엔트로피(CoT Branching Entropy)**라고 부릅니다. 이는 마치 여행을 시작하기도 전에 자동차 엔진이 덜컥거리는지 확인하는 것과 같습니다. 이 과정은 비싼 클라우드 서버가 아닌 로컬 컴퓨터에서 일어나기 때문에 추가 비용이 들지 않습니다.

2. "가격표" 계산기
이 "직감 테스트"를 사용하여 시스템은 "인플레이션"이 얼마나 발생할지 예측합니다. 단순히 추측하는 것이 아니라, 과거 데이터로 학습된 작고 똑똑한 계산기(머신러닝 모델)를 사용합니다. 시스템은 다음과 같이 예측합니다: "이 어려운 질문을 작은 로봇에게 보내면 아마 3번 실패할 것이고, 따라서 실제 비용은 가격의 3배가 될 것이다."

3. "최고의 거래" 선택기
이제 시스템은 **의미적 교환 비율(Semantic Exchange Rate, SER)**을 계산합니다. 이는 "내가 실제로 지불하는 1달러당 얼마나 많은 정확도를 얻을 수 있는가?"라고 묻는 세련된 방식입니다.

만약 작은 로봇이 저렴하지만 4번 실패한다면, 그 "거래"는 형편없습니다.
만약 큰 로봇이 비싸지만 한 번에 성공한다면, 그 "거래"가 실제로 더 나은 조건일 수 있습니다.
시스템은 단순히 가장 싼 가격표를 가진 로봇이 아니라, 최고의 가치를 제공하는 로봇을 선택합니다.

4. "새 출발" 규칙
이것이 가장 중요한 기술입니다. 만약 시스템이 질문을 로봇에게 보냈는데 실패했고, 그 후 더 크고 똑똑한 로봇으로 격상하기로 결정했다면, 시스템은 이전의 실패한 시도를 버립니다.
연구진은 놀라운 사실을 발견했습니다. 만약 큰 로봇에게 작은 로봇의 엉망이고 혼란스러운 메모를 보여주면, 큰 로봇도 함께 혼란에 빠진다는 것입니다. 이는 마치 천재 학생에게 고군분투하는 학생의 낙서가 가득한 페이지를 보여주는 것과 같습니다. 천재는 자신의 답에 의구심을 갖기 시작할 수 있습니다.
큰 로봇에게 **새로운 프롬프트(fresh prompt, 깨끗한 상태)**를 제공함으로써, 시스템은 높은 정확도를 유지합니다. 만약 실패한 메모를 그대로 전달했다면, 어려운 문제에서 큰 로봇의 정확도는 34.8 퍼센트 포인트나 떨어졌을 것입니다.

연구 결과

연구팀은 수학 문제(GSM8K)와 까다로운 상식 퀴즈(HotpotQA)를 통해 이를 테스트했습니다. 결과는 다음과 같았습니다.

인플레이션은 실재합니다: 어려운 상식 퀴즈에서 작은 모델(Qwen2.5-7B)의 인플레이션율은 4.25배였습니다. 이는 당신이 1달러를 쓰고 있다고 생각할 때마다, 로봇이 계속 실패하여 실제로 4.25달러를 쓰고 있었다는 것을 의미합니다.
더 적은 비용으로 더 나은 결과: 고정된 예산(토큰 사용량의 엄격한 제한)을 설정했을 때, 새로운 시스템(InflationAgent)은 **94.7%**의 정답률을 기록했습니다. 기존의 인기 있는 방식(FrugalGPT)은 **91.0%**만을 기록했습니다.
토큰 절약: 기존 방식이 달성한 91.0%의 정확도를 얻기 위해, 새로운 시스템은 31% 적은 토큰을 사용했습니다. 이는 엄청난 절약입니다.
"더 많은 재시도"의 위험성: 연구진은 작은 로봇에게 더 많은 기회(최대 10번)를 주는 것이 영원히 효과적이지 않다는 것을 발견했습니다. 특정 시점이 지나면 로봇은 자신의 과거 실패에 의해 혼란을 느끼게 되며, 오히려 정확도가 떨어집니다. 때로는 벽에 머리를 계속 부딪치는 것보다 더 똑똑한 로봇으로 교체하는 것이 낫습니다.

결론

이 논문은 AI의 세계에서 "저렴함"이 항상 저렴한 것은 아니라는 점을 보여줍니다. 만약 모델이 실패하여 계속 재시도를 해야 할 가능성이 높다면, 그것은 비싸고 비효효율적이 됩니다. 모델이 얼마나 막힐 가능성이 있는지(엔트로피를 통한 "직감 테스트")를 측정하고, 더 똑똑한 모델으로 전환할 때 새롭게 시작함으로써, 우리는 돈을 아끼고 더 나은 답변을 얻을 수 있습니다.

저자들은 특정 수학 및 상식 데이터셋을 통한 테스트를 바탕으로 이 결과에 자신감을 보이고 있습니다. 이 방식이 추론 작업에는 매우 효과적이지만, 더 개방적인 대화나 도구 활용에 어떻게 적용할지는 여전히 풀어야 할 숙제라고 제안합니다. 하지만 현재로서는, 약간의 스마트한 계획이 AI 예산이 통제 불능으로 치솟는 것을 막는 데 얼마나 큰 도움이 되는지를 입증해 냈습니다.

기술 요약: 모든 토큰이 동일한 것은 아니다: 에이전틱 LLM 시스템을 위한 인플레이션 인식 라우팅

문제 정의

LLM을 기반으로 구축된 현대적인 에이전틱 시스템은 모델이 쿼리에 올바르게 답하지 못하거나 불완전한 추론 체인을 생성할 때 재시도(retry) 메커니즘을 빈번하게 사용한다. 기존의 라우팅 시스템(예: FrugalGPT, RouteLLM)은 단일 호출당 토큰 가격에 따라 비용을 최적화하지만, 재시도로 인한 누적 비용은 고려하지 못한다.

저자들은 **토큰 인플레이션(Token Inflation)**을 실제 워크플로우 비용(모든 재시도 포함)과 추정된 단일 호출 비용 사이의 비율로 정의한다.
$\text{Inflation}(m, x) = \frac{C_{\text{true}}(m, x)}{C_{\text{direct}}(m, x)}$
여기서 $C_{\text{true}}$ 는 성공할 때까지(또는 재시도 횟수 소진 시까지) 소비된 총 토큰 수이며, $C_{\text{direct}}$ 는 단일 시도의 토큰 수이다.

본 논문은 이러한 인플레이션이 무시할 수 없는 수준이며 변동성이 매우 크다는 것을 입증한다. 까다로운 멀티홉(multi-hop) 작업의 경우, "저렴한" 소형 모델은 반복적으로 실패하여 실제 비용이 단일 호출 추정치보다 4.25배 더 높아질 수 있다. 결과적으로, 단일 호출 추정치만을 기반으로 한 라우팅 결정은 실제 비용을 2배 이상 과소평가하여 최적의 모델 선택을 방해할 수 있다.

방법론: InflationAgent

이를 해결하기 위해 저자들은 **의미적 교환율(Semantic Exchange Rate, SER)**을 극대화하도록 설계된 4단계 라우팅 파이프라인인 InflationAgent를 제안한다. SER은 기대 정확도를 예측된 실제 비용으로 나눈 값이다:
$\text{SER}(m, x) = \frac{U(m)}{\hat{C}_{\text{true}}(m, x)}$

파이프라인은 다음과 같이 작동한다:

특징 추출 (로컬): 시스템은 API 호출 없이 쿼리에서 구조적 특징(토큰 수, 어휘 다양성, 멀티홉 단서)을 추출한다.
CoT 분기 엔트로피(CBE) 계산 (로컬): 시스템은 로컬 모델로부터 $K$ 개의 독립적인 추론 체인을 샘플링한다. 그 후 결과적인 답변 분포의 샤논 엔트로피(Shannon entropy)를 계산한다:
$\text{CBE}(x) = -\sum_{c} p_c \log_2 p_c$
높은 엔트로피는 추론 경로의 발산과 높은 쿼리 난이도를 나타내며, 이는 추가 비용 없이 재시도 가능성을 예측하는 지표 역할을 한다.
인플레이션 예측 및 라우팅: 경량 다층 퍼셉트론(MLP)이 네 가지 특징(CBE, 일치 점수, 평균 체인 길이, 프롬프트 토큰 수)을 사용하여 인플레이션 계수( $\hat{\text{Inflation}}$ )를 예측한다. 시스템은 실제 비용( $\hat{C}_{\text{true}} = C_{\text{direct}} \times \hat{\text{Inflation}}$ )을 추정하고, 가장 높은 SER을 가진 모델 티어를 선택한다.
신선한 에스컬레이션(Fresh-Escalation)을 통한 실행: 선택된 모델이 쿼리를 실행한다. 만약 관찰된 인플레이션이 예측값보다 2배를 초과하면, 시스템은 더 강력한 모델 티어로 에스컬레이션한다. 결정적으로, 이 에스컬레이션은 실패한 추론 체인을 폐기하여 컨텍스트 오염을 방지하는 **새로운 프롬프트(fresh prompt)**를 사용한다.

주요 기여

토큰 인플레이션의 체계적 측정: 저자들은 세 가지 모델 티어(Qwen2.5-7B, GPT-4o-mini, GPT-4o)와 두 가지 데이터셋(GSM8K, HotpotQA)에 걸쳐 에이전틱 재시도 하네스를 구축했다. 연구 결과, 인플레이션은 작업 유형에 따라 크게 달라지며, 멀티홉 QA 작업에서 7B 모델의 경우 4.25배에 달하는 반면, 동일한 작업에서 GPT-4o는 2.92배의 인플레이션만 발생함을 발견했다.
CoT 분기 엔트로피 (CBE): 로컬 추론을 통해 완전히 계산되는 새로운 사전 실행 난이도 신호이다. 이는 0.887의 AUROC로 높은 인플레이션을 예측하며, API 비용 발생 없이 재시도 오버헤드를 예측할 수 있게 한다.
의미적 교환율 (SER) 라우팅: 단순 단일 호출 비용이 아닌, 예측된 실제 비용 대비 정확도의 균형을 맞추는 라우팅 목적 함수이다.
신선한 에스컬레이션 정책: 더 강력한 모델로 실패한 추론 체인을 전달하는 것이 성능을 저하시킨다는 경험적 발견을 제시한다. 저자들은 실패한 컨텍스트가 GPT-4o를 오염시킬 경우 어려운 쿼리에 대해 정확도가 34.8 퍼센트 포인트 감소함을 보여줌으로써, 에스컬레이션 시 실패한 컨텍스트를 폐기해야 하는 필요성을 입증했다.

실험 결과

평가는 고정된 토큰 예산과 최대 5회의 재시도 조건 하에 GSM8K 및 HotpotQA를 대상으로 수행되었다.

*로 정확도 vs. 비용: GSM8K에서 InflationAgent는 베이스라인인 FrugalGPT의 **91.0%**와 비교하여 **94.7%**의 정확도를 달 achieved 했다. FrugalGPT의 정확도 수준을 달성하기 위해 InflationAgent는 31% 적은 토큰을 사용했다.

인플레이션 예측: MLP 예측기는 고인플레이션 쿼리(임계값 $\ge$ 2×)를 탐지하는 데 있어 홀드아웃 테스트 세트에서 피어슨 상관계수 0.714와 AUROC 0.887을 달성했다.
한계 효용: 소형 모델(Qwen2.5-7B)에 대한 재시도 횟수를 늘리는 것은 수익 체감의 법칙을 보였다. 정확도는 예산의 5배에서 정점(92.5%)을 찍었으며, 10배에서는 실패한 체인으로 인한 컨텍스트 윈도우 간섭으로 인해 82.0%로 떨어졌다.
컨텍스트 오염: 통제된 실험에서, GPT-4o에 Qwen2.5-7B의 실패한 추론 체인이 입력되었을 때 정확도는 73.9%에서 39.1%로 하락했으며, 이는 통계적으로 유의미한 하락( $p=0.0078$ )이었다.

의의 및 주장

본 논문은 토큰 인플레이션이 에이전틱 시스템 설계에서 간과되었던 중요한 요소라고 주장한다. 기존의 라우팅 전략은 재시도 오버헤드를 무시함으로써, 토큰당으로는 "저렴"하지만 작업 완료 기준으로는 비싼 모델을 의도치 않게 선택할 수 있다.

저자들은 InflationAgent가 다음과 같은 방식으로 이를 해결한다고 단언한다:

단일 호출 추정치와 실제 워크플로우 비용 사이의 격차를 명시적으로 모델링한다.
추가적인 API 비용 없이 이 격차를 예측하기 위해 로컬 추론(CBE)을 사용한다.
"신선한 에스컬레이션" 전략을 구현하여 컨텍스트 오염에 의한 다운스트림 모델 성능 저하를 방지한다.

이 연구는 어렵고 멀티홉 성격이 강한 작업의 경우, 명목상으로는 저렴하지만 인플레이션이 높은 모델이 경제적이지도 효과적이지도 않음을 확립한다. 제안된 프레임워크는 라우팅 결정을 작업 완수의 실제 경제적 비용과 일치시킴으로써 더 효율적인 에이전틱 추론을 위한 경로를 제시한다.

한계점

저자들은 본 평가가 두 가지 추론 벤치마크(GSM8K, HotpotQA)에 국한되어 있으며, 개방형 생성, 다회차 대화, 또는 도구 사용(tool-use) 에이전트로는 확장되지 않았음을 언급한다. 인플레이션 예측기는 특정 작업 분포에 대해 학습되었으며, 작업 간 일반화 가능성은 여전히 미해결 과제로 남아 있다. 또한, 사용된 컴퓨팅 단위 비율은 고정되어 있으며 동적인 API 가격 책정을 반영하지 않는다.