💬 NLP

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

Este artigo apresenta o InflationAgent, um novo framework de roteamento que aborda a lacuna da "inflação de tokens" em sistemas de LLM agênticos ao prever custos em nível de fluxo de trabalho via Entropia de Ramificação de CoT e otimizar a seleção de modelos através de uma Taxa de Câmbio Semântica, alcançando, assim, maior precisão com menos tokens do que métodos existentes como o FrugalGPT.

Autores originais: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Publicado 2026-08-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está administrando um serviço de entrega para uma frota de robôs. Alguns robôs são minúsculos, rápidos e baratos de operar, mas às vezes ficam confusos e deixam cair os pacotes. Outros são gigantes, superinteligentes e caros, mas quase nunca cometem erros. No mundo da Inteligência Artificial, esses robôs são "Large Language Models" (LLMs). Eles são os cérebros por trás de chatbots e assistentes de programação. Geralmente, quando fazemos uma pergunta, apenas a enviamos para um robô e esperamos por uma resposta. Mas no mundo real, as coisas ficam bagunçadas. Se o robô minúsculo errar, um sistema inteligente não simplesmente desiste; ele pede ao robô para tentar novamente. Ele pode até pedir para o robô gigante intervir. Isso é chamado de um "sistema agente" — uma equipe de agentes de IA trabalhando juntos para resolver um problema.

O problema é que temos contado o custo dessas entregas de forma errada. Temos pago pelo preço de uma única viagem, esquecendo que se o robô bater e tiver que voltar para o armazém para tentar de novo, estamos pagando pela viagem de ida e volta completa, não apenas pelo bilhete de ida. Este artigo é sobre uma nova maneira de gerenciar essas equipes de IA para que não esgotemos acidentalmente nosso orçamento enviando o robô errado para um trabalho que exige muitas tentativas.

O Custo Escondido do "Tente Novamente"

Imagine que você está em um parque de diversões em uma barraca de jogos. Você tem uma quantidade limitada de dinheiro (tokens) para jogar. Você pode escolher entre uma máquina barata e precária que custa US$ 1 por tentativa, ou uma máquina sofisticada e de alta tecnologia que custa US$ 10 por tentativa.

A antiga forma de pensar era simples: "A máquina barata custa US$ 1, então vou escolher essa!". Mas aqui está o detalhe: a máquina barata é traiçoeira. Se você fizer uma pergunta difícil para ela, ela pode errar. Então, você tem que pagar US$ 1 novamente para tentar uma segunda vez. E uma terceira. E uma quarta. No momento em que você finalmente consegue a resposta certa, você gastou US$ 5 com a máquina barata. Enquanto isso, a máquina sofisticada teria acertado de primeira por US$ 10.

Este artigo chama esse custo extra oculto de "Inflação de Tokens". É a lacuna entre o que você acha que está pagando (uma tentativa) e o que você realmente paga (cinco tentativas). Os autores descobriram que, para tarefas difíceis, essa inflação pode ser enorme. Um modelo pequeno e barato pode acabar custando 4,25 vezes mais do que o esperado porque continua falhando e precisando de novas tentativas.

A Nova Estratégia: O "InflationAgent"

Os pesquisadores construíram um novo sistema chamado InflationAgent para corrigir isso. Em vez de apenas olhar para o preço de uma única tentativa, este sistema age como um gerente de parque de diversões astuto que sabe exatamente quais máquinas são propensas a quebrar.

Aqui está como funciona, passo a passo:

1. O "Teste de Intuição" (CoT Branching Entropy)
Antes mesmo de o sistema pedir a um robô para resolver um problema, ele faz um teste rápido e gratuito. Ele pede a um robô pequeno e local para pensar sobre o problema três vezes diferentes.

Se o robô der a mesma resposta as três vezes, o sistema sabe que o problema é fácil.
Se o robô der três respostas totalmente diferentes e confusas, o sistema sabe que o problema é difícil e que o robô provavelmente ficará preso em um ciclo de tentativas.
Os autores chamam essa medição de CoT Branching Entropy. É como verificar se o motor de um carro está falhando antes mesmo de você iniciar a viagem. Isso não custa nada extra porque acontece em um computador local, não nos servidores caros na nuvem.

2. O Calculador de "Etiqueta de Preço"
Usando esse "teste de intuição", o sistema prevê quanta "inflação" haverá. Ele não apenas adivinha; ele usa uma calculadora pequena e inteligente (um modelo de aprendizado de máquina) treinada em dados passados. Ele prevê: "Se enviarmos esta pergunta difícil para o robô pequeno, ele provavelmente falhará 3 vezes, então o custo real é 3x o preço".

3. O Seletor de "Melhor Negócio"
Agora o sistema calcula a Taxa de Câmbio Semântica (Semantic Exchange Rate - SER). Esta é uma maneira sofisticada de perguntar: "Quanta precisão eu consigo para cada dólar que eu realmente gasto?".

Se o robô pequeno é barato, mas falhará 4 vezes, o seu "negócio" é terrível.
Se o robô grande é caro, mas acertará de primeira, o seu "negócio" pode ser, na verdade, melhor.
O sistema escolhe o robô que oferece o melhor valor, não apenas o menor preço de etiqueta.

4. A Regra do "Recomeço do Zero"
Este é o truque mais importante. Se o sistema envia uma pergunta para um robô e ele falha, e então decide escalar para um robô maior e mais inteligente, ele descarta a tentativa anterior que falhou.
Os pesquisadores descobriram algo surpreendente: se você mostrar ao robô grande as notas confusas e bagunçadas do robô pequeno que falhou, o robô grande também fica confuso! É como mostrar a página de rabiscos de um aluno com dificuldades para um aluno genial; o gênio pode começar a duvidar de si mesmo.
Ao dar ao robô grande um prompt limpo (uma folha em branco), o sistema mantém a precisão alta. Se eles tivessem apenas passado as notas da falha adiante, a precisão do robô grande teria caído 34,8 pontos percentuais em questões difíceis.

O Que Eles Descobriram

A equipe testou isso em problemas matemáticos (GSM8K) e perguntas de trivia complexas (HotpotQA). Aqui está o que aconteceu:

A Inflação é Real: Em perguntas de trivia difíceis, o modelo pequeno (Qwen2.5-7B) teve uma taxa de inflação de 4,25×. Isso significava que para cada dólar que você pensava estar gastando, estava na verdade gastando US$ 4,25 porque o robô continuava falhando.
Melhores Resultados por Menos Dinheiro: Quando definiram um orçamento fixo (um limite estrito de quantos tokens poderiam gastar), o novo sistema (InflationAgent) acertou 94,7% das respostas. O método popular antigo (FrugalGPT) acertou apenas 91,0%.
Economia de Tokens: Para alcançar a mesma precisão de 91,0% do método antigo, o novo sistema usou 31% menos tokens. Isso é uma economia massiva.
O Perigo de "Mais Tentativas": Eles descobriram que apenas dar mais chances para o robô pequeno tentar (até 10 vezes) não funcionava para sempre. Depois de um certo ponto, o robô ficava confuso pelas suas próprias falhas passadas, e sua precisão na verdade diminuía. Às vezes, é melhor mudar para um robô mais inteligente do que continuar batendo a cabeça contra a parede.

A Conclusão

Este artigo mostra que, no mundo da IA, "barato" nem sempre é barato. Se um modelo tem probabilidade de falhar e precisar tentar novamente e novamente, ele se torna caro e ineficiente. Ao medir o quão provável é que um modelo fique travado (usando a entropia do "teste de intuição") e ao começar do zero ao mudar para um modelo mais inteligente, podemos economizar dinheiro e obter melhores respostas.

Os autores estão confiantes nesses resultados com base em seus testes com conjuntos de dados específicos de matemática e trivia. Eles sugerem que, embora isso funcione muito bem para tarefas de raciocínio, ainda precisamos descobrir como aplicar isso a conversas mais abertas ou ferramentas. Mas, por enquanto, eles provaram que um pouco de planejamento inteligente vai longe para manter o orçamento da IA sob controle e evitar a inflação.

Resumo Técnico: Nem Todos os Tokens São Iguais: Roteamento Consciente da Inflação para Sistemas de LLM Agênticos

Declaração do Problema

Sistemas agênticos modernos construídos sobre Modelos de Linguagem de Grande Escala (LLMs) frequentemente empregam mecanismos de tentativa (retry) quando um modelo falha ao responder a uma consulta ou produz uma cadeia de raciocínio incompleta. Embora os sistemas de roteamento existentes (ex: FrugalGPT, RouteLLM) otimizem os custos com base no preço por token de uma única chamada, eles falham em contabilizar o custo cumulativo das tentativas.

Os autores definem Inflação de Tokens como a razão entre o custo real do fluxo de trabalho (incluindo todas as tentativas) e o custo estimado de uma única chamada.
$\text{Inflação}(m, x) = \frac{C_{\text{real}}(m, x)}{C_{\text{direto}}(m, x)}$
Onde $C_{\text{real}}$ é a soma dos tokens consumidos ao longo de $k^*$ tentativas até o sucesso (ou esgotamento das tentativas), e $C_{\text{direto}}$ é a contagem de tokens de uma única tentativa.

O artigo demonstra que essa inflação é não negligenciável e altamente variável. Para tarefas multi-salto (multi-hop) difíceis, um modelo pequeno e "barato" pode falhar repetidamente, resultando em um custo real 4,25 vezes maior do que a estimativa de chamada única. Consequentemente, decisões de roteamento baseadas apenas em estimativas de chamada única podem subestimar sistematicamente os custos reais em mais de 2×, levando a uma seleção de modelos subótima.

Metodologia: InflationAgent

Para abordar isso, os autores propõem o InflationAgent, um pipeline de roteamento de quatro estágios projetado para maximizar a Taxa de Troca Semântica (SER), definida como a precisão esperada dividida pelo custo real previsto:
$\text{SER}(m, x) = \frac{U(m)}{\hat{C}_{\text{real}}(m, x)}$

O pipeline opera da seguinte forma:

Extração de Características (Local): O sistema extrai características estruturais da consulta (contagem de tokens, diversidade de vocabulário, pistas de multi-salto) sem chamadas de API.
Cálculo da Entropia de Ramificação de CoT (CBE) (Local): O sistema amostra $K$ cadeias de raciocínio independentes de um modelo local. Ele calcula a entropia de Shannon da distribuição de respostas resultante:
$\text{CBE}(x) = -\sum_{c} p_c \log_2 p_c$
Uma alta entropia indica caminhos de raciocínio divergentes e alta dificuldade da consulta, servindo como um proxy de custo zero para a probabilidade de tentativa (retry).
Predição de Inflação e Roteamento: Um Perceptron de Camadas Múltiplas (MLP) leve prevê o fator de inflação ( $\hat{\text{Inflação}}$ ) usando quatro características: CBE, pontuação de concordância, comprimento médio da cadeia e contagem de tokens do prompt. O sistema estima o custo real ( $\hat{C}_{\text{real}} = C_{\text{direto}} \times \hat{\text{Inflação}}$ ) e seleciona o nível de modelo com o maior SER.
Execução com Escalação Fresca (Fresh-Escalation): O modelo selecionado executa a consulta. Se a inflação observada exceder 2× a previsão, o sistema escala para um nível de modelo mais forte. Crucialmente, essa escalação utiliza um prompt novo, descartando a cadeia de raciocínio falha para evitar a contaminação do contexto.

Principais Contribuições

Medição Sistemática da Inflação de Tokens: Os autores instrumentaram um harness de tentativa agêntica através de três níveis de modelos (Qwen2.5-7B, GPT-4o-mini, GPT-4o) e dois conjuntos de dados (GSM8K, HotpotQA). Eles descobriram que a inflação varia significamente por tipo de tarefa, atingindo 4,25× para um modelo 7B em QA multi-salto, enquanto o GPT-4o na mesma tarefa inflou apenas 2,92×.
Entropia de Ramificação de CoT (CBE): Um sinal de dificuldade pré-execução computado inteiramente via inferência local. Ele prevê alta inflação com um AUROC de 0,887, permitindo que o sistema antecipe o overhead de tentativa sem incorrer em custos de API.
Roteamento pela Taxa de Troca Semântica (SER): Um objetivo de roteamento que equilibra a precisão contra o custo real previsto, em vez de apenas o custo de chamada única.
Política de Escalação Fresca: Uma descoberta empírica de que encaminhar cadeias de raciocínio falhas para um modelo mais forte degrada o desempenho. Os autores mostram que contaminar o GPT-4o com cadeias falhas de um modelo menor reduz sua precisão em 34,8 pontos percentuais em consultas difíceis, validando a necessidade de descartar o contexto falho durante a escalação.

Resultados Experimentais

A avaliação foi conduzida no GSM8K e HotpotQA com um orçamento de tokens fixo e um máximo de 5 tentativas.

Precisão vs. Custo: No GSM8K, o InflationAgent alcançou 94,7% de precisão comparado aos 91,0% do baseline FrugalGPT. Para atingir o nível de precisão do FrugalGPT, o InflationAgent exigiu 31% menos tokens.
Predição de Inflação: O preditor MLP alcançou uma correlação de Pearson de 0,714 e um AUROC de 0,887 no conjunto de teste mantido (held-out) para detectar consultas de alta inflação (limiar $\ge$ 2×).
Retornos Marginais: O aumento de tentativas para um modelo pequeno (Qwen2.5-7B) mostrou retornos decrescentes; a precisão atingiu o pico em 5× o orçamento (92,5%) e caiu para 82,0% em 10× devido à interferência da janela de contexto por cadeias falhas.
Contaminação de Contexto: Em um experimento controlado, a precisão do GPT-4o caiu de 73,9% para 39,1% quando alimentado com cadeias de raciocínio falhas do Qwen2.5-7B, uma queda estatisticamente significativa ( $p=0,0078$ ).

Significância e Alegações

O artigo alega que a inflação de tokens é um fator crítico, anteriormente negligenciado, no design de sistemas agênticos. Ao ignorar o overhead de tentativa, as estratégias de roteamento existentes podem inadvertidamente selecionar modelos que são "baratos" por token, mas caros por tarefa bem-sucedida.

Os autores afirmam que o InflationAgent resolve isso ao:

Modelar explicitamente a lacuna entre as estimativas de chamada única e os custos reais do fluxo de trabalho.
Usar inferência local (CBE) para prever essa lacuna sem custos adicionais de API.
Implementar uma estratégia de "escalação fresca" que evita a degradação do desempenho do modelo subsequente causada pela contaminação de contexto.

O trabalho estabelece que, para tarefas difíceis e multi-salto, um modelo nominalmente barato com alta inflação não é nem econômico, nem eficaz. O framework proposto oferece um caminho para uma inferência agêntica mais eficiente ao alinhar as decisões de roteamento com o custo econômico real da conclusão da tarefa.

Limitações

Os autores observam que sua avaliação é limitada a dois benchmarks de raciocínio (GSM8K, HotpotQA) e não se estende à geração de texto aberto, diálogo multi-turno ou agentes de uso de ferramentas (tool-use). O preditor de inflação é treinado em distribuições de tarefas específicas, e a generalização entre tarefas permanece uma questão aberta. Além disso, as razões de unidades de computação usadas são fixas e não consideram preços de API dinâmicos.