🤖 AI

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

Este artigo desafia a suposição de classificações estáveis de modelos de linguagem de grande escala ao demonstrar que a variação dos orçamentos de tokens de inferência altera significativamente o desempenho e a ordem dos modelos, revelando comportamentos não monotônicos, reversões de classificação e complementaridade de modelos que exigem protocolos de avaliação condicionados ao orçamento.

Autores originais: Rodrigo Guedes de Souza, Alison R. Panisson

Publicado 2026-08-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rodrigo Guedes de Souza, Alison R. Panisson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma biblioteca gigante onde os livros são escritos por robôs superinteligentes chamados Modelos de Linguagem de Grande Escala (LLMs). Esses robôs podem ler quase tudo e responder perguntas sobre matemática, ciência e história. Por muito tempo, as pessoas tentando escolher o "melho" robô apenas faziam uma pergunta e viam quem obtinha a resposta certa primeiro. Elas assumiam que, se o Robô A fosse melhor que o Robô B em um teste, ele seria sempre melhor, não importa o quê. Era como julgar uma corrida olhando apenas para quem cruzou a linha de chegada primeiro, sem se importar com quanto tempo eles tinham para correr.

Mas aqui está a reviravolta: esses robôs não apenas "pensam" instantaneamente. Eles escrevem suas respostas palavra por palavra, como uma longa cadeia de pensamentos. O limite de quantas palavras eles podem escrever é chamado de "orçamento de tokens". Pense nisso como dar a um aluno diferentes quantidades de tempo para fazer uma prova. Alguns alunos podem precisar de muito tempo para resolver um quebra-cabeça difícil, enquanto outros podem ficar confusos se tiverem muito tempo e começarem a pensar demais. A grande questão para os cientistas é: o "melhor" robô continua sendo o melhor se mudarmos o limite de tempo? Ou o vencedor muda dependendo de quanto tempo os deixamos pensar? É exatamente isso que os pesquisadores queriam descobrir.

O Problema do "Pensar Demais": Por que Mais Tempo Nem Sempre é Melhor

Neste estudo, os pesquisadores montaram um experimento massivo para ver como quatro modelos diferentes de IA se saíram em três testes complicados: matemática de nível escolar, matemática de nível de competição e questões de ciência de nível de pós-graduação. Eles não apenas deixaram os modelos rodarem; eles os forçaram a parar após quantidades específicas de "pensamento" (medidas em tokens). Eles testaram sete limites diferentes, variando de um minúsculo 64 tokens (pouquíssimo tempo de pensamento) até um enorme 4.096 tokens (muito tempo de pensamento).

O que eles descobriram é que a ideia de um único "melhor" modelo é um mito. As classificações dos modelos mudaram e oscilaram dependendo inteiramente de quanto tempo lhes foi dado.

A Surpresa do "Pensar Demais"
Você pode pensar que dar mais tempo para um robô pensar sempre o ajudaria a acertar a resposta. Mas os pesquisadores descobriram algo estranho: às vezes, dar mais tokens para um modelo na verdade o fazia errar a resposta. Eles chamam isso de "overthinking" (pensar demais).

Imagine um aluno que sabe a resposta de um problema de matemática. Se você lhe der 10 minutos, ele a escreve corretamente. Mas se você lhe der 30 minutos, ele pode começar a duvidar de si mesmo, mudar sua resposta e acabar com a resposta errada. O estudo descobriu que isso aconteceu em cerca de 3% a 19% das questões. Pior ainda, isso não era um problema com as questões em si; era específico de cada robô. Uma questão que fez um modelo "pensar demais" e falhar poderia ser perfeitamente adequada para outro modelo. É como como uma pessoa pode ficar nervosa se tiver muito tempo para preparar um discurso, enquanto outra pessoa prospera com isso.

As Grandes Trocas de Classificação
Por causa disso, o "vencedor" da corrida mudava constantemente.

No teste de matemática mais fácil (GSM8K), um modelo enorme (LLaMA-3.3 70B) foi o campeão quando recebeu uma quantidade média de tempo (256 tokens). Mas assim que deram mais tempo aos modelos (até 4.096 tokens), um modelo menor (GPT-OSS 20B) assumiu a liderança e permaneceu nela.
No teste de ciência mais difícil (GPQA), o modelo menor (LLaMA-3 8B) foi o melhor quando o tempo era curto (256–512 tokens). Mas conforme o tempo aumentava, os modelos maiores alcançaram e eventualmente empataram no topo.

Isso significa que, se você olhar para um ranking hoje dizendo "O Modelo X é o melhor", essa afirmação só é verdadeira para uma quantidade específica de tempo. Se você mudar o limite de tempo, o Modelo X pode subitamente se tornar o pior de todos.

A Lacuna do "Oráculo": Por que Precisamos de um Interruptor Inteligente
Os pesquisadores também perguntaram: "Se pudéssemos magicamente escolher o modelo perfeito para cada pergunta, o quanto melhoraríamos?". Eles construíram um "Oráculo" teórico (um selecionador perfeito) que escolhia o melhor modelo para cada pergunta e limite de tempo específicos.

Os resultados foram chocantes. No teste de ciência difícil, esse selecionador perfeito poderia obter 27,8 pontos percentuais a mais de respostas corretas do que o melhor modelo rodando sozinho. Mesmo nos testes de matemática mais fáceis, a lacuna foi significativa (até 16,9 pontos). Isso prova que nenhum robô é bom em tudo. Às vezes o robô pequeno é o melhor, às vezes o grande, e às vezes todos estão errados.

Podemos Construir um Interruptor Inteligente?
A equipe tentou construir um "roteador" — um sistema inteligente que olha para uma pergunta e o limite de tempo, e então decide qual robô deve responder.

Dentro do mesmo tipo de teste: Quando treinaram o roteador em problemas de matemática e o testaram em problemas de matemática, ele funcionou muito bem. Usar o "limite de tempo" como uma pista ajudou a escolher o robô certo, melhorando a precisão em 1,6 a 5,7 pontos.
Através de diferentes testes: Mas quando tentaram usar o mesmo roteador para alternar de questões de matemática para ciência, ele ficou confuso. As pistas de "limite de tempo" que funcionavam para a matemática não funcionaram para a ciência. Na verdade, usar essas pistas fez o roteador ter um desempenho pior em 1,2 pontos ao alternar entre domínios. Isso sugere que a relação entre "quanto tempo você tem" e "conseguir a resposta certa" é diferente para cada assunto.

A Conclusão

A lição principal deste artigo é simples, mas poderosa: não existe um único "melhor" modelo de IA. A resposta para "qual modelo é o melhor?" depende inteiramente de "quanto tempo você o deixa pensar".

Se você estiver construindo um aplicativo para um celular onde só pode dar um pouco de tempo para a IA, um modelo pequeno e rápido pode ser o seu campeão. Se você estiver operando um servidor onde pode dar horas para a IA pensar, um modelo diferente e maior pode vencer. A antiga maneira de classificar modelos — apenas escolhendo um vencedor para todos — está quebrada. Em vez disso, precisamos dizer: "O Modelo A é o melhor para respostas curtas, o Modelo B é o melhor para respostas longas e, às vezes, se você der tempo demais a eles, eles podem simplesmente estragar tudo".

Os pesquisadores sugerem que, no futuro, devemos parar de pedir uma pontuação única e começar a relatar como os modelos performam em diferentes limites de tempo. E se quisermos usar esses modelos de forma eficaz, precisamos de sistemas inteligentes que saibam quando chamar o pensador rápido e pequeno e quando chamar o pensador grande e lento — porque o vencedor muda no momento em que o cronômetro começa a correr.

Resumo Técnico: Classificações Dependentes de Orçamento em Avaliação de LLMs

Declaração do Problema

A avaliação padrão de Grandes Modelos de Linguagem (LLMs) assume que os rankings dos modelos são estáveis e invariantes às condições de inferência. Especificamente, presume que um modelo declarado como "estado da arte" em um benchmark (ex: GSM8K, GPQA) mantém sua superioridade independentemente do orçamento de geração de tokens — o número máximo de tokens que um modelo é permitido produzir antes da truncagem.

Este artigo desafia essa premissa. Ele postula que o cenário de avaliação é fundamentalmente dependente do orçamento. A literatura recente sobre escalonamento de computação em tempo de teste sugere que aumentos na concessão de tokens podem melhorar o desempenho, enquanto a literatura sobre "overthinking" (pensar excessivamente) sugere que tokens adicionais podem degradar a precisão. No entanto, a interação entre esses efeitos em diferentes modelos e tarefas permanece não quantificada. O problema central é se os rankings dos modelos, a dificuldade dos itens e a complementaridade dos modelos são propriedades estáticas ou funções do orçamento de tokens.

Metodologia

Os autores conduziram uma investigação sistemática envolvendo quatro modelos de raciocínio de pesos abertos e três benchmarks de raciocínio através de sete orçamentos de tokens distintos.

Modelos: Quatro modelos abrangendo uma ordem de magnitude em contagem de parâmetros: LLaMA-3 8B, Qwen-3 32B, LLaMA-3.3 70B e GPT-OSS 20B.
Benchmarks: Três conjuntos de dados de dificuldade crescente:
- GSM8K (1.319 problemas de matemática do ensino fundamental).
- MATH-500 (500 problemas de nível de competição).
- GPQA-Diamond (198 questões de ciência de nível de pós-graduação).
Orçamentos de Tokens: Sete níveis variando de 64 a 4.096 tokens ( $b \in \{64, 128, 256, 512, 1024, 2048, 4096\}$ ).
Configuração Experimental: Um total de 56.476 inferências individuais foram geradas com temperatura $T=0$ para determinismo.
Protocolo de Avaliação:
- Tratamento de Truncagem: O estudo emprega uma análise de três níveis para separar falhas genuínas de raciocínio de artefatos de truncagem:
  1. Todos os itens: Pontuação padrão onde saídas truncadas são marcadas como incorretas.
  2. Apenas paradas (Stop-only): Restringindo a análise a itens onde um modelo específico completou a geração.
  3. Comuns não truncados: Restringindo aos itens onde todos os quatro modelos completaram a geração, permitindo comparações pareadas.
- Métricas: Correção binária (correspondência exata), teste de McNemar para significância de ranking, similaridade de Jaccard para concordância entre modelos e análise de lacuna de Oráculo (diferença entre um ensemble de oráculo por item e o melhor modelo individual).

Contribuições Principais e Descobertas

1. Taxonomia Comportamental ao Nível do Item

Os autores classificam as trajetórias modelo-item em quatro categorias: sempre-correto, monotônica-crescente, não-monotônica e sempre-errado.

Comportamento Não-Monotônico: Contrariando a suposição de que mais tokens sempre ajudam, 3,6–25,8% dos itens exibem comportamento não-monotônico (a precisão diminui conforme o orçamento aumenta), representando o "overthinking".
Especificidade do Modelo: Este fenômeno é amplamente específico do modelo. A sobreposição entre modelos para itens não-monotônicos é baixa (6–14%), o que significa que um item que desencadeia o overthinking em um modelo raramente o faz em outro. Isso implica que itens "problemáticos" não podem ser simplesmente removidos dos benchmarks para corrigir o problema.
Validação: Mesmo após filtrar artefatos de truncagem (usando trajetórias de parada apenas), as taxas não-monotônicas permanecem substanciais (ex: 19,1% para LLaMA-3 8B no GPQA), confirmando que o overthinking é uma falha de raciocínio genuína.

2. Reversões de Ranking Estatisticamente Significativas

Os rankings dos modelos não são estáveis; o "melhor" modelo muda dependendo do orçamento.

GSM8K: LLaMA-3.3 70B lidera em $b=256$ (62,4%), mas o GPT-OSS 20B o ultrapassa em $b=512$ e mantém uma liderança significativa em $b=4096$ (94,9% vs. 91,7%).
GPQA: O menor modelo (LLaMA-3 8B) ocupa o primeiro lugar em baixos orçamentos ( $b=256, 512$ ), é ultrapassado pelo LLaMA-3.3 70B em $b=1024$ , e é eventualmente igualado pelo GPT-OSS 20B em $b=4096$ .
Significância: Essas reversões são estatisticamente significativas ( $p < 0,01$ via teste de McNemar) em todos os benchmarks, mesmo ao controlar a truncagem em conjuntos comuns não truncados.

3. Dinâmica da Lacuna de Oráculo

Um ensemble de oráculo (selecionando o modelo correto por item) revela um potencial significativo de melhoria via seleção de modelos.

Magnitude: A lacuna do oráculo (precisão do oráculo menos o melhor modelo individual) varia de +3,5 pp a +27,8 pp.
Dependência de Orçamento:
- No GSM8K, a lacuna é não-monotônica, atingindo o pico em $b=256$ (+16,9 pp) à medida que os modelos resolvem itens diferentes, e depois declina conforme convergem para itens mais fáceis em orçamentos mais altos.
- Em benchmarks mais difíceis (MATH-500, GPQA), a lacuna cresce monotonicamente, atingindo +12,8 pp e +27,8 pp respectivamente em $b=4096$ .
Complementaridade: Mesmo em orçamentos altos, os modelos resolvem subconjuntos de itens significativamente diferentes (similaridade de Jaccard $\approx 0,74$ em $b=4096$ ), indicando uma complementaridade persistente.

4. Prova de Conceito de Roteamento Consciente de Orçamento

Os autores treinaram classificadores XGBoost para rotear itens para o melhor modelo com base em características de texto e orçamento de tokens.

Desempenho Cross-Domain: Quando treinado no GSM8K+MATH-500 e testado no GPQA, o roteador alcançou +2,67 pp sobre a linha de base "Melhor-Por-Orçamento", capturando 14,1% da lacuna do oráculo.
Importância das Características: A análise SHAP mostra que o orçamento de tokens é a característica dominante (6,1 $\times$ mais importante que características de texto como a presença de LaTeX).
Especificidade de Domínio: Embora as características de orçamento melhorem o desempenho dentro de um domínio (+1,6 a +5,7 pp), elas prejudicam a transferência cross-domain (−1,2 pp). Isso indica que a relação entre orçamento e precisão é específica do domínio e não se generaliza diretamente de matemática para ciência.

Significância e Implicações

O artigo argumenta que a pergunta "qual modelo é o melhor?" não tem uma resposta única; ela depende do orçamento de geração de tokens. Os autores propõem três implicações acionáveis:

Protocolos de Avaliação: Os benchmarks devem adotar avaliações condicionadas ao orçamento, reportando rankings em múltiplos níveis de orçamento, em vez de um único escore estático. Isso é crítico para cenários de implantação restritos (ex: dispositivos móveis, edge) onde orçamentos generosos são inviáveis.
Sistemas de Roteamento: Sistemas de seleção e roteamento de modelos devem tratar o orçamento de tokens como um sinal de primeira classe. No entanto, como os mapeamentos orçamento-precisão são específicos de domínio, os sistemas de roteamento devem combinar sinais de orçamento com características agnósticas de domínio ou técnicas de adaptação.
Oportunidades de Ensemble: As lacunas de oráculo substanciais documentadas representam uma oportunidade concreta para métodos de ensemble e roteamento explorarem a complementaridade dos modelos, potencialmente gerando ganhos de desempenho significativos sobre implantações de modelo único.

O estudo conclui que o cenário de avaliação de LLMs é fundamentalmente dependente de orçamento, com rankings de modelos, dificuldade de itens e complementaridade todos variando como uma função do limite de tokens de inferência.