🤖 machine learning

Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap

Este artigo demonstra que limites fixos de tokens de saída atuam como uma variável experimental oculta que infla artificialmente ou inverte lacunas de raciocínio multilingue medidas, argumentando que as avaliações devem relatar a precisão através de um espectro de orçamentos de saída em vez de em um único limite para distinguir déficits reais de raciocínio de artefatos de truncamento.

Autores originais: Ankit Goyal, Jaideep Ray

Publicado 2026-08-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ankit Goyal, Jaideep Ray

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando medir a velocidade com que dois corredores diferentes terminam uma corrida. Um corredor fala uma língua onde as palavras são curtas e diretas, enquanto o outro fala uma língua onde as palavras são longas e floridas. Se você disser a ambos os corredores: "Você deve parar de correr exatamente quando tiver dado 100 passos", você não está apenas testando a velocidade deles; você está testando secretamente quantos passos a língua deles exige para dizer a mesma coisa. O corredor com as palavras longas pode ser interrompido no meio de uma frase, não por ser lento, mas porque a linha de chegada foi definida cedo demais para sua passada específica. Este é o cerne do enigma da Inteligência Artificial moderna: quando pedimos aos modelos de IA para resolverem problemas matemáticos em diferentes línguas, frequentemente vemos eles performarem pior em sua língua nativa do que quando pedimos para traduzir o problema para o inglês primeiro. Os cientistas chamam isso de "lacuna de raciocínio multilíngue". Mas será que essa lacuna é um sinal de que a IA é realmente "mais burra" em sua língua nativa, ou é apenas um erro de medição causado pela forma como estabelecemos as regras do jogo?

Este artigo, intitulado "Mind the Cap", investiga se essa famosa lacuna é, na verdade, um truque da fita métrica. Os pesquisadores organizaram uma corrida para dois modelos populares de IA (Qwen e Llama) para resolver problemas matemáticos em alemão, tailandês e suaíli. Eles compararam duas estratégias: deixar a IA pensar e responder na língua nativa (NATIVE) versus traduzir o problema para o inglês, pensar em inglês e depois responder na língua nativa (TRANSLATE-ACT). A reviravolta? Eles não olharam apenas para a pontuação final; eles observaram a corrida acontecer passo a passo, alterando o "limite de tokens" — o número máximo de blocos de construção digitais (tokens) que a IA tem permissão para usar ao escrever sua resposta.

Os autores descobriram que a "lacuna" não é uma verdade fixa; é um alvo móvel que depende inteiramente de quão apertada é a coleira. Quando o limite é muito restrito (como 128 tokens), a língua nativa geralmente perde feio, não porque a IA não consiga raciocinar, mas porque ela simplesmente fica sem espaço para terminar sua frase. No entanto, conforme eles afrouxavam o limite, a lacuna diminuía e, às vezes, até desaparecia. De fato, em um orçamento específico de 1.024 tokens, a lacuna para um dos modelos (Qwen) desapareceu quase inteiramente, sugerindo que a IA não carecia de habilidades de raciocínio; ela apenas precisava de mais espaço para respirar.

O estudo também descobriu algo surpreendente: dizer à IA qual é o limite antes de ela começar pode mudar como ela se comporta. Quando disseram à IA de origem tailandesa: "Você tem apenas 128 tokens", ela na verdade performou melhor do que quando disseram: "Você tem 2.048 tokens", embora o limite rígido fosse o mesmo em ambos os casos. Parece que a IA tenta ser mais eficiente quando pensa que está com pressa.

Em última análise, o artigo argumenta que a "lacuna de raciocínio" é frequentemente apenas um "artefato de orçamento". Se você der à IA espaço suficiente para concluir seus pensamentos, a língua nativa muitas vezes alcança o nível. Os pesquisadores testaram isso congelando seus experimentos antecipadamente e realizando milhares de novos testes independentes. Eles descobriram que, embora a lacuna seja real em orçamentos apertados, ela frequentemente desaparece uma vez que a IA é permitida a escrever uma resposta completa. Eles também testaram uma "extensão de vocabulário" — dando à IA novas palavras mais curtas para sua língua nativa — mas descobriram que isso só ajudava quando o orçamento ainda era apertado o suficiente para cortar as frases da IA. Uma vez que a IA tinha espaço suficiente, as palavras extras não faziam diferença.

A grande lição é que não devemos tratar o limite de tokens como uma configuração de fundo. É uma variável que altera o resultado. Se quisermos saber se uma IA pode realmente raciocinar em uma língua, não podemos apenas olhar para uma pontuação única com um único limite. Temos que observar toda a corrida, desde o tiro de largada até a linha de chegada, e perceber que, às vezes, a IA não está falhando em pensar; ela está apenas falhando em terminar.

Resumo Técnico: Mind the Cap

Declaração do Problema
Avaliações multilíngues de Grandes Modelos de Linguagem (LLMs) frequentemente relatam um "gap de raciocínio", onde os modelos apresentam melhor desempenho em tarefas de raciocínio quando o problema é traduzido para o inglês (por exemplo, via uma estratégia "Translate-Act") em comparação ao raciocínio direto na língua nativa. No entanto, essas avaliações tipicamente medem a acurácia em um único limite fixo de tokens de saída. O artigo argumenta que este limite é uma variável experimental oculta. Como diferentes línguas exigem diferentes quantidades de tokens para expressar o mesmo conteúdo (prêmios de tokenização), um limite fixo trunca desproporcionalmente os rastros da língua nativa em comparação aos de tradução para o inglês. Os autores postulam que o "gap de raciocínio" medido pode ser um artefato desse descompasso de orçamento de tokens, e não um déficit genuíno na capacidade de raciocínio multilíngue.

Metodologia
O estudo operacionaliza o "artefato de orçamento de tokens" analisando o benchmark MGSM (Multilingual Grade School Math) em três línguas (alemão, tailandês, suaíli) e dois modelos (Qwen3-8B e Llama-3.1-8B-Instruct).

Design Experimental:
- Estratégias: Quatro estratégias de prompting foram avaliadas: NATIVE (raciocinar e responder na língua alvo), TRANSLATE-ACT (traduzir para o inglês, resolver, responder na língua alvo), PIVOT (raciocinar em inglês, responder na língua alvo) e CODE-SWITCHED.
- O Livro de Razão (The Ledger): Os autores geraram 48.000 gerações armazenadas (4096 tokens cada) e pontuaram cada prefixo dessas gerações. Este "livro de razão" permite a avaliação retrospectiva em vários níveis de orçamento ( $B$ ) sem regerar dados, eliminando o ruído de amostragem entre orçamentos.
- Decodificação Independente: Para validar os achados, uma amostra separada de 540.000 decodificações foi gerada com limites rígidos impostos em orçamentos específicos, garantindo que não houvesse trajetórias compartilhadas entre as fases de descoberta e confirmação.
Estimando e Métricas:
- A métrica central é $\Delta_L(B) = acc_N(\lfloor r_{m,L} B \rfloor) - acc_N(B)$ , onde $acc_N$ é a acurácia nativa, $B$ é o orçamento, e $r_{m,L}$ é o prêmio de token do FLORES-200 da língua $L$ sobre o inglês.
- Esta métrica isola o ganho na acurácia nativa quando o orçamento é escalonado para corresponder ao custo de tokens da tradução para o inglês, perguntando efetivamente: "Quanto do gap é devido ao corte do rastro nativo?"
- Hipótese Falseável: Se o gap for um artefato de orçamento, escalar o orçamento nativo deve fechar o gap. Se o gap persistir após o escalonamento, isso sugere um déficit de raciocínio genuíno.
Rigor Estatístico:
- O estudo utiliza um design "prospectivamente congelado". Um orçamento específico ( $B^*=1024$ ) e um conjunto de seis testes com correção de Holm foram definidos antes da análise de dados.
- Auditorias: Cinco auditorias computáveis pelo livro de razão foram realizadas: identificação de língua do rastro (GlotLID), qualidade da tradução (COMET), robustez do parser, paridade do decodificador e sensibilidade do normalizador.

Principais Resultados

Dependência do Gap em relação ao Orçamento:
- O gap medido é altamente sensível ao orçamento de saída. Sob limites apertados, o gap pode oscilar em até 57 pontos.
- Normalização de Comprimento: Aplicar a normalização de comprimento (escalonando o orçamento nativo pelo prêmio de token) move o gap em até 38,9 pontos no "regime de orçamento vinculante" (onde as respostas ainda estão sendo emitidas).
- Reversão de Estratégia: Em limites muito apertados, a normalização de comprimento pode reverter qual estratégia parece superior. Por exemplo, no Qwen alemão e suaíli, a estratégia NATIVE supera a TRANSLATE-ACT em baixos orçamentos (ex: 128 tokens) porque o preâmbulo de tradução consome muitos tokens, não deixando espaço para a resposta.
O Teste Congelado em $B^*=1024$ :
- No orçamento pré-especificado de 1024 tokens, o estudo falhou em rejeitar a hipótese nula de que o gap é zero para o Qwen (e Llama).
- Razão: A acurácia nativa já havia saturado neste orçamento (ex: a acurácia nativa do Qwen alemão estabilizou em 79%). Uma vez que a acurácia satura, a diferença residual entre as estratégias é um "gap de performance de estratégia" (impulsionado por qualidade de tradução, reformulação de prompt, etc.) e não um "déficit de raciocínio" causado por truncamento.
- O estudo conclui que o "gap de raciocínio" não é identificado na saturação; ele é visível apenas no regime vinculante, onde os rastros são truncados.
Confirmação Independente:
- Uma segunda família de testes usando decodificações independentemente limitadas confirmou que os grandes gaps observados nos picos de descoberta (ex: 38,9 pontos para o tailandês em 256 tokens) não foram artefatos de trajetórias compartilhadas.
- No entanto, no ponto de saturação ( $B=1024$ ), os testes independentes também falharam em rejeitar a hipótesa nula, reforçando que o gap desaparece quando o orçamento é suficiente para que o rastro nativo se complete.
Efeitos de Anúncio:
- O estudo descobriu que anunciar um orçamento ao modelo altera o comportamento, mesmo quando o limite imposto permanece fixo. Anunciar um orçamento mais apertado (128 vs 2048) aumentou a acurácia nativa tailandesa em 5,1 pontos, sugerindo que a acurácia não é apenas uma função do limite imposto, mas também da estimativa interna de orçamento do modelo.
Escada de Adaptação (Extensão de Vocabulário):
- Os autores testaram se a extensão do vocabulário (adicionando tokens da língua alvo) poderia fechar o gap.
- Resultado: A extensão do vocabulário apenas fechou o gap onde o limite ainda estava truncando os rastros. Na saturação ( $B=1024$ ), onde nenhum rastro foi truncado, a extensão fechou 0,00 pontos do gap.
- Isso confirma que o gap é impulsionado pelo truncamento, não por uma falta de vocabulário ou de capacidade de raciocínio per se.

Significância e Alegações
O artigo reivindica uma mudança metodológica na forma como o raciocínio multilíngue deve ser avaliado:

O Limite é uma Variável: Os limites de saída devem ser tratados como variáveis independentes, não como constantes de fundo. Relatar a acurácia em um único orçamento é insuficiente e potencialmente enganoso.
Reenquadramento do Gap: O "gap de raciocínio multilíngue" é frequentemente um "artefato de orçamento vinculante". Quando os rastros nativos são permitidos a terminar (via normalização de comprimento ou limites maiores), o gap diminui ou desaparece no regime vinculante.
Saturação vs. Déficit: Uma vez que a acurácia nativa satura, a diferença restante entre as estratégias nativa e traduzida reflete fatores de execução (qualidade da tradução, aderência ao prompt) e não uma incapacidade fundamental de raciocinar na língua nativa.
Orientação Prática: Antes de investir em adaptações custosas (como fine-tuning ou extensão de vocabulário), os praticantes devem medir o ganho realizado ao simplesmente estender o limite de saída. Se o limite não for vinculante, essas intervenções não renderão benefício.

Os autores são modestos em seu escopo, observando que seus achados são específicos para o benchmark MGSM, os modelos testados e a métrica específica de avaliação de "correspondência exata" (exact match). Eles não alegam que o raciocínio multilíngue é idêntico ao raciocínio em inglês em todos os contextos, mas que o medido gap neste setup específico é amplamente um artefato de orçamento de tokens.

Mais como este