Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate

Título do Estudo

Desmistificando a Eficiência: O Chinês Não é Mais Eficiente que o Inglês em Tarefas de Codificação com LLMs

1. O Problema e o Contexto

Existe uma crença popular em fóruns de desenvolvedores e redes sociais de que prompts em chinês são significativamente mais eficientes em termos de tokens do que prompts em inglês para tarefas de codificação assistida por IA ("vibe coding"). A alegação central é que, devido à maior densidade de informação dos caracteres chineses, o uso do chinês poderia reduzir os custos de API em até 40%.

Essa narrativa influenciou muitos desenvolvedores a considerar a troca de idioma para economizar custos. No entanto, essa afirmação confunde três conceitos distintos:

1. Densidade de informação: Caracteres chineses expressam ideias com menos caracteres no nível semântico.
2. Alocação de Tokenizadores: Tokenizadores otimizados para dados em inglês podem fragmentar caracteres CJK (Chinês, Japonês, Coreano) em múltiplos tokens.
3. Verbosidade do Raciocínio: Evidências anedóticas sugerem que o raciocínio em cadeia (Chain-of-Thought) em chinês produz menos texto de saída.

O artigo busca validar empiricamente se essa alegação de eficiência de tokens se sustenta em tarefas reais de engenharia de software.

2. Metodologia

Os autores conduziram um estudo empírico rigoroso e controlado utilizando o benchmark SWE-bench Lite, que contém tarefas reais de engenharia de software (correção de bugs em projetos open-source Python).

• Dados: Seleção de 50 instâncias do SWE-bench Lite (amostragem estratificada aleatória) cobrindo repositórios como Django, SymPy, matplotlib e scikit-learn.
• Modelos Avaliados: Três famílias de modelos com arquiteturas e estratégias de tokenização distintas:
  • MiniMax-2.7: Modelo chinês com otimizações potenciais para CJK.
  • GPT-5.4-mini: Modelo baseado em dados dominantes em inglês (OpenAI).
  • GLM-5: Modelo chinês com modo de raciocínio explícito (Chain-of-Thought).
• Design Experimental:
  • Fase 1 (Geração): Um agente (MiniSWEAgent) interagiu com as instâncias usando prompts em Inglês e Chinês (tradução profissional mantendo terminologia técnica). Limite de 1.500 iterações e 2 horas por tarefa.
  • Fase 2 (Avaliação): Os patches gerados foram aplicados e testados para determinar se o bug foi resolvido.
• Métricas Principais:
  • Taxa de Resolução: Porcentagem de tarefas resolvidas com sucesso.
  • Custo de Tokens: Contagem detalhada de tokens de prompt, conclusão e raciocínio.
  • Custo Efetivo por Tarefa Bem-Sucedida ($C_{eff}$): Uma métrica crucial que combina o custo por tentativa e a taxa de sucesso:
    $$C_{eff} = \frac{\text{Custo Médio de Tokens por Tentativa}}{\text{Taxa de Resolução}}$$
    Isso captura o custo oculto de tentativas falhadas que precisam ser repetidas.

3. Principais Contribuições

1. Comparação Sistemática: Primeira comparação controlada de prompts em inglês e chinês em tarefas de engenharia de software real, cobrindo múltiplas famílias de modelos.
2. Análise de Custo Realista: Introdução da métrica de "custo efetivo por tarefa bem-sucedida", demonstrando que a contagem bruta de tokens é enganosa se não considerar a taxa de sucesso.
3. Desconstrução de Mitos: Evidência empírica de que a eficiência de tokens depende da arquitetura do modelo e do tokenizador, e não de uma propriedade intrínseca do idioma.

4. Resultados Chave

A. Taxas de Resolução (Sucesso)

• Inglês supera Chinês: Em todos os modelos testados, os prompts em inglês tiveram taxas de resolução iguais ou superiores.
  • MiniMax-2.7: 66,0% (Inglês) vs. 61,5% (Chinês).
  • GPT-5.4-mini: 36,0% (Inglês) vs. 26,1% (Chinês).
  • GLM-5: 64,6% (Inglês) vs. 55,1% (Chinês).
• A diferença de desempenho entre os modelos (ex: MiniMax vs. GPT) foi de ~30 pontos percentuais, muito maior do que qualquer efeito de idioma observado.

B. Análise de Custo de Tokens

A alegação de que o chinês é sempre mais barato foi refutada; o comportamento é dependente do modelo:

• MiniMax-2.7: Prompts em chinês foram 1,28x mais caros em tokens do que em inglês.
• GPT-5.4-mini: Prompts em chinês foram 1,09x mais caros.
• GLM-5: Foi o único modelo onde o chinês foi ligeiramente mais eficiente (0,98x), consumindo menos tokens.
• Conclusão: A eficiência não é inerente ao idioma, mas sim ao design do tokenizador e aos dados de treinamento do modelo.

C. Custo Efetivo (A Descoberta Mais Importante)

Ao aplicar a fórmula de custo efetivo ($C_{eff}$), que penaliza idiomas com menor taxa de sucesso (devido à necessidade de retentativas):

• Não há ganho de custo: Em nenhuma combinação modelo-idioma o chinês ofereceu uma vantagem de custo real.
• Para o GPT-5.4-mini, embora a sobrecarga de tokens fosse pequena (1,09x), a queda na taxa de sucesso (9,9 pontos percentuais) aumentou drasticamente o custo total esperado.
• A frequência de retentivas (devido a falhas) é o fator amplificador dominante, superando qualquer economia de tokens na entrada.

D. Análise de Tokenizadores

Um estudo complementar com 5 tokenizadores diferentes mostrou que:

• Tokenizadores otimizados para inglês (como o cl100k do GPT/Llama) fragmentam caracteres chineses, exigindo mais tokens.
• Tokenizadores nativos chineses (como o do GLM) podem ser mais eficientes para chinês.
• A "eficiência" é uma escolha de design do tokenizador, não uma propriedade do idioma.

5. Significado e Implicações Práticas

1. O Mito Está Desmascarado: Desenvolvedores não devem mudar para prompts em chinês esperando economias de 30-40% em custos de API. Na maioria dos casos, isso pode até aumentar o custo efetivo devido à menor taxa de sucesso.
2. Seleção de Modelo > Escolha de Idioma: A escolha do modelo correto (ex: MiniMax-2.7 vs. GPT-5.4-mini) impacta o desempenho e o custo em uma ordem de magnitude maior do que a escolha do idioma do prompt.
3. Otimização de Custos: Para otimizar custos, a prioridade deve ser:
   • Selecionar o modelo com a melhor taxa de resolução para a tarefa.
   • Escolher modelos com tokenizadores alinhados ao idioma do usuário (se o usuário trabalha em chinês, um modelo com vocabulário CJK otimizado é melhor, mas não necessariamente mais barato que o inglês em todos os casos).
   • Focar na taxa de sucesso da tarefa, pois falhas geram custos exponenciais devido às retentativas.

Conclusão Final

O estudo conclui que a narrativa de que "o chinês é inerentemente mais eficiente para codificação com IA" é falsa. A eficiência de tokens é dependente do modelo e mediada pela arquitetura do tokenizador. Além disso, a menor taxa de sucesso observada em prompts chineses em modelos de ponta anula qualquer economia teórica de tokens, tornando a troca de idioma uma estratégia economicamente contraproducente para a maioria dos cenários atuais de "vibe coding".