Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate

1. Problema y Contexto

Existe una creencia popular en redes sociales y foros de desarrolladores que afirma que el uso de prompts en chino para tareas de codificación con Modelos de Lenguaje Grande (LLM) es significativamente más eficiente en términos de tokens que el inglés. Se estima que esto podría reducir los costos de API hasta en un 40%, motivando a los desarrolladores a adoptar el "vibe coding" (codificación basada en el "vibe" o flujo natural del lenguaje) en chino para ahorrar dinero.

Esta afirmación se basa en la premisa de que los caracteres chinos son más densos en información a nivel semántico que el inglés. Sin embargo, el artículo señala que esta narrativa confunde tres fenómenos distintos:

1. Densidad de información: Capacidad semántica de los caracteres.
2. Asignación de tokens: Cómo los tokenizadores (especialmente los optimizados para inglés) fragmentan los caracteres CJK (Chino-Japonés-Coreano) en múltiples tokens.
3. Verbosidad del razonamiento: La longitud del texto de salida generado por el modelo.

El objetivo del estudio es validar empíricamente si esta afirmación de eficiencia se sostiene en tareas reales de ingeniería de software.

2. Metodología

Los autores realizaron un estudio empírico riguroso utilizando el benchmark SWE-bench Lite, que consta de tareas de ingeniería de software del mundo real (corrección de errores en proyectos de código abierto como Django, matplotlib, etc.).

• Diseño Experimental:

  • Se seleccionaron 50 instancias de SWE-bench Lite mediante muestreo aleatorio estratificado.
  • Se evaluaron tres familias de modelos con arquitecturas y estrategias de tokenización diversas:
    1. MiniMax-2.7: Modelo chino con posible optimización para CJK.
    2. GPT-5.4-mini: Modelo basado en datos dominantes en inglés (OpenAI).
    3. GLM-5: Modelo chino con un modo de razonamiento explícito (Chain-of-Thought).
  • Para cada instancia, se generaron prompts idénticos en inglés y en chino (traducidos profesionalmente por un ingeniero de software bilingüe, manteniendo la terminología técnica).
  • Se utilizó el framework MiniSWEAgent para ejecutar las tareas con un límite de 1.500 iteraciones y un presupuesto de tiempo de 2 horas.

• Métricas Analizadas:

  • Tasa de Resolución (Success Rate): Porcentaje de parches generados que pasan las suites de pruebas.
  • Consumo de Tokens: Desglose detallado de tokens de prompt, completación y razonamiento.
  • Costo Efectivo por Tarea Exitosa ($C_{eff}$): Una métrica clave que combina el consumo de tokens y la tasa de éxito, calculada como:
    $$C_{eff} = \frac{\text{Costo Promedio de Tokens por Intento}}{\text{Tasa de Resolución}}$$
    Esta fórmula penaliza los idiomas que requieren más reintentos debido a una menor tasa de éxito.

3. Contribuciones Clave

1. Comparación Sistemática: Primera evaluación controlada que compara prompts en inglés y chino en tareas de razonamiento de código usando SWE-bench.
2. Análisis de Costo Real: Introducción de la métrica de "costo esperado por tarea exitosa", demostrando que el conteo de tokens por sí solo es engañoso si no se considera la probabilidad de éxito.
3. Desmitificación de la Eficiencia: Evidencia empírica de que la eficiencia de los tokens depende de la arquitectura del modelo y su tokenizador, no de una propiedad intrínseca del idioma chino.

4. Resultados Principales

A. Tasas de Resolución (Desempeño)

• El chino no es superior: En todos los modelos probados, la tasa de resolución en inglés fue igual o superior a la del chino.
  • MiniMax-2.7: Inglés 66.0% vs. Chino 61.5% (diferencia de 4.5 puntos).
  • GPT-5.4-mini: Inglés 36.0% vs. Chino 26.1% (diferencia de 9.9 puntos).
  • GLM-5: Inglés 64.6% vs. Chino 55.1% (diferencia de 9.5 puntos).
• La selección del modelo tiene un impacto mucho mayor (diferencia de ~30 puntos entre el mejor y el peor modelo) que la elección del idioma.

B. Análisis de Costo de Tokens

La premisa de que el chino siempre consume menos tokens es falsa y depende del modelo:

• MiniMax-2.7: El chino es menos eficiente, requiriendo un 1.28x más de tokens que el inglés.
• GPT-5.4-mini: El chino es ligeramente menos eficiente (1.09x más tokens).
• GLM-5: Es el único caso donde el chino fue ligeramente más eficiente (0.98x menos tokens), debido a que su tokenizador está optimizado para CJK.

C. Costo Efectivo ($C_{eff}$)

Al incorporar la tasa de resolución en el cálculo de costos:

• No se observó ninguna ganancia de eficiencia de costos al usar chino en ninguna combinación de modelo-idioma.
• En modelos como GPT-5.4-mini, aunque el sobrecosto de tokens por intento fue bajo (1.09x), la caída en la tasa de éxito (9.9 puntos) aumentó drásticamente el costo total debido a la necesidad de reintentos.
• Conclusión: Cambiar al chino para ahorrar costos es contraproducente; aumenta el costo efectivo total.

D. Análisis de Tokenizadores

El estudio midió la relación tokens/carácter en cinco tokenizadores diferentes. Confirmó que:

• Los tokenizadores dominados por inglés (como cl100k de GPT/Llama) fragmentan los caracteres chinos en múltiples sub-unidades, aumentando el conteo de tokens.
• Los tokenizadores nativos chinos (como GLM) pueden ser más eficientes en chino.
• La "eficiencia" es una propiedad del diseño del tokenizador, no del idioma en sí.

5. Significado e Implicaciones

• Desmentido del Mito: La afirmación de que los prompts en chino reducen los costos de API en un 30-40% es falsa. No hay ahorro de costos garantizado y, a menudo, hay una pérdida de rendimiento.
• Prioridad de Selección de Modelo: Para la optimización de costos y rendimiento, la elección del modelo (arquitectura y tokenizador) es un factor de primer orden, mientras que el idioma del prompt es un factor de segundo orden que depende completamente del modelo utilizado.
• Recomendación para Practicantes: Los desarrolladores no deben cambiar a "vibe coding" en chino esperando ahorros. Deberían enfocarse en seleccionar modelos con tokenizadores alineados a sus necesidades y maximizar la tasa de éxito de las tareas, ya que los reintentos fallidos son el mayor multiplicador de costos.
• Advertencia sobre Generalizaciones: Dado que el estudio se limitó a 50 instancias y 3 modelos, los resultados deben considerarse evidencia preliminar, pero son lo suficientemente robustos para desaconsejar la migración basada únicamente en la promesa de ahorro de tokens.

En resumen, el artículo concluye que "el mito ha sido desmentido": el chino no es intrínsecamente más eficiente para la codificación con LLMs, y la supuesta ventaja económica es un error de cálculo que ignora la arquitectura del modelo y la tasa de éxito de la tarea.