Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate

1. Il Problema e il Contesto

Negli ultimi tempi, sui social media e nei forum di sviluppatori è circolata una affermazione secondo cui l'uso di prompt in lingua cinese per compiti di codifica con i Large Language Models (LLM) sarebbe intrinsecamente più efficiente in termini di token rispetto all'inglese. Si stima che questo potrebbe ridurre i costi delle API fino al 40%, spingendo molti sviluppatori a passare al "vibe coding" (codifica basata su linguaggio naturale) in cinese per risparmiare.

Questa narrazione si basa sull'idea che i caratteri cinesi, essendo più densi di informazioni semanticamente, richiedano meno token. Tuttavia, il paper evidenzia come questa affermazione confonda tre concetti distinti:

1. Densità informativa: I caratteri cinesi esprimono idee con meno caratteri rispetto all'inglese.
2. Allocazione del Tokenizer: I tokenizer ottimizzati per l'inglese possono frammentare i caratteri CJK (Cinese, Giapponese, Coreano) in più token.
3. Verbosità del ragionamento: L'output generato in cinese potrebbe essere più breve.

Il paper mira a verificare empiricamente se questa affermazione regga alla prova dei fatti, specialmente nel contesto di compiti di ingegneria del software complessi.

2. Metodologia

Gli autori hanno condotto uno studio empirico rigoroso utilizzando il benchmark SWE-bench Lite, che valuta la capacità dei modelli di risolvere bug reali in progetti open-source Python (come Django, matplotlib, pytest).

• Design Sperimentale:
  • Campionamento: Sono stati selezionati 50 istanze da SWE-bench Lite tramite campionamento randomizzato stratificato.
  • Modelli Testati: Tre famiglie di modelli con architetture e strategie di tokenizzazione diverse:
    • MiniMax-2.7 (sviluppato in Cina, ottimizzato per CJK).
    • GPT-5.4-mini (OpenAI, addestrato prevalentemente su dati inglesi).
    • GLM-5 (Z.ai, sviluppato in Cina con modalità di ragionamento esplicito).
  • Condizioni: Ogni istanza è stata processata sia con prompt in inglese che in cinese (tradotti professionalmente da un ingegnere software bilingue, mantenendo la stessa struttura e terminologia tecnica).
  • Metriche: Sono stati misurati i costi dei token (prompt, completamento, ragionamento) e il tasso di risoluzione dei task (successo nel far passare i test suite). È stata calcolata l'efficienza di costo come: Costo Medio per Tentativo / Tasso di Risoluzione.

3. Contributi Chiave

Il paper offre tre contributi principali:

1. Confronto Sistematico: Fornisce il primo confronto controllato tra prompt inglesi e cinesi su task di ragionamento nel codice, utilizzando un benchmark reale (SWE-bench) invece di task sintetici.
2. Analisi Granulare dei Token: Distingue tra consumo di token del prompt, completamento e ragionamento, analizzando i costi a livello di API.
3. Decomposizione dell'Efficienza: Analizza se le differenze di performance sono dovute alla lingua in sé o a fattori confondenti come l'efficienza del tokenizer e il tasso di fallimento (che richiede retry).

4. Risultati Principali

I risultati smentiscono l'affermazione virale secondo cui il cinese è universalmente più efficiente:

• Nessun Vantaggio di Efficienza Universale: L'efficienza dei token dipende fortemente dall'architettura del modello.
  • MiniMax-2.7: I prompt cinesi hanno richiesto 1.28 volte più token rispetto all'inglese.
  • GPT-5.4-mini: I prompt cinesi hanno richiesto 1.09 volte più token.
  • GLM-5: È l'unico modello in cui il cinese ha mostrato un leggero risparmio (0.98 volte i token inglesi), probabilmente grazie a un vocabolario del tokenizer ottimizzato per il cinese.
• Tasso di Risoluzione Inferiore: In tutti i modelli testati, il tasso di successo (resolution rate) con prompt in cinese è stato più basso rispetto all'inglese.
  • MiniMax-2.7: 66.0% (EN) vs 61.5% (ZH).
  • GPT-5.4-mini: 36.0% (EN) vs 26.1% (ZH).
  • GLM-5: 64.6% (EN) vs 55.1% (ZH).
• Costo Effettivo per Task Risolto: Quando si considera il costo totale includendo i fallimenti (che richiedono nuovi tentativi), il passaggio al cinese risulta più costoso in tutti i casi. La penalità nel tasso di risoluzione annulla qualsiasi risparmio marginale sui token per tentativo.
• Dominanza della Scelta del Modello: La differenza di performance tra i modelli (circa 30 punti percentuali tra il migliore e il peggiore) è di un ordine di grandezza superiore a qualsiasi effetto osservato legato alla lingua.

5. Significato e Implicazioni

Lo studio ha diverse implicazioni cruciali per sviluppatori e ricercatori:

1. Sfatamento del Mito: L'idea che il cinese sia intrinsecamente più efficiente per il coding è un mito. La densità di caratteri non si traduce automaticamente in efficienza dei token a causa della frammentazione operata dai tokenizer.
2. Importanza del Tokenizer: L'efficienza è determinata dall'allocazione del vocabolario del tokenizer durante l'addestramento, non dalle proprietà della lingua. I tokenizer ottimizzati per l'inglese penalizzano il cinese, mentre quelli nativi cinesi possono essere più efficienti.
3. Raccomandazione Pratica: Gli sviluppatori che cercano di ottimizzare i costi non dovrebbero cambiare la lingua dei prompt. La scelta del modello (es. GLM-5 vs GPT) ha un impatto sui costi e sulle performance molto maggiore rispetto alla scelta della lingua.
4. Costo dei Fallimenti: Un fattore critico spesso ignorato è che un tasso di successo più basso aumenta esponenzialmente il costo totale, poiché i tentativi falliti devono essere ripetuti.

In conclusione, il paper avverte che basarsi su affermazioni non verificate dei social media può portare a decisioni controproducenti. Per l'ottimizzazione dei costi nel "vibe coding", la priorità deve essere la selezione del modello e la gestione dei task, non il cambio di lingua dei prompt.