💬 NLP

Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate

Deze voorlopige studie weerlegt de claim dat Chinese prompts efficiënter zijn dan Engelse voor 'vibe coding' en toont aan dat het switchen naar het Chinees niet leidt tot kostenbesparingen of hogere succespercentages bij het oplossen van softwareproblemen.

Oorspronkelijke auteurs: Simiao Ren (Tsang), Xingyu Shen (Tsang), Yuchen Zhou (Tsang), Dennis (Tsang), Ng, Ankit Raj

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Simiao Ren (Tsang), Xingyu Shen (Tsang), Yuchen Zhou (Tsang), Dennis (Tsang), Ng, Ankit Raj

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Chinees is goedkoper" Mythe: Een Simpele Uitleg

Stel je voor dat je een grote, drukke bibliotheek hebt (de AI) waar je boeken (code) laat schrijven. Er gaat een gerucht rond in de wereld van programmeurs: "Als je in het Chinees vraagt om een boek te schrijven, is het korter en goedkoper dan in het Engels. Je kunt tot 40% besparen!"

Veel mensen zijn hierdoor gaan schakelen naar het Chinees om geld te besparen op hun rekeningen voor AI-diensten. Maar een groep onderzoekers van Scam.ai heeft dit gerucht eens flink onder de loep genomen. Ze hebben een experiment gedaan met de vraag: Is het Chinees inderdaad de "slimme, goedkope" taal voor het programmeren?

Het antwoord is kort en krachtig: Nee, dat is een mythe.

Hier is hoe ze dat hebben bewezen, vertaald in alledaagse taal:

1. De "Korte Zinnen" Illusie

Het idee achter het gerucht is simpel: een Chinees karakter bevat vaak meer informatie dan een Engels woord. Het is alsof je in het Chinees zegt "Ik heb honger" met één teken, terwijl je in het Engels drie woorden nodig hebt. Logisch dat je denkt: "Minder woorden = minder kosten!"

Maar de AI werkt niet zoals een mens die naar woorden kijkt. De AI kijkt naar stukjes (zogenoemde "tokens").

De Analogie: Stel je voor dat je een puzzel maakt. In het Engels past de puzzelstukjes perfect in de doos. In het Chinees moet de AI soms één Chinees teken opbreken in drie of vier kleine puzzelstukjes om het te begrijpen.
Het Resultaat: Bij sommige AI-modellen (zoals die van GPT) moet je voor Chinees dus meer puzzelstukjes betalen dan voor Engels. Het is net alsof je in het Chinees een kort berichtje stuurt, maar de postbode (de AI) het in drie enveloppen moet verpakken.

2. De "Succesgraad" is de Echte Kostendrijver

Dit is het belangrijkste punt van het onderzoek. Het gaat niet alleen om hoeveel woorden je gebruikt, maar of de AI het werk goed doet.

De Analogie: Stel je hebt twee loodgieters.
- Loeder A (Engels) vraagt €100 en lost je lekkage in 90% van de gevallen direct op.
- Loeder B (Chinees) vraagt €90, maar lost het maar in 60% van de gevallen op.
- Als Loeder B faalt, moet je hem opnieuw bellen. Je betaalt dan al snel €180 of €270 voordat het werk écht klaar is.

Het onderzoek toonde aan dat AI-modellen in het Chinees vaak minder vaak het juiste stukje code produceerden dan in het Engels. Omdat de AI het soms mis had, moesten de gebruikers het opnieuw proberen. Die extra pogingen kosten veel meer geld dan de kleine besparing op de eerste vraag.

3. Niet Alle AI's Zijn Het Zelfde

Het onderzoek keek naar drie verschillende AI-modellen. Het resultaat was verrassend:

Bij Model A kostte Chinees meer geld dan Engels (omdat de puzzelstukjes te klein waren).
Bij Model B kostte Chinees iets minder geld (omdat deze AI specifiek is getraind op Chinees).
Bij Model C was het verschil minimaal, maar de kans dat het werk goed lukte was in het Chinees lager.

De les: Je kunt niet zeggen "Chinees is altijd goedkoper". Het hangt volledig af van welke AI je gebruikt. Het is alsof je zegt "Elektriciteit is altijd goedkoper dan benzine", terwijl het in jouw auto misschien juist duurder is om te tanken.

De Grote Conclusie: Kies de Motor, niet de Brandstof

De onderzoekers concluderen dat het kiezen van de juiste AI (de motor) veel belangrijker is dan het kiezen van de taal (de brandstof).

Als je een slechte AI kiest, maakt het niet uit of je in het Chinees of Engels praat: het werkt niet goed en kost veel geld.
Als je een goede AI kiest, is het verschil in kosten tussen Engels en Chinees verwaarloosbaar.

Kort samengevat voor de praktijk:
Stop met het proberen van "vibe coding" (ontspannen programmeren) in het Chinees in de hoop op een korting. Je zult waarschijnlijk niet besparen, en je krijgt misschien zelfs minder goede resultaten. De slimste manier om geld te besparen is om te investeren in een betere AI, niet om je taal te veranderen.

De mythe is ontkracht: Chinees is niet de magische spaarformule voor AI-code.

Titel en Context

Titel: Mythebestrijding: De Chinese taal is niet efficiënter dan Engels in Vibe Coding: Een voorlopige studie naar tokenkosten en probleemoplossingssnelheid.
Auteurs: Simiao Ren, Xingyu Shen, Yuchen Zhou, Dennis (Tsang) Ng, Ankit Raj (Scam.ai).
Doel: Het empirisch testen van de populaire claim op sociale media dat prompts in het Chinese taalgebied aanzienlijk kostenefficiënter zijn dan Engelse prompts voor LLM-gestuurde coderingstaken (tot wel 40% besparing).

1. Het Probleem

Er circuleert een wijdverbreide mythe in ontwikkelaarsgemeenschappen dat het gebruik van Chinese prompts voor "vibe coding" (het genereren van code via natuurlijke taal) leidt tot lagere API-kosten. De redenering is dat Chinese karakters semantisch informatieverdicht zijn dan Engelse woorden, wat zou moeten resulteren in minder tokens per prompt.

De aanname: Chinese tekst vereist minder tokens omdat karakters meer informatie bevatten.
Het risico: Ontwikkelaars schakelen over naar het Chinees om kosten te besparen, gebaseerd op anekdotisch bewijs zonder rigoureuze validatie.
De realiteit: Tokenizers werken niet op karakterniveau, maar op subwoord-niveau. De efficiëntie hangt af van de tokeniseringsvocabulaire van het specifieke model, niet alleen van de taal zelf.

2. Methodologie

De auteurs voerden een gecontroleerde empirische studie uit om de claim te toetsen.

Benchmark: Ze gebruikten SWE-bench Lite, een benchmark met 300 real-world software engineering taken (bugfixes in Python-projecten zoals Django, matplotlib, pytest). Voor deze studie werd een gestratificeerde steekproef van 50 instances geselecteerd.
Experimenteel Opzet:
- Elke taak werd uitgevoerd met prompts in het Engels en het Chinees.
- De Chinese prompts waren professionele vertalingen door een tweetalige software-ingenieur, waarbij technische terminologie en structuur behouden bleven.
- Modellen: Drie verschillende model-families werden getest om verschillende tokeniseringsstrategieën te dekken:
  1. MiniMax-2.7: Een Chinees ontwikkeld model (mogelijk geoptimaliseerd voor CJK).
  2. GPT-5.4-mini: Een Engelstalig model (OpenAI) dat dient als contrast.
  3. GLM-5: Een Chinees model met expliciete chain-of-thought (redenatie) modus.
Metrieken:
- Oplossingspercentage (Resolution Rate): Het percentage taken dat succesvol werd opgelost (testen slaagden).
- Tokenverbruik: Gedetailleerd bijgehouden via OpenRouter API logs (prompt tokens, completion tokens, reasoning tokens).
- Verwachte Kosten per Succesvolle Taak ( $C_{eff}$ ): Een nieuwe metriek die rekening houdt met zowel het tokenverbruik als het faalpercentage (herhaalde pogingen verhogen de totale kosten).

3. Belangrijkste Bijdragen

Systematische Vergelijking: Eerste studie die Engels en Chinees direct vergelijkt op een specifieke software-engineering benchmark (SWE-bench) in plaats van algemene redeneringstaken.
Gedetailleerde Token Tracking: Analyse van tokenverbruik op API-niveau, inclusief het onderscheid tussen prompt, output en reasoning tokens.
Kosten-Efficiëntie Analyse: Integreert het succespercentage in de kostenberekening, wat vaak wordt genegeerd in eerdere discussies die alleen naar input-tokenlengte kijken.

4. Resultaten

De resultaten weerleggen de mythe dat Chinees universeel efficiënter is.

Geen Universeel Voordeel: Er is geen consistent voordeel voor het Chinees. Het effect is model-afhankelijk.
- MiniMax-2.7: Chinese prompts verbruikten 1,28x meer tokens dan Engels.
- GPT-5.4-mini: Chinese prompts verbruikten 1,09x meer tokens.
- GLM-5: Chinese prompts verbruikten 0,98x tokens (iets minder dan Engels), wat aantoont dat alleen bij modellen met een specifiek voor Chinees geoptimaliseerde tokeniseringsvocabulaire een besparing mogelijk is.
Oplossingspercentage (Success Rate):
- Het succespercentage was over het algemeen lager voor Chinese prompts dan voor Engelse prompts bij alle modellen.
- Voorbeeld: Bij GPT-5.4-mini daalde het succes van 36,0% (EN) naar 26,1% (ZH). Bij GLM-5 daalde het van 64,6% naar 55,1%.
Totale Kosten (Expected Cost):
- Omdat het succespercentage lager is, moeten mislukte pogingen worden herhaald. Dit verhoogt de totale kosten aanzienlijk.
- Zelfs bij GLM-5, waar de tokenlengte iets korter was, werd het voordeel tenietgedaan door het lagere succespercentage.
- De conclusie: Het switchen naar Chinees leidt niet tot kostenbesparing, maar kan de kosten juist verhogen door het lagere succespercentage.
Modelkeuze vs. Taalkeuze: Het verschil in prestaties tussen de beste en slechtste modellen (ongeveer 30 procentpunten) is veel groter dan het effect van de taalkeuze (4,5–9,9 procentpunten).

5. Significantie en Conclusie

De Mythe is Gebarsten: De claim dat Chinese prompts 40% goedkoper zijn, is onjuist. De schijnbare "informatiedichtheid" van Chinese karakters wordt vaak gecompenseerd door tokeniseringsinefficiëntie (waarbij karakters worden opgesplitst in meerdere tokens) en een lager succespercentage.
Tokeniseringsarchitectuur is Bepalend: Of een taal efficiënter is, hangt volledig af van hoe de tokenizer van het specifieke model is getraind. Engels heeft vaak de laagste "token premium" bij GPT-achtige tokenizers, terwijl Chinese modellen (zoals GLM) specifiek zijn geoptimaliseerd voor CJK-tekst.
Praktische Implicaties:
- Ontwikkelaars moeten niet switchen naar het Chinees om API-kosten te besparen.
- De belangrijkste factor voor kosten- en prestatieoptimalisatie is de keuze van het model, niet de taal van de prompt.
- Voor gebruikers die voornamelijk in het Chinees werken, is het kiezen van een model met een CJK-geoptimaliseerde tokenizer (zoals GLM-5 of MiniMax) belangrijker dan het switchen van taal binnen een Engels-georiënteerd model.

Samenvattend: De studie concludeert dat taalkeuze een secundaire factor is die sterk afhankelijk is van het model, en dat de focus op token-efficiëntie door taalverandering een misleidende strategie is voor kostenreductie in "vibe coding".