💬 NLP

Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate

यह प्रारंभिक अध्ययन इस दावे का खंडन करता है कि LLM कोडिंग कार्यों के लिए चीनी प्रॉम्प्ट अंग्रेजी की तुलना में अधिक टोकन-कुशल होते हैं, बल्कि यह दर्शाता है कि चीनी प्रॉम्प्ट अक्सर कम सफलता दर और मॉडल-निर्भर टोकन लागत का परिणाम देते हैं जो अपेक्षित बचत प्रदान नहीं करते हैं।

मूल लेखक: Simiao Ren (Tsang), Xingyu Shen (Tsang), Yuchen Zhou (Tsang), Dennis (Tsang), Ng, Ankit Raj

प्रकाशित 2026-04-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Simiao Ren (Tsang), Xingyu Shen (Tsang), Yuchen Zhou (Tsang), Dennis (Tsang), Ng, Ankit Raj

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Mythbuster: Chinese Language Is Not More Efficient Than English In Vibe Coding" पेपर का सरल, रोज़मर्रा की भाषा में अनुवाद दिया गया है, जिसमें कुछ रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।

🚫 सबसे बड़ा मिथक: "पैसे बचाने के लिए चीनी बोलें"

कल्पना कीजिए कि आप एक डिलीवरी सर्विस चला रहे हैं (वह आपका AI कोडिंग असिस्टेंट है)। आपके पड़ोस में एक लोकप्रिय अफवाह चल रही है: "अगर आप अपनी डिलीवरी निर्देश चीनी भाषा में लिखते हैं, तो ट्रक छोटे होंगे, अधिक पैकेज ले जा सकेंगे, और आपसे गैस पर 40% कम खर्च होगा।"

इस अफवाह के कारण, कई डेवलपर्स ने API फीस बचाने के लिए अपने कोडिंग प्रॉम्प्ट्स को अंग्रेजी से बदलकर चीनी में करना शुरू कर दिया। उन्हें लगा कि चीनी अक्षर "सुपर-डेंस" ईंटों की तरह हैं जो अंग्रेजी की ईंटों की तुलना में कम टुकड़ों से एक दीवार बना सकते हैं।

यह पेपर "MythBusters" टीम की तरह है जो उस अफवाह की जांच करने के लिए निकला। उन्होंने एक लैब बनाई, ट्रक चलाए और गैस मापी।

फैसला? वह अफवाह गलत है। वास्तव में, चीनी बोलने से आपकी डिलीवरी सर्विस अधिक महंगी और कम विश्वसनीय हो सकती है।

🧪 उन्होंने इसका परीक्षण कैसे किया (प्रयोग)

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने एक कठोर दौड़ आयोजित की।

ट्रैक (कार्य): उन्होंने SWE-bench नामक एक प्रसिद्ध बाधा दौड़ (obstacle course) का उपयोग किया। कल्पना कीजिए कि 50 अलग-अलग खराब मशीनें (सॉफ्टवेयर कोड में बग्स) हैं। AI का काम मैनुअल पढ़ना, खराब हिस्से को ढूंढना और उसे ठीक करना है ताकि मशीन फिर से काम करने लगे।
ड्राइवर (मॉडेल्स): उन्होंने तीन अलग-अलग प्रकार के AI ड्राइवर का उपयोग किया:
- MiniMax-2.7: एक चीनी-विकसित ड्राइवर।
- GLM-5: एक अन्य चीनी-विकसित ड्राइवर।
- GPT-5.4-mini: एक अंग्रेजी-विकसित ड्राइवर।
निर्देश: उन्होंने प्रत्येक ड्राइवर को बिल्कुल समान खराब मशीन के निर्देश दिए, लेकिन आधे समय अंग्रेजी में और आधे समय चीनी में।
स्कोरकार्ड: उन्होंने दो चीजें गिनीं:
- क्या यह काम कर गया? (क्या AI ने बग को ठीक किया?)
- इसकी लागत कितनी थी? (AI ने इसे हल करने के लिए कितने "टोकन" या डिजिटल शब्दों का उपयोग किया?)

📉 तीन बड़े आश्चर्य

यहाँ उन्होंने क्या पाया, जिसे सरल रूप में समझाया गया है:

1. "चीनी सस्ती है" वाला मिथक टूट गया

अफवाह थी कि चीनी प्रॉम्प्ट्स कम टोकन का उपयोग करते हैं। डेटा ने कहा: "रुकिए जरा, अभी नहीं।"

MiniMax ड्राइवर: चीनी में बात करते समय, इसने वास्तव में 28% अधिक टोकन (अधिक गैस) का उपयोग किया जितना कि अंग्रेजी में।
GLM ड्राइवर: इसने चीनी में थोड़े कम टोकन का उपयोग किया, लेकिन इतना भी नहीं कि उससे कोई फर्क पड़े।
GPT ड्राइवर: इसने चीनी में थोड़ा अधिक उपयोग किया।

उपमा: टोकनाइज़र (AI का आंतरिक शब्दकोश) को एक अनुवादक की तरह समझें। यदि अनुवादक का शब्दकोश मुख्य रूप से अंग्रेजी के लिए बना है, तो एक चीनी शब्द को तीन छोटे टुकड़ों में तोड़ा जा सकता है, जबकि एक अंग्रेजी शब्द एक बड़ा टुकड़ा बना रह सकता है। इसलिए, भले ही चीनी वाक्य कागज़ पर छोटा दिखता हो, AI को समझने के लिए अधिक टुकड़ों को प्रोसेस करना पड़ता है।

2. "सफलता दर" का जाल (सबसे महत्वपूर्ण हिस्सा)

यह सबसे बड़ा सबक है। भले ही एक भाषा प्रति प्रयास कम टोकन का उपयोग करती हो, इससे कोई फर्क नहीं पड़ता यदि AI अधिक बार विफल होता है।

परिदृश्य: कल्पना कीजिए कि आप एक ताले हुए दरवाजे को खोलने की कोशिश कर रहे हैं।
- अंग्रेजी चाबी: इसे बनाने की लागत $1 है। आप 66% बार सफल होते हैं।
- चीनी चाबी: इसे बनाने की लागत $0.90 है। लेकिन आप केवल 55% बार सफल होते हैं।
परिणाम: क्योंकि चीनी चाबी अधिक बार विफल होती है, इसलिए आपको बार-बार प्रयास करना पड़ता है। वे बार-बार होने वाली विफलताएं जुड़ती जाती हैं।
गणित: शोधकर्ताओं ने "प्रति सफल सुधार की लागत" (Cost per Successful Fix) की गणना की। क्योंकि सभी मॉडल्स में चीनी प्रॉम्प्ट्स अधिक बार विफल हुए, इसलिए कुल लागत, कम होने के बजाय, अधिक रही।

उपमा: यह उन सस्ते जूतों को खरीदने जैसा है जो एक मील के बाद टूट जाते हैं, बनाम एक थोड़े महंगे जोड़े के जो एक साल तक चलते हैं। सस्ते जूते एक सौदा लगते हैं जब तक कि आपको एहसास न हो कि आपको हर हफ्ते एक नया जोड़ा खरीदना पड़ रहा है।

3. भाषा से ज्यादा ड्राइवर मायने रखता है

प्रदर्शन में सबसे बड़ा अंतर भाषा के बीच नहीं था; यह AI मॉडल्स के बीच था।

सबसे अच्छे मॉडल (MiniMax) ने लगभग 66% बग्स को ठीक किया।
सबसे खराब मॉडल (GPT) ने केवल 36% बग्स को ठीक किया।
वह 30% का अंतर बहुत बड़ा है। भाषा बदलने से सफलता दर में केवल 5-10% का बदलाव आया।

उपमा: यह मायने नहीं रखता कि आप फेरारी चला रहे हैं या टोयोटा; यदि आप गलत ड्राइवर (AI मॉडल) चुनते हैं, तो आप दौड़ नहीं जीत पाएंगे। सही AI मॉडल चुनना इस बात से 100 गुना अधिक महत्वपूर्ण है कि आप कौन सी भाषा बोल रहे हैं।

💡 भ्रम के पीछे का "क्यों"

सबने चीनी मिथक पर विश्वास क्यों किया? पेपर बताता है कि लोगों ने तीन अलग-अलग चीजों को मिला दिया था:

सूचना घनत्व (Information Density): हाँ, एक चीनी अक्षर एक अंग्रेजी वाक्यांश का अर्थ रख सकता है। (सत्य!)
टोकनाइजेशन (Tokenization): लेकिन AI अक्षरों को नहीं पढ़ता; वह "टोकन" (टेक्स्ट के टुकड़े) पढ़ता है। यदि AI का शब्दकोश चीनी के लिए अनुकूलित नहीं है, तो वे अक्षर छोटे, महंगे टुकड़ों में टूट जाते हैं। (वास्तविकता!)
तर्क (Reasoning): कुछ लोगों को लगा कि चीनी "सोच" छोटी थी। लेकिन कोडिंग में, यदि सोच छोटी है लेकिन गलत है, तो आपको इसे ठीक करने के लिए फिर से भुगतान करना होगा।

🏁 डेवलपर्स के लिए अंतिम निष्कर्ष

यदि आप AI कोडिंग के लिए पैसे बचाने की कोशिश कर रहे डेवलपर हैं:

टोकन बचाने के लिए चीनी में स्विच न करें। आप शायद पैसे नहीं बचा पाएंगे, और आप वास्तव में अधिक खर्च कर सकते हैं क्योंकि AI अधिक बार विफल होगा।
सही AI मॉडल चुनें। सबसे अच्छा मॉडल (जैसे MiniMax या GLM) खोजने में समय बिताना, भाषा बदलने की तुलना में आपको बहुत अधिक पैसा बचा सकता है।
सफलता ही असली मुद्रा है। यह इस बारे में नहीं है कि आप कितने शब्दों का उपयोग करते हैं; यह इस बारे में है कि AI कितनी बार पहली बार में ही काम पूरा कर देता है।

संक्षेप में: "Vibe Coding" का चलन कूल है, लेकिन सोशल मीडिया की अफवाह को आपको यह सोचने के लिए धोखा न देने दें कि एक अलग भाषा एक जादुई मनी-सेविंग बटन है। इंजन (मॉडल) उस भाषा से अधिक महत्वपूर्ण है जो आप उससे बोलते हैं।

यहाँ शोध पत्र "Mythbuster: Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सोशल मीडिया और डेवलपर फ़ोरम पर एक प्रचलित दावा किया जा रहा है कि LLM कोडिंग कार्यों के लिए चीनी प्रॉम्प्ट्स (Chinese prompts) का उपयोग करना अंग्रेजी की तुलना में काफी अधिक टोकन-कुशल (token-efficient) है, जिससे API लागत में 40% तक की कमी आ सकती है। यह धारणा इस अंतर्ज्ञान पर आधारित है कि चीनी अक्षर अंग्रेजी शब्दों की तुलना में अधिक सूचना-सघन (information-dense) हैं। फलस्वरूप, कई डेवलपर्स लागत बचाने के लिए "वाइब कोडिंग" (प्राकृतिक भाषा के माध्यम से कोड जेनरेट करना) के लिए चीनी भाषा में स्विच करने पर विचार कर रहे हैं।

हालाँकि, यह दावा चरित्र-स्तर की सूचना घनत्व (character-level information density) और टोकन-स्तर की दक्षता (token-level efficiency) के बीच भ्रम पैदा करता है। यह इस बात की अनदेखी करता है कि टोकनाइज़र्स (जो टेक्स्ट को सब-वर्ड यूनिट्स में तोड़ते हैं) कैसे प्रशिक्षित होते हैं, जो अक्सर अंग्रेजी के प्रभुत्व के कारण उसे प्राथमिकता देते हैं, और यह कार्य समाधान दरों (task resolution rates) पर भाषा के प्रभाव को भी ध्यान में नहीं रखता है। यह शोध पत्र कठोरता से परीक्षण करने का लक्ष्य रखता है कि क्या चीनी भाषा में स्विच करने से वास्तव में लागत बचत होती है या प्रदर्शन में सुधार होता है।

2. कार्यप्रणाली (Methodology)

लेखकों ने वास्तविक दुनिया के सॉफ्टवेयर इंजीनियरिंग कार्यों (बग फिक्सिंग) पर LLMs का मूल्यांकन करने के लिए एक मानक बेंचमार्क, SWE-bench Lite का उपयोग करके एक नियंत्रित अनुभवजन्य अध्ययन (controlled empirical study) आयोजित किया।

डेटासेट: स्ट्रैटिफाइड रैंडम सैंपलिंग का उपयोग करके SWE-bench Lite से 50 इंस्टेंस चुने गए (जिसमें Django, matplotlib, pytest आदि जैसे रिपॉजिटरी शामिल हैं)।
मूल्यांकित मॉडल: विभिन्न आर्किटेक्चर और टोकनाइजेशन रणनीतियों को कवर करने के लिए तीन अलग-अलग मॉडल परिवारों का परीक्षण किया गया:
1. MiniMax-2.7: एक चीनी-विकसित मॉडल जिसमें संभावित CJK अनुकूलन (optimizations) हो सकते हैं।
2. GPT-5.4-mini: एक अंग्रेजी-प्रधान मॉडल (OpenAI) जो एक कंट्रास्ट के रूप में कार्य करता है।
3. GLM-5: एक चीनी-विकसित मॉडल जिसमें स्पष्ट चेन-ऑफ-थॉट (CoT) रीजनिंग है।
प्रायोगिक डिज़ाइन:
- द्विभाषी प्रॉम्प्ट्स (Bilingual Prompts): प्रत्येक कार्य को अंग्रेजी और पेशेवर रूप से अनुवादित चीनी (तकनीकी शब्दावली को सुरक्षित रखते हुए) दोनों में प्रस्तुत किया गया।
- दो-चरण निष्पादन (Two-Phase Execution):
  1. पैच जनरेशन (Patch Generation): एक एजेंट (MiniSWEAgent) ने 1,500 स्टेप की सीमा के भीतर कोड पैच जेनरेट करने का प्रयास किया।
  2. मूल्यांकन (Evaluation): जेनरेट किए गए पैच को कोडबेस पर लागू किया गया, और यह निर्धारित करने के लिए टेस्ट सुइट चलाए गए कि क्या बग हल हो गया है।
- मेट्रिक्स: अध्ययन ने टोकन खपत (प्रॉम्ट, कंप्लीशन, रीजनिंग), API लागत, और समाधान दर (सफलता/विफलता) को ट्रैक किया।
- लागत दक्षता मेट्रिक: लेखकों ने एक महत्वपूर्ण मेट्रिक पेश किया: प्रति सफल कार्य अपेक्षित लागत (Expected Cost per Successful Task - $C_{eff}$ ), जिसकी गणना इस प्रकार की जाती है:
  $C_{eff} = \frac{\text{Avg. Token Cost per Attempt}}{\text{Resolution Rate}}$
  यह इस तथ्य को ध्यान में रखता है कि विफल प्रयासों के लिए पुनः प्रयास (retries) की आवश्यकता होती है, जिससे कुल लागत बढ़ जाती है।

3. मुख्य योगदान (Key Contributions)

व्यवस्थित अनुभवजन्य सत्यापन: वास्तविक दुनिया के बेंचमार्क (SWE-bench) का उपयोग करके कोडिंग कार्यों के लिए विशेष रूप से अंग्रेजी बनाम चीनी प्रॉम्प्ट्स की तुलना करने वाला पहला कठोर अध्ययन।
सूक्ष्म टोकन विश्लेषण (Granular Token Analysis): प्रॉम्ट, कंप्लीशन और रीजनिंग टोकन के बीच अंतर करना, और यह विश्लेषण करना कि विभिन्न मॉडल आर्किटेक्चर भाषा-विशिष्ट टोकनाइजेशन को कैसे संभालते हैं।
समग्र लागत-दक्षता ढांचा: केवल कच्चे टोकन काउंट से आगे बढ़कर "प्रति सफल कार्य अपेक्षित लागत" का मूल्यांकन करना, जो यह दर्शाता है कि सफलता दर कुल लागत में एक प्रमुख कारक है।
टोकनाइज़र तंत्र विश्लेषण: टोकन दक्षता निर्धारित करने में टोकनाइज़र शब्दावली आवंटन (जैसे, अंग्रेजी-प्रधान बनाम CJK-अनुकूलित) की भूमिका को अलग करना।

4. मुख्य परिणाम (Key Results)

A. समाधान दरें (Resolution Rates)

चीनी प्रॉम्प्ट्स आम तौर पर अंग्रेजी के बराबर या उससे खराब प्रदर्शन करते हैं।
- MiniMax-2.7: अंग्रेजी (66.0%) बनाम चीनी (61.5%)।
- GPT-5.4-mini: अंग्रेजी (36.0%) बनाम चीनी (26.1%)।
- GLM-5: अंग्रेजी (64.6%) बनाम चीनी (55.1%)।
मॉडलों के बीच प्रदर्शन का अंतर (लगभग 30 प्रतिशत अंक) भाषा के चुनाव के कारण होने वाले अंतर से कहीं अधिक बड़ा था।

B. टोकन लागत और दक्षता (Token Cost & Efficiency)

कोई सार्वभौमिक लाभ नहीं: यह धारणा कि चीनी हमेशा अधिक टोकन-कुशल होती है, गलत थी।
- MiniMax-2.7: चीनी को अंग्रेजी की तुलना में 1.28x अधिक टोकन की आवश्यकता थी।
- GPT-5.4-mini: चीनी को 1.09x अधिक टोकन की आवश्यकता थी।
- GLM-5: चीनी ने 0.98x टोकन का उपयोग किया (थोड़ा कम), जो संभवतः इसके CJK-अनुकूलित टोकनाइज़र के कारण है।
विफलता का "लागत दंड" (The "Cost Penalty" of Failure): भले ही GLM-5 में चीनी ने प्रति प्रयास कम टोकन का उपयोग किया हो, लेकिन कम समाधान दर का अर्थ था कि प्रति सफल कार्य अपेक्षित लागत चीनी के लिए अधिक थी। विफल प्रयासों को फिर से करने की लागत ने मामूली टोकन बचत को खत्म कर दिया।

C. टोकनाइज़र विश्लेषण (Tokenizer Analysis)

अध्ययन ने पुष्टि की कि टोकन दक्षता मॉडल-निर्भर है, न कि भाषा-निर्भर।
अंग्रेजी-प्रधान डेटा (जैसे, GPT, Llama) पर प्रशिक्षित टोकनाइज़र चीनी अक्षरों को कई टोकन में विभाजित कर देते हैं, जिससे टोकन की संख्या बढ़ जाती है।
महत्वपूर्ण चीनी डेटा (जैसे, GLM) के साथ प्रशिक्षित टोकनाइज़र चीनी को अधिक कुशलता से संकुचित कर सकते हैं, कभी-कभी अंग्रेजी से भी बेहतर।
चरित्र घनत्व बनाम टोकन दक्षता: हालांकि चीनी अक्षर सघन हैं (प्रति अक्षर अधिक सिमेंटिक जानकारी), यह तब तक कम टोकन में नहीं बदलता जब तक कि टोकनाइज़र विशेष रूप से CJK के लिए अनुकूलित न हो।

5. महत्व और निहितार्थ (Significance and Implications)

मिथक का खंडन: यह शोध पत्र निर्णायक रूप से उस मिथक को "बस्ट" करता है कि कोडिंग के लिए चीनी प्रॉम्प्ट्स पर स्विच करने से पैसे की बचत होगी। अधिकांश परीक्षण किए गए परिदृश्यों में, इसने या तो लागत बढ़ा दी या नगण्य बचत प्रदान की।
अभ्यासकर्ताओं के लिए रणनीतिक बदलाव:
- मॉडल चयन > भाषा का चुनाव: सही मॉडल आर्किटेक्चर चुनना भाषा के चुनाव (प्रदर्शन में 30% भिन्नता बनाम भाषा में <10% भिन्नता) की तुलना में प्रदर्शन और लागत पर बहुत अधिक प्रभाव डालता है।
- सफलता दर पर ध्यान दें: सफल पैच की उच्चतम संभावना के लिए अनुकूलित करना, इनपुट टोकन काउंट को कम करने की कोशिश करने की तुलना में अधिक लागत प्रभावी है।
- टोकनाइज़र जागरूकता: चीनी प्रॉम्प्ट्स का उपयोग करने वाले उपयोगकर्ताओं को अंग्रेजी-केंद्रित मॉडलों के बजाय CJK-अनुकूलित टोकनाइज़र वाले मॉडल (जैसे, GLM या MiniMax) चुनने चाहिए, लेकिन फिर भी सफलता दर गिर सकती है।
अनुसंधान दिशा: भविष्य के अध्ययनों में अधिक मॉडलों और भाषाओं को शामिल करने और सटीक लागत तुलना सुनिश्चित करने के लिए API प्रदाताओं के बीच टोकन ट्रैकिंग को मानकीकृत करने की आवश्यकता पर बल देता है।

निष्कर्ष: यह दावा कि LLM कोडिंग के लिए चीनी स्वाभाविक रूप से अधिक कुशल है, अनुभवजन्य डेटा द्वारा समर्थित नहीं है। इस अध्ययन में देखी गई "दक्षता" पूरी तरह से विशिष्ट मॉडल के टोकनाइज़र और प्रशिक्षण डेटा द्वारा संचालित होती है, और चीनी प्रॉम्प्ट्स से जुड़ी उच्च विफलता दर अक्सर उच्च समग्र परिचालन लागतों की ओर ले जाती है।