Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate
この論文は、SWE-bench Lite による実証研究の結果、中国語プロンプトが英語に比べてトークン効率やタスク解決率で優位性はなく、むしろモデルによってはコスト増や成功率の低下を招く可能性があることを示し、単に言語を中国語に変更するだけで「Vibe Coding」のコスト削減や性能向上が期待できないことを明らかにしています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この論文は、「中国語でプログラミングを指示すれば、英語より安く、もっと効率的に AI にコードを書かせることができる」というネット上の噂を、科学的に検証して「嘘（神話）」だと突き止めた報告書です。
まるで「魔法の杖を中国語で振れば、魔法の消費量が減る」という噂が広まったので、実際に実験して「そんなことないよ、むしろ失敗する確率が高くなるかもよ」と告げているようなものです。
以下に、難しい専門用語を排し、身近な例え話を使って解説します。
🕵️♂️ 物語の背景：噂の広がり
最近、SNS やエンジニアの掲示板でこんな噂が飛び交っていました。
「中国語で AI に指示を出せば、トークン（AI の計算単位）の消費量が減り、コストが最大 40% 節約できる！」
これは、中国語の文字は英語の単語より「情報密度が高い（短い言葉で多くの意味を伝える）」という事実から来ているようです。「短い言葉で指示すれば、AI のお財布（API コスト）が助かるはずだ」という理屈ですね。
しかし、この論文の著者たちは、「本当にそうなのか？実際に試してみないとわからない」と考え、**SWE-bench（ソフトウェアのバグ修正を AI にやらせるテスト）**を使って、英語と中国語のどちらが本当に得なのかを厳しく検証しました。
🔬 実験の内容：3 つの AI と 50 個の課題
彼らは、以下の 3 つの AI モデルを使って、50 個のプログラミング課題を解かせました。
- MiniMax-2.7（中国系 AI）
- GPT-5.4-mini（英語中心の AI）
- GLM-5（中国系 AI）
それぞれの AI に、**「同じ問題を英語で指示」と「同じ問題を中国語で指示」の 2 パターンで解かせ、「いくらかかったか（トークン数）」と「成功したか（バグが直ったか）」**を記録しました。
💡 発見された 3 つの「真実」
1. 「中国語の方が安い」というのはウソだった
【例え話：宅配便の箱】
中国語は文字が短いから「箱（トークン）」が少なくて済むと思われています。しかし、実験結果は逆でした。
- MiniMax-2.7 という AI は、中国語で指示すると、英語の 1.28 倍も箱（トークン）を消費してしまいました。
- GLM-5 という AI は、たしかに中国語の方が少し箱が少なかったですが、その差は微々たるものでした。
- 結論： 「言語を中国語に変えれば自動的に安くなる」という魔法はありません。使う AI によって、むしろ高くなることさえあります。
2. 「失敗率」がコストを跳ね上げている
【例え話：料理のレシピ】
ここが最も重要なポイントです。
- 英語の指示： 10 回料理を作ると、6 回成功する（60% 成功）。
- 中国語の指示： 10 回料理を作ると、5 回成功する（50% 成功）。
中国語の方が 1 回あたりの指示文が短くても、「失敗して作り直す回数」が増えれば、トータルのコストは跳ね上がります。
実験では、中国語で指示を出した方が、「バグを直す成功率」が英語より低かったのです。
「1 回目は安く済んでも、失敗して 2 回、3 回とやり直す必要が出てくるなら、結局は高くつく」というわけです。
3. 「AI の種類」の方が「言語」より重要
【例え話：ドライバーとドライバー】
言語の違いによるコスト差は、「どの AI モデルを使うか」という差に比べれば、取るに足らない小さなものです。
- 一番できる AI と、一番できない AI の間には、成功率で 30% 以上もの差がありました。
- それに対して、英語と中国語の違いによる成功率の差は、せいぜい 5〜10% 程度です。
つまり、「中国語にするか英語にするか」を悩むより、「より賢い AI モデルを選ぶこと」の方が、コストも性能も劇的に変わります。
🧩 なぜこんなことが起きたの？（仕組みの解説）
この噂が広まった理由は、「文字の長さ」と「AI の計算単位（トークン）」の混同にあります。
- 文字の長さ： 確かに中国語は「猫」を 1 文字で書けますが、英語は "cat" と 3 文字です。
- AI の計算単位（トークン）： しかし、AI は文字をそのまま読んでいるわけではありません。AI は「単語の断片」を単位として計算します。
- 英語に特化した AI は、中国語の文字を「断片」にバラバラにして、かえって多くのトークンで処理してしまうことがあります。
- 逆に、中国語に特化した AI は、中国語を効率よく処理できることもあります。
つまり、「言語そのもの」が効率的なのではなく、「その AI がどう設計されているか（辞書の作り）」によって効率が決まるのです。
📝 結論：私たちがどうすべきか
この論文は、開発者や AI ユーザーに以下のようなアドバイスをしています。
- コスト節約のために言語を中国語に変えるのはやめよう。
噂の「40% 節約」は幻想です。むしろ、失敗率が高まって損をする可能性があります。 - AI モデルの選び方が一番大切。
「どの AI を使うか」で決まる性能差の方が、言語の違いによる差よりもはるかに大きいです。 - 「Vibe Coding（雰囲気だけでコードを書く）」も、言語よりモデル。
言語を気にするより、タスクを成功させる確率の高いモデルを選ぶことにリソースを集中させましょう。
一言で言うと：
「中国語で指示すれば安くなる」という噂は、「短い言葉で書けば安くなる」という単純な考え方が、AI の複雑な仕組み（失敗率やトークンの計算方法）を無視していたために生まれた神話でした。実際には、**「賢い AI を選んで、確実に成功させること」**こそが、最もお得な方法なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。