Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate

논문 요약: Vibe Coding 에서 중국어 프롬프트의 효율성 신화 타파

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 소셜 미디어와 개발자 커뮤니티에서는 "LLM 을 활용한 코드 생성 (Vibe Coding) 시 중국어 프롬프트가 영어보다 토큰 효율이 높아 API 비용을 최대 40% 까지 절감할 수 있다"는 주장이 유행하고 있습니다. 이는 중국어 문자가 영어보다 정보 밀도 (Information Density) 가 높기 때문이라는 논리에 기반합니다.
• 문제: 이러한 주장은 토크나이저 (Tokenizer) 의 할당 방식, 모델 아키텍처, 그리고 작업 성공률 (Resolution Rate) 을 고려하지 않은 단순한 가설에 불과합니다. 실제 소프트웨어 엔지니어링 태스크에서 언어 선택이 토큰 비용과 문제 해결 능력에 미치는 영향을 검증한 엄격한 실증 연구는 부족했습니다.
• 연구 질문: LLM 기반 코드 추론 태스크에서 프롬프트 언어 (영어 vs 중국어) 의 선택이 토큰 비용과 문제 해결률에 유의미한 영향을 미치는가? 만약 그렇다면 어떤 언어가 실제로 더 효율적인가?

2. 연구 방법론 (Methodology)

• 벤치마크: 실제 소프트웨어 엔지니어링 태스크를 평가하는 표준 벤치마크인 SWE-bench Lite를 사용했습니다. 300 개의 태스크 중 계층적 무작위 표본 추출 (Stratified Random Sampling) 을 통해 50 개의 인스턴스를 선정했습니다.
• 모델 선정: 다양한 토크나이저 전략과 아키텍처를 가진 3 가지 모델 패밀리를 비교 분석했습니다.
  • MiniMax-2.7: 중국어 개발 모델 (CJK 최적화 가능성 있음).
  • GPT-5.4-mini: 영어 중심 데이터로 학습된 모델 (OpenAI).
  • GLM-5: 중국어 개발 모델 (명시적 추론 모드 지원).
• 실험 설계:
  • 이중 단계 평가: 1 단계 (패치 생성) 에서 MiniSWEAgent 를 통해 영어/중국어 프롬프트로 태스크 수행, 2 단계 (평가) 에서 공식 해설 도구를 통해 패치 유효성 검증.
  • 프롬프트: 전문 소프트웨어 엔지니어가 번역한 중국어 프롬프트를 사용하며, 기술 용어와 구조는 영어 버전과 동일하게 유지했습니다.
  • 지표 측정: API 로그를 통해 프롬프트 토큰, 완성 토큰, 추론 토큰 (Reasoning Tokens) 및 실제 비용을 정밀하게 추적했습니다.
  • 비용 효율성 정의: 단순 토큰 수치가 아닌, **성공한 태스크 당 예상 비용 (Expected Cost per Successful Task)**을 계산하여 실패 시 재시도 비용을 반영했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적 비교: 동일한 태스크 인스턴스에 대해 3 가지 LLM 패밀리를 대상으로 영어와 중국어 프롬프트를 체계적으로 비교했습니다.
2. 세분화된 토큰 분석: 프롬프트, 완성, 추론 토큰을 구분하여 API 레벨에서 토큰 소비를 측정했습니다.
3. 혼란 변수 통제: 언어 자체의 영향과 토크나이저 효율성 등 혼란 요인을 분리하여 분석했습니다.

4. 주요 결과 (Key Results)

• 효율성 우위 부재: 중국어 프롬프트가 영어보다 토큰 효율이 높다는 주장은 검증되지 않았습니다.
• 모델 의존적 토큰 비용:
  • MiniMax-2.7: 중국어 프롬프트 시 토큰 비용이 영어 대비 1.28 배 증가했습니다.
  • GPT-5.4-mini: 중국어가 1.09 배 더 많은 토큰을 소모했습니다.
  • GLM-5: 유일하게 중국어가 영어보다 0.98 배 적은 토큰을 소모했으나, 이는 모델별 토크나이저 최적화 차이 때문입니다.
• 문제 해결률 (Resolution Rate) 감소: 모든 모델에서 중국어 프롬프트의 성공률이 영어보다 낮았습니다.
  • MiniMax-2.7: 영어 66.0% vs 중국어 61.5% (차이 4.5%p)
  • GPT-5.4-mini: 영어 36.0% vs 중국어 26.1% (차이 9.9%p)
  • GLM-5: 영어 64.6% vs 중국어 55.1% (차이 9.5%p)
• 실제 비용 효율성: 성공률이 낮아 재시도가 늘어나는 경우, 단순 토큰 수치가 적더라도 실제 총 비용은 증가합니다. 중국어 프롬프트는 성공률 하락으로 인해 어떤 모델에서도 비용 절감 효과를 보이지 않았습니다.
• 모델 선택의 중요성: 언어 간 차이 (최대 9.9%p) 보다 모델 간 성능 차이 (MiniMax vs GPT 간 약 30%p) 가 훨씬 더 큽니다.

5. 논의 및 시사점 (Discussion & Significance)

• 신화 타파 (Myth Busting): "중국어는 정보 밀도가 높으므로 토큰 효율이 높다"는 주장은 문자 수준의 밀도와 토크나이저 수준의 압축을 혼동한 것입니다.
  • 토크나이저는 문자가 아닌 서브워드 (sub-word) 단위로 작동하며, 영어 중심 데이터로 학습된 토크나이저는 중국어 문자를 여러 토큰으로 분할하여 오히려 비효율적일 수 있습니다.
  • 효율성은 언어 자체의 속성이 아니라 **모델의 토크나이저 설계 (Vocabulary Allocation)**에 의해 결정됩니다.
• 실무적 시사점:
  • 비용 절감 전략: API 비용 절감을 위해 프롬프트 언어를 중국어로 변경하는 것은 비효율적일 수 있으며, 오히려 성공률 하락으로 인해 비용이 증가할 수 있습니다.
  • 최적화 방향: 개발자는 프롬프트 언어 변경보다는 **모델 선택 (Model Selection)**과 **작업 배치 (Task Batching)**에 집중해야 합니다. 모델 선택이 성능과 비용에 미치는 영향이 언어 선택보다 훨씬 큽니다.
  • CJK 최적화 모델: 중국어 사용자는 CJK 문자에 최적화된 토크나이저를 가진 모델 (GLM-5 등) 을 선택하는 것이 언어 변경보다 더 큰 효율을 가져올 수 있습니다.

6. 결론

본 연구는 SWE-bench 를 기반으로 한 엄격한 실증 분석을 통해, **"Vibe Coding 에서 중국어 프롬프트가 영어보다 효율적이라는 주장은 신화 (Myth) 임"**을 입증했습니다. 언어 선택은 모델 아키텍처와 토크나이저 설계에 따라 그 효과가 달라지며, 전반적으로 중국어 프롬프트는 비용 절감이나 성능 향상을 보장하지 않습니다. 개발자들은 비용과 성능 최적화를 위해 프롬프트 언어보다는 적절한 모델 선정에 주력해야 합니다.