CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

이 논문은 데이터가 부족한 범용 프로그래밍 언어인 '장제 (Cangjie)'를 평가하기 위해 인간이 번역한 248 개의 샘플로 구성된 벤치마크 'CangjieBench'를 제안하고, 다양한 LLM 의 성능을 분석하여 문법 제약 생성이 정확도와 비용 면에서 가장 효과적인 균형점을 보인다는 것을 밝혔습니다.

핵심

1. 배경: 왜 이 연구가 필요할까요?

지금까지 인공지능은 **영어 (Python)**나 **중국어 (C++)**처럼 전 세계에 책과 교재가 넘쳐나는 언어를 배우는 데는 천재였습니다. 하지만 **창제 (Cangjie)**라는 새로운 언어는 어떨까요?

• 창제 (Cangjie): 화웨이에서 만든 최신 프로그래밍 언어로, 스마트폰부터 클라우드까지 모든 기기를 하나로 묶는 '하모니 OS'의 핵심입니다. 하지만 아직 책도, 교재도, 연습문제도 거의 없습니다. (저수준 언어)
• 문제점: 인공지능은 책이 없는 언어를 배우면 엉뚱한 코드를 만들어내거나 아예 말을 못 합니다.
• 기존 연구의 한계: 그동안 연구자들은 '특수한 목적의 언어' (예: 배선 설계용 Verilog) 만 테스트했습니다. 하지만 창제는 일반-purpose(범용) 언어라, 인공지능이 순수하게 '문법'을 얼마나 잘 배우는지를 테스트하기엔 더 적합합니다.

2. 해결책: 'CANGJIEBENCH'란 무엇인가요?

연구진은 창제 언어로 된 시험지를 직접 만들었습니다. 어떻게 만들었을까요?

• 비유: 유명한 수학 문제집 (HumanEval, ClassEval) 을 한국어로 되어 있는데, 창제 언어로 직접 번역한 것입니다.
• 특징:
  1. 오염 없음 (Zero Contamination): 인터넷에서 긁어온 데이터를 쓰지 않고, 사람이 직접 번역했기 때문에 인공지능이 답을 미리 외웠을 가능성이 0% 입니다.
  2. 난이도 다양: 쉬운 함수 문제부터 복잡한 클래스 문제까지 골고루 포함했습니다.
  3. 두 가지 시험:
     • 문자 → 코드: "파이프를 연결해줘"라는 말만 듣고 코드를 짜는 것.
     • 코드 → 코드: 파이썬으로 된 코드를 창제로 번역하는 것.

3. 실험: 인공지능에게 어떤 방법을 써봤나요?

연구진은 인공지능이 창제 언어를 배우는 네 가지 방법을 시험해 보았습니다.

1. 직접 생성 (Direct Generation):

   • 상황: 아무런 힌트도 없이 "이걸 해줘"라고만 말함.
   • 결과: 완전 실패. 인공지능은 창제 언어의 문법을 몰라서 엉터리 코드를 쏟아냈습니다. (컴퓨터가 실행조차 안 됨)

2. 문법 제약 (Syntax-Constrained):

   • 상황: "이게 창제 언어의 문법 규칙이야. 이거만 지키면 돼"라고 간단한 요약 노트를 건네줌.
   • 결과: 대성공! 인공지능의 실력이 급상승했습니다. 논리는 이미 알고 있었으니, 문법만 알려주니 바로 잘 풀었습니다. 가장 가성비 좋은 방법입니다.

3. 검색 기반 (RAG):

   • 상황: "이거 찾아봐"라고 하면 인공지능이 문서나 코드 예시를 검색해서 답을 냄.
   • 결과: 문법 제약보다는 조금 떨어졌습니다. 검색된 정보가 너무 많거나, 인공지능이 검색어를 잘못 뽑아내서 헷갈리는 경우가 많았습니다.

4. 에이전트 (Agent):

   • 상황: 인공지능에게 "스스로 찾아보고, 실행해보고, 틀리면 고쳐봐"라고 시킴. (사람이 개발할 때처럼)
   • 결과: 가장 정확도가 높음. 하지만 비용이 너무 많이 듭니다. 문서를 수십 번 읽고, 코드를 여러 번 실행하는 과정에서 엄청난 양의 데이터 (토큰) 를 소모합니다.

4. 놀라운 발견: "번역"이 더 어려울 수도 있다?

일반적으로는 "이미 파이썬 코드가 있는데 창제로 바꾸는 게, 아예 처음부터 짜는 것보다 쉬울 것"이라고 생각하기 쉽습니다. 하지만 결과는 반대였습니다.

• 비유: 새로운 언어로 에세이를 쓰는 것보다, 기존에 쓰인 영어 에세이를 창제어로 번역하는 게 더 어려웠다.
• 이유: 인공지능이 파이썬 코드의 '습관'에 너무 익숙해져서, 창제 언어의 문법을 무시하고 파이썬 스타일을 그대로 따라 하려고 했기 때문입니다. (부정적 전이 현상)

5. 결론: 우리에게 주는 교훈

이 연구는 우리에게 중요한 메시지를 줍니다.

• 새로운 언어가 나오면, 인공지능을 다시 훈련시킬 필요는 없습니다.
• 대신, **간단하고 명확한 문법 규칙 (요약 노트)**만 잘 알려주면, 인공지능은 그 언어를 금방 마스터할 수 있습니다.
• 하지만 너무 많은 정보를 검색하게 하거나, 스스로 찾아보게 하면 비용만 늘어나고 효율이 떨어질 수 있습니다.

한 줄 요약:

"인공지능에게 새로운 언어를 가르칠 때, 두꺼운 사전 (검색) 을 주는 것보다 핵심 문법 요약지를 주는 게 가장 빠르고 저렴하며 효과적입니다."

이 연구는 앞으로 더 많은 새로운 프로그래밍 언어가 등장할 때, 인공지능이 어떻게 적응해야 하는지에 대한 청사진을 제시합니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 파이썬이나 C++ 과 같은 고자원 (High-Resource) 프로그래밍 언어에서는 탁월한 성능을 보이지만, 데이터가 부족한 저자원 (Low-Resource) 언어에서는 심각한 성능 저하를 겪습니다. 기존 연구는 주로 Verilog 나 Solidity 와 같은 **도메인 특화 언어 (DSL)**에 집중해 왔습니다. 이는 모델의 실패 원인이 문법 지식 부족인지, 아니면 해당 도메인 (하드웨어, 블록체인 등) 에 대한 전문 지식 부족인지 구분하기 어렵게 만듭니다.

반면, **창제 (Cangjie)**는 화웨이에서 개발한 현대적인 범용 프로그래밍 언어로, HarmonyOS 생태계의 핵심입니다. 하지만 2025 년 7 월에 출시된 신생 언어로 공개된 대규모 코퍼스 (Corpus) 가 부족하여, LLM 이 유효한 창제 코드를 생성하는 것이 매우 어렵습니다. 이러한 범용 저자원 언어에 대한 체계적인 벤치마크와 평가 방법론의 부재를 해결하기 위해 이 연구가 수행되었습니다.

2. 방법론 (Methodology)

A. CANGJIEBENCH 벤치마크 구축

• 데이터 구성: 기존에 널리 사용되던 HumanEval(함수 수준) 과 ClassEval(클래스 수준) 데이터셋을 파이썬에서 창제로 수동으로 번역하여 구성했습니다. 총 248 개의 고품질 샘플 (HumanEval 164 개, ClassEval 84 개) 로 이루어져 있습니다.
• 특징:
  • 오염 제로 (Zero Contamination): 인터넷 크롤링이 아닌 수동 번역을 통해 학습 데이터 누출 (Contamination) 을 완전히 차단했습니다.
  • 다양한 난이도: 단순 함수부터 복잡한 객체 지향 클래스까지 다양한 난이도를 포괄합니다.
  • 이중 태스크: 자연어에서 코드 생성 (Text-to-Code) 과 파이썬에서 창제로의 코드 번역 (Code-to-Code) 두 가지 작업을 지원합니다.
• 구축 원칙: 타입 매핑 (int→Int64 등), 네이밍 컨벤션 유지, 알고리즘 흐름 보존, 의존성 관리 (Cangjie 에 없는 라이브러리 제외) 등을 엄격히 준수했습니다.

B. 평가 방법론 (4 가지 패러다임)

파라미터 업데이트 (파인튜닝) 없이 LLM 이 새로운 언어에 어떻게 적응하는지 평가하기 위해 다음 4 가지 전략을 적용했습니다:

1. 직접 생성 (Direct Generation): 지시사항이나 소스 코드만 제공하여 제로샷 (Zero-shot) 성능을 측정.
2. 구문 제약 생성 (Syntax-Constrained Generation): 프롬프트에 창제의 핵심 문법 규칙 (20 가지 카테고리, 약 2,146 토큰) 을 명시적으로 포함시켜 문법 오류를 줄임.
3. 검색 증강 생성 (RAG): 공식 문서 (RAG-Docs) 와 크롤링된 코드 스니펫 (RAG-Code) 을 검색하여 컨텍스트로 제공.
4. 에이전트 (Agent): CLI 기반 에이전트가 문서를 스스로 검색하고, 코드를 작성하며, 실패 시 스스로 수정하는 반복적 개발 과정을 시뮬레이션.

3. 주요 결과 (Key Results)

A. 성능 분석

• 직접 생성의 한계: 대부분의 모델 (DeepSeek-V3, Qwen3 등) 은 직접 생성 시 통과율 (Pass@1) 이 5% 미만으로 매우 낮았으며, 컴파일 실패율이 높았습니다. 이는 모델이 논리보다는 문법 지식이 결여되었음을 시사합니다.
• 구문 제약의 효과: 문법 규칙을 프롬프트에 추가한 Syntax-Constrained 방식이 가장 효율적인 성능 향상을 보였습니다. GPT-5 의 경우 평균 통과율이 4.3% 에서 **53.8%**로 급증했습니다. 이는 LLM 이 알고리즘 논리는 이미 보유하고 있으며, 문법 정보만 제공하면 적응할 수 있음을 의미합니다.
• 에이전트의 성능: Agent 방식 (특히 GPT-5 기반 Codex CLI) 이 **77.6%**의 최고 성능 (SOTA) 을 기록했으나, 토큰 소비량이 매우 많았습니다.
• RAG 의 한계: RAG 는 직접 생성보다 나았으나, 문법 규칙을 명시적으로 제공하는 Syntax-Constrained 방식보다 성능이 낮았습니다. 특히 LLM 이 창제 지식이 없어 검색 키워드를 잘못 생성하거나, 코드 스니펫에서 복잡한 문법을 일반화하기 어렵기 때문입니다.

B. 흥미로운 발견: Code-to-Code 의 역효과

• 부정적 전이 (Negative Transfer): 예상과 달리, 소스 코드 (파이썬) 를 제공하는 Code-to-Code 태스크가 자연어만 제공하는 Text-to-Code 태스크보다 성능이 낮은 경우가 많았습니다.
• 원인: 모델이 소스 언어 (파이썬) 의 동적 타이핑이나 관용구에 과도하게 적합 (Overfitting) 되어, 대상 언어 (창제) 의 정적 문법 구조를 제대로 반영하지 못하기 때문입니다. 즉, 소스 코드가 오히려 방해 요소로 작용했습니다.

C. 비용 - 성능 트레이드오프

• Syntax-Constrained: 높은 정확도와 낮은 토큰 소비로 **가장 비용 효율적 (Cost-effective)**인 방법입니다.
• Agent: 최고 정확도를 내지만, 반복적인 문서 조회와 상호작용으로 인해 토큰 소비량이 기하급수적으로 증가하여 실용성이 떨어집니다.

4. 주요 기여 (Key Contributions)

1. CANGJIEBENCH 도입: 창제 언어를 위한 첫 번째 고품질 벤치마크를 제시하며, 데이터 오염이 없는 엄격한 평가를 가능하게 함.
2. 범용 저자원 언어 관점: DSL 이 아닌 범용 언어를 대상으로 하여, 도메인 지식의 간섭 없이 LLM 의 문법 학습 능력을 순수하게 평가하는 새로운 연구 관점 제시.
3. 실용적 태스크 정의: 프로젝트 마이그레이션 시나리오를 반영한 Text-to-Code 및 Code-to-Code 태스크를 통해 실제 산업적 필요성을 테스트.
4. 종합적 평가 및 통찰: 4 가지 전략을 비교 분석하여, 저자원 환경에서는 **명시적인 문법 규칙 제공 (Syntax-Constrained)**이 가장 균형 잡힌 해결책임을 입증하고, 소스 코드 번역 시 발생할 수 있는 부정적 전이 현상을 규명.

5. 의의 및 시사점 (Significance)

이 연구는 새로운 프로그래밍 언어가 등장할 때마다 대규모 데이터로 모델을 파인튜닝하는 비효율적인 방식을 넘어, **인-컨텍스트 학습 (In-Context Learning)**과 에이전트 기반 접근을 통해 모델이 어떻게 새로운 문법을 빠르게 습득할 수 있는지에 대한 통찰을 제공합니다.

특히, 문법 규칙의 명시적 제공이 저자원 언어 적응에 가장 효과적이라는 발견은, 향후 새로운 언어가 등장했을 때 모델의 성능을 즉시 향상시키기 위한 실용적인 가이드라인을 제시합니다. 또한, 소스 코드 번역이 항상 유리한 것이 아니라는 점은 번역 태스크 설계 시 주의가 필요함을 시사합니다. CANGJIEBENCH 는 저자원 언어에 대한 LLM 의 일반화 능력을 연구하는 데 중요한 기준점 (Baseline) 으로 작용할 것입니다.