💻 computer science

No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

이 논문은 새로운 벤치마크를 도입하고, 베이스 모델을 대상 언어 데이터로 추가 사전 학습시킨 후 가중치 차이 전송(weight diff transfer)을 통해 지시 이행 능력을 주입하는 비용 효율적인 전략이 지시 이행 학습이 된 모델을 직접 미세 조정하는 것보다 훨씬 더 우수한 성능을 보인다는 점을 입증함으로써 자원이 부족한 프로그래밍 언어에서의 코드 생성 문제를 다룬다.

원저자: Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 유능한 로봇 비서(대규모 언어 모델, 즉 LLM)가 있다고 상상해 보세요. 이 로봇은 프로그래밍 전문가입니다. 당신이 파이썬(Python)이나 자바(Java)로 코드를 짜달라고 요청하면, 마치 숙련된 요리사가 클래식한 이탈리아 요리를 만드는 것처럼 완벽하게 해낼 것입니다. 왜냐하면 이 로봇은 그 특정 언어들에 관한 수백만 권의 요리책(학습 데이터)을 이미 읽었기 때문입니다.

하지만 만약 당신이 이 로봇에게, 지금까지 아무도 요리책을 써본 적 없는 완전히 새롭고 생소한 요리를 만들어 달라고 한다면 어떻게 될까요? 예를 들어, 어떤 회사가 바로 어제 개발한 새로운 언어나, 아직 인터넷에 공유되지 않은 특정 산업용 전문 도구 같은 것 말입니다.

이 논문은 그 로봇에게 이러한 "자원이 없는(no-resource)" 요리법을 가르치는 방법에 관한 이야기입니다.

문제점: 로봇이 아무것도 모릅니다

연구진은 최고 수준의 AI 모델들에게 이 새로운 언어들(Gleam과 MoonBit)로 코드를 작성하도록 요청했을 때, 로봇들이 거의 완전히 길을 잃는다는 것을 발견했습니다.

고자원 언어 (Python/Java): 로봇이 약 80~90%의 확률로 정답을 맞혔습니다.
저자원 언어 (Lua나 R 같은 경우): 로봇은 약 50~60% 정도 정답을 맞히며 괜찮은 수준을 보였습니다.
무자원 언어 (Gleam/MoonBit): 로봇은 거의 100% 확률로 실패했습니다.

비유하자면: 이것은 칼을 사용하는 법만 배운 요리사에게, 한 번도 본 적 없는 이상하게 생긴 새로운 도구를 갑자기 사용하라고 요구하는 것과 같습니다. 그들은 단순히 요리를 못 하는 것이 아니라, 도구를 어떻게 잡아야 하는지조차 모르는 상태였습니다. 오류는 단순한 "잘못된 요리"가 아니라 "구문 오류(syntax errors)"였습니다. 즉, 로봇은 새로운 언어의 문법을 알지 못했기 때문에 기본적인 코드 구조조차 작성할 수 없었습니다.

실험: 로봇에게 어떻게 가르칠 것인가?

연구팀은 새로운 언어를 로봇이 시험을 위해 공부해야 할 새로운 과목처럼 취급하여, 로봇이 이 언어를 배우도록 돕는 네 가지 방법을 시도했습니다.

"컨닝 페이퍼" (Few-Shot & RAG): 로봇에게 질문하기 직전에 새로운 언어로 작성된 몇 가지 코드 예시나 매뉴얼의 일부를 제공했습니다.
- 결과: 학생에게 연습 문제 몇 개를 주는 것처럼 약간의 도움이 되긴 했습니다. 로봇은 조금 더 나아졌지만, 여전히 기초적인 부분에서 고전하고 있었습니다.
"속성 과외" (Fine-Tuning): 로봇을 데려다가 그 새로운 언어에 대해 찾을 수 있는 모든 코드와 문서를 집어넣어, 모든 것을 다시 학습하도록 강제했습니다.
- 결과: 이 방법은 효과적이었습니다. 로봇은 해당 언어를 훨씬 더 잘 배우게 되었습니다.
"심층 탐구" (Pre-Training): (아직 지시를 따르는 법을 배우지 않은) 가공되지 않은 상태의 로봇을 가져와서, 존재하는 모든 데이터—모든 코드 파일과 모든 매뉴얼 페이지—를 주입했습니다.
- 결과: 이것이 승자였습니다. (정돈된 예시만 사용하는 파인 튜닝과 달리) 모든 데이터를 사용했기 때문에, 로봇은 언어를 더 깊이 있게 학습했습니다. 이 방식이 가장 높은 점수를 기록했습니다.

반전: "똑똑한" 로봇 vs "날것의" 로봇

여기에는 반전이 있습니다. "심층 탐구(Pre-Training)" 방식이 가장 효과적이었지만, 부작-효과가 있었습니다.

언어를 깊이 있게 배운 로봇은 "날것(raw)"의 모델이었습니다. 이 로봇은 언어는 완벽하게 알았지만, 인간의 지시를 듣는 법을 잊어버렸습니다. 만약 당신이 "두 수를 더하는 함수를 작성해줘"라고 요청한다면, 로봇은 그냥 당신을 빤히 쳐다보거나 횡설수설할 수도 있습니다. 왜냐하면 명령을 따르도록 훈련되지 않았기 때문입니다.
"똑똑한" 로봇들(지시 튜닝된 모델들)은 명령을 완벽하게 수행할 수 있었지만, 새로운 언어에는 젬병이었습니다.

해결책: "기술 전이" (Instruction Transferring)

연구진은 엄청난 비용을 들이지 않고 두 가지 장점을 모두 얻을 수 있는 영리한 해킹 방법을 고안해 냈습니다.

비유하자면: 당신에게 쌍둥이가 있다고 상상해 보세요.

쌍둥이 A는 새로운 요리를 완벽하게 알지만, 무례하고 남의 말을 듣지 않는 숙련된 요리사입니다.
쌍둥이 B는 예의 바르고 말을 잘 듣는 웨이터이지만, 새로운 요리에 대해서는 전혀 모릅니다.

새로운 요리사를 새로 고용하거나 웨이터를 처음부터 다시 훈련시키는 대신, 연구진은 쌍둥이 B의 "예의와 경청하는 기술"을 복사해서 쌍으로 A에게 붙여넣는 방법을 찾아냈습니다.

그들은 예의 바른 웨이터와 날것의 요리사 사이의 "차이"를 계산한 다음, 그 "차이"를 새로운 언어 전문가인 로봇에게 더했습니다.

결과: 그들은 새로운 언어의 전문가이면서 동시에 명령을 완벽하게 따를 줄 아는 로봇을 만들어냈습니다.
보너스: 이 기술은 매우 효과적이어서, "기술 전이"를 적용한 더 작고 저렴한 로봇(80억 파라미터)이 일반적인 방식으로 파인 튜닝된 훨씬 크고 비싼 로봇(320억 파라미터)보다 더 뛰어난 성능을 보였습니다.

결론

만약 어떤 회사가 오늘 새로운 프로그래로 프로그래밍 언어를 발명한다면, 기성품 AI 비서를 사서 바로 쓸 수 있을 것이라 기대해서는 안 됩니다. AI는 실패할 것입니다.

하지만 이 논문은 앞으로 나아갈 길을 보여줍니다:

그 새로운 언어를 위해 존재하는 아주 작은 양의 코드를 모읍니다.
가공되지 않은 AI 모델에게 그 언어를 가르칩니다 (Pre-training).
"기술 전이" 기법을 사용하여 그 모델에게 지시를 따르는 능력을 부여합니다.

이를 통해 기업들은 막대한 비용이 드는 대규모 훈련 과정 없이도, 자신들만의 독특하고 독점적인 언어를 위한 특화된 AI 코딩 어시스턴트를 구축할 수 있습니다. 작은 규모의 똑똑한 모델을 단돈 몇 푼으로 언어 전문가로 만들 수 있습니다.

기술 요약: 자원 부족 언어(No-Resource Languages)에서의 코드 생성력을 위한 LLM 평가 및 개선

문제 정의

대규모 언어 모델(LLM)은 고자원 언어(예: Python, Java)와 저자원 언어(예: Lua, R)에 대해서는 소프트웨어 엔지니어링 작업 자동화에서 상당한 성공을 거두었으나, **자원 부족 언어(no-resource languages)**에 적용될 때는 심각한 격차를 보입니다. 자원 부족 언어란 LLM의 사전 학습 분포 밖에 존재하는 언어로, 산업계에서 독점적이거나 도메인 특화된 언어(예: Gleam, MoonBit)가 이에 해당합니다. GitHub Copilot과 같은 상용 도구들은 이러한 언어들을 지원하지 않으므로, 조직은 자체적인 솔루션을 개발해야만 합니다. 그러나 학습 데이터의 부재로 인해, 과도한 계산 비용을 발생시키거나 지시 이행(instruction-following) 능력을 상실하지 않으면서 이러한 맥락에 LLM을 효과적으로 특화하는 방법이 불분명한 상태입니다.

방법론

컨텍스트 및 벤치마크

본 연구는 자원 가용성에 따라 9가지 언어로 분류하여 코드 생성 성능을 평가합니다:

고자원(High-Resource): Python, Java (>1,000만 개의 GitHub 저장소)
저자원(Low-Resource): R, Lua, Haskell, Julia, Racket (2.2만~98.1만 개의 저장소)
자원 부족(No-Resource): Gleam 및 MoonBit (각각 3,000개 미만의 저장소, 최근 출시됨)

이러한 언어들을 평가하기 위해, 저자들은 기존 데이터셋(HumanEval, MBPP, 그리고 McEval-Hard의 일부)을 Gleam과 MoonBit로 번역하여 세 가지 벤치마크를 구축했습니다. 자동 생성 후 수동 검수를 거치는 엄격한 번역 파이프라인을 사용하여, 원래 작업과의 구문적(syntactic) 및 의미적(semantic) 동등성을 보장했습니다.

모델

GPT-4o, o3-mini와 같은 상용 모델과 Qwen 2.5 Coder 32B, Qwen 3 32B/8B를 포함한 오픈 소스 모델을 모두 포함하여, 베이스(base) 및 인스트럭션 튜닝(instruction-tuned) 변형을 아우르는 6개의 최첨단 LLM을 평가했습니다.

실험 전략

본 연구는 자원 부족 언어의 성능을 향상시키기 위한 네 가지 전략을 조사합니다:

제로샷(Zero-Shot): 추가적인 컨텍스트 없는 기본 성능.
인컨텍스트 러닝(In-Context Learning):
- 퓨샷(Few-Shot): 대상 언어의 코드 예시 제공.
- 검색 증강 생성(RAG): 언어 매뉴얼에서 검색된 관련 문서 스니펫 주입.
학습 기반 접근 방식(Training-Based Approaches):
- 파인 튜닝(Fine-Tuning): 수집된 함수-문서 쌍을 사용하여 인스트럭션 튜닝된 모델 학습.
- 추가 사전 학습(Further Pre-Training): 가용한 코드와 문서를 사용하여 베이스 모델에 대한 사전 학습 지속.
지시 전달(Instruction Transferring, Weight Diff): 기존의 인스트럭션 튜닝된 모델( $M_i$ )로부터 가중치 차이( $\Delta w = M_i - M_{base}$ )를 계산하여 이를 특화된 베이스 모델( $M_{bk}$ )에 더함으로써 지시 이행 능력을 전달하는 새로운 접근 방식입니다. 이는 전체 인스트럭션 파인 튜닝의 높은 비용을 피할 수 있게 해줍니다.

주요 결과

RQ1: 언어 인기도의 영향

고자원: LLM은 높은 pass@1 점수(59~97%)를 달성합니다.
저자원: 성능이 준수하게 유지되며(27~87%), 종종 50% 이상의 pass@1을 기록하여 현대적 LLM이 제한된 데이터로도 잘 일반화됨을 시사합니다.
자원 부족: 성능이 급락합니다. 제로샷 설정에서 pass@1 점수는 0%에서 20% 사이이며, 복잡한 작업(McEval-Hard)에서는 0%에 근접합니다.
오류 분석: 자원 부족 언어에서의 실패는 주로 구문적(syntactic) 오류(일부 모델에서 최대 90%)인 반면, 고자원 언어의 실패는 대부분 의미적(semantic) 오류입니다. 이는 LLM이 해당 언어의 기본적인 문법 지식이 부족함을 나타냅니다.

RQ2: 성능 향상

인컨텍스트 러닝: 퓨샷과 RAG는 미미한 개선(예: 어려운 작업에서 pass@1을 약 1%에서 8%로 증가)을 제공하지만, 복잡한 생성에는 불충분합니다. 퓨샷이 RAG보다 우수한데, 이는 코드 예시가 문서보다 문법을 더 잘 전달하기 때문으로 보입니다.
파인 튜닝 vs 사전 학습:
- 인스트럭션 튜닝된 모델을 파인 튜닝하는 것은 성능을 개선하지만, 고품질 함수-문서 쌍의 양이 적어(약 0.5M~3.6M 토큰) 한계가 있습니다.
- 베이스 모델에 대한 추가 사전 학습이 표준 기법 중 가장 좋은 결과를 냈으며, 전체 코드 및 문서 코퍼스(약 13M~28M 토큰)를 활용합니다. 이는 파인 튜닝보다 유의미하게 높은 성능을 보입니다(예: Gleam의 McEval-Hard에서 12.47% 대 3.04% pass@1).
- 한계: 사전 학습된 베이스 모델은 지시 이행 능력을 상실하여 직접적인 코딩 어시스턴트로 사용하기에 부적합합니다.

RQ3: 지시 전달(Instruction Transferring)

가중치 차이 전달(weight diff transfer) 기법을 사전 학습된 베이스 모델에 적용하면, 전체 재학습 없이도 지시 이행 능력을 성공적으로 복구할 수 있습니다.
이 접근 방식은 가장 높은 성능 향상을 보였으며, 파인 튜닝된 인스트럭션 모델 및 퓨샷 프롬프팅을 사용하는 상용 모델보다 뛰어난 성능을 기록했습니다.
- 예시: Gleam(McEval-Hard)에서 지시 전달은 pass@1을 12.47%(사전 학습된 베이스)에서 **26.08%**로 높였습니다.
- 효율성: 지시 전달을 적용한 더 작은 모델(Qwen 3 8B)이 여러 시나리오에서 더 큰 파인 튜닝 모델(Qwen 3 32B)보다 우수한 성능을 보여, 전략적인 지식 전달이 모델 크기를 키우는 것보다 더 효과적일 수 있음을 입증했습니다.

의의 및 기여

본 논문의 주요 기여는 세 가지입니다:

벤치마크: 두 가지 자원 부족 언어(Gleam, MoonBit)로 번역된 세 가지 코드 생성 벤치마크(HumanEval, MBPP, McEval-Hard)를 공개하여, 독점 언어를 위한 공공 평가 도구의 공백을 메웠습니다.
경험적 증거: 고자원, 저자원, 자원 부족 언어 간의 성능 격차를 정량화하고, 자원 부족 언어의 주요 실패 모드로 구문 오류를 식별하는 포괄적인 연구를 수행했습니다.
실용적 솔루션: 추가 사전 학습과 지시 전달의 결려가 특화된 코딩 어시스턴트를 배포해야 하는 기업들에게 비용 효율적이고 고성능인 솔루션임을 입증했습니다. 이 방식은 조직이 인스트럭션 파인 튜닝의 계산 비용을 우회하면서도 표준 인컨텍스트 러닝이나 파인 튜닝보다 우수한 결과를 얻을 수 있게 해줍니다.

저자들은 자원 부족 언어가 기존 LLM에게 여전히 큰 도전 과제이지만, 제안된 방법론이 조직이 전문적인 내부 AI 코딩 어시스턴트를 개발할 수 있는 실행 가능한 경로를 제공한다고 결론지었습니다.