기술 요약: 단순 통과율을 넘어: 오픈 소스 코드 LLM에 대한 다국어 및 실행 기반 평가

문제 정의

코드 생성용 대규모 언어 모델(LLM)의 현재 평가는 빈번하게 압축된 단일 언어 벤치마크와 집계된 통과율(예: pass@1)에 의존한다. 저자들은 이러한 요약 방식이 언어별 변동성, 문제 유형, 난이도 수준, 그리고 구체적인 실패 모드와 같은 핵심적인 성능 차원을 가린다고 주장한다. 또한, 표준 벤치마크는 기능적 정확성과 코드 유지보수성(정적 품질)을 구분하지 못하며, 실패의 성격(예: 구문 오류 vs 의미론적 오류)을 적절히 포착하지 못한다. 본 연구는 단일 지표 리더보드에 숨겨진 트레이드오프를 드러내기 위해, 생성에서 실행까지의 전체 파이프라인을 보존하는 대규모 실행 기반 평가를 제안함으로써 이 간극을 해결하고자 한다.

방법론

코퍼스 구축

저자들은 재현성을 보장하기 위해 2,707개의 무료(비유료) LeetCode 문제를 사용하여 벤치마크를 구축했다. 이 코퍼스는 C, C++, C#, Go, Java, JavaScript, PHP, Python, Ruby, Scala, Swift, TypeScript 등 12개의 프로그래밍 언어를 아우른다.

• 규모: 본 연구는 325,343개의 문제-모델-언어 작업을 생성했다.
• 모델: Yi-Coder-9B-Chat, Qwen2.5-Coder-14B-Instruct, Gemma-2-27B-IT, DeepSeek-Coder-V2-Lite-Instruct, Codestral-22B-v0.1, Phi-4, Meta-Llama-3.1-8B-Instruct, Granite-3.1-8B-Instruct, Stable-Code-Instruct-3B를 포함하여 9개의 공개 접근 가능 또는 오픈 웨이트 명령 튜닝된 코드 LLM을 평가했다.
• 데이터 보존: 각 작업은 프롬프트, 모델의 원시 응답, 추출된 코드, 공식 LeetCode 실행 결과 및 정적 분석 신호를 유지한다.

실행 파이프라인

1. 프롬프팅: 각 문제-언어 쌍에 대해 언어별 프롬프트를 생성했다.
2. 추론: 분산 서버 기반의 작업 큐를 통해 로컬 모델(LM Studio에서 호스팅)의 추론을 관리하여 30만 개 이상의 규모를 처리했다. 운영 오류(네트워크, 타임아웃)는 모델 실패와 구분하여 처리하고 재시도를 수행했다.
3. 코드 추출: 후처리 과정을 통해 모델 응답(특히 삼중 따옴표 섹션)에서 코드 블록을 추출하여 후보 제출물로 사용했다.
4. 평가: Selenium을 사용하는 Python 자동화 스크립트를 통해 추출된 코드를 공식 LeetCode 저지(judge)에 제출했다. 결과는 GraphQL을 통해 수집되었으며, Accepted, Wrong Answer, Compile Error, Runtime Error, Time Limit Exceeded, Memory Limit Exceeded와 같은 상태를 캡처했다.
5. 지표 선택: 각 작업에 대해 가장 높은 정답률, 그 다음으로 Accepted 상태, 그 다음으로 타임스탬프를 기준으로 "최선"의 제출물을 선택했다.
6. 정적 분석: 수락된 코드 아티팩트에 대해 ast-grep 및 Pylint 스타일 도구를 사용하여 코드 품질, 복잡성 및 컨벤션 준수 여부를 측정하는 정적 분석(린팅)을 수행했다.

주요 기여

1. 대규모 아카이브: 2,707개 문제, 12개 언어, 9개 모델을 다루며 32만 개 이상의 실행 작업을 포함하는 재현 가능한 실행 아카이브를 구축했다.
2. 다차원 평가: 평균 정답률, 수락된 문제 커버리지, 난이도 슬라이스, 언어 슬라이스, 주제 카테고리, 쌍별 헤드 투 헤드 결과, 실패 구성을 분석하기 위해 집계된 점수를 넘어선 평가 프레임워크를 제공한다.
3. 기능 및 정적 분석 결합: 기능적 정확성과 정적 품질을 동시에 분석하여, 실행 성공과 유지보수 지향적 신호가 크게 다를 수 있음을 입증했다.

실험 결과

모델 성능 및 순위

• 평균 정답률: Yi-Coder-9B-Chat이 가장 높은 평균 정답률(23.64%)을 기록했으며, Qwen2.5-Coder-14B-Instruct와 Gemma-2-27B-IT가 그 뒤를 이었다. 그러나 모든 모델은 인간 수락 기준선인 57.2%에 훨씬 못 미친다.
• 문제 커버리지: Qwen2.5-Coder-14B-Instruct는 가장 넓은 수락된 문제 커버리지(77.1%)를 보여주었으며, 이는 평균적인 작업 수준 정답률이 Yi-Coder보다 약간 낮더라도 더 다양한 종류의 문제를 해결할 수 있음을 나타낸다.
• 난이도 슬라이스: 순위는 슬라이스에 따라 달라진다. Yi-Coder는 쉬움(easy) 및 중간(medium) 문제에서 앞서나가는 반면, Qwen2.5-Coder-14B-Instruct는 어려운(hard) 문제에서 최고의 성능을 보인다.
• 언어 슬라이스: 모델 품질은 언어에 따라 불변하지 않는다. Yi-Coder는 전통적인 컴파일 대상/스크립팅 대상(C++, Java, Python)에서 가장 강하며, Qwen은 C#, JavaScript, Ruby, Swift, TypeScript에서 경쟁력이 있고, Gemma는 Go와 Scala에서 가장 강하다.
• 주제 슬라이스: 순위는 주제별로 다양하다. 예를 들어, Yi-Coder는 배열 및 문자열과 같은 고빈도 주제에서 일관되게 강세를 보이는 반면, Qвен은 특정 알고리즘 카테고리에서 선두를 달린다.

실패 분석

• 지배적인 실패 모드: 컴파일 에러(Compile error)는 수락되지 않은 최선 제출물의 **63.25%**를 차지한다. 이는 대다수의 실패가 의미론적 정확성을 테스트하기도 전에 발생함을 의미한다.
• 실패의 이동: 더 강력한 모델일수록 컴파일 에러의 비중을 줄이고, 상대적으로 런타임 에러나 오답(wrong answer) 케이스를 더 많이 노출하는 경향이 있다.
• 부분적 정답성: 아카이브에 따르면, 오답(wrong-answer) 케이스는 테스트 통과율 0% 구간에 집중되어 있으며, 중간 단계의 "근접 성공(near-miss)" 사례는 제한적이다.

정적 품질 vs 기능적 정확성

• 괴리: 기능적 정확성과 정적 청결도는 서로 다른 속성을 측정한다. Stable-Code-Instruct-3B는 가장 낮은 기능적 성능을 보였음에도 불구하고 가장 강력한 구조적 품질 점수를 달성했다.
• 린 패스율: Gemma-2-27B-IT는 가장 높은 전 언어 린 패스율(lint pass rate)을 달려냈다. 반대로, 실행 성능이 뛰어난 Qwen은 린 규칙을 통과하는 빈도가 더 낮았다.
• 이슈 유형: 정적 분석 부담은 하드 에러(hard errors)보다는 경고(warnings)와 컨벤션(conventions) 이슈에 의해 지배된다(경고 141,376건, 컨벤션 45,537건). 흔한 컨벤션 이슈로는 using-namespace-std(컨벤션 발견 건수의 48%)와 와일드카드 임포트 등이 있다. 리팩토링(Refactor) 관련 발견은 매우 드물었다(총 402건).

의의 및 주장

본 논문은 다국어 및 아티팩트 보존 평가가 단일 언어 또는 단일 지표 리더보드에 숨겨진 트레이드오프를 드러낸다는 점에서 그 의의가 있다고 주장한다.

• 단 하나의 최선 모델은 없다: "최고"의 모델은 전적으로 다운스트림 목적에 달려 있다. 평균적인 정답률이 목표라면 Yi-Coder-9B-Chat이 선호되며, 독특한 문제의 커버리지나 어려운 과제의 성공이 목표라면 Qwen2.5-Coder-14B-Instruct가 우수하며, 깨끗한 코드를 통한 리뷰 부담 최소화가 목표라면 Gemma-2-27B-IT 또는 Stable-Code-Instruct-3B가 더 적절할 수 있다.
• 신뢰성 격차: 본 연구는 현재의 오픈 모델들이 인간 수준의 신뢰성에 도달하기에는 멀었음을 강조하며, 컴파일 에러가 실행의 주요 장벽임을 밝힌다.
• 평가의 엄밀성: 저자들은 코드 생성 LLM의 평가가 실행, 언어 커버리지, 실패 모드 및 품질 신호를 모두 보존해야 한다고 주장한다. 단일 점수에 의존하는 것은 모델이 유지보수 가능한 코드를 생성하는지, 아니면 로직이 아닌 구문 때문에 실패하는지와 같은 실질적 배포에 중요한 성능 차원을 축소시킨다.

결론적으로, 본 논문은 코드 생성 LLM을 평가하는 것이 단일한 "승자"를 식ifying하는 것에서 벗어나, 다양한 프로그래밍 맥락에서 모델이 어떻게, 그리고 왜 성공하거나 실패하는지를 이해하는 방향으로 전환되어야 한다고 제언한다.