기술 요약: 코드 생성을 위한 문맥화 코드 사전 학습

1. 문제 제기

현대적인 코드 생성 모델들은 주로 자연어 설명과 함께 제공된 고립된 함수들 (예: HumanEval, MBPP) 에 대해 훈련되고 평가됩니다. 그러나 실제 소프트웨어 개발 환경에서 함수들은 거의 고립되어 구현되지 않습니다. 개발자들은 일반적으로 먼저 고수준 제어 로직을 작성한 후, 아직 구현되지 않은 하위 유틸리티 함수들을 호출합니다. 이러한 시나리오에서 호출 문맥(대상 함수를 호출하는 코드) 은 자연어 설명이나 함수 시그니처에는 종종 부재하는 예상 동작, 데이터 형태, 오류 처리 요구사항에 대한 실행 가능한 단서를 제공합니다.

저수준 코드 생성에 대한 기존 접근법들은 주로 관련 문맥을 가져오기 위해 추론 시 검색(예: RepoCoder, GraphCoder) 에 의존합니다. 이러한 방법들은 문맥을 프롬프트에 검색하여 추가할 외부 자원으로 취급합니다. 하지만 다음과 같은 상황에서 한계에 직면합니다:

1. 저장소에 유사한 코드 스니펫이 존재하지 않는 경우 (새로운 기능).
2. 인덱싱 또는 순위 매기기 문제로 인해 올바른 문맥이 검색되지 않는 경우.
3. 모델이 호출자가 부과한 의미적制約을 해석하고 활용하도록 명시적으로 훈련되지 않은 경우.

결과적으로 현재 모델들은 기능적 설명을 만족하는 코드를 생성하지만, 주변 사용 환경과 원활하게 통합되지 못하여 호출자가 설정한 암묵적 계약에 부합하지 않는 구현체를 만들어냅니다.

2. 방법론

저자들은 코드 모델의 사전 학습 목표에 호출 문맥을 직접 통합하는 문맥화 코드 사전 학습(Contextualized Code Pretraining), 즉 호출 인식 프레임워크를 제안합니다. 이 접근법은 세 가지 주요 구성 요소로 이루어집니다:

A. 호출 인식 데이터셋 구축

저자들은 실제 Python 저장소에서 대규모 호출자 - 피호출자 쌍을 추출하기 위한 자동화된 정적 분석 파이프라인을 개발했습니다.

• 추출: Python 의 ast 모듈을 사용하여 소스 파일을 파싱하고 양방향 호출 그래프를 구축합니다. 대상 함수를 식별하고 직접적인 호출자들의 전체 본문을 "호출 인식 문맥"으로 추출합니다.
• 필터링: 품질을 보장하기 위해 저자들은 인기도, 유지 관리 상태, 구조적 다양성을 기준으로 800 개의 저장소를 필터링했습니다. 알고리즘 데이터셋, 테스트 관련 코드, 불완전한 함수는 제외되었습니다.
• 구축: 최종 코퍼스에는 235,460 개의 고유한 대상 함수가 포함되어 있습니다. 각 학습 인스턴스는 대상 함수의 헤더, 직접적인 호출자의 코드 스니펫, 그리고 대상 함수의 자연어 문서 문자열 (있는 경우) 을 쌍으로 구성합니다. 함수에 여러 호출자가 있는 경우, 각 호출자 - 피호출자 쌍은 별도의 학습 인스턴스로 간주됩니다.

B. 사전 학습 목표 (CallerGen)

저자들은 호출 인식 목표를 사용하여 사전 학습된 모델 계열인 CallerGen을 소개합니다. 이 학습 작업은 대상 함수 본문의 생성을 세 가지 입력에 조건부로 수행합니다:

1. 함수 헤더 (시그니처).
2. 직접적인 호출자의 코드 스니펫 (호출 문맥).
3. 자연어 문서 문자열.

모델은 이러한 문맥적 단서를 기반으로 올바른 함수 본문을 생성할 확률을 최대화하도록 학습합니다. 이 접근법은 두 가지 아키텍처에 적용되었습니다:

• 인코더 - 디코더: CodeT5-small(60M) 및 CodeT5-base(220M).
• 디코더 전용: Qwen2.5-Coder-0.5B.

C. 벤치마크: CallerEval

현실적인 조건 하에서 모델을 평가하기 위해 저자들은 263 개의 함수 수준 생성 작업을 특징으로 하는 새로운 벤치마크인 CallerEval을 구축했습니다.

• 설계: 작업들은 데이터 누출을 방지하기 위해 학습 세트와 다른 저장소에서 추출되었습니다. 각 작업에는 대상 함수, 실제 세계의 호출자들, 그리고 행동 테스트 스위트가 포함됩니다.
• 테스트 구축: 많은 대상 함수에 기존 유닛 테스트가 없기 때문에, 저자들은 경량 행동 테스트를 재구성하는 프로토콜을 설계했습니다. 이러한 테스트는 호출자에서 관찰된 사용 패턴 (예: 반환 값이 어떻게 접근되거나 예외가 어떻게 처리되는지) 에서 파생되어, 평가가 호출자가 부과한 "계약"을 반영하도록 보장합니다.
• 평가: 성능은 Pass@k(실행을 통한 기능적 정확성) 와 정적 지표 (CodeBLEU, ROUGE-L) 를 사용하여 측정됩니다.

3. 주요 기여

1. 작업 형식화: 이 논문은 "호출 문맥을 통한 코드 생성"을 별도의 작업 설정으로 형식화하여, 현실적인 개발 시나리오에서 구현을 안내하는 중요한 신호로서 호출 문맥의 중요성을 강조합니다.
2. CallerGen 모델: 호출 인식 목표로 사전 학습된 최초의 코드 모델입니다. CallerGen 은 추론 시 검색에만 의존하는 것이 아니라, 사전 학습 단계에서 명시적으로 호출 문맥에 조건부로 생성을 수행하는 최초의 모델입니다.
3. CallerEval 벤치마크: 호출자 주도 시나리오 하에서 모델을 평가하도록 설계된 새로운 벤치마크로, 현실적인 호출자 - 피호출자 쌍과 단순한 기능적 설명을 넘어선 행동 인식 테스트 프로토콜을 특징으로 합니다.
4. 종합 평가: 다양한 모델 규모와 아키텍처에서 호출 인식 훈련이 성능을 향상시키며, 특히 호출 문맥이 사용 가능한 시나리오에서 그 효과가 두드러짐을 보여주는 광범위한 실험 결과.

4. 실험 결과

저자들은 공개 CoderEval 벤치마크와 새로운 CallerEval 모두에서 CallerGen 을 CodeGen, PanGu-Coder, DeepSeek-Coder, Qwen-Coder 등 9 개의 최첨단 베이스라인과 비교 평가했습니다.

호출 가능 설정에서의 성능

• CallerGen은 유사한 규모의 베이스라인보다 일관되게 우수한 성과를 거두었습니다. 예를 들어, **CallerGen-base(220M)**은 전체 입력 (헤더 + 호출자 + NL) 을 사용하여 CallerEval 에서 16.58% Pass@1을 달성했으며, 이는 CodeGen-350M(8.97%) 과 PanGu-300M(11.79%) 을 크게 능가했습니다.
• **CallerGen-qwen(0.5B)**은 CallerEval 에서 22.81% Pass@1을 달성하여, 지시어 튜닝된 Qwen2.5-Coder-0.5B-Instruct(6.16%) 를 크게 앞섰으며, 훨씬 더 큰 모델들 (예: 20.99% 의 Qwen2.5-Coder-32B-Instruct) 과의 격차를 좁혔습니다.
• 모델들은 더 큰 견고성을 보여주었으며, 쉬운 CoderEval 에서 어려운 CallerEval 로 이동할 때의 성능 저하는 베이스라인보다 CallerGen 에서 훨씬 작았습니다.

호출 불가 설정에서의 성능

• 호출 문맥이 없더라도 (헤더 전용 또는 헤더 + NL), CallerGen 은 경쟁력 있는 성능을 유지하며 종종 유사한 규모의 모델과 맞먹거나 능가했습니다. 예를 들어, CallerGen-0.5B 는 CallerEval(헤더 + NL) 에서 13.92% Pass@1을 달성하여 Qwen2.5-Coder-0.5B-Instruct(9.13%) 를 능가했습니다.
• 그러나 저자들은 모든 모델이 호출 불가 설정에서 성능 저하를 경험했다고 지적하며, 이는 고품질 생성을 위해 호출 문맥이 필수적인 요소임을 강조합니다.

제거 실험 및 분석

• 의미 대 길이: 제거 실험 결과, 성능 향상은 단순히 프롬프트 길이가 증가한 것이 아니라 의미적 증거(반환 값이 어떻게 사용되는지, 호출 주변의 제어 흐름 등) 에서 비롯된 것으로 나타났습니다. 동일한 길이의 관련 없는 코드로 호출 문맥을 대체한 경우 성능이 저하되었습니다.
• 다중 호출자 감독: 함수당 여러 호출자로 훈련하는 것은 추론 시 호출자 증거를 활용하는 모델의 능력을 향상시켰으며, 모델이 다양한 사용 제약을 조정하는 방법을 학습함을 시사합니다.

5. 중요성 및 주장

이 논문은 호출 문맥이 현재 코드 생성에서 충분히 활용되지 않는 풍부하고 신뢰할 수 있는 의미적 의도 출처라고 주장합니다. 사전 학습 중에 호출 문맥을 명시적인 조건부 신호로 취급함으로써, 모델들은 기능적으로 정확할 뿐만 아니라 사용 환경과 행동적으로 일관된 코드를 생성하도록 학습할 수 있습니다.

저자들은 추론 시 검색 (문맥으로 프롬프트 보강) 이 유용하지만, 모델 자체가 호출 제약을 해석하고 활용하는 방법을 학습하지 못한다면 불충분하다고 주장합니다. CallerGen은 호출 인식 사전 학습이 모델들이 다음을 가능하게 함을 보여줍니다:

1. 호출자 코드에서 암묵적 행동 계약을 추론합니다.
2. 기존 코드베이스와 원활하게 통합되는 구현체를 생성합니다.
3. 파라미터 규모에 비해 최첨단 성능을 달성하며, 종종 훨씬 더 큰 모델들을 능가합니다.

이 연구는 코드 생성을 현실적인 저장소 수준의 소프트웨어 개발 시나리오로 발전시키기 위해 호출 문맥을 통합하는 것이 필수적이라고 결론 내립니다. 저자들은 현재 파이프라인이 Python 에 특화되어 있으며 정적 분석에 의존하므로 동적 기능과 관련하여 어려움에 직면할 수 있음을 인정하지만, 호출 조건부 생성의 핵심 원칙은 언어에 구애받지 않는다고 제시합니다.