기술 요약: 선택적 생성을 통한 코드 모델의 기능적 정확성 향상

문제 정의

대규모 언어 모델(LLM)은 코드 생성 작업에서 상당한 성능을 보여주었으나, 생성된 코드가 원하는 기능적 명세를 충족하지 못하는 "코드 환각(code hallucination)" 현상으로 인해 안전이 중요한 시스템에서의 적용에 제약을 받고 있습니다. 이러한 문제를 완화하는 데 있어 핵심적인 병목 구간은 생성된 코드의 기능적 정확성을 식별하는 것의 어려움입니다. 자연어에서는 인간이 의미적 함의(semantic entailment)를 주석으로 달 수 있는 것과 달리, 코드는 복잡하고 부자연스러운 구조를 가지고 있어 기능적 동등성을 수동으로 검증하기가 매우 어렵습니다. 기존의 벤치마크는 수동으로 큐레이션된 제한된 유닛 테스트에 의존하는 경우가 많으며, 이는 코드의 정확성을 보장할 만큼 충분한 실행 경로를 커버하지 못할 수 있습니다. 또한, 환각을 제어하기 위한 현재의 방법들은 미세 조정(fine-tuning)이나 랭킹을 통해 모델의 성능을 개선하는 데 집중할 뿐, 추론 과정에서 잘못된 출력의 비율을 직접적으로, 그리고 이론적 근거를 바탕으로 제어하는 메커니즘은 부족합니다.

방법론

저자들은 코드 함의에 대한 허위 발견율(False Discovery Rate with Code Entailment, FDR-CE) 지표를 사용하여 환각률을 이론적으로 제어하는 선택적 코드 생성(Selective Code Generation) 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

1. $\alpha$-코드 함의 및 퍼징(Fuzzing)

코드의 기능적 정확성을 정의하는 어려움을 해결하기 위해, 본 논문은 프로그램의 실행 가능한 특성을 사용하여 함의(entailment)를 재정의합니다.

• $\alpha$-코드 함의: 저자들은 코드 스니펫 $\hat{y}$가 유닛 테스트 생성기 $F(x)$에 의해 $\alpha$-함의된다는 것을, $\hat{y}$가 테스트를 통과할 확률이 적어도 $1-\alpha$ 이상인 것으로 정의합니다. 이를 통해 기능적 정확성에 대한 확률적 측정이 가능해집니다.
• FuzzEval: 필요한 유닛 테스트를 자동적이고 엄격하게 생성하기 위해, 저자들은 동적 코드 분석 기법인 **퍼징(fuzzing)**을 채택합니다. 입력 시드(seed)를 무작위로 샘플링하고 변이(mutation)시킴으로써, 퍼징은 광범위한 실행 경로를 탐색하여 입출력 쌍을 생성합니다. FuzzEval이라 불리는 이 과정은 두 가지 목적을 수행합니다:
  • 학습(Learning): 선택적 생성기를 학습시키기 위한 함의 집합을 추정하기 위해 대량의 유닛 테스트 세트를 생성합니다.
  • 평가(Evaluation): 정적인 수동 큐레이션 테스트보다 더 엄격한 평가 벤치마크를 제공합니다.

2. 선택적 생성 프레임워크

이 시스템은 기본 코드 생성기 $G(x)$의 후처리기로 작동하는 선택적 생성기 $\hat{S}(x)$를 도입합니다.

• 기권 메커니즘(Abstention Mechanism): 주어진 프롬프트 $x$에 대해, 시스템은 점수 $f(x, G(x))$ (예: 길이 정규화된 로그 확률)를 계산합니다. 만약 이 점수가 보정된 임계값 $\tau$를 초과하면 코드를 반환하고, 그렇지 않으면 시스템은 기권( "I don't know" 반환)합니다.
• 리스크 제어: 목표는 선택된 코드가 기능적으로 부정확할(즉, $\alpha$-함의되지 않을) 확률이 원하는 수준 $\epsilon_S$ 미만으로 유지되도록 하는 것입니다. 이는 다음과 같이 FDR-CE 제어로 공식화됩니다:
  $$R_\alpha(\hat{S}) := P\{ \hat{S}(x) \notin E_\alpha(x) \mid \hat{S}(x) \neq \text{IDK} \}$$
  여기서 $E_\alpha(x)$는 $\alpha$-함의 조건을 만족하는 코드 스니펫의 집합입니다.

3. 이론적 보장 및 알고리즘 (ASCG)

저자들은 ASCG(Algorithm for Selective Code Generation) 학습 알고리즘을 제안합니다.

• 추정: 실제 함의 집합 $E_\alpha$는 알 수 없으므로, 알고리즘은 생성된 유닛 테스트로부터 도출된 하한 이항 꼬리 경계(lower binomial tail bound) $\hat{L}$을 사용하여 함의 집합 $\hat{E}_{\alpha, \epsilon_E}$를 추정합니다.
• 보정(Calibration): 보정 세트를 사용하여, 알고리즘은 선택 효율을 극대화하기 위해 임계값을 최소화하면서도 FDR-CE의 상한이 목표 $\epsilon_S$를 초 exceed하지 않도록 하는 최적의 임계값 $\tau$를 탐색합니다.
• 보장: 정리 4.3은 학습된 선택적 생성기가 인간이 주석을 단 함의 레이블 없이도 높은 확률($1-\delta_S$)로 원하는 FDR-CE 제약을 만족한다는 이론적 보장을 제공합니다.

주요 기여

1. 코드를 위한 선택적 생성: 본 논문은 선택적 예측(이전에 자연어에 적용되었던 개념)을 코드 생성으로 확장하여, 기권을 통해 환각률을 제어하는 메커니즘을 도입했습니다.
2. FuzzEval 패러다임: 퍼징 도구를 사용하여 선택 함수를 학습하고 코드의 정확성을 평가하기 위한 유닛 테스트를 자동으로 생성하는 방식을 제안하며, 이를 통해 작은 규모의 수동 테스트 세트가 가진 한계를 극복합니다.
3. FDR-CE의 이론적 제어: 본 연구는 PAC 스타일의 보장을 갖춘 학습 알고리즘을 제공하여, 잘못 생성된 코드의 비율(답변하지 않은 답변 중)이 사용자 정의 파라미터에 의해 제한됨을 보장합니다.
4. $\alpha$-코드 함의 정의: NLP의 의미적 함의와 코드의 기능적 동등성 사이의 간극을 메우기 위해, 자동 분석에 적합한 확률적 코드 정확성 정의를 공식화했습니다.

실험 결과

저자들은 다음과 같은 다양한 설정에서 그들의 방법을 평가했습니다:

• 모델: 네 가지 코드 생성기 (GPT-4o, Gemini 1.5 Pro, GPT-4.1, CodeLlama 13B, DeepSeek-R1).
• 데이터셋: 자동으로 생성된 유닛 테스트를 사용하여 "Fuzz" 버전(APPS-f 등)으로 변환된 네 가지 벤치마크 (APPS, Mercury, HumanEval, MBPP).
• 언어: Python, C++, Java, JavaScript, Perl.

주요 결과:

• 제어 가능성: 제안된 방법(SCG)은 다양한 모델과 데이터셋에 대해 FDR-CE를 원하는 수준($\epsilon_S$) 내로 성공적으로 제한하는 반면, 베이스라인 방법들(예: SCG-EM, SCG-manual)은 리스크를 제한하는 데 실패하거나 지나치게 빈번하게 기권하는 무의미한 효율성을 보였습니다.
• 효율성: SCG는 안전 보장을 유지하면서도 합리적인 선택 효율(기권하지 않은 답변의 비율)을 달 achieves 합니다. 예를 들어, $\epsilon_S=0.3$인 GPT-4o에 대해, SCG는 데이터셋에 따라 약 33-50%의 생성된 답변을 유지하면서 FDR-CE를 목표치 미만으로 유지했습니다.
• 퍼징의 이점: 실험 결과, 퍼징으로 생성된 유닛 테스트를 사용하는 방식(SCG)이 리스크 제어와 효율성 측면 모두에서 제한된 수동 테스트를 사용하는 방식(SCG-small)이나 테스트를 사용하지 않는 방식(SCG-EM)보다 유의미하게 우수함을 입증했습니다.
• 기존 연구로의 확장: 이 방법은 기존의 고급 모델(예: GRPO 미세 조정을 거친 DeepSeek-R1)이나 랭킹 기반 방법 위에 적용할 수 있는 후처리기로서 작동하며, 추가적인 통계적 안전 보장 계층을 제공합니다.

의의 및 주장

본 논문은 주요 기여가 환각률을 직접 제어하는 선택적 생성 학습 알고리즘에 있다고 주장합니다. 퍼징을 통해 코드의 실행 가능한 특성을 활용함으로써, 저자들은 단순한 휴리스틱 성능 개선을 넘어 이론적으로 제어 가능한 안전성으로 나아갈 수 있다고 주장합니다.

이 연구의 의의는서술적(FDR)인 허위 발견율에 대한 "제어 가능성 보장"을 제공함으로써, 높은 안전 표준을 요구하는 시스템에서 코드 생성기를 더욱 신뢰할 수 있게 만드는 데 있습니다. 저자들은 이 방법이 환각을 완전히 제거하는 것이 아니라, 통계적 엄밀함을 바탕으로 이를 관리하고 제한하는 메커니즘을 제공하는 것이라고 겸허히 밝히고 있습니다. 또한, 선택 효율은 근본적인 코드 생성기의 품질에 여전히 의존하며, 이론적 보장을 위한 i.i.d.(독립 동일 분포) 가정이 분포 변화 환경에서의 적용성을 제한할 수 있음을 언급했습니다.