기술 요약: 코드는 텍스트 그 이상이다: 코드 생성에서의 불확실성 추정

문제 정의

대규모 언어 모델(LLM)은 IDE 어시스턴트 및 자율 에이전트를 위한 코드 생성기로 점점 더 많이 배포되고 있습니다. 그러나 조용히 발생하는 잘못된 프로그램은 리뷰 과정을 통과하여 다운스트림 단계에서 오류를 누적시킬 수 있으므로 안전성과 신뢰성에 심각한 위험을 초래합니다. 신뢰할 수 있는 불확실성 추정(Uncertainty Estimation, UE)은 선택적 예측과 인간 참여형(human-in-the-loop) 리뷰를 위해 필수적이지만, 현재의 방법들은 주로 자연어(NL) 생성에서 직접 가져온 것들입니다. 이러한 NL 유래 방법들은 코드를 단순히 토큰 시퀀스로 취급하며, 코드를 구별 짓는 다음과 같은 특성들을 활용하지 못합니다:

1. 토큰 취약성(Token Fragility): 오류가 있어도 의미가 복ร구 가능한 경우가 많은 NL과 달리, 단 하나의 잘못된 토큰(예: 연산자 또는 인덱스)이 전체 프로그램을 망가뜨릴 수 있습니다.
2. 의도-코드 간극(Intent–Code Gap): 알고리즘적 의도는 구체적인 구현으로부터 추상화될 수 있습니다. 표면적인 코드 변형은 동일한 로직을 숨길 수 있으며, 반대로 동일한 구문이 서로 다른 알고리즘을 숨길 수도 있습니다.
3. 실행 가능성(Executability): 코드는 테스트 케이스에 대해 실행될 수 있으며, 이는 코드 생성에 고유한 정답성(correctness)의 행동 신호를 제공합니다.

본 논문은 전체 시퀀스의 불확실성을 평균 내거나 표면적 클러스터링에 의존하는 기존의 UE 방법들이 이러한 중요한 신호들을 놓치고 있다고 주장합니다.

방법론

저자들은 코드의 각 특성에 대응하는 세 가지 축(three-axis) 프레임워크를 제안합니다. 각 축은 서로 직교하며 상호 보완적인 신호를 설계하도록 되어 있습니다.

1. 어휘적 불확실성 (Lexical Uncertainty - 토큰 취약성)

• 개념: 코드 내 불확실성의 희소성을 다룹니다. 전체 시퀀스에 대해 엔트로피를 평균 내는 대신(이는 치명적인 오류를 희석시킴), 가장 불확실한 위치에 집중합니다.
• 구현: Top-K 토큰 엔트로피. 모델은 단일 그리디(greedy) 출력을 생성합니다. 불확실성 점수는 시퀀스 내에서 가장 높은 엔트로피를 가진 $K$개 토큰($H(y_t)$)의 평균입니다.
• 근거: 단 하나의 높은 엔트로피를 가진 토큰은 모델이 확신하지 못하는 결정적인 지점을 나타내며, 이는 전체 시퀀스의 평균 엔트로피보다 실패를 더 잘 예측합니다.

2. 알고리즘적 불확실성 (Algorithmic Uncertainty - 의도-코드 간극)

• 개념: 표면적인 구문이 아닌 알고리즘적 의도 수준에서의 일관성을 측정합니다.
• 구현: 의사 코드 일관성(Pseudo-Code Consistency). 여러 코드 구현을 샘플링하는 대신(이는 구현 노이즈를 유발함), 모델이 알고리즘 단계를 설명하는 $N$개의 자연어 솔루션 계획(의사 코드)을 생성하도록 프롬프트를 구성합니다.
• 지표: 계획 간의 합의(agreement)는 **단계 인식 ROUGE-L(step-aware ROUGE-L)**을 사용하여 측정됩니다. 이는 계획을 의미적 단계로 나누고 양방향 매칭을 계산합니다. 계획 간의 불일치가 높을수록 불확실성이 높음을 의미합니다.

3. 기능적 불확실성 (Functional Uncertainty - 실행 가능성)

• 개념: 코드를 실행하여 행동적 정답성을 측정하는 능력을 활용합니다.
• 구현: 행동 일관성(Behavioral Consistency). 모델은 후보 프로그램을 생성하고 $M$개의 자체 생성 테스트 케이스를 생성합니다. 후보 프로그램은 샌드박스 내에서 이 테스트들에 대해 실행됩니다.
• 지표: 불확실성 점수는 후보 프로그램이 자체 생성된 테스트에 대해 실패하는 비율($1 - \text{pass rate}$)입니다. 이는 CodeT와 같이 후보를 재순위화하는 선택 메커니즘이 아니라 교정(calibration) 신호로 작용합니다.

앙상블(Ensemble)

세 가지 신호($U_{lex}, U_{algo}, U_{func}$)는 서로 다른 스케일에서 작동합니다. 저자들은 각 점수를 $[0, 1]$ 범위로 순위 정규화(rank-normalize)한 후 가중 합산 방식으로 결합합니다. 기본 가중치는 Lexical, Functional, Algorithmic 축에 대해 각각 $(0.2, 0.4, 0.4)$입니다.

주요 기여

1. 세 가지 축 프레임워크: 본 논문은 NL 유래의 추상화를 넘어 토큰 취약성, 알고리즘적 의도, 실행 가능성에 직접 매핑되는 코드 특화 UE 프레임워크를 도입합니다.
2. 경험적 검증: 이 방법은 4개의 벤치마크(APPS-Intro, APPS-Interview, HumanEval, MBPP)와 5개의 코드 생성 가능 LLM(Qwen3-14B, DeepSeek-Coder-V2, Devstral-Small-2505 포함)을 통해 평가되었습니다.
3. 비용-성능 분석: 연구는 Top-K 토큰 엔트로피가 단일 패스(single-pass) 방법임에도 불구하고, $3\times$ 더 낮은 계산 비용으로 강력한 멀티 패스(multi-pass) NL 베이스라인의 성능과 일치함을 보여줍니다.
4. 신호 직교성: 분석 결과, 세 가지 신호가 서로 다른 정보(낮은 쌍별 상관관계)를 포착하며 서로 다른 실패 모드(예: 단일 토큰 오류를 위한 어휘적, 전략 불일치를 위한 알고리즘적, 의미적 오류를 위한 기능적)를 타겟팅함을 확인했습니다.

결과

• 성능 향상: 세 가지 축의 앙상블은 모든 모델에 걸쳐 평균 AUROC를 가장 강력한 NL 유래 베이스라인인 0.696에서 0.776으로 개선했습니다. Qwen3-14B의 경우, 앙상블은 0.800 AUROC에 도달합니다.
• 어휘적 효율성: Top-K 토큰 엔트로피(단일 패스)는 멀티 패스 "Consistency (VR)" 베이스라인(0.728)과 대등한 평균 AUROC 0.728을 달성하면서도, 훨씬 빠른 속도(HumanEval 기준 문제당 2.29초 vs 7.10초)를 보여줍니다.
• 토큰 범위 비대칭성: 토큰 범위 분석에 따르면, 코드 토큰에 대해서만 계산된 엔트로피(AUROC 0.716)는 강력한 신호인 반면, 주석 토큰에 대해서만 계산된 엔트로피는 무작위 성능보다 낮았습니다(AUROC 0.375). 이는 코드 내 자연어 설명의 불확실성이 기능적 정답성과 역상관 관계에 있음을 시사합니다.
• 교차 언어 일반화: 어휘적 신호(Top-5 Entropy)는 비-Python 언어(C++, Java, Go, JS)로 일반화되어, 단일 패스 베이스라인 및 멀티 패스 일관성 방법보다 일관되게 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 코드 불확실성 추정이 자연어에서 직접 가져오는 것이 아니라 코드 특화된 설계가 필요하다고 주장합니다. 저자들은 코드-LLM 배포가 성숙해짐에 따라 병목 현상이 능력 확장(capability scaling)에서 교정(calibration)으로 이동한다고 주장합니다.

핵심 요점은 다음과 같습니다:

• 토큰 취약성은 코드의 불확실성이 희소함을 의미합니다. 따라서 전체 시퀀스를 평균 내는 것보다 높은 엔트로피를 가진 토큰에 집중하는 것이 더 효과적입니다.
• 의사 코드 추상화는 구현 노이즈로부터 의도를 분리하여 일관성 추정의 더 깨끗한 기반을 제공합니다.
• 실행 가능성은 NL 생성에는 없는 고유하고 저비용인 행동 신호를 제공합니다.
• 실무적 가이드라인: 지연 시간에 민감한 환경(예: IDE 자동 완성)에서는 경쟁력 있고 저비용인 기본값으로 Top-K 토큰 엔트로피를 권장합니다. 교정이 최우선이고 비용 제약이 적은 경우에는 전체 세 가지 축 앙상블이 가장 강력한 성능을 제공합니다.

저자들은 이 작업을 이러한 축들의 "첫 번째 구현(first instantiation)"으로 규정하며, 향후 프레임워크가 NL 스타일의 추정기에 억지로 맞추기보다는 다른 코드 특화 신호(예: 타입 체크, 정적 분석)를 포함하도록 확장되어야 한다고 제안합니다.