기술 요약: DevIntent - LLM이 생성한 코드는 개발자의 의도를 얼마나 위반하는가?

문제 정의

코드 생성 분야의 현재 대규모 언어 모델(LLM) 벤치마크는 주로 기능적 정확성을 측정하기 위해 테스트 통과율(예: Pass@1)에 의존합니다. 그러나 이 지표는 **의도 위반(intent violations)**을 감지하지 못한다는 점에서 불충분합니다. LLM은 명시적으로 기술된 모든 테스트 케이스를 만족하면서도, 동시에 암묵적인 제약 조건이나 명시되지 않은 개발자의 의도를 위반하는 코드를 생성할 수 있습니다. 선행 연구들은 모델이 명세(specification)를 속이거나(game) 단언문(assert statements)에 과적합(overfit)되는 사례를 기록해 왔으나, 본 논문은 다른 실패 모드에 집중합니다. 즉, 유효하게 기술된 테스트는 통과하지만 실제 개발자의 명시되지 않은 의도를 포착하는 데는 실패하는 출력물에 관한 것입니다.

방법론

1. 지표 정의: 의도 위반율 (Intent Violation Rate, IVR)

저자들은 명시된 테스트 성공과 개발자 의도 사이의 간극을 정량화하기 위해 **의도 위반율(IVR)**을 도입했습니다.
$$IVR = \frac{n_{violating}}{n_{stated\_passed}}$$
여기서:

• $n_{stated\_passed}$는 보이는 모든 명시된 테스트를 통과한 생성된 솔루션의 수입니다.
• $n_{violating}$은 그중 적어도 하나의 숨겨진 제약 조건 테스트를 통과하지 못한 솔루션의 부분 집합입니다.

IVR은 초기 공개 테스트를 통과한 솔루션만을 대상으로 계산하며, 명시된 테스트를 통과하지 못한 솔루션은 제외됩니다. 보고된 IVR은 문제당 IVR의 평균값입니다.

2. 벤치마크 구축

본 연구는 **HumanEval+**에서 파생된 49개의 알고리즘 명세 문제로 구성된 파일럿 벤치마크를 활용합니다.

• 프롬프트 엔지니어링: 각 문제에 대해, 전체 명세가 포함된 "골드 프롬프트(gold prompt)"에서 특정 제약 조건을 수동으로 제거하여 **모호한 프롬프트(ambiguous prompt)**를 생성했습니다. LLM은 이 모호한 프롬프트와 명시된 테스트($C1$)만을 전달받습니다.
• 숨겨진 제약 조건: 골드 프롬프트에서 제거된 제약 조건들은 숨겨진 제약 조건 테스트($C2–C4$)로 인코딩되었습니다. 이 테스트들은 LLM에게 명시적으로 요구되지 않은 (예: 정렬 순서, 특정 데이터 타입 등) 미언급된 의도를 포착합니다.
• 검증: 누출 감사(leakage audit)를 통해 명시된 테스트($C1$)를 숨겨진 제약 조건에 대한 지식 없이도 충족할 수 있음을 확인했습니다. 또한, 정답 코드(canonical solutions)를 전체 스위트에 실행하여 숨겨진 제약 조건이 올바른 코드에 의해 충족됨을 확인했습니다(그 결과 지면 진실(ground truth)에 대한 IVR은 0이 됩니다).

3. 평가 파이프라인

평가에는 두 모델인 Claude Sonnet 4.6과 OpenAI GPT 4.1이 사용되었습니다.

• 생성: 온도(temperature) 1.0, 1024 토큰 제한 조건에서 문제당 5개의 솔루션을 생성했습니다.
• 실행: 솔루션들을 명시된 테스트($C1$)와 숨겨진 테스트($C2–C4$)에 대해 실행하였으며, 테스트당 5초의 타임아웃을 설정했습니다.
• 분석: 문제당 IVR을 계산하였고, 적어도 하나의 명시된 테스트를 통과하는 솔루션이 있는 문제를 기준으로 전체 IVR을 결정했습니다. 신뢰 구간은 부트스트랩 재표본 추출(bootstrap resampling)을 통해 추정되었습니다.

주요 결과

높은 명시적 통과율 대비 높은 의도 위반율

명시된 테스트에 대한 높은 기능적 정확도에도 불구하고, 두 모델 모두 상당한 의도 위반을 보였습니다:

• Claude Sonnet 4.6: 명시된 테스트를 **94.3%**의 확률로 통과했으나, 자격 요건을 갖춘 문제의 **54.5%**에서 의도를 위반했습니다 (95% CI: 40.4–68.1%).
• OpenAI GPT 4.1: 명시된 테스트를 **92.7%**의 확률로 통과했으나, 자격 요건을 갖춘 문제의 **63.5%**에서 의도를 위반했습니다 (95% CI: 50.0–76.5%).

체계적인 양봉 분포 (Bimodal Distribution)

문제당 IVR의 분포는 0(위반 없음) 또는 1(모든 솔루션이 의도 위반) 근처에 군집하는 양봉 분포를 보이는 것으로 나타났습니다.

• Sonnet 4.6의 경우 자격 요건을 갖춘 문제의 **95.7%**가, GPT 4.1의 경우 **91.3%**가 이러한 극단적인 범주에 속했습니다.
• 이는 의도 위반이 무작위적인 샘플링 노이즈가 아니라 **체계적이고 거의 결정론적(near-deterministic)**임을 시사합니다. 모델은 숨겨진 제약 조건을 완전히 포착하거나, 아니면 완전히 무시합니다.

제약 조건 계층 구조

숨겨진 제약 조건에 대한 실패율은 $C2$에서 $C4$로 갈수록 단조 감소했습니다. 두 모델 모두 첫 번째로 제거된 제약 조건($C2$)에서 가장 높은 실패율(약 43–44%)을 보였으며, 이는 제거된 첫 번째 제약 조건이 종종 과업의 의도에 가장 핵심적인 요소임을 시사합니다.

의의 및 주장

본 논문은 표준 통과율이 LLM이 생성한 코드가 개발자의 의도를 얼마나 잘 반영하는지를 심각하게 과대평가한다고 주장합니다.

• 측정의 간극: 기능적 정확성 지표는 코드가 테스트 스위트는 만족하지만 암묵적 가정을 위반하는 시나리오를 감지할 수 없으므로 배포를 위한 측정 도구로서 불충분합니다.
• 체계적 실패: 결과의 양봉적 특성은 현재의 모델들이 의도를 무작위로 "추측"하는 것이 아니라, 의도를 올바르게 추론하거나 아예 무시한다는 것을 보여줍니다. 이는 모호한 프롬프트 상황에서 높은 실수의 위험(silent failures)을 초与합니다.
• 진단 도구: IVR은 명시된 명세와 실제 의도 사이의 간극을 측정하는 상대적 진단 도구로서 역할을 하며, 단순한 테스트 통과율을 넘어선 평가 방법의 필요성을 강조합니다.

한계점

저자들은 다음과 같은 몇 가지 제약 사항을 인정합니다:

• 범위: 본 벤치마크는 49개의 Python 알고리즘 문제로 제한되어 있으며, 결과는 다른 언어나 작업 유형(예: 데이터 변환)에서는 다를 수 있습니다.
• 모델 특이성: 평가는 단일 온도의 Sonnet 4.6 및 GPT 4.1에 국한되었습니다.
• 통계적 검정력: 작은 표본 크기($N=49$)와 겹치는 신뢰 구간으로 인해 두 모델 간의 위반율 차이는 통계적으로 구별 가능하지 않습니다.
• 주관성: '의도'의 정의는 골드 프롬프트에 대한 단일 주석가의 판단에 의존하므로, 이 지표는 절대적 진실이라기보다 규범적(normative)입니다.
• 데이터 오염: 벤치마크가 공개된 HumanEval+ 데이터셋에서 파생되었으므로 모델이 훈련 과정에서 원래의 문제를 접했을 위험이 있습니다. 다만 저자들은 모호한 프롬프트를 수동으로 제작하여 이를 완화했다고 언급했습니다.