기술 요약: DELULU – Fill-in-the-Middle 작업에서 코드 환각 감지를 위한 검증된 다국어 벤치마크

문제 제기

코드 생성에 사용되는 대규모 언어 모델 (LLM) 은 종종 Fill-in-the-Middle(FIM) 작업에서 환각을 생성합니다. 이는 문법적으로 유효하고 의미상 그럴듯하지만 사실적으로 잘못된 완성본들, 예를 들어 고안된 API 메서드, 유효하지 않은 매개변수, 정의되지 않은 변수, 또는 존재하지 않는 임포트와 같은 것들입니다. 이러한 오류들은 종종 표면적인 코드 검토를 통과하지만, 특정 실행 조건에서만 나타나는 잠재적 런타임 버그를 도입합니다.

현재의 코드 생성 벤치마크 (예: HumanEval, MBPP) 는 주로 자연어 명세에서 함수 수준의 생성에 초점을 맞추거나 FIM 작업에 대한 실행 검증을 결여하고 있습니다. 기존 FIM 벤치마크 (예: HumanEval Infilling, SAFIM) 는 대부분 파이썬 전용이며, 오류 유형을 구분하지 못하고, 환각이 실제로 런타임 실패를 유발하는지 검증할 실행 기반의 정답 (ground truth) 이 부족합니다. 더 나아가, 프런티어 LLM 이 코드 리뷰어로 행동할 때 이러한 환각을 신뢰성 있게 탐지할 수 있는지에 대한 체계적인 평가는 존재하지 않습니다.

방법론: DELULU 벤치마크

저자들은 1,951 개의 FIM 샘플을 포함하는 검증된 다국어 벤치마크인 DELULU를 소개합니다. 이는 7 개 프로그래밍 언어(Python, Java, TypeScript, Go, Rust, C#, C++)와 4 가지 환각 카테고리에 걸쳐 있습니다. 이 벤치마크는 난이도, 정확성, 실행 검증을 보장하도록 설계된 엄격한 5 단계 적대적 파이프라인을 통해 구축되었습니다:

1. 환각 생성: CLAUDE SONNET을 유일한 생성기로 사용하여, 실제 GitHub 저장소에서 채굴된 금표 (golden) 완성본의 "환각" 변형을 생성합니다. 생성기는 나머지 코드를 동일하게 유지하면서 메서드 이름, 매개변수, 변수, 또는 임포트 중 정확히 하나의 요소만 수정하도록 제한됩니다. 이를 통해 환각이 표면적으로는 실제 코드와 구별 불가능하고 그럴듯하도록 보장합니다.
2. 다중 모델 판사 평가: 네 가지 다양한 프런티어 LLM(GPT-5.1, GPT-5.2, GPT-5.2-CODEX, GLM-4.7) 이 쌍을 독립적으로 평가합니다.
3. 반복적 적대적 샘플링: 파이프라인은 판사 간 불일치를 분석하고 임베딩 기반 클러스터링을 사용하여 판사의 실패 모드와 유사한 새로운 의미적 유사 코드 예제를 채굴합니다. 이 루프는 3 회 반복되어 판사의 정확도가 시간이 지남에 따라 감소함에 따라 점점 더 어려운 샘플을 표면화합니다.
4. 난이도 기반 선택: 샘플은 판사를 속일 수 있는 능력에 따라 점수가 매겨집니다. 적어도 한 명의 판사를 속이거나 금표 코드를 과도하게 거부하게 만드는 충분히 어려운 샘플만 유지됩니다.
5. Docker 기반 실행 검증: 이것이 결정적인 차별점입니다. 모든 샘플은 자체적인 Docker 컨테이너에 패키징됩니다.
   • 금표 완성본은 오류 없이 컴파일되고 실행되어야 합니다.
   • 환각 완성본은 해당 카테고리에 해당하는 구체적이고 검증 가능한 런타임 오류를 발생시켜야 합니다:
     • 메서드: AttributeError
     • 매개변수: TypeError
     • 정의되지 않은 변수: NameError
     • 임포트: ImportError
   • CLAUDE SONNET 지원 수정 루프는 검증 성공을 보장하기 위해 종속성 문제를 해결합니다.
6. 인간 전문가 검토: 세 명의 인간 전문가 패널이 Docker 검증 샘플을 검토하여 잔여 편향, 사소한 사례, 또는 레이블링 오류를 제거하여 최종 1,951 개의 샘플 데이터셋을 완성합니다.

주요 기여

1. 4 가지 카테고리 환각 분류 체계: 각 카테고리 (메서드, 매개변수, 정의되지 않은 변수, 임포트) 가 고유하고 검증 가능한 런타임 오류 클래스에 매핑되는 구조화된 분류 체계로, 실행 기반의 정답을 가능하게 합니다.
2. 적대적 큐레이션 파이프라인: 실제 세계 코드와 환각 대응물을 쌍으로 만들고, 다중 모델 프로빙을 통해 사소한 사례를 필터링하며, 실행 기반 검증을 보장하는 새로운 5 단계 프로세스.
3. 실행 검증된 다국어 데이터셋: 7 개 언어에 걸친 1,951 개의 샘플로, 각각 3 가지 호출 모드 (금표 검증, 환각 검증, 패치 검증) 를 가진 자체적인 Docker 컨테이너로 패키징됨.
4. 종합 평가: 0.5B 에서 32B 파라미터에 이르는 5 개 계열(Qwen2.5-Coder, CodeLlama, DeepSeek-Coder-V2, StarCoder2)의 11 개 오픈 가중치 FIM 모델에 대한 평가.
5. 프런티어 판사 탐지 연구: 환각을 탐지하는 코드 리뷰어로 행동하는 8 개의 프런티어 LLM 에 대한 평가로, 탐지 능력에 상당한 격차가 있음을 드러냄.

결과

생성 성능

• 확장 한계: 가장 강력한 모델인 Qwen2.5-Coder-32B는 950 개의 고유 FIM 컨텍스트에서 84.5% 의 pass@1만 달성했습니다. 이는 32B 파라미터에서도 모델이 약 7 개 중 1 개의 고유 컨텍스트에서 실패함을 나타냅니다.
• 교차 계열 일관성: 난이도는 모델 계열에 특정한 것이 아니라 작업 자체에 내재되어 있습니다. 어떤 교차 계열 모델도 0.77 의 편집 유사도를 초과하지 못했습니다. 최선의 교차 계열 모델 (DeepSeek-Coder-V2-Lite-Instruct) 도 최선의 Qwen 모델보다 pass@1 점수에서 1.8 점 뒤처졌습니다.
• 환각 유형: 임포트 환각은 모든 모델 크기와 언어에서 일관되게 가장 어려운 카테고리였습니다 (예: Qwen-32B 의 임포트에 대한 pass@1 은 77.1% 인 반면 다른 유형은 85% 이상). 이는 가짜 임포트를 탐지하는 것이 단순한 지역 패턴 완성이 아니라 특정 생태계 지식을 필요로 함을 시사합니다.
• 지시 튜닝: 지시 튜닝은 "정지" 행동 (Exact Match) 을 크게 개선했지만, 환각 식별자를 피하는 데 필요한 근본적인 지식에는 미미한 영향을 미쳤습니다 (기본 모델과 지시 모델 간 Edit Similarity 및 CodeBLEU 는 유사하게 유지됨).

탐지 성능

• 미해결 탐지: 가장 강력한 판사 모델인 Claude-4.5-Opus조차도 92.1% 의 양쪽 정확도(금표는 올바르게 수용하고 환각은 올바르게 거부)만 달성했습니다.
• 탐지 격차: 더 작은 판사들은 훨씬 더 나쁜 성능을 보였습니다 (예: GPT-4o-mini 는 52.3%), 40 포인트의 능력 범위를 확립했습니다.
• 임포트 병목: 임포트 환각 탐지는 모든 판사에게 가장 어려운 작업으로 남았습니다 (Opus 의 경우 83.4%), 실제와 가짜 패키지 이름을 구분하는 것이 지속적인 능력 격차임을 확인시켰습니다.
• 위음성: 판사들의 주요 병목은 금표를 수용하는 것이 아니라 환각 완성본을 거부하는 것이었습니다.

중요성과 주장

이 논문은 DELULU가 다음과 같은 것을 동시에 제공하는 최초의 벤치마크를 제공함으로써 코드 평가의 중요한 격차를 해소한다고 주장합니다:

1. 세분화된 유형을 가진 체계적인 환각 분류.
2. 파이썬을 넘어선 다국어 커버리지.
3. 환각이 실제 런타임 오류를 발생시키도록 보장하는 실행 기반 검증.
4. 벤치마크가 진정으로 도전적임을 보장하는 적대적 난이도 보정.

저자들은 DELULU 가 드러낸 난이도가 다양한 모델 아키텍처에 걸친 일관된 실패율에 의해 입증되듯이 계열 특이적이 아니라 작업 내재적이라고 강조합니다. 결과는 단순히 모델 파라미터를 확장하는 것만으로는 코드 환각을 해결하기에 부족하며, 훈련 데이터 큐레이션 및 검증자 스타일 미세 조정과 같은 표적 개입이 필요할 가능성을 시사합니다.

이 논문은 DELULU 를 생성 벤치마크일 뿐만 아니라 코드 리뷰 및 검증자 모델을 평가하는 재사용 가능한 도구로 위치시킵니다. 이는 프런티어 모델조차도 현재 환각을 탐지하는 능력이 해결되지 않은 문제임을 강조합니다. 벤치마크는 오염을 방지하기 위해 테스트 전용 아티팩트로 공개되었으며, 저자들은 명시적으로 이 데이터셋에 대한 미세 조정을 권장하지 않습니다.