Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation

기술 요약: 합성된 환각, 실질적인 이득

문제 정의
IDE 자동 완성을 위해 사용되는 소규모 오픈 소스 코드 모델(3~7B 파라미터)은 빈번하게 FIM(Fill-in-the-Middle, 중간 삽입) 환각 문제를 겪습니다. 이는 문법적으로는 자연스럽고 국소적으로는 그럴듯해 보이지만, 존재하지 않는 메서드를 호출하거나, 정의되지 않은 변수를 사용하거나, 가공의 패키지를 임포트하는 등 프로젝트의 실제 상태를 위반하는 완성본을 생성하는 현상입니다. 기존의 완화 전략들은 다음과 같은 상당한 한계에 직면해 있습니다:

1. 실행 기반 필터링: 언어별 샌드박스와 유닛 테스트가 필요하며, 이는 키스트로크 중간 단계의 편집이나 아직 파싱되지 않은 파일에는 적용할 수 없습니다.
2. 선호도 최적화(DPO/ORPO): 대규모의 인간 주석 선호 데이터셋이나 개별 롤아웃(rollout)에 대한 보상 신호가 필요하며, 이는 특정 FIM 홀(hole)의 세밀한 수준에서 생성하기 어렵습니다.

방법론
저자들은 프런티어 코드 모델을 활용하여 소규모 모델을 학습시키기 위한 하드 네거티브(그럴듯하지만 틀린 완성본)를 합성하는 **실행 불필요 파이프라인(execution-free pipeline)**을 제안합니다. 핵심 통찰은 표준적인 합성 데이터 레시피를 뒤집는 것입니다. 즉, 올바른 코드를 생성하고 검증하는 대신, 틀린 코드를 생성하고 이를 기존의 "골든"(ground-truth) 개발자 편집본과 대조하는 방식입니다.

이 파이프라인은 4단계로 작동합니다:

1. 데이터 샘플링: 시스템은 공개 GitHub에서 허용 가능한 라이선스를 가진 다국어 코퍼스를 스크래핑하여 약 40만 개의 FIM 컨텍스트(prefix, golden completion, suffix)를 추출합니다(C#, Go, Java, JavaScript, PHP, Python, Ruby, Rust 포함).
2. 하드 네거티브 합성: 세 가지 프런티어 코드 생성기 패널(GPT-5.2-Codex, GPT-5.4, GPT-5.5)이 Delulu 분류 체계에서 정의된 네 가지 특정 환각 유형에 대해 컨텍스트당 하나의 환각된 완성본을 생성합니다:
   • Method (메서드): 메서드 이름을 발명되었지만 그럴듯한 이름으로 교체.
   • Parameter (파라미터): 가짜 키워드나 위치 인자를 주입.
   • Undefined Variable (정의되지 않은 변수): 식별자를 스코프 내에 정의되지 않은 것으로 교체.
   • Import (임포트): 실제 임포트를 가공의 패키지나 심볼로 교체.
3. 큐레이션: 시스템은 쌍을 이룬 데이터셋(chosen/golden vs. rejected/hallucinated)을 생성합니다. 언어 및 유형별로 할당량을 설정하여 균형을 맞추고, 평가 벤치마크와 중복되는 데이터를 제외합니다.
4. 학습: 저자들은 "chosen"(golden) 측면에 대해 **지도 미세 조정(SFT)**을 적용합니다. 결정적으로, 학습 타겟은 정확히 FIM 홀 경계에서 끝나도록 하여 모델이 생성을 올바르게 멈추도록 가르칩니다. rejected(hallucinated) 측면은 어블레이션 연구에서 대조적 비교(DPO/ORPO)를 위해 사용되지만, SFT 레시피에 반드시 필요한 것은 아닙니다.

보조 메커니즘인 **"fool rate(속임수율)"**가 난이도 신호로서 도입됩니다. LLM 판사 패널은 환각이 얼마나 자주 올바른 코드로 오인되는지에 따라 점수를 매깁니다. 이를 통해 훈련 세트를 필터링하여 더 어려운 네거티브에 집중할 수 있지만, 주요 개념 증명(PoC)에서는 이 필터링에 전적으로 의존하지는 않습니다.

주요 기여

• 실행 불료 파이프라인: 샌드박스, 유닛 테스트 또는 파일 파싱 요구 사항 없이 (chosen, rejected) FIM 데이터 쌍을 생성하는 방법으로, ground-truth 편집과 프런티어 생성 환각 간의 대조에 의존합니다.
• 오픈 소스 재현성: 저자들은 생성 프롬프트, 판정 하네스, 큐레이션 및 미세 조정 레시피를 포함한 전체 파이프라인 코드를 공개하여, 어떤 허용 가능한 라이선스의 코퍼스에서도 재현이 가능하도록 했습니다.
• 베이스 모델 불가지론(Agnosticism): 이 레시피는 Qwen2.5-Coder, StarCoder2, CodeLlama의 네 가지 7B/3B 계열에서 검증되었으며, 이는 환각 교정 신호가 특정 모델 아키텍처가 아닌 데이터에 인코딩되어 있음을 입증합니다.
• 중단 동작(Stopping Behavior): 레시피가 모델에게 FIM 작업에서 중요한 실패 모드인 올바른 경계에서 생성을 멈추도록 가르친다는 증거를 제시합니다.

결과
Qwen2.5-Coder-7B-Instruct를 정제된 10만 행의 서브셋으로 미세 조정했을 때 유의미한 개선이 나타났습니다:

• Delulu 벤치마크: 모든 7개 언어와 4가지 환각 유형에 대해 Exact Match (EM)가 +18.8 포인트(약 42.8%에서 61.4%로) 상승했습니다. Edit Similarity (ES)는 +0.22 개선되었습니다.
• 일반 FIM: 이 레시피는 제어 흐름(control-flow) 및 API 완성(API completion)을 포함한 모든 분할에서 HumanEval-Infilling 및 SAFIM 벤치마크 성능을 향상시켰습니다.
• 3B 모델: 동일한 레시피를 Qwen2.5-Coder-3B에 적용했을 때 Delulu EM은 +12.8 포인트 개선되었으나, 용량 제한으로 인해 특정 HumanEval-Infilling 분할(multi-line)에서 퇴보하는 트레이드오프를 보였습니다.
• SFT vs. 대조 학습: 동일한 쌍 데이터에 대해, SFT는 ORPO 성능과 대등하거나 이를 능가했으며, DPO보다 훨씬 뛰어난 성능을 보였습니다. DPO는 중단 동작을 내재화하지 못해 과잉 생성(over-generation)을 유발한 반면, SFT는 올바른 토큰 시퀀스와 중단 지점을 성공적으로 학습했습니다.
• 어블레이션(Ablations):
  • 크기: 성능은 약 5만 행에서 포화되며, 10만 행은 수익 체감(diminishing returns)을 보입니다.
  • 언어: 교차 언어 전이는 시작을 위해 최소 5개의 다양한 언어가 필요하며, 그 이상의 예산은 다양성보다는 규모(scale)에 투입하는 것이 낫습니다.
  • 난이도: 가장 가치 있는 감독 신호는 가장 쉽거나 어려운 극단이 아니라, "분쟁의 중간(disputed middle)" 영역(판사를 혼란스럽게 하지만 만장일치는 아닌 환각)에서 옵니다.

의의 및 주장
본 논문은 프런티어 모델이 생성한 합성 하드 네거티브가 실행 환경의 오버헤드 없이 소규모 모델의 환각을 줄이기 위한 효과적인 지도 미세 조정 신호로 기능할 수 있다고 주장합니다. 저자들은 다음을 강조합니다:

1. 양보다 질: 정제된 어려운 데이터 서브셋(50k rows)이 더 크고 정제되지 않은 데이터 세트보다 효과적입니다.
2. SFT의 충분성: 중단 동작에 민민한 FIM 작업의 경우, 고품질의 정제된 SFT 코퍼스가 생성 길이 제어에 어려움을 겪을 수 있는 명시적 대조 학습(DPO/DPO)보다 더 안전하고 효과적인 기본값입니다.
3. 일반화: 이 접근 방식은 7B 모델에 적용될 때 (단순 환각 감소뿐만 아니라) 일반적인 FIM 능력을 향상시키지만, 3B 모델은 특정 작업 유형에 대한 파괴적 망각을 피하기 위해 세심한 큐레이션이 필요합니다.

저자들은 본인의 연구가 실제 세계의 모델 오류가 아닌 합성된 환각 데이터를 사용한다는 점과, 3B 모델이 환각 감소와 일반 FIM 정확도 사이의 용량 의존적 트레이드오프를 보인다는 점을 언급하며 한계에 대해 겸허한 태도를 유지합니다. 이들은 이 방법이 모든 유형의 환각(예: 복잡한 로직 에러)을 해결한다고 주장하지 않으며, 식별자 수준의 환각에 대한 효능을 입증하는 데 집중합니다.