Hallucination Inspector: A Fact-Checking Judge for API Migration

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 이 자동화된 소프트웨어 엔지니어링, 특히 API 마이그레이션 작업에 점점 더 많이 도입되고 있습니다. 그러나 LLM 은 새로운 API 를 호출하기 위한 '접착 코드 (glue code)'를 생성할 때 빈번한 오류를 범합니다.

• Scaffolding Hallucination (발판 환각): LLM 이 API 명세에 존재하지 않는 Phantom Symbol(가상의 임포트, 생성자, 상수, 메서드 등) 을 만들어내어 잘못된 호출 컨텍스트를 생성하는 실패 모드입니다.
• 검출의 어려움: 생성된 코드는 정답과 문법적/문맥적으로 매우 유사하여, 기존 정밀도 지표 (CodeBLEU 등) 나 수동 검토, 심지어 다른 LLM 을 심사관 (LLM-as-a-Judge) 으로 사용하는 방식으로도 이러한 오류를 효과적으로 탐지하기 어렵습니다.
  • 예시: Android 의 MediaPlayer API 마이그레이션 시, setAudioStreamType 을 setAudioAttributes 로 변경하는 과정에서, 실제 API 에 없는 CONTENT_TYPE_STREAM 상수나 잘못된 객체 (AudioManager 대신 Builder) 에 메서드를 호출하는 오류가 발생하지만, 코드는 컴파일 에러를 유발할 뿐 전체 구조는 정답과 매우 비슷합니다.

2. 제안된 방법론 (Methodology)

저자들은 Hallucination Inspector라는 정적 분석 (Static Analysis) 도구를 제안합니다. 이는 확률적 추론이 아닌, API 문서에서 유래한 **지식 베이스 (Knowledge Base)**를 기반으로 한 사실 확인 (Fact-Checking) 프레임워크입니다.

2.1. 환각의 분류 (Taxonomy)

검출을 위해 환각을 두 가지 범주로 세분화했습니다.

1. Tier 1: Atomic Hallucinations (원자적 환각): API 네임스페이스에 존재하지 않는 클래스, 상수, 정적 메서드 등을 발명하는 경우 (예: 존재하지 않는 상수 CONTENT_TYPE_STREAM).
2. Tier 2: Scope-bound Hallucinations (범위 제한적 환각): 객체의 타입을 잘못 해석하여 유효한 메서드를 잘못된 객체에 호출하거나, 메서드 체인 (Method Chain) 내에 존재하지 않는 메서드를 발명하는 경우.

2.2. 시스템 아키텍처

시스템은 다음 세 가지 모듈로 구성됩니다.

1. Parser (Tree-sitter): 생성된 코드 조각을 추상 구문 트리 (AST) 로 변환합니다.
2. Symbol Extractor: AST 에서 원자적 심볼 (상수 등) 과 메서드 체인을 추출합니다.
3. Verification Engine (API Oracle): 추출된 심볼을 공식 API 문서 (Android SDK XML 등) 에서 파생된 Symbol Table과 비교하여 검증합니다.

2.3. 검증 알고리즘 (2 단계)

• Phase 1 (직접 조회): 원자적 심볼 (상수 등) 이 API 문서에 존재하는지 직접 확인합니다.
• Phase 2 (타입 전파 및 범위 확인): 메서드 체인의 경우, 왼쪽에서 오른쪽으로 호출 체인을 따라가며 변수의 타입을 추론 (Type Propagation) 합니다. 현재 객체의 타입에 해당 메서드가 정의되어 있는지 확인하고, 반환 타입이 void 인데도 체인이 이어지는지 등을 검증합니다.

이 과정은 LLM 의 확률적 편향 (낙관적 편향 또는 과도한 수정 편향) 을 배제하고, 공식 명세에 기반한 결정론적 (Deterministic) 검증을 수행합니다.

3. 주요 기여 (Key Contributions)

1. Scaffolding Hallucination 의 정의: 지식 베이스와 모순되는 생성 코드를 'Atomic'과 'Scope-bound' 두 가지 범주로 명확히 정의했습니다.
2. Hallucination Inspector 도구 개발: LLM 생성 코드 내의 Phantom Symbol 을 탐지하기 위한 경량 정적 분석 도구를 구현했습니다.
3. 실증적 평가: Android API 마이그레이션 데이터셋을 통해 기존 지표 (CodeBLEU) 와 LLM 심사관이 이러한 환각을 탐지하지 못함을 입증하고, 제안된 도구의 우수성을 검증했습니다.

4. 실험 결과 (Results)

저자들은 51 개의 Android API 마이그레이션 쌍을 사용하여 Qwen-2.5 와 Codestral-v1 모델을 통해 생성된 코드를 평가했습니다.

• RQ1: 기존 지표의 맹점 (Blind Spot of Metrics)

  • CodeBLEU는 환각이 포함된 코드와 정답 코드의 유사도가 거의 동일하게 높게 나타났습니다 (중앙값 0.844 vs 0.827).
  • 환각이 있더라도 CodeBLEU 점수가 0.96 에 달하는 경우가 있어, 유사도 기반 지표로는 오류를 필터링할 수 없음을 확인했습니다.

• RQ2: Hallucination Inspector vs LLM-as-a-Judge

  • 정밀도 (Precision): Hallucination Inspector 는 **1.00 (완벽)**을 기록하여 거짓 경보 (False Positive) 가 전혀 없었습니다. 반면, GPT-5-mini 를 심사관으로 사용한 경우 Codestral 생성 코드의 경우 50% 의 정밀도만 기록하며 유효한 코드를 환각으로 잘못 판단하는 '과도한 수정 편향 (Over-correction bias)'을 보였습니다.
  • 재현율 (Recall): Inspector 는 0.73~0.90 의 재현율을 보였으며, LLM 심사관 (0.67, 0.56) 보다 성능이 우수했습니다.
  • 결론: LLM 심사관은 표면적으로 그럴듯한 API 구조를 사실로 착각하여 실제 환각을 놓치는 경향이 있었으나, Inspector 는 API 명세에 기반하여 이를 정확히 탐지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰성 있는 검증: LLM 기반의 자동화 소프트웨어 엔지니어링 파이프라인에서, 생성된 코드가 실제 API 명세와 일치하는지 검증하는 결정론적 게이트키퍼 역할을 수행할 수 있습니다.
• 비용 효율성: 전체 프로젝트를 컴파일하거나 테스트를 실행할 필요 없이, 코드 조각 (Snippet) 단위로 빠른 피드백을 제공합니다.
• 향후 활용: Inspector 의 검증 결과는 강화 학습 (RL) 의 보상 신호로 활용되어, 환각에 민감한 코드 생성 모델을 학습시키는 데 사용될 수 있습니다.

이 논문은 LLM 이 생성한 코드의 '사실성 (Factuality)'을 검증하기 위해 확률적 모델 대신 고정된 지식 베이스 (API Oracle) 와 정적 분석을 결합해야 함을 강력하게 주장하며, API 마이그레이션과 같은 정밀도가 요구되는 작업에서 필수적인 도구임을 입증했습니다.