기술 요약: LLM이 Rust 크레이트(Crate)를 발명할 때

문제 정의

대규모 언어 모델(LLM)은 코드 생성에 점점 더 많이 사용되고 있지만, 그럴듯하지만 사실과 다르거나 조작된 출력을 생성하는 "환각(hallucination)" 현상에 취약한 상태로 남아 있습니다. 이 문제의 핵심적인 하위 집합은 **패키지 환각(package hallucination)**으로, LLM이 존재하지 않는 의존성을 추천하거나 임포트하는 현상을 의미합니다. Python이나 JavaScript와 같은 언어에서 이는 심각한 공급망 보안 위험을 초래하며, 공격자가 환각된 이름으로 악성 패키지를 미리 등록할 수 있는 위험이 있습니다.

기존 연구는 인기 있는 생태계(Python, JavaScript)에서의 패키지 환각을 광범위하게 연구해 왔으나, Rust에 관한 연구에는 상당한 공백이 존재합니다. Rust는 보안이 중요한 시스템 레벨 프로그래밍(예: 운영 체제, 블록체인)에 널리 채택되고 있습니다. 비록 Rust의 의존성 관리(Cargo.toml을 통해 수행)는 다른 언어와 달리 크레이트를 다운로드하기 전에 명시적인 선언을 요구한다는 차이점이 있지만, 소스 코드 내의 환각된 크레이트 참조는 여전히 직접적인 신뢰성 문제를 일으킵니다. 이는 빌드 실패, 미해결 임포트, 네임스페이스 혼란을 야기합니다. 또한, 많은 LLM 지원 워크플로우에서 소스 코드 스니펫은 완전한 프로젝트 매니페스트 없이 생성되므로, 소스 수준의 크레이트 참조는 의존성 관련 오류의 가장 이른 관찰 가능한 신호가 됩니다.

방법론

Rust에 대한 데이터 부족을 해결하기 위해, 저자들은 LLM이 생성한 Rust 코드 내 크레이트 환각에 대한 최초의 대규모 연구를 수행했습니다.

1. 데이터셋 구축

저자들은 세 가지 출처로부터 유도된 2,794개의 코딩 태스크로 구성된 다중 소스 데이터셋을 구축했습니다:

• Stack Overflow: 실제 개발자 문의를 나타내는, 높은 추천수를 받은 1,001개의 고유한 Rust 질문.
• GitHub: 상위 100개 Rust 저장소(별점 기준)에서 추출한 793개 태스크. 컴파일러 내부 구현, 모호한 태스크, 플랫폼 특정 제약 사항을 제외하기 위해 품질 필터링을 거쳤습니다.
• LLM 생성 태스크: 인기 있는 크레이트의 설명(lib.rs 및 crates.io 기반)을 구현 요청으로 변환하여 Qwen2.5-32B 모델을 통해 생성한 1,000개의 태스크.

2. 모델 평가

연구는 다음을 포함한 6개 제품군의 14개 모델을 평가했습니다:

• 상용 모델: GPT-5, Gemini 2.5 Pro, Claude 4 Opus.
• 오픈 소스 모델: Qwen2.5-Coder (다양한 크기), DeepSeek-Coder-V2, OpenCoder.
  모델들은 기본 설정 및 다양한 디코딩 온도(0~5) 하에서 테스트되었습니다.

3. 탐지 메커니즘

crates.io, Rust 표준 라이브러리, rustc 컴파일러 크레이트를 스크래핑하여 포괄적인 유효 Rust 크레이트 인벤토리를 구축했습니다. 또한 저자들은 크레이트 별칭(alias)을 캡처하기 위해 저장소의 Cargo.toml 파일을 마이닝했습니다.

• 추출: 시스템은 use 선언, 직접적인 경로 접두사, extern crate 선언의 세 가지 패턴을 사용하여 생성된 코드에서 크레이트 이름을 추출했습니다.
• 지표: **크레이트 환각율(Crate Hallucination Rate, CHR)**은 추출된 이름 중 유효 인벤토리에 없는 이름의 비율로 계산되었습니다.

4. 완화 전략 평가

모델을 재학습시키지 않고 환각을 완화하기 위한 두 가지 프롬프트 엔지니어링 전략을 테스트했습니다:

• 자기 정제(Self-Refinement): 모델이 자신의 출력을 검토하고, 표준 라이브러리 사용 여부를 확인하며, 최종 확정 전 크레이트 이름을 검증하는 다회차(multi-turn) 프로세스입니다.
• 검색 증강 생성(RAG): 모델에 crates.io의 상위 10,000개 크레이트 검색 인덱스와 표준 라이브러리 모듈 목록을 제공하여 생성 과정을 근거 있게 유도합니다.

주요 결과

RQ1: 유병률 및 영향 요인

• 높은 유병률: 모든 모델의 전체 CHR은 **20.23%**였습니다. 환각은 평가된 모든 모델에서 관찰되었습니다.
• 모델 민감도: 특정 모델이 더 나은 성능을 보였으나(예: Gemini 2.5 Pro 16.18% vs. Claude 4 Opus 26.90%), 상용 모델과 오픈 소스 모델 간의 평균적인 차이는 통계적으로 유의미하지 않았습니다.
• 파라미터 독립성: Python/JavaScript의 결과와 달리, 모델 크기(파라미터 수)는 모델 제품군 내(예: Qwen2.5-Coder 변형들)에서 환각률과 통계적으로 유의미한 상관관계를 보이지 않았습니다.
• 온도 독립성: 디코딩 온도를 높이는 것이 환각의 체계적인 증가로 이어지지는 않았습니다. CHR은 온도 설정(0–5) 전반에 걸쳐 안정적으로 유지되었는데, 이는 높은 온도가 환각률을 높였던 이전 연구 결과와 대조적입니다.

RQ2: 환각 패턴

연구는 네 가지의 뚜렷한 Rust 특화 패턴을 식별했습니다:

1. 모듈-크레이트 혼동: 환각의 45% 이상은 실제 Rust 표준 라이브러리 모듈(예: std::thread, std::io)을 외부 크레이트로 잘못 참조한 것이었습니다. 모델들은 종-종 이를 std:: 또는 core::로 한정 짓지 못했습니다.
2. 모델 간 일관성: 모듈 환각은 서로 다른 모델 간에 높은 중복을 보였습니다(Jaccard 유사도 ≈ 0.44). 이는 공유된 학습 데이터의 한계를 시사하는 반면, 비모듈 환각은 특정 모델에 더 고유한 특성을 보였습니다.
3. 근접 변형(Near-Miss Variants): 환각된 이름은 주로 실제 크레이트의 미세한 변형이었습니다. **86.48%**의 환각은 유효한 크레이트와 레벤슈타인 편집 거리(Levenshtein edit) 5 이내에 있었습니다. 두드러진 패턴은 하이픈 오용으로, 모델들이 Rust의 kebab-case 관례(예: http-response) 대신 camelCase 이름(예: httpresponse)을 생성하는 것이었습니다.
4. 교차 생태계 전이: 빈번한 환각의 약 **39%**는 다른 생태계(예: Python 또는 Windows API)의 이름을 재사용했습니다. 이는 구조화되어 있으나 정렬되지 않은 지식 전이를 나타냅니다.

RQ3: 완화 효과

• 제한적인 이득: 두 완화 전략 모두 환각률을 낮추었으나, 개선 정도는 미미했습니다.
• 자기 정제: CHR을 지속적으로 2~3 퍼센트 포인트 감소시켰습니다(약 10~15%의 상대적 감소).
• RAG: 제한적이고 일관되지 않은 개선을 제공했으며, 어떤 경우에는 오히려 환각률을 약간 높이기도 했습니다.
• 결론: 단순한 프롬프트 수준의 개입은 크레이트 환각을 실질적으로 제거하기에 불충분합니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 최초의 실증적 연구: Python 및 JavaScript 연구가 주를 이루는 문헌의 공백을 메우며, LLM이 생성한 Rust 코드 내 크레이트 환각에 대한 최초의 체계적인 조사를 제공합니다.
2. 독특한 패턴 규명: Rust의 환각이 다른 언어와는 다른 독특한 패턴을 따른다는 점을 밝혀냈습니다(모듈 혼동 및 명명 규칙 오류 등 매우 구조화되어 있으며, 모델 크기와 디코딩 온도에 놀라울 정도로 무관함).
3. 데이터셋 공개: 향후 연구를 촉진하기 위해 2,794개의 Rust 코딩 태스크 데이터셋을 공개했습니다.
4. 보안 및 신뢰성 함의: Rust의 의존성 모델이 즉각적인 공급망 공격을 완화하더라도(Cargo.toml 업데이트를 요구하므로), 환각된 참조가 여전히 심각한 빌드 실패와 신뢰성 문제를 일으킨다는 점을 강조합니다. 이는 향후 완화책이 일반적인 프롬프트 엔지니어링보다는 Rust 인식 가드레일(예: 네임스페이스 검증, 레지스트리 인식 체크, Cargo.toml 교차 참조)을 필요로 함을 시사합니다.

저자들은 경량화된 전략이 미미한 이점을 제공하기는 하지만, 강력한 완화는 Rust 생태계에 특화된 툴체인 수준의 검증 및 학습 데이터 개선과 더 긴밀하게 통합되어야 한다고 결론지었습니다.