기술 요약: LLM 생성 코드에서의 라이브러리 환각

문제 제기

대형 언어 모델 (LLM) 은 현대 소프트웨어 개발에 필수적이 되었으나, 존재하지 않는 라이브러리를 만들어내는 '환각'을 빈번히 일으킵니다. 기존 연구는 라이브러리 환각을 하나의 실패 모드로 인정해 왔으나, 이러한 오류가 실제 사용 조건 하에서 어떻게 나타나는지에 대한 이해는 제한적입니다. 구체적으로, 자연어 설명, 사용자의 오타, 또는 조작된 라이브러리 이름과 같은 개발자 프롬프트의 변형이 LLM 이 잘못된 임포트나 유효한 라이브러리에 대한 잘못된 호출을 생성하는 비율에 어떤 영향을 미치는지는 여전히 불분명합니다. 이러한 환각은 빌드 중단, 개발자를 오도함, 그리고 LLM 이 자주 환각하는 라이브러리를 공격자가 등록하는 '슬롭스쿼팅 (slopsquatting)'과 같은 공급망 위협에 노출되는 등 중대한 위험을 초래합니다.

방법론

저자들은 사용자 수준 프롬프트 변형이 일곱 가지 다양한 프로덕션급 LLM(GPT-4o-mini, GPT-5-mini, Ministral-8B, Qwen2.5-Coder, Llama-3.3, DeepSeek-V3.1, Claude-4.5-Haiku) 에서 라이브러리 환각에 미치는 영향을 체계적으로 연구한 첫 번째 연구를 제시합니다.

실험 설계:
본 연구는 외부 라이브러리를 사용하는 356 개의 Python 작업을 필터링한 BigCodeBench를 시드 데이터셋으로 활용합니다. 실험은 두 가지 주요 범주로 나뉩니다:

1. 실험 1: 사용자 언어 변형:

   • 데이터 소스: Software Recommendations StackExchange(SRSE) 의 20,000 개 이상의 질문을 분석하여 일반적인 사용자 기술어를 식별했습니다.
   • 변형: 프롬프트에 형용사 기반 설명 (예: "빠른", "가벼운", "최고의") 과 시간 기반 설명 (예: "2023 년부터", "2025 년부터") 을 포함하도록 수정했습니다.
   • 목표: 자연어 변형이 환각을 유발하는지 확인합니다.

2. 실험 2: 통제된 사용자 실수:

   • 오류 유형: 프롬프트에 특정 오류를 도입했습니다:
     • 한 글자 오타: 편집 거리 1 (예: numpy 대신 numpi).
     • 여러 글자 오타: 편집 거리 2~8 (예: plotly 대신 graphly).
     • 가짜 이름/구성원: 이전 환각에 대한 후속 요청을 시뮬레이션하기 위해 완전히 존재하지 않는 라이브러리나 구성원을 생성했습니다.
   • 목표: 오타와 조작된 개체에 대한 LLM 의 견고성을 정량화합니다.

평가 파이프라인:

• 탐지: 생성된 코드를 Python 의 ast 모듈을 사용하여 파싱했습니다. 라이브러리 이름은 정규화를 통해 Python Package Index(PyPI) 에 대해 검증했고, 라이브러리 구성원은 최신 라이브러리 버전의 공식 문서에 대해 검증했습니다.
• 지표: 본 연구는 응답 환각률 (RHR) 과 작업 환각률 (THR) 을 측정했습니다.
• 추가 조사: 저자들은 프롬프트 엔지니어링 전략 (Chain-of-Thought, Step-Back, Self-Analysis) 의 유효성을 검토하고 CodeInsight(JavaScript, Rust) 를 사용하여 생태계 일반화성을 테스트했으며, 도구 증강 완화 (PyPI 존재 확인) 를 검증했습니다.

주요 발견

1. 프롬프트 변형에 대한 민감도

• 형용사 vs 시간: 형용사 기반 설명 (예: "빠른", "오픈소스") 은 거의 환각을 유발하지 않았습니다 (비율 $\approx$ 0%). 반면, 시간 기반 프롬프트는 강력한 유발 요인이었습니다. "2025 년의" 라이브러리를 요청하는 경우 (특히 GPT-4o-mini 의 경우) 작업의 최대 **85%**에서 환각을 유발하여 "2023 년의" 요청보다 훨씬 높았습니다.
• 사용자 실수: LLM 은 이름 오류에 대한 견고성이 부족했습니다.
  • 한 글자 오타는 작업의 최대 **26%**에서 환각을 유발했습니다.
  • 여러 글자 오타는 작업의 최대 **79%**에서 환각을 유발했습니다.
  • 가짜 라이브러리 이름은 특정 모델 (예: GPT-5-mini, Ministral-8B) 의 경우 작업의 최대 **99%**에서 수용되어, 모델이 이를 수정하는 대신 사용자의 잘못된 전제를 따르는 '아첨 (sycophancy)' 경향을 보임을 나타냈습니다.

2. 라이브러리 이름 대 구성원 환각

• 라이브러리 이름: 모델은 오류나 시간 제약이 포함된 프롬프트를 받으면 존재하지 않는 전체 라이브러리를 환각할 가능성이 매우 높았습니다.
• 라이브러리 구성원: 유효한 라이브러리 내의 구성원 (함수/클래스) 에 대한 환각은 일반적으로 낮았으나 (대부분 1%~5%), 여전히 존재했습니다. 흥미롭게도, 새로운 모델 (GPT-5-mini, DeepSeek-V3.1) 은 때때로 이전 모델보다 구성원 환각률이 더 높았으며, 종종 버전 사양 없이 폐기된 함수를 제안했습니다.

3. 완화 및 일반화

• 프롬프트 엔지니어링: Chain-of-Thought 및 Step-Back 프롬프팅과 같은 경량 전략은 불안정했으며, 때로는 잘못된 추론을 강화하여 환각률을 증가시켰습니다. 명시적 확인과 Self-Analysis 는 더 많은 가능성을 보였으나 모델 간 일관성이 없었습니다.
• 도구 사용: PyPI 존재 확인 도구를 제공하면 환각이 크게 감소했습니다 (예: GPT-4o-mini 는 연도 기반 프롬프트에서 <3% 로 감소) 하지만 완전히 제거되지는 않았습니다. 모델은 종종 도구를 호출하지 않거나 부정적인 결과를 무시했습니다.
• 생태계: 환각 패턴은 Python, JavaScript, Rust 전반에 걸쳐 지속되어 취약점이 단일 언어나 생태계로 제한되지 않음을 시사합니다.

기여

1. 체계적 연구: 프롬프트 변형 (언어 및 오류) 이 라이브러리 환각에 미치는 영향을 세밀하게 분석한 첫 번째 연구로, 시간 기반 표현과 오타가 중요한 유발 요인임을 밝혔습니다.
2. 아첨 및 타이포스쿼팅 연결: LLM 행동과 공급망 위험 사이의 새로운 연결을 발견하여, 모델이 사소한 오타에 반응하여 라이브러리를 자신 있게 환각함으로써 타이포스쿼팅과 슬롭스쿼팅 공격을 잠재적으로 증폭시킬 수 있음을 입증했습니다.
3. LIBHALLUBENCH: 재현 가능한 라이브러리 환각 평가를 가능하게 하기 위해 고위험 조건 (연도 기반, 희소성 기반, 오류 기반) 에서 파생된 4,173 개의 레이블이 지정된 프롬프트를 포함하는 새로운 벤치마크를 도입했습니다.
4. 오픈 리소스: 향후 연구 및 완화 개발을 지원하기 위해 코드, 전체 모델 출력, 그리고 벤치마크를 공개했습니다.

중요성 및 주장

본 논문은 자연어 프롬프트 변형에 대한 LLM 의 취약성이 체계적인 취약점임을 주장합니다. 저자들은 다음과 같이 주장합니다:

• 현재 LLM 은 사용자가 구체적이지만 잘못된 이름을 제공하더라도 라이브러리 이름이나 구성원을 검증하는 데 신뢰할 수 없습니다.
• "최신" 또는 "최근" 라이브러리에 대한 일반적인 개발자 요청은 지식 컷오프와 무관하게 환각의 주요 벡터입니다.
• Chain-of-Thought 와 같은 기존 완화 전략은 이러한 특정 실패 모드에는 불충분합니다.
• 이 위험은 단순한 코드 오류를 넘어 보안 위협으로 확장됩니다. 가짜 라이브러리에 대한 높은 수용률은 악성 패키지 (슬롭스쿼팅) 의 채택을 용이하게 할 수 있기 때문입니다.

저자들은 견고한 방어는 프롬프트 엔지니어링 이상을 필요로 하며, 모델 수준의 변경, 외부 검증 메커니즘, 그리고 라이브러리 유효성에 대한 불확실성을 처리하는 LLM 의 방식 전환이 필요할 것이라고 결론지었습니다. 본 연구는 발견된 결과가 특정 데이터셋과 모델에 기반하고 있지만, 관찰된 패턴은 LLM 기반 코드 생성에서 더 광범위하고 체계적인 문제를 시사한다고 강조합니다.