Do Deployment Constraints Make LLMs Hallucinate Citations? An Empirical Study across Four Models and Five Prompting Regimes

본 논문은 4 개의 대규모 언어 모델과 5 가지 프롬프트 제약을 대상으로 한 실증 연구를 통해, 배포 제약 조건이 적용되더라도 모델이 생성한 인용문 중 실제 존재하는 비율이 47.5% 를 초과하지 않으며 많은 부분이 허위임을 확인하고, 이를 바탕으로 학술 문헌 검토나 소프트웨어 공학 파이프라인에 LLM 출력을 활용하기 전에 사후 인용 검증이 필수적임을 주장합니다.

핵심

이 논문은 **"LLM(거대 언어 모델) 이 학문적인 글을 쓸 때, 진짜 논문인지 가짜인지 구별할 수 있는 '인용문'을 얼마나 잘 만들어내는가?"**를 실험한 연구입니다.

쉽게 말해, **"AI 가 쓴 글에 나오는 참고문헌 목록이 진짜 도서관에 있는 책인지, AI 가 머릿속에서 지어낸 공상인지"**를 확인한 보고서입니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

🍔 비유: "AI 는 완벽한 메뉴판을 만들지만, 음식은 없는 식당"

이 연구를 한 가지 비유로 풀어보면 다음과 같습니다.

• AI (LLM): 요리를 아주 맛있게 해주는 '슈퍼 셰프'입니다.
• 인용문 (Citation): 메뉴판에 적힌 '재료 출처'입니다. (예: "이 소스는 2023 년 프랑스에서 재배된 토마토로 만들었습니다.")
• 실험 조건 (Deployment Constraints): 셰프에게 내리는 특수 주문입니다.
  • "올해 나온 재료만 써줘." (시간 제한)
  • "이 요리에 대한 모든 레시피를 다 포함해서 써줘." (광범위한 요구)
  • "네가 공부한 책 내용을 말하면 안 돼." (비밀 유지)

연구진은 이 '슈퍼 셰프'들에게 다양한 주문을 내리며, 그들이 적어낸 재료 출처가 진짜인지 가짜인지를 도서관 (Crossref, Semantic Scholar) 에 가서 하나하나 확인했습니다.

---

🔍 주요 발견 4 가지

1. "모양은 완벽하지만, 내용은 빈 껍데기" (형식 준수 vs 사실성)

셰프들은 주문을 아주 잘 따릅니다. "2023 년 이후 재료만 써줘"라고 하면, 2023 년 이후 날짜가 적힌 메뉴판을 완벽하게 만들어냅니다.

• 하지만! 그 재료는 도서관에 실제로 존재하지 않습니다.
• 결과: AI 는 문법이나 날짜 형식을 완벽하게 지키지만, 그 안에 적힌 '진짜 책'의 수는 50% 도 채 되지 않았습니다. (최고 성능 모델도 47.5% 만 성공)

2. "시간을 제한하면 AI 가 더 당황한다" (시간 제약의 영향)

"최근 5 년 이내의 논문만 인용해줘"라고 하면, AI 는 그 시간 안에 있는 진짜 논문을 찾기 어려워집니다.

• 결과: AI 는 시간 제한을 지키기 위해 가짜 논문을 지어내거나, 아예 찾을 수 없는 논문을 만들어냅니다. 형식은 완벽하지만, 내용은 99% 가 가짜가 되어버립니다.

3. "비싼 AI vs 무료 AI" (상용 모델 vs 오픈소스 모델)

• 비싼 AI (Claude, GPT-4): "진짜 논문"을 찾아내는 능력이 무료 AI 보다 훨씬 좋습니다. 하지만 여전히 50% 이상은 틀립니다.
• 무료 AI (LLaMA, Qwen): 진짜 논문을 찾아내는 비율이 매우 낮습니다. 특히 "광범위한 주제"를 요구하면, 가짜 논문을 만들어내는 비율이 50% 를 넘어서기도 합니다.
• 비유: 비싼 AI 는 가짜를 덜 만들지만, 무료 AI 는 거의 가짜만 만들어낸다고 생각하시면 됩니다.

4. "정답도, 오답도 아닌 '알 수 없음'의 함정" (Unresolved)

가장 무서운 점은, AI 가 만든 인용문 중 **36~61%**는 도서관에서 "있냐, 없냐"를 확실히 알 수 없는 상태라는 것입니다.

• 문제: 이 '알 수 없음' 항목 중 절반 정도는 실제로는 완전한 가짜였습니다.
• 비유: 메뉴판에 "신비한 소스 (정체불명)"라고 적혀 있는데, 알고 보니 그 소스는 존재하지 않는 것입니다. 하지만 처음 보면 진짜처럼 보입니다.

---

💡 이 연구가 우리에게 주는 교훈

이 논문은 우리에게 다음과 같은 중요한 메시지를 줍니다.

1. AI 가 쓴 글의 참고문헌은 '초안'일 뿐입니다.
   AI 가 인용한 책이나 논문이 아무리 그럴듯해 보여도, 반드시 직접 도서관 (데이터베이스) 에서 찾아봐야 합니다. AI 가 "이 책 있어요"라고 해도, 실제로는 없는 경우가 많습니다.

2. 조건이 까다로울수록 AI 는 더 많이 거짓말합니다.
   "최근 자료만 줘", "모든 분야를 다 줘"라고 요구할수록 AI 는 진짜를 찾기보다 가짜를 만들어낼 확률이 높아집니다.

3. 형식이 완벽하다고 믿지 마세요.
   날짜, 저자 이름, DOI(고유 번호) 가 다 맞춰져 있어도, 그 책이 실제로 존재하지 않을 수 있습니다.

🎯 결론: "AI 는 훌륭한 조수지만, 검증은 인간이 해야 합니다"

AI 는 학문적인 글을 쓰는 데 아주 유용한 도구입니다. 하지만 AI 가 만들어낸 참고문헌 목록은 '가짜 뉴스'가 섞여 있을 수 있는 위험한 상태입니다.

따라서 소프트웨어 공학이나 학술 연구를 할 때, AI 가 만들어준 글을 그대로 받아쓰지 말고, **"이게 진짜인가?"**를 확인하는 검증 과정을 반드시 거쳐야 한다는 것이 이 연구의 핵심 결론입니다.

한 줄 요약: AI 가 만들어낸 참고문헌은 "모양은 완벽하지만 내용만 없는 가짜 메뉴판"일 수 있으니, 반드시 직접 메뉴판의 진위를 확인하세요!

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 학술 문헌 작성 및 소프트웨어 공학 (SE) 증거 종합에 점점 더 많이 활용되고 있지만, 인용 허위 생성 (Citation Hallucination) 문제가 심각한 과제로 대두되고 있습니다. 이는 저자, 학술지, DOI 등 bibliographic(문헌정보) 필드가 완벽하게 보이는 것처럼 생성되지만, 실제로 존재하지 않는 문헌을 만들어내는 현상입니다.

기존 연구는 주로 모델의 다음 토큰 예측 메커니즘이나 훈련 데이터의 분포적 변화에 초점을 맞추었으나, **실제 배포 환경에서 적용되는 제약 조건 (Deployment Constraints)**이 인용의 검증 가능성에 미치는 영향은 충분히 연구되지 않았습니다. 본 연구는 다음과 같은 구체적인 제약 조건 하에서 LLM 이 얼마나 신뢰할 수 있는 인용을 생성하는지 실증적으로 분석합니다:

• 시간적 제약 (Temporal): 특정 출판 연도 범위 내의 문헌만 인용해야 함.
• 서베이 스타일 (Survey-style): 광범위한 주제에 대한 개요를 작성하며 많은 수의 인용이 요구됨.
• 비공개 정책 (Non-Disclosure): 훈련 데이터 접근을 주장하지 말라는 지시.

2. 연구 방법론 (Methodology)

2.1 실험 설계

• 데이터셋: 6 개 학문 분야 (SE & CS 포함) 에 걸쳐 144 개의 주장 (Claims) 을 생성. 각 주장당 5 개 또는 8 개의 인용을 요구하는 프롬프트를 사용.
• 모델: 2 개의 상용 모델 (Claude Sonnet, GPT-4o) 과 2 개의 오픈 가중치 모델 (LLaMA 3.1-8B, Qwen 2.5-14B) 을 평가.
• 프롬프트 체제 (5 가지):
  1. Baseline: 기본 학술 문단 작성 (5 인용).
  2. Temporal: 특정 연도 범위 내 문헌만 인용 (5 인용).
  3. Survey: 관련 작업 종합 (3-4 개 카테고리, 8 인용).
  4. Non-Disclosure: 훈련 데이터 접근 금지 지시 (5 인용).
  5. Combo: 위 세 가지 조건 모두 적용 (8 인용).
• 총 생성량: 144 개 주장 × 5 조건 × 4 모델 = 2,880 회 실행, 총 17,443 개 인용 생성.

2.2 자동 검증 파이프라인 (Verification Pipeline)

생성된 모든 인용에 대해 Crossref와 Semantic Scholar 두 개의 학술 데이터베이스를 기반으로 자동화된 검증을 수행했습니다.

• 파싱: 제목, 저자, 학술지, 연도, DOI 등을 구조화.
• 검색 및 점수화: DOI 직접 확인, 제목 기반 검색 후 가중 유사도 점수 산출 (제목 60%, 저자 20%, 연도 15%, 학술지 5%).
• 라벨링 (3 단계 분류):
  • Existing (존재함): 점수 ≥ 0.85 (검증됨).
  • Unresolved (해결 불가): 0.60 ≤ 점수 < 0.85 (메타데이터 불일치로 인해 명확히 검증/거부 불가).
  • Fabricated (조작됨): 점수 < 0.60 또는 후보 없음.
• 정확도: 인간 전문가와의 대조 실험 (100 개 샘플) 에서 Cohen's κ = 0.63, 전체 일치율 75% 를 기록하여 파이프라인의 신뢰성을 확보.

3. 주요 결과 (Key Results)

3.1 전반적인 검증 실패

• 어떤 모델도 다수의 인용을 검증하지 못함: 모든 조건에서 어떤 모델도 인용 존재율 (Existence Rate) 이 0.50 을 넘지 않았습니다. 최고 기록은 Claude Sonnet 의 Survey 조건에서 0.475 였습니다.
• Unresolved 비율의 우세: 전체 인용의 **36~61%**가 'Unresolved'로 분류되었습니다. 수동 감사 결과, 이 중 약 절반 (16/35) 은 실제로 조작된 인용인 것으로 밝혀져, 이 범주는 단순한 '불확실'이 아닌 '고위험'으로 간주되어야 함을 시사합니다.

3.2 제약 조건의 영향 (RQ1)

• 시간적 제약 (Temporal) 의 치명적 영향: 시간적 제약이 적용되었을 때 검증 가능성이 가장 급격히 떨어졌습니다. (예: GPT-4o 는 0.235 → 0.019 로 하락). 모델들은 형식적으로는 연도 제약을 준수하지만, 그 범위 내의 실제 문헌을 찾아내지 못해 허위 인용을 생성했습니다.
• 서베이 스타일 (Survey): 인용 수를 늘리는 요구는 검증 가능성을 낮추기보다는 상용 모델과 오픈 모델 간의 격차를 확대시켰습니다.
• 비공개 정책 (Non-Disclosure): 오류를 완전히 제거하지는 못했지만, '명확히 틀린 (Fabricated)' 오류를 '확인하기 어려운 (Unresolved)' 오류로 전환시키는 효과가 있었습니다. DOI 누락이 이를 주도했습니다.
• 복합 조건 (Combo): 모든 제약을 동시에 적용하면 검증 가능성이 거의 0 에 수렴했습니다 (LLaMA, Qwen 은 0.001~0.008 수준).

3.3 모델 간 차이 (RQ2)

• 상용 vs 오픈 모델 격차: 상용 모델 (Claude, GPT) 이 오픈 모델 (LLaMA, Qwen) 보다 전반적으로 성능이 좋았으나, 절대적인 수준은 여전히 낮았습니다.
  • Baseline 조건에서 Claude Sonnet (0.381) vs LLaMA (0.068).
  • Survey 조건에서 격차가 가장 커졌으며 (Δ = +0.310), 오픈 모델은 50% 이상의 인용을 조작 (Fabricated) 하는 경향을 보였습니다.

3.4 도메인별 분석

• 소프트웨어 공학 (SE) 및 컴퓨터 과학 (CS) 도메인에서의 인용 존재율 (0.132) 은 다른 도메인과 유사했으나, 오픈 모델들의 성능이 특히 낮아 SE 연구자들이 오픈 모델을 사용할 때 특히 주의가 필요함을 시사했습니다.

4. 주요 기여 (Contributions)

1. 데이터셋 및 프레임워크: 144 개 주장과 5 가지 배포 시나리오를 아우르는 검증 가능한 인용 생성 데이터셋과 자동화된 3 단계 라벨링 파이프라인을 구축했습니다.
2. 실증적 발견: 배포 제약 조건 (특히 시간적 제약) 이 인용의 형식적 준수와 실질적 검증 가능성 사이의 괴리를 심화시킨다는 것을 입증했습니다.
3. 모델 비교: 상용 모델과 오픈 모델 간의 성능 격차가 프롬프트 조건에 따라 어떻게 변하는지 정량화했습니다.

5. 의의 및 시사점 (Significance)

• 형식 준수 ≠ 사실성: LLM 이 연도나 형식을 정확히 맞추더라도 (Format Compliance), 그 내용이 실제 존재하는 문헌일 확률은 매우 낮습니다. 이는 SE 의 체계적 문헌 고찰 (SLR) 이나 기술 보고서 작성 시 LLM 을 맹신할 수 없음을 의미합니다.
• Unresolved 의 위험성: 자동 검증에서 '해결 불가 (Unresolved)'로 분류된 인용은 단순한 불확실성이 아니라, 실제로는 조작된 인용일 가능성이 높으므로 **고위험 (High-Risk)**으로 간주하고 반드시 수동 확인이 필요합니다.
• 실무적 권장사항:
  • LLM 이 생성한 인용 목록은 **초안 (Draft)**으로만 취급해야 합니다.
  • Crossref, Semantic Scholar, DBLP 등 외부 학술 데이터베이스를 통한 **사후 검증 (Post-hoc verification)**이 필수적입니다.
  • 특히 오픈 소스 모델을 사용할 때는 검증 가능성이 매우 낮으므로 추가적인 주의가 필요합니다.
• 미래 방향: 프롬프트 엔지니어링만으로는 인용 허위 생성 문제를 해결하기 어렵습니다. **검색 증강 생성 (RAG)**이나 내장된 검증 메커니즘을 갖춘 아키텍처가 필요합니다.

이 연구는 LLM 이 학술 및 기술 문서 작성에 활용될 때, 인용의 신뢰성을 보장하기 위한 검증 프로세스의 부재가 얼마나 큰 위험인지 경고하며, 향후 SE 도구 및 워크플로우 설계에 중요한 기준을 제시합니다.