How Much Do LLMs Hallucinate in Document Q&A Scenarios? A 172-Billion-Token Study Across Temperatures, Context Lengths, and Hardware Platforms

이 논문은 RIKER 평가 방법론을 통해 1720 억 토큰 규모의 대규모 실험을 수행한 결과, 문서 기반 질문응답에서 LLM 의 환각 발생률이 컨텍스트 길이에 따라 급증하며 모델 선택이 가장 중요한 요인이지만, 온도 설정은 정확도와 생성 무한루프 발생률 간에 복잡한 상충 관계를 보인다는 것을 밝혔습니다.

핵심

이 논문은 **"대형 인공지능 (LLM) 이 문서를 보고 질문에 답할 때, 얼마나 자주 거짓말 (환각) 을 하는가?"**라는 매우 중요하면서도 까다로운 질문에 대한 답을 찾기 위해 진행된 거대한 실험 결과를 담고 있습니다.

2026 년 3 월에 발표된 이 연구는 약 **1,720 억 개의 단어 (토큰)**를 분석하며, 35 개의 다양한 AI 모델이 다양한 조건에서 어떻게 작동하는지 파헤쳤습니다.

이 복잡한 연구 결과를 일반인이 이해하기 쉽게 세 가지 핵심 비유로 정리해 드립니다.

---

1. 실험실의 규모: "거대한 도서관과 35 명의 도서관 사서"

이 연구는 마치 거대한 도서관을 상상해 보세요.

• 문서 (Context): 도서관에 쌓인 책들입니다. 연구팀은 책의 양을 32 권 (32K), 128 권 (128K), 그리고 200 권 (200K) 으로 늘려가며 실험했습니다.
• AI 모델 (사서): 35 명의 새로운 사서들이 있습니다. 어떤 사서는 1B(초소형) 크기의 머리를 가졌고, 어떤 사서는 480B(초거대) 크기의 머리를 가졌습니다.
• 질문: 사서들에게 "책 안에 있는 사실만 말해줘"라고 묻거나, "책에 없는 엉뚱한 사실은 있니?"라고 물어보며 거짓말을 하는지 확인했습니다.

핵심 발견:
가장 똑똑해 보이는 사서조차 100 번 중 1~2 번은 거짓말을 했습니다. 그리고 책이 쌓일수록 (문맥이 길어질수록) 거짓말을 하는 횟수가 급격히 늘어났습니다.

---

2. 주요 발견 3 가지: "사실은 무엇인가?"

① 책이 많을수록 사서는 혼란스러워진다 (문맥 길이의 함정)

• 비유: 사서에게 책 32 권을 주면 아주 똑똑하게 답을 하지만, 200 권을 주면 머리가 복잡해져서 가짜 정보를 만들어내는 경우가 3 배 이상 늘어납니다.
• 현실: 많은 AI 회사가 "우리의 모델은 200 만 토큰을 다룰 수 있다"고 광고하지만, 이 연구에 따르면 실제로는 32 권 (32K) 정도가 한계인 경우가 많습니다. 책이 너무 많으면 사서는 책 내용을 찾아내는 능력은 유지하되, 없는 내용을 지어내는 능력 (거짓말) 은 폭발적으로 증가합니다.

② 사서의 '성격'이 '머리 크기'보다 중요하다 (모델 선택의 중요성)

• 비유: 거대한 머리를 가진 사서 (모델 크기) 가 반드시 거짓말을 적게 하는 것은 아닙니다. 오히려 어떤 '가족 (모델 계열)'에서 왔는지가 더 중요합니다.
  • GLM 계열: 거짓말을 아주 적게 하는 '성실한 사서'들입니다.
  • Llama 계열: 머리가 아주 크더라도 (405B 등), 거짓말을 자주 하는 '활발하지만 과장하는 사서'들입니다.
• 현실: 단순히 "모델이 크면 무조건 좋다"는 말은 틀렸습니다. 거짓말을 잘하지 않는 모델을 고르는 것이, 거대한 모델을 고르는 것보다 훨씬 중요합니다.

③ "조용히 하라" vs "적당히 떠들게 하라" (온도 설정의 역설)

• 비유: AI 에게 "가장 확실한 답만 내놓아라 (Temperature=0.0)"라고 지시하는 것이 항상 좋은 것은 아닙니다.
  • T=0.0 (조용히): 답은 정확할 수 있지만, 말을 끝내지 못하고 같은 말을 반복하며 멈추는 (무한 루프) 경우가 200 권의 책 앞에서 48 배나 더 자주 발생합니다.
  • T=1.0 (적당히 떠들게): 약간의 유연성을 주면, 거짓말은 조금 줄어들고 말을 끝내는 능력이 훨씬 좋아집니다.
• 현실: 기업에서 AI 를 쓸 때 무조건 "온도 0"으로 고정하는 것은 위험할 수 있습니다. 상황에 따라 약간의 유연성을 주는 것이 더 안전하고 효율적입니다.

---

3. 가장 중요한 교훈: "찾아내는 능력"과 "거짓말 안 하는 능력"은 다릅니다

이 연구의 가장 충격적인 결론은 두 가지 능력이 완전히 분리되어 있다는 것입니다.

• 비유: 어떤 사서는 도서관에서 정확한 책을 찾아내는 능력 (Grounding) 은 90% 로 매우 뛰어납니다. 하지만 동시에, 책에 없는 내용을 지어낼 때 (Fabrication) 그 확률도 50% 이상이나 됩니다.
• 의미: "이 AI 는 문서에서 정보를 잘 찾아낸다"는 평가가 "이 AI 는 거짓말을 하지 않는다"는 뜻이 절대 아닙니다.
  • 어떤 모델은 책 내용을 아주 잘 찾아내지만, 없는 내용은 아주 그럴듯하게 지어냅니다.
  • 따라서 기업은 단순히 정보 검색 능력만 보고 AI 를 선택하면 안 되며, **"거짓말을 얼마나 잘 막아내는가"**를 따로 테스트해야 합니다.

---

요약: 기업과 사용자를 위한 조언

이 연구는 AI 를 도입하려는 기업에게 다음과 같은 현실적인 조언을 줍니다.

1. 거짓말은 피할 수 없다: 아무리 좋은 AI 도 100% 진실만 말하지는 않습니다. 시스템에 "거짓말을 걸러내는 안전장치"를 반드시 마련해야 합니다.
2. 모델 선택이 가장 중요하다: 하드웨어 (NVIDIA, AMD 등) 나 설정을 바꾸는 것보다, **거짓말을 적게 하는 모델 계열 (GLM, MiniMax 등)**을 고르는 것이 훨씬 효과적입니다.
3. 문서 양을 조절하라: AI 가 처리할 수 있는 문서 양은 광고보다 훨씬 적습니다. 너무 많은 문서를 한 번에 주면 성능이 급격히 떨어집니다.
4. 온도 설정을 유연하게 하라: 무조건 '0'으로 고정하지 말고, 상황에 따라 약간의 유연성을 주어 AI 가 멈추지 않도록 하세요.

한 줄 요약:

"AI 는 문서를 읽는 능력과 거짓말을 안 하는 능력이 다르며, 문서가 너무 길어지면 거짓말이 폭발합니다. 따라서 가장 중요한 것은 '큰 모델'이 아니라 '거짓말을 잘 안 하는 모델'을 고르는 것입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

기업용 AI 배포에서 가장 중요하면서도 위험한 과제는 **제공된 문서에 기반한 질문 응답 (Document Q&A)**입니다. 그러나 현재 이 분야에서 LLM 의 환각 (Hallucination) 발생 빈도를 정확히 측정하는 데는 다음과 같은 근본적인 한계가 존재합니다.

• 데이터 오염 (Contamination): 정적 벤치마크 데이터가 모델 학습에 사용되어 성능이 과장될 수 있음.
• 편향된 평가자 (LLM-as-Judge): LLM 을 평가자로 사용할 때 발생하는 체계적 편향.
• 통계적 신뢰도 부족: 소규모 데이터셋과 단일 실행 결과에 의존하여 통계적 유의성을 확보하지 못함.

기존 연구들은 이러한 문제들을 해결하지 못했으며, 특히 문서 내 존재하지 않는 정보에 대해 모델이 얼마나 자주 사실을捏造 (Fabrication) 하는지에 대한 정량적 데이터가 부족했습니다.

2. 방법론 (Methodology: RIKER)

이 연구는 기존 평가 패러다임을 뒤집은 RIKER (Retrieval Intelligence and Knowledge Extraction Rating) 방법론을 확장 적용했습니다.

• Ground-Truth-First 접근법: 기존 문서에서 정답을 추출하는 방식이 아니라, 미리 정의된 정답 (Ground Truth) 데이터베이스를 기반으로 문서와 질문을 생성합니다.
  • 이 방식은 인간 주석 없이도 결정론적 (Deterministic) 점수 매기가 가능하게 하며, 데이터 오염을 원천 차단합니다.
  • 문서 생성은 템플릿 기반으로 이루어져 LLM 이 자체 벤치마크 데이터를 생성할 때 발생하는 편향을 제거합니다.
• 평가 지표:
  • Faithfulness (신뢰성): 모든 질문에 대한 정확도.
  • Grounding (근거성): 문서에 있는 정보를 올바르게 추출하는 능력.
  • Fabrication (위조/환각): 문서에 존재하지 않는 엔티티에 대해 구체적 답변을 내놓는 오류율 (핵심 지표).
  • Aggregation (집합): 여러 문서 간 정보 통합 능력.
  • Coherence Loss (일관성 손실): 무한 루프 발생으로 인한 응답 중단 (Truncation) 비율.

3. 실험 설계 및 규모 (Experimental Design)

이 연구는 이전 연구 (210 억 토큰) 를 크게 확장하여 1720 억 토큰 이상의 평가 데이터를 생성했습니다.

• 모델: 35 개의 오픈 가중치 모델 (DeepSeek, GLM, Llama, Qwen, MiniMax 등) 을 대상으로 1B~480B 파라미터 규모까지 테스트.
• 컨텍스트 길이: 32K, 128K, 200K 토큰 (모델 지원 여부에 따라 차등 적용).
• 온도 (Temperature): 0.0, 0.4, 0.7, 1.0 의 4 가지 설정 (각 구성당 8 회 실행).
• 하드웨어: NVIDIA H200, AMD MI300X, Intel Gaudi3 등 3 가지 플랫폼에서 교차 검증 수행.

4. 주요 결과 (Key Results)

A. 하드웨어의 영향 부재

• NVIDIA, AMD, Intel 플랫폼 간 성능 차이는 통계적으로 유의미하지 않았습니다 (평균 0.58%p 차이).
• 하드웨어 선택은 모델 선택이나 온도 설정에 비해 성능에 미치는 영향이 미미하며, 배포 시 비용과 가용성만 고려하면 됩니다.

B. 컨텍스트 길이에 따른 성능 급감 (Context Degradation)

• 모든 모델이 성능 저하를 보임: 컨텍스트 길이가 길어질수록 정확도가 떨어지고 환각률은 급증합니다.
• 32K vs 200K: 32K 에서 최상위 모델 (GLM 4.5) 은 1.19% 의 환각률을 보였으나, 200K 에서는 최상위 모델조차 10% 미만의 환각률을 유지하지 못했습니다.
• GLM 4.6 의 사례: 32K 에서 93% 정확도를 보이다가 200K 에서는 37% 로 추락하며, 환각률이 7% 에서 71% 로 폭증했습니다. 이는 광고된 컨텍스트 길이가 실제 사용 가능한 용량과 다를 수 있음을 시사합니다.

C. 모델 선택이 가장 중요한 변수

• 모델 패밀리의 중요성: 모델 크기 (파라미터 수) 보다는 **모델 패밀리 (Training/Alignment)**가 환각 저항성을 더 잘 예측합니다.
  • GLM 패밀리: 모든 사이즈에서 낮은 환각률을 유지 (GLM 4.5: 1.19%).
  • Llama 3.x 패밀리: 크기와 관계없이 높은 환각률을 보임 (Llama 3.1 70B: 49.50% 환각).
• 성능 격차: 최상위 모델과 최하위 모델 간의 정확도 격차는 72%p 에 달하며, 이는 온도 튜닝이나 하드웨어 최적화로는 해결할 수 없는 차원입니다.

D. 온도의 역설 (Temperature Effects)

• T=0.0 의 한계: "T=0.0 이 항상 최선"이라는 통념은 사실이 아닙니다.
  • 전체 정확도 면에서는 T=0.0 이 60% 의 경우에서 최상이지만, **환각률 (Fabrication) 을 줄이는 데는 T=0.0 이 오히려 더 나쁜 경우 (53%)**가 많습니다.
• 일관성 손실 (Coherence Loss): T=0.0 은 무한 루프 (Infinite Generation Loops) 발생 확률을 극적으로 증가시킵니다.
  • 긴 컨텍스트 (200K) 에서 T=0.0 은 T=1.0 대비 최대 48 배 더 높은 루프 발생률을 보였습니다.
  • 기업 배포에서는 T=0.4~0.7 정도의 중간 온도가 정확도, 환각 억제, 루프 방지 간의 균형을 맞추는 데 더 적합할 수 있습니다.

E. 근거성 (Grounding) 과 환각 저항성 (Fabrication Resistance) 의 분리

• 중요한 발견: 문서를 잘 찾아내는 능력 (Grounding) 과 존재하지 않는 사실을捏造하지 않는 능력 (Fabrication Resistance) 은 서로 다른 능력입니다.
• 사례: Llama 3.1 70B 는 90% 이상의 근거성 점수를 받았으나, 존재하지 않는 정보에 대한 질문에는 49.5% 의 확률로 환각을 일으켰습니다.
• 이는 단순한 검색/추출 벤치마크만으로는 모델의 신뢰성을 평가할 수 없음을 의미합니다.

5. 의의 및 시사점 (Significance & Implications)

1. 환각은 피할 수 없음 (Non-zero Floor): 최적 조건에서도 최상위 모델은 1.19% 의 환각을 일으키며, 중위권 모델은 약 25% 의 환각률을 보입니다. 따라서 기업용 시스템에는 환각 탐지 및 완화 메커니즘이 필수적입니다.
2. 모델 선정의 우선순위: 하드웨어나 온도 설정보다 모델 패밀리 선정이 가장 큰 영향력을 미칩니다. GLM 이나 MiniMax 계열은 Llama 계열보다 환각 저항성이 월등히 높습니다.
3. 컨텍스트 길이의 함정: 모델이 지원하는 최대 컨텍스트 길이는 실제 신뢰할 수 있는 길이가 아닙니다. 실제 배포 환경 (128K, 200K 등) 에서의 성능 테스트가 필수적입니다.
4. 평가 방법론의 개선 필요: 기존 '근거성' 중심의 평가는 위험합니다. RIKER 와 같은 Ground-Truth-First 접근법을 통해 '존재하지 않는 정보에 대한 답변 거부 능력'을 직접 평가해야 합니다.
5. 온도 설정의 재고: T=0.0 을 맹신하는 것은 위험할 수 있습니다. 특히 긴 컨텍스트 환경에서는 T=0.0 이 시스템의 안정성 (루프 방지) 을 해칠 수 있으므로, 상황에 맞는 온도 설정이 필요합니다.

결론

이 연구는 LLM 이 문서 기반 Q&A 에서 상당하고 피할 수 없는 수준으로 환각을 일으킨다는 사실을 1720 억 토큰 규모의 대규모 데이터를 통해 입증했습니다. 특히 모델 패밀리 선택과 컨텍스트 길이 관리가 성능을 결정하는 핵심 요소이며, Grounding 과 Fabrication 은 분리된 능력임을 밝혀내어 향후 모델 개발 및 평가 기준의 방향성을 제시했습니다.