Quantifying Hallucinations in Language Language Models on Medical Textbooks

이 논문은 의료 교과서 기반 질문응답에서 LLaMA-70B-Instruct 모델의 환각 발생률 (19.7%) 을 측정하고, 환각률이 낮을수록 임상 전문가의 유용성 평가가 높아지는 경향이 있음을 규명했습니다.

핵심

🏥 핵심 비유: "완벽해 보이는 로봇 의사"

상상해 보세요. 거대한 도서관 (학습 데이터) 을 모두 읽은 로봇 의사가 있습니다. 이 로봇은 의학 시험에서 100 점 만점을 맞을 정도로 똑똑해 보입니다. 하지만 문제는 이 로봇이 자신도 모르게 엉뚱한 사실을 지어내거나 (환각, Hallucination), 책에 없는 내용을 마치 있는 것처럼 말하는 것입니다.

이 연구는 "로봇 의사가 환자를 진료할 때, 얼마나 자주 이런 위험한 거짓말을 할까?"를 확인하기 위해 새로운 실험을 진행했습니다.

🔍 연구의 배경: 왜 새로운 시험이 필요할까?

기존의 의학 시험은 로봇이 "A, B, C, D 중 정답을 고르라"는 식으로 출제되었습니다. 하지만 로봇은 이 시험을 볼 때 과거에 본 문제를 암기해서 맞출 뿐, 진짜 의학 지식을 이해하는지 알 수 없었습니다. 마치 시험 문제집을 통째로 외운 학생이 실제 임상 현장에서 환자를 보는 것과 비슷합니다.

그래서 연구팀은 **"이전에는 한 번도 본 적 없는 새로운 의학 책 (교과서) 의 한 구절을 보여주고, 그 내용만으로 답을 하라"**는 새로운 시험을 만들었습니다.

🧪 실험 과정: 두 가지 미션

연구팀은 두 가지 실험을 했습니다.

1. 미션 1 (로봇의 거짓말 찾기):

   • 유명한 오픈소스 로봇 (LLaMA-70B) 에게 새로운 의학 책 구절을 주고 질문을 시켰습니다.
   • 결과: 로봇이 만든 답 중 **약 20% (5 개 중 1 개)**는 책에 없는 내용을 지어내거나 틀린 정보를 포함하고 있었습니다.
   • 재미있는 점: 로봇의 말투는 매우 전문적이고 그럴듯했습니다. 98.8% 의 답이 "아주 그럴듯해 보였지만", 그중 20% 는 사실은 거짓말이었습니다. 즉, 겉보기엔 완벽해 보이지만 속은 빈 껍데기일 수 있다는 경고입니다.

2. 미션 2 (여러 로봇 비교 & 의사 평가):

   • 다양한 크기의 로봇 8 개를 시험에 참여시켰고, 실제 현직 의사들에게 이 답들을 평가하게 했습니다.
   • 결과:
     • 크기가 큰 로봇일수록 거짓말을 덜 했습니다. (작은 로봇은 27% 거짓말, 큰 로봇은 9% 거짓말)
     • 하지만 아무리 큰 로봇이라도 100% 거짓말을 안 하는 로봇은 없었습니다.
     • 의사들의 평가: 거짓말이 적은 로봇일수록 의사들이 "이 답은 쓸모있다"고 평가했습니다.

💡 중요한 발견: "역발상" 질문이 로봇을 당황시킨다

연구팀은 로봇을 더 잘 테스트하기 위해 **"거꾸로 묻는 질문"**을 사용했습니다.

• 일반 질문: "이 약은 HIV 환자에게 안전한가요?"
• 역발상 질문: "이 약은 HIV 환자에게 안전하지 않은 약은 무엇인가요?"

그랬더니 로봇들이 거꾸로 묻는 질문에서 훨씬 더 많이 헛소리를 했습니다. 마치 거울에 비친 글자를 읽으려다 혼란을 겪는 것처럼, 로봇은 부정문이나 복잡한 조건을 처리할 때 약점을 드러냈습니다.

💰 결론: "로봇은 아직 혼자 진료할 수 없다"

이 연구의 결론은 매우 명확합니다.

1. 로봇은 여전히 위험합니다: 아무리 똑똑해 보여도, 의학 같은 고위험 분야에서는 로봇이 혼자서 환자를 진료하게 하면 안 됩니다. 5 명 중 1 명은 잘못된 정보를 줄 수 있기 때문입니다.
2. 검증 비용이 비쌉니다: 로봇이 만든 답을 100% 믿을 수 없기 때문에, 실제 인간 의사 (전문가) 가 하나하나 확인해 봐야 합니다. 이 '사람이 확인하는 과정'이 자동화 시스템의 가장 큰 비용이자 병목 현상입니다.
3. 미래의 방향: 로봇을 의학에 쓰려면, 로봇이 답을 내면 반드시 인간 전문가가 "이게 책에 있는 내용인가?"를 확인하는 시스템이 필수적입니다.

📝 한 줄 요약

"거대 인공지능은 의학 시험에서 100 점 만점을 받을 수 있지만, 실제 진료에서는 5 번 중 1 번은 엉뚱한 거짓말을 합니다. 따라서 로봇이 의사를 대체하기 전까지는, 반드시 인간 의사가 로봇의 말을 하나하나 검증해야 합니다."

이 연구는 인공지능이 얼마나 발전했는지 자랑하는 것이 아니라, **"의사라는 직업에서 인공지능의 한계를 명확히 보여주고, 안전을 위해 인간이 반드시 개입해야 함"**을 강조하는 중요한 경고입니다.

기술 요약

논문 개요

이 연구는 의료 분야 대형 언어 모델 (LLM) 의 '할루시네이션 (Hallucination, 사실과 다른 정보 생성)' 문제를 정량화하고, 기존 벤치마크의 한계를 극복하기 위해 공공 도메인 의학 교과서를 기반으로 한 새로운 평가 프레임워크를 제안합니다. 연구진은 LLM 이 의료 텍스트에 근거하여 답변할 때 얼마나 자주 사실과 다른 정보를 생성하는지, 그리고 이러한 오류가 임상 전문가의 선호도와 어떻게 연관되는지 분석했습니다.

1. 문제 정의 (Problem Statement)

• 할루시네이션의 위험성: LLM 은 의료 QA(질문 응답) 벤치마크에서 높은 점수를 얻지만, 사실적 근거가 없거나 잘못된 정보를 생성하는 '할루시네이션'을 빈번히 일으킵니다. 이는 임상적으로 치명적인 실패 모드로 간주됩니다.
• 기존 벤치마크의 한계:
  • 기존 의료 QA 벤치마크 (MEDQA, MedMCQA 등) 는 주로 객관식 문제 풀이 능력을 평가하여, 모델이 지식을 '이해'했는지 아니면 단순히 '암기'했는지 구분하기 어렵습니다.
  • 훈련 데이터 오염 (Contamination) 으로 인해 벤치마크 점수가 실제 일반화 능력을 반영하지 못할 수 있습니다.
  • 최근의 벤치마크들은 설명력을 평가하지만, 명시적으로 '할루시네이션'을 패널티로 부과하거나 출처에 대한 충실도 (Faithfulness) 를 정밀하게 측정하지는 못합니다.
• 핵심 질문: 의료 교과서 기반의 새로운 질문 (Novel Prompts) 에 대해 LLM 이 얼마나 자주 할루시네이션을 일으키며, 이는 모델 크기와 아키텍처에 따라 어떻게 달라지는가?

2. 방법론 (Methodology)

연구진은 ClinIQLink라는 파이프라인을 개발하여 다음과 같은 단계를 거쳤습니다.

A. 데이터셋 구축 (Corpus & Prompt Construction)

• 소스: 공공 도메인 의학 교과서에서 정보를 추출했습니다.
• 필터링: 15 토큰 미만 또는 불필요한 텍스트 (네비게이션, 면책 조항 등) 를 제거하고, 정보 밀도가 높은 단락만 선별했습니다.
• QA 쌍 생성: 추출된 단락을 기반으로 7 가지 형식 (True/False, 목록, 객관식, 단답형, 멀티홉 추론 및 그 역변형 등) 의 질문 - 답변 쌍을 자동으로 생성했습니다.
• 검증: 생성된 5,543 개의 QA 쌍을 의료 전문가 (임상 의사) 가 2 단계 (단일/이중 주석) 로 검증하여 '골드 스탠다드' 벤치마크를 구축했습니다.

B. 실험 설계

• 실험 1 (Baseline Prevalence): 오픈 소스 모델인 LLaMA-70B-Instruct를 사용하여 할루시네이션 발생 빈도를 측정했습니다.
• 실험 2 (Cross-Model & Preference): 실험 1 에서 검증된 벤치마크를 8 개의 다양한 언어 모델 (Phi-4, LLaMA 3.3, Qwen 3, Mistral, Falcon 등) 에 적용했습니다.
  • 임상 전문가 평가: 의사들이 모델 답변을 무작위 순서로 확인하고, 사실적 정확성과 임상 유용성에 따라 순위를 매기고 (1~8 등), 품질 태그 (Bad/Okay/Good) 를 부여했습니다.

C. 평가 지표 (Metrics)

• 할루시네이션율: 정의된 기준 (출처와 일치하지 않거나 사실적이지 않은 내용) 을 만족하는 답변의 비율.
• 타당성 (Plausibility) & 답변 가능성 (Answerability): 생성된 QA 쌍의 의학적 관련성과 질문을 잘 답했는지 여부.
• 임상 전문가 일치도: 코헨의 카파 (Cohen's κ) 및 켄달의 타우 (Kendall's τ) 를 사용하여 주석자 간 일관성을 측정했습니다.

3. 주요 결과 (Key Results)

A. 할루시네이션 발생률

• LLaMA-70B-Instruct: 5,543 개의 질문 중 **19.7% (95% CI: 18.6~20.7%)**의 답변에서 할루시네이션이 발생했습니다.
• 유사성 vs. 사실성: 98.8% 의 답변이 높은 '유사성 (Plausibility)' 점수를 받았으나, 이는 사실적 정확성과는 무관했습니다. 즉, 매우 그럴듯하게 들리는 답변일수록 할루시네이션일 확률이 높음을 시사합니다.

B. 모델 규모와 아키텍처의 영향

• 모델 규모: 모델 크기가 커질수록 할루시네이션 발생률이 감소했습니다.
  • 1B 모델: 27.1%
  • 70B 모델: 9.3%
• 질문 형식의 영향:
  • 역방향 (Inverse) 프롬프트: "어떤 약이 안전한가?" 대신 "어떤 약이 안전하지 않은가?"와 같은 부정을 포함하는 질문은 할루시네이션을 6~9% 더 많이 유발했습니다.
  • 목록 (List) 형식: 특정 조건이나 금기 사항을 모두 나열하는 질문은 모델이 누락하거나 잘못된 정보를 추가하기 쉬워, 가장 효과적인 스트레스 테스트로 작용했습니다.

C. 임상 전문가 선호도와의 상관관계

• 부정적 상관관계: 할루시네이션율이 낮은 모델일수록 임상 전문가로부터 더 높은 유용성 점수 (Good/Okay) 를 받았습니다 (Spearman's ρ = -0.71, p = 0.058).
• 일치도: 임상 전문가들 간의 평가 일치도는 매우 높았습니다 (유효성 판단: κ = 0.92, 임상 유용성: κ = 0.94).

D. 비용 분석

• 자동 생성 파이프라인의 비용은 낮았으나, 전문가에 의한 검증 (Human Verification) 비용이 전체 비용의 대부분을 차지했습니다.
• 검증 비용은 자동 생성 비용보다 10 배 이상 (Order of Magnitude) 높게 나타났습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 (ClinIQLink): 훈련 데이터 오염을 피하고, 출처 기반의 사실적 정확성을 평가할 수 있는 5,543 개의 검증된 의료 QA 벤치마크를 공개했습니다.
2. 할루시네이션 정량화: 의료 LLM 의 할루시네이션 발생 빈도를 구체적인 수치로 제시하고, 모델 규모와 질문 형식이 오류율에 미치는 영향을 규명했습니다.
3. 임상적 유효성 검증: 모델의 벤치마크 점수가 실제 임상 전문가의 선호도와 얼마나 일치하는지를 실증적으로 분석했습니다.
4. 검증 비용의 중요성 강조: 자동화된 생성만으로는 안전성을 보장할 수 없으며, 인간 전문가의 검증이 필수적임을 비용 분석을 통해 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 경고: 현재 평가된 모든 규모의 LLM 은 의료 분야에서 감독 없이 (Unsupervised) 배포하기에 적합하지 않습니다. 모든 모델이 일정 수준의 할루시네이션을 발생시키기 때문입니다.
• 평가 방법론의 개선: 단순한 객관식 점수나 유창성 평가보다는, **역방향 질문 (Inverse prompts)**과 **목록형 질문 (List-type)**을 포함한 다양한 형식의 스트레스 테스트가 할루시네이션을 포착하는 데 필수적입니다.
• 실용적 시사점: 의료 분야 LLM 적용을 위해서는 자동화 파이프라인보다 **전문가 검증 (Human-in-the-loop)**이 핵심 비용이자 안전 장치입니다. 검증 프로세스의 자동화가 인간 전문가 수준에 도달하기 전까지는 LLM 기반 시스템의 고위험 의료 환경 적용은 불가능합니다.

이 연구는 의료 AI 의 안전성을 담보하기 위해 단순한 성능 지표가 아닌, 근거 기반의 사실성 검증과 인간 전문가의 개입이 필수적임을 강력하게 주장합니다.