Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information

이 논문은 영국 정부 공중보건 정보를 기반으로 한 새로운 벤치마크 'PubHealthBench'를 개발하여 최신 LLM 들이 객관식 질문에서는 인간을 능가하는 높은 정확도를 보이지만, 자유형 응답에서는 75% 미만의 성능을 보여 추가적인 안전장치가 필요함을 밝혔습니다.

핵심

🏥 "건강한 AI?" 영국 공공보건 지식을 테스트한 보고서

이 논문은 **"인공지능 (AI) 챗봇이 영국의 공공보건 정보 (예: 백신 접종 시기, 식중독 예방법 등) 를 얼마나 잘 알고 있을까?"**를 확인한 실험 결과입니다. 연구진은 영국 보건안전청 (UKHSA) 소속으로, AI 가 잘못된 정보를 알려주면 국민들의 건강에 큰 위험이 될 수 있다고 판단해 이 연구를 진행했습니다.

이 복잡한 연구를 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 연구 배경: "AI 는 의사가 될 수 있을까?"

요즘 AI 챗봇은 우리 질문에 아주 잘 대답합니다. 하지만 만약 AI 가 "감기에 걸리면 이 약을 드세요"라고 엉뚱한 약을 추천한다면 어떨까요? 특히 영국의 정부 보건 지침은 수시로 바뀌고 매우 전문적입니다.

연구진은 **"AI 가 마치 공인된 보건 전문가처럼 정확한 정보를 줄 수 있을까?"**를 확인하기 위해 새로운 시험지인 **'PubHealthBench'**를 만들었습니다. 이는 마치 **영국 보건부에서 출제한 8,000 문항의 '최고 난이도 보건 자격증 시험'**과 같습니다.

2. 시험지 만들기: "수천 권의 두꺼운 책을 AI 가 읽게 하기"

연구진은 영국 정부 웹사이트에 있는 687 개의 보건 지침 문서 (PDF 와 웹페이지) 를 모두 긁어모았습니다.

• 자동화 공장: 사람이 8,000 개의 문제를 직접 만들면 몇 년이 걸립니다. 그래서 연구진은 AI 를 이용해 이 문서들을 분석하고, 자동으로 **객관식 문제 (MCQA)**와 **주관식 문제 (Free Form)**를 만들어냈습니다.
• 품질 관리: 만들어진 문제 중에는 "정답이 애매한 것"이나 "오타가 있는 것"도 있었습니다. 인간 전문가들이 800 개의 문제를 직접 검토하여 "이건 진짜 시험 문제다"라고 승인한 뒤, 최종 시험지를 완성했습니다.

3. 시험 결과: "객관식은 천재, 주관식은 초보?"

24 개의 최신 AI 모델 (GPT-4.5, Claude, Llama 등) 에게 이 시험을 치르게 했습니다. 결과는 매우 흥미로웠습니다.

A. 객관식 시험 (Multiple Choice) 📝

• 상황: 정답이 A, B, C, D 중에 하나라고 알려주고 고르게 하는 방식입니다.
• 결과: 최신 AI 모델들은 90% 이상의 압도적인 점수를 받았습니다. 심지어 일반인 (검색 엔진을 사용하는 사람) 보다 훨씬 잘 풀었습니다.
• 비유: 마치 **"정답지가 있는 시험"**을 치는 상황입니다. AI 는 기억력도 좋고, 보기 중에서 가장 그럴듯한 답을 골라내는 능력이 탁월합니다.

B. 주관식 시험 (Free Form) 💬

• 상황: 보기가 없습니다. "감기에 걸렸을 때 어떻게 해야 하나요?"라고 물으면 AI 가 직접 설명을 해야 합니다.
• 결과: 점수가 급격히 떨어졌습니다. 최고의 모델도 75% 를 넘지 못했습니다.
• 비유: **"정답지 없이, 내 기억만으로 설명하는 상황"**입니다.
  • AI 는 때로는 없는 정보를 지어내거나 (할루시네이션),
  • 중요한 정보를 빼먹거나,
  • 혹은 시기를 잘못 말해 (예: "지금 백신을 맞으세요"라고 하지만 실제로는 2 주 뒤여야 함) 위험한 상황을 만들기도 했습니다.

4. 핵심 발견: "누가 더 잘할까?"

• 최고 모델 vs 일반 모델: 가장 최신이고 비싼 AI 모델 (GPT-4.5, o1 등) 은 객관식에서 인간을 압도했지만, 주관식에서는 여전히 실수가 많았습니다. 반면, 작고 저렴한 AI 모델들은 두 방식 모두에서 큰 실수를 했습니다.
• 대상별 차이: AI 는 일반 시민을 위한 정보는 잘 알고 있었지만, 의사나 전문가를 위한 복잡한 임상 지침은 상대적으로 잘 모르고 있었습니다.
  • 왜 중요할까요? 일반인들이 AI 챗봇을 가장 많이 쓰는데, 이 부분에서 실수가 나면 가장 큰 피해가 발생할 수 있기 때문입니다. 다행히 일반인용 정보는 비교적 잘 알고 있었습니다.

5. 결론: "AI 는 훌륭한 조수지만, 의사는 아니다"

이 연구는 두 가지 중요한 메시지를 줍니다.

1. 기대: 최신 AI 는 영국 보건 지침에 대해 놀라울 정도로 많은 지식을 가지고 있습니다. 객관식 퀴즈에서는 인간 전문가 못지않게 훌륭합니다.
2. 경고: 하지만 **자유롭게 대화할 때 (주관식)**는 여전히 **환각 (거짓말)**을 하거나 정보를 잘못 전달할 위험이 큽니다.

마무리 비유:
AI 는 **"방대한 도서관을 모두 읽은 초지능 사서"**와 같습니다. 책에서 정보를 찾아내는 능력 (객관식) 은 천재적이지만, 그 정보를 바탕으로 실제 환자를 치료하거나 복잡한 상황을 판단할 때 (주관식) 는 아직 인간 전문가의 도움을 받아야 합니다.

따라서, 우리 건강과 직결된 정보를 AI 에게 물어볼 때는 **"AI 가 말한 내용을 반드시 공식 웹사이트나 전문가와 다시 한번 확인하는 습관"**이 필요합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 보편화되면서 의료 및 공중보건 분야에서 정확한 정보 제공이 필수적이지만, 현재 공중보건 분야에 특화된 LLM 평가 벤치마크는 부재한 상태입니다.
• 문제:
  • 영국 정부 공중보건 지침 (UK Government Public Health Guidance) 은 수시로 개정되고 기관별, 지역별로 상이하여 LLM 이 최신 정보를 정확히 파악하기 어렵습니다.
  • LLM 이 환각 (Hallucination) 이나 불완전한 정보를 생성할 경우, 일반 시민의 건강 결정에 치명적인 영향을 미칠 수 있습니다.
  • 기존 의료 분야 벤치마크 (USMLE 등) 는 임상 의학에 집중되어 있으며, 예방, 환경 위험, 감염병 관리 등 공중보건 (Public Health) 전반을 포괄하는 평가 도구가 없습니다.

2. 방법론 (Methodology)

가. PubHealthBench 데이터셋 구축

• 데이터 소스: 영국 정부 웹사이트 (gov.uk) 에 있는 687 개의 최신 공중보건 지침 문서 (PDF 및 HTML, 총 1,150 개 문서 중 선별) 에서 텍스트를 추출했습니다.
• 자동화 파이프라인:
  1. 전처리: HTML 을 마크다운으로 변환하고, PDF 는 GPT-4o-mini 비전 모델을 활용해 텍스트를 추출했습니다.
  2. Chunking: 문서 헤더 계층 구조를 유지하며 20,488 개의 섹션 단위로 분할했습니다.
  3. 필터링: 공중보건 권고 사항이 포함된 섹션만 선별하고 (약 7,946 개), 2,000 단어를 초과하는 긴 텍스트는 제거했습니다.
  4. 질문 생성: Llama-3.3-70B 를 사용하여 각 섹션당 2 개의 4 지 선다형 (MCQA) 문제를 생성했습니다. 정답 1 개와 오답 (Distractor) 6 개를 포함하며, 체인 오브 씽킹 (CoT) 프롬프트를 활용했습니다.
  5. 품질 관리: 생성된 15,666 개의 후보 질문 중 LLM 을 이용한 자동 오류 검출과 인간 전문가의 수동 검사를 통해 최종 8,090 개의 질문으로 구성된 벤치마크 (PubHealthBench) 를 완성했습니다.
• 데이터 구성: 10 가지 공중보건 주제 (예: 백신, 감염병, 화학물질 등) 와 352 개의 세부 영역을 포함하며, 대상별 (일반인, 전문가, 임상) 지침을 모두 아우릅니다.

나. 평가 방식

• 모델 대상: 24 개의 상용 (Proprietary) 및 오픈 가중치 (Open-weight) LLM 평가 (GPT-4.5, o1, Llama-3.3, Gemma 등).
• 평가 시나리오:
  1. PubHealthBench-Full: 전체 8,090 개 MCQA 문제 평가.
  2. PubHealthBench-Reviewed: 인간 전문가가 검증한 760 개 하위 집합 평가.
  3. PubHealthBench-FreeForm: 객관식 옵션 없이 자유 형식 (Free-form) 으로 답변하게 한 후, LLM Judge(GPT-4o-Mini) 를 통해 원문과 일치하는지 이진 분류로 평가.
• 벤치마크: 인간 전문가 5 명이 검색 엔진을 사용하되 LLM 은 사용하지 않고 2 분 내외로 답변한 점수를 'Human Baseline'으로 설정했습니다.

3. 주요 기여 (Key Contributions)

1. PubHealthBench 출시: 영국 공중보건 지침을 기반으로 한 최초의 대규모 MCQA 및 자유 형식 응답 벤치마크 (8,000 개 이상 질문) 를 공개했습니다.
2. 자동화 생성 파이프라인: 수천 개의 고품질 MCQA 문제를 생성하고 검증하는 자동화 프로세스를 제시하여, 향후 다른 도메인이나 언어로 확장 가능한 방법론을 제시했습니다.
3. 포괄적인 평가 결과: 최신 SOTA 모델부터 소형 오픈 모델까지 24 개 모델을 평가하고, 객관식과 자유 형식 응답 간의 성능 격차를 정량화했습니다.
4. 인간 - AI 비교: 일반인이 검색 엔진을 사용할 때의 성능과 LLM 의 성능을 비교하여, 실제 활용 시의 위험 수준을 가늠할 수 있는 기준을 마련했습니다.

4. 주요 결과 (Results)

가. 객관식 (MCQA) 성능

• 최신 모델의 우수성: GPT-4.5, GPT-4.1, o1 등의 최신 상용 모델은 90% 이상의 정확도를 기록하여 인간 베이스라인 (88%) 을 상회했습니다.
• 상한선: 인간 전문가의 검증과 무작위 추측을 고려할 때 벤치마크의 이론적 상한선은 약 97% 로 추정됩니다.
• 주제별 편차: '기후와 건강', '포용적 보건 환경' 등 특정 주제에서는 성능이 높았으나, '화학물질 및 독성학' 분야에서는 상대적으로 낮은 성능을 보였습니다.
• 대상별 편차: 일반인을 위한 지침에 대한 이해도가 높았으나, 임상 지침 (Clinical Guidance) 에 대해서는 성능이 상대적으로 떨어졌습니다.

나. 자유 형식 (Free-Form) 성능

• 성능 급감: 객관식에서 높은 점수를 받은 모델들도 자유 형식 응답에서는 성능이 17~62%p 까지 급격히 하락했습니다.
  • 최상위 모델 (o1) 도 74% 정확도에 그쳤으며, 많은 모델이 50% 미만으로 떨어졌습니다.
• 오류 유형:
  1. 불필요한 정보 추가: 원문에 없는 권고 사항을 덧붙이는 환각 현상.
  2. 중요 정보 누락: 필수적인 지침을 생략함.
  3. 상반된 정보: 원문과 모순되는 내용 (예: 개입 시기 오류) 을 생성.
• 모델 크기 영향: 소형 오픈 모델 (115B 파라미터) 은 객관식에서도 75% 미만, 자유 형식에서는 2040% 대로 매우 낮은 성능을 보여 위험도가 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 함의: 최신 LLM 은 공중보건 지식에 대해 높은 잠재력을 보이지만, 객관식 테스트와 실제 대화 (자유 형식) 간의 성능 격차가 크다는 점이 확인되었습니다. 이는 LLM 이 단순한 지식 회상에는 능숙하지만, 맥락에 맞는 정확한 정보 추출 및 생성에는 여전히 한계가 있음을 시사합니다.
• 실무적 시사점:
  • 공중보건 정보 제공용 LLM 을 도입할 때는 검색 도구 (RAG) 나 인간 검증 프로세스와 같은 추가적인 안전장치가 필수적입니다.
  • 특히 소형 모델의 경우 할루시네이션 위험이 매우 높으므로, 고위험 공중보건 분야에서는 신중한 도입이 필요합니다.
• 미래 방향: 이 벤치마크는 공중보건 분야 LLM 연구의 표준이 될 것이며, 향후 다국어 지원, 멀티턴 대화, 이미지 기반 쿼리 등 더 복잡한 시나리오로 확장될 필요가 있습니다.

요약: 본 논문은 영국 공중보건 지침을 평가하는 새로운 벤치마크 PubHealthBench를 제시하고, 최신 LLM 이 객관식에서는 인간을 능가하지만 자유 형식 응답에서는 여전히 부정확한 정보를 생성할 수 있음을 입증했습니다. 이는 공중보건 분야에서 LLM 을 안전하게 활용하기 위해 추가적인 검증 시스템이 필요함을 강력히 시사합니다.