기술 요약: 더 건강한 LLM: 공중 보건 질의응답을 위한 검색 증강 생성(RAG)

문제 정의

대규모 언어 모델(LLM)은 의료 질의응답 분야에서 유망한 가능성을 보여주지만, 공중 보건 응용 분야에서는 환각(hallucination) 현상과 급격히 변화하는 공식 지침을 따라가지 못한다는 치명적인 한계에 직면해 있습니다. 개인 환자를 대상으로 하는 임상 의사 결정 지원과 달리, 공중 보건 지침은 인구 수준을 대상으로 하며 예방적이고 빈번하게 업데이트됩니다. 파라미터 메모리에만 의존하는 것은 시대에 뒤떨어지거나 부정확한 조언을 유포할 위험이 있으며, 이는 개인의 잘못된 의사 결정이나 위험한 인구 집단 행동으로 이어질 수 있습니다. 검색 증강 생성(RAG)은 외부 코퍼스에 답변을 근거하도록 함으로써 해결책을 제시하지만, RAG의 엔드 투 엔드(end-to-end) 성능은 표준적인 객관식 형식을 넘어선 특정 검색 구성 및 평가 방법에 크게 좌우됩니다.

방법론

저자들은 영국 정부의 공중 보건 지침에서 파생된 7,929개의 객관식 질문(MCQA)과 760개의 자유 형식 질문으로 구성된 PubHealthBench를 검색 증강 환경으로 확장했습니다.

1. 데이터셋 및 코퍼스

• 출처: 10개 주제 영역을 다루는 687개의 영국 정부 공중 보건 지침 문서.
• 코퍼스 구축: 문서를 마크다운(Markdown) 형식으로 변환하고 헤더 계층 구조에 따라 청크(chunk)로 분할하여 총 5,358개의 청크를 생성함.
• 코퍼스 변형:
  • CF (전체 코퍼스): 원본 청크.
  • CS (요약 전용): 검색을 위해 GPT-4o-mini가 요약한 청크.
  • CR (축소된 코퍼스): 임베딩 모델의 컨텍스트 제한에 맞추기 위해 512 토큰을 초과하는 청크를 요약본으로 대체.

2. 검색 전략

연구는 여러 임베딩 모델(예: NV-Embed-v2, Multilingual-E5, ModernBERT)과 희소 인덱스(BM25, TF-IDF)에 대해 다섯 가지 검색 구성을 체계적으로 평가했습니다:

• Dense-only (밀집 기반 단독): 밀집 임베딩을 사용한 코사인 유사도 방식.
• Sparse-only (희소 기반 단독): 키워드 중첩(BM25/TF-IDF) 방식.
• Hybrid (하이브리드): 밀집 및 희소 검색 결과의 가중치 재순위 재결합(RRF) 방식.
• Summary-based Hybrid (요약 기반 하이브리드): 요약본에 대해 하이브리드 검색을 수행하되, 생성 단계에는 전체 청크를 전달하는 방식.
• Reduced-corpus Hybrid (축소 코퍼스 하이브리드): 긴 청크가 요약된 코퍼스에 대해 하이브리드 검색을 수행하는 방식.

3. 생성 및 평가

• 모델: 1B에서 70B 파라미터에 이르는 11개의 LLM (예: Llama 3.3, Phi-4, Gemma-3, MedGemma).
• MCQA 평가: 다양한 컨텍스트 청크 개수($k \in \{1, 3, 5, 10\}$)에 따른 PubHealthBench-Full의 정확도를 측정함.
• 자유 형식 평가: 루브릭 기반 LLM-as-a-Judge(GPT-OSS-120B)를 도입하여 네 가지 기준인 충실성(Faithfulness)(새로운 주장 없음), 완전성(Completeness)(모든 핵심 사항 포함), 사실적 일관성(Factual Consistency)(지침 대비 정확성), **명료성(Clarity)**을 평가함.
• 검증: LLM 판정사는 100개의 응답 샘플에 대해 인간 전문가의 이중 주석과 비교하여 Cohen's $\kappa$ 및 macro-F1을 통해 검증됨.

주요 결과

검색 성능

• 하이브리드의 우월성: 하이브리드 검색은 모든 지표(Recall@k, MRR, nDCG@10)에서 밀집 단독 및 희소 단독 방식을 일관되게 능가했습니다.
• 모델 민감도: NV-Embed-v2가 가장 강력한 밀집 모델이었으나, 하이브리드 검색은 대형 및 소형 임베딩 모델 간의 성능 격차를 유의미하게 좁혔습니다(예: 소형 인코더의 성능을 5~10%포인트 향상시킴).
• 청크 길이의 영향: 타겟 청크 길이가 700~800 단어를 초과함에 따라 순위 품질(Precision@1, MRR)이 급격히 저하되었습니다. 요약 기반 검색이 이를 부분적으로 완화했으나 완전히 제거하지는 못했습니다.
• 주제별 편차: 재현율(Recall)은 주제와 무관하게 나타났으나, 순위 품질은 주제별(예: 결핵 vs 혈액 안전)로 체계적인 편차를 보였습니다. 이는 주제 특유의 언어나 구조가 임베딩 성능에 영향을 미칠 수 있음을 시사합니다.

생성 성능 (MCQA)

• 검색의 영향: 검색된 컨텍스트를 제공하는 것은 MCQA 정확도를 실질적으로 높였습니다. 고품질의 검색을 동반한 소형 오픈 웨이트 모델(예: Phi-4-14B, Gemma-3-12B)은 검색 없이 작동하는 대형 모델(예: GPT-4.5)의 성능을 대등하게 따라잡거나 능가했습니다.
• 최적의 컨텍스트: 최대 정확도는 일반적으로 $k=3$에서 $k=5$ 사이의 청크를 제공할 때 달성되었습니다. $k$를 10까지 늘리면 노이즈가 유입되어 수익 체감(diminishing returns)이 발생했습니다.
• 순위 민감도: 정답 청크를 1순위(rank 1)로 검색했을 때 가장 큰 이득이 있었습니다. 소형 모델은 대형 모델보다 순위 위치에 더 민감했으며, 대형 모델은 더 노이즈가 많은 컨텍스트에서도 관련 정보를 추출할 수 있었습니다.

자유 형식 평가 및 판정사 검증

• 판정사 신뢰도: LLM 판정사는 충실성($\kappa \approx 0.64$)과 완전성($\kappa \approx 0.59$) 측면에서 인간과 높은 일치도를 보였습니다. 반면 사실적 일관성($\kappa \approx 0.06$)과 명료성에 대한 일치도는 낮았으며, 이는 해당 차원들이 자동화하기 어렵다는 것을 나타냅ers.
• 모델 동작: 중간 및 대형 모델은 높은 완전성과 명료성을 달려냈으나, 충실성 측면에서는 어려움을 겪었습니다. 최상위 모델조차 충실성 기준을 약 64%의 경우에만 충족했으며, 종종 외부 지침을 포함하는 경향을 보였습니다.
• 순위에 따른 충실성 변화: 타겟 청크의 순위가 높아짐에 따라 충실성이 급격히 떨어졌으며, 이는 모델이 초기 컨텍스트에 크게 의존하며 가장 관련 있는 증거가 뒤로 밀릴 경우 환각을 일으킨다는 점을 확인시켜 줍니다.

의의 및 주장

본 논문은 검색 구성이 신뢰할 수 있는 공중 보건 QA를 위한 핵심 레버이며, 모델 크기 자체보다 더 영향력이 크다고 주장합니다.

1. 안정화 도구로서의 RAG: LLM을 명시적으로 관리되는 공식 지침 코퍼스에 근거하게 함으로써 환각과 시대에 뒤떨어진 조언을 완화하고, 모델 재학습 없이도 진화하는 공중 보건 정책에 정렬된 상태를 유지할 수 있습니다.
2. RAG를 통한 효율성: 잘 설계된 검색 스택을 통해 소형 오픈 웨이트 모델이 파라미터 메모리에만 의존하는 대형 폐쇄형 모델보다 뛰어난 성능을 낼 수 있습니다. 이는 예산과 인프라 제약이 있는 공중 보건 기관에 실질적인 경로를 제공합니다.
3. 평가의 미묘함: 본 연구는 표준 MCQA 벤치마크가 정답 옵션의 힌트로 인해 능력을 과대평가할 수 있음을 강조합니다. 자유 형식 평가가 필요하지만, 현재 자동화된 "사실적 일一致성" 평가는 신뢰도가 낮으므로 인간의 감독이나 추가적인 방법론 개발이 필요합니다.
4. 실무적 지침: 배포를 위해 저자들은 하이브리드 검색, 세심한 청킹(과도한 길이 방지), 그리고 최적의 성능 대비 비용 비율을 위한 상위 3~5개 청크로의 컨텍스트 제한을 권장합니다.

결론적으로, RAG는 신뢰성을 크게 개선하지만, 향후 벤치마크는 실제 공중 보건 시나리오에서의 시스템 견고성을 완전히 테스트하기 위해 다중 증거 지원(multi-evidence support) 및 코퍼스 외 질의(out-of-corpus queries) 문제를 다루어야 합니다.