Can Large Language Models Detect Contradicted Biomedical Evidence? A Dual-Annotator Benchmark Audit

기술 요약: 대규모 언어 모델은 상충하는 생물 의학적 증거를 탐지할 수 있는가?

문제 정의
생물 의학 질문 답변(QA) 시스템은 답변의 근거를 검색된 문헌에 두기 위해 검색 증강 생성(RAG)에 점점 더 많이 의존하고 있다. 그러나 생성된 답변이 검색된 증거에 의해 뒷받침되지 않거나, 오히려 증거와 정면으로 모순되는 결정적인 실패 모드가 존재한다. 본 연구는 두 가지 구체적인 격차를 다룬다: (1) 지식 그래프(KG) 신호를 검색에 통합하는 것이 답변 정확도를 향상시키는지 여부, 그리고 (2) 자동 검증기(LLM 및 분류기)가 생성된 답변과 증거가 서로 모순될 때 이를 신뢰성 있게 탐지할 수 있는지 여부이다. 저자들은 답변 수준의 정확도가 표준적인 지표이기는 하나, 근거가 결론을 뒷받침하지 못할 경우 시스템의 신뢰성을 평가하기에는 불충분하다고 지적한다.

연구 방법론
본 연구는 PubMedQA 데이터셋을 사용하여 두 갈래의 실험 설계를 채택하였다:

1. KG 유도형 검색 감사 (KG-RRAG):

   • 설정: 리랭킹 모듈(KG-RRAG)을 300개의 계층화된 PubMedQA 질문에 대해 표준 벡터 유사도 기반 RAG와 비교하였다.
   • 메커니즘: KG-RRAG는 쿼리별 생물 의학 그래프(엔티티를 UMLS 개념에 연결)를 구축하고, 리랭킹을 위해 세 가지 신호(벡터 유사도 $\alpha$, 엔티티 중첩 $\beta$, 그래프 구조 중심성 $\gamma$)를 융합하였다.
   • 생성: 두 시스템 모두 glm-5.1을 생성기로 사용하였다. 본 연구는 생성 변수를 통제하여 증거 순위 지정의 영향만을 분리하였다.

2. 증거-답변 검증 벤치마크:

   • 데이터셋: 인간이 라벨링한 골드 스탠다드(지지됨 81, 불충분함 46, 모순됨 23)를 포함하는 홀드아웃 세트(Set B, $n=150$)를 구축하였다.
   • 검증기: 다양한 아키텍처를 평가하였다:
     • LLM 기반: GPT-5.5, DeepSeek-v4-pro, glm-5.1을 두 가지 프롬프트 전략(단순 직접 분류 E1, "모순 우선" 구조화된 프롬프트 V2.1)과 함께 사용하였다.
     • 분류기 기반: DistilBERT-MNLI(일반 도메인) 및 PubMedBERT-MedNLI(생물 의학 도메인).
     • 베이스라인: 규칙 기반 휴리스틱(V1.6), 하이브리드 규칙/LLM 융합(V3.1), 그리고 다수 클래스 대리 모델(majority-class proxy).
   • 인간 보정(Human Calibration): 두 번째 인간 주석자(Human2)가 두 가지 프로토콜을 수행하였다: 30개 항목 샘플에 대한 블라인드 1차 검토, 그리고 프로토콜 민감도를 평가하기 위한 23개의 알려진 모순 사례에 대한 집중 검토.

주요 결과

• KG-RRAG 무효 결과: KG 신호의 통합이 답변 정확도를 개선하지 못했다. KG-RRAG는 0.500의 정확도를 기록했으며, 이는 표준 RAG의 0.510과 비교했을 때 차이가 없었다 ($\Delta = -0.010$, McNemar $p=0.766$). 차이에 대한 95% 신뢰 구간은 $[-0.053, +0.033]$로, 통계적으로 유의미한 이점이 없음을 나타낸다.
• 체계적인 모순 탐지 미흡: 모든 자동 검증기가 "모순됨(Contradicted)" 클래스를 탐지하는 데 상당한 어려움을 겪었다.
  • 최고 자동 성능: E1-glm-5.1 구성은 23개의 골드 모순 사례 중 5개만을 탐지했다 (재현율 $\approx$ 21.7%).
  • 기타 모델: GPT-5.5는 4/23을 탐지했고, DeepSeek 변형들은 1~3/23을 탐지했으며, 특화된 NLI 분류기(PubMedBERT-MedNLI)는 2/23만을 탐지했다.
  • 실패 모드: 지배적인 오류 패턴은 모순된 사례를 능동적인 충돌로 식별하는 대신 "불충분함(Insufficient)" 범주로 흡수해 버리는 것이었다.
• 주석 프로토콜의 민감도:
  • 블라인드 1차 검토에서 Human2는 샘플 내의 모순 사례를 0/7 건 탐지했다.
  • 항목이 골드 모순임을 인지한 상태에서의 집중 검토에서는 Human2가 13/23 건을 탐지했다 (재현율 $\approx$ 56.5%).
  • 이는 모순 탐지가 자발적으로 이루어지는 것이 아니라, 명시적이고 기준 중심적인 프로토콜을 필요로 함을 시사한다.
• 모델 vs 프롬프트 효과: 프롬프트 엔지니어링 효과는 모델에 따라 달랐다. glm-5.1에서 더 잘 작동했던 프롬프트가 DeepSeek-v4-pro에서는 더 나쁜 성능을 보였는데, 이는 테스트된 범위 내에서 모델 선택이 프롬프트 설계보다 더 중요한 요소임을 시사한다.

주요 기여

1. KG-RAG에 대한 통제된 무효 결과 제공: 본 연구는 KG 유도 신호(엔티티 중첩 및 그래프 중심성)를 표준 벡터 검색에 추가하는 것이 PubMedQA 설정에서 답변 정확도를 향상시키지 못했다는 경험적 증거를 제공하며, 구조화된 지식이 항상 RAG 성능을 높인다는 가설에 의문을 제기한다.
2. 모순 탐지 미흡에 대한 감사: 현재의 최첨단 LLM 및 NLI 분류기들이 생물 의학 증거-답변 쌍의 모순을 신뢰성 있게 탐지하지 못하며, 자주 이를 "불충분함"으로 오분류한다는 사실을 입증한다.
3. 프로토콜 민감도 증거: 모순 탐지는 프로토콜에 매우 민감하다는 것을 보여준다. 블라인드 검토와 집중 검토 사이의 불일치는 명시적이고 표적화된 기준 없이는 모순 탐지의 "그라운드 트루스(ground truth)"를 확립하기 어렵다는 점을 시사한다.

의의 및 주장
저자들은 본 연구가 해결된 문제를 보여주는 것이 아니라 현재의 역량을 점검하는 감사(audit) 역할을 한다고 겸허히 주장한다.

• 임상적 준비성: 결과는 현재의 LLM 기반 검증이 고위험 생물 의학 맥락에서 자율적인 모순 스크리닝을 수행할 준비가 되어 있지 않음을 나타낸다. 능동적인 모순을 탐지하지 못하는 실패는 안전상의 위험을 초래한다.
• 평가 방식의 전환: 본 연구는 답변 정확도만으로는 생물 의학 RAG를 위한 불완전한 지표라고 주장한다. 시스템이 잘못되거나 뒷받침되지 않는 증거로부터 정답을 생성할 수 있으므로, 증거-답변 간의 일관성을 별도로 평가해야 한다.
• 실용적 유용성: 자율적 배포를 위한 단계는 아니지만, 높은 미탐지율(놓친 모순)을 인지한다면 LLM 기반 검증은 오프라인 감사 및 시스템 비교를 위한 도구로서 여전히 유용할 수 있다.

결론적으로, 모순 탐지의 어려움은 모델의 규모, 아키텍처, 프롬프트 전략 전반에 걸쳐 지속되며, 이는 생물 의학 텍스트의 본질적인 모호성, 전문 용어, 그리고 "증거의 부재"와 "부재의 증거" 사이의 구별 때문인 것으로 보인다.