VetScore: Risk-Weighted Fact Verification for Veterinary Long-Form QA with Citations

기술 요약: VETSCORE

문제 정의

대규모 언어 모델(LLM)이 수의학 분야에 점점 더 많이 적용되고 있으나, 이들이 생성하는 출력물은 잠재적으로 유해하거나 사실과 다를 수 있다는 문제를 안고 있다. 최근의 접근 방식들은 신뢰성을 높이기 위해 "속성 기반 텍스트 생성"(인용 및 출처 발췌 포함)을 옹호하지만, 단순히 인용구가 존재한다고 해서 생성된 주장이 제공된 출처에 충실하다는 것이 보장되지는 않는다. 또한, 기존의 사실 검증 방법들은 모든 주장을 동일하게 취급하는 경향이 있다. 수의학과 같이 이해관계가 걸린 고위험 도메인에서 이는 치명적인 결함이다. 예를 들어, 약물 용량에 관한 검증되지 않은 주장은 연구의 출판 연도에 관한 검증되지 않은 주장보다 환자에게 해를 끼칠 위험이 훨씬 크다. 현재의 평가 지표는 이러한 위험 수준을 구분하지 못하며, 이로 인해 고위험 환각(hallucination)은 감지되지 않은 채 통과시키는 반면 저위험 부정확성은 과도하게 처벌할 가능성이 있다.

방법론: VETSCORE

저자들은 인용된 출처 발췌본에 대한 장문 형태의 수의학 질의응답 출력물의 충실도를, 각 주장의 잠재적 위해도에 따라 가중치를 두어 평가하기 위해 설계된 다단계 평가 파이프라인인 VETSCORE를 제시한다. 이 방법은 "분해 후 검증(decompose-then-verify)"이라는 표준 패러다임에 위험 조정 점수 산출 방식을 확장한 것이다.

파이프라인은 네 가지 별도의 단계로 구성된다:

1. 출력 세그먼트 분할 (Output Segmentation): 생성된 텍텍스트를 구분자(빈 줄 또는 이전 인용구)를 기준으로 세그먼트로 나눈다. 각 세그먼트는 그에 상응하는 출처 발췌본과 연결된다.
2. 주장 분해 (Claim Decomposition): LLM은 각 텍스트 세그먼트를 개별적인 원자적 주장(atomic claims)으로 분해한다. 문맥을 보존하기 위해(예: 대용어 해결), 분해기는 마지막 헤더까지의 이전 텍스트를 함께 제공받는다.
3. 이중 점수 산출 메커니즘 (Dual-Scoring Mechanism):
   • 사실 검증 (Fact Verification): LLM 판정관이 각 원자적 주장이 제공된 출처 발췌본에 의해 뒷받침되는지 평가한다. 이는 이진 점수($v_i \in \{0, 1\}$)를 생성하며, 1은 지원됨을, 0은 지원되지 않거나 모순됨을 나타낸다.
   • 해 위해도 점수 산출 (Harm Potential Scoring): 독립적으로, LLM 판정관은 각 주장에 대해 위해도 점수($w_i \in [1, 5]$)를 할당한다. 이 점수는 해당 주장이 틀렸을 때 수의사가 실제로 행동에 옮길 경우 발생할 수 있는 위해의 심각도를 반영한다. 척도는 1(연구 메타데이터와 같이 임상적 결과가 없는 경우)부터 5(잘못된 약물 용량이나 금기 사항과 같이 직접적인 환자 위해를 초래하는 경우)까지의 범위를 갖는다.
4. 위험 가중 집계 (Risk-Weighted Aggregation): 최종 세그먼트 점수는 검증 점수와 위해도 점수를 집계하여 계산된다. 저자들은 검증되지 않은 잠재적 위해에 기반한 로컬 페널티를 정의하고, 이를 전체 위해도에 의해 정규화한다. 공식은 지수 $p$(실험에서 2.426으로 설정됨)를 통해 고위험 주장의 기여도를 제어할 수 있게 한다. 최종 위험 조정 검증 점수는 $1 - p_{global}$이며, 이는 전체 위해도 중 지원되는 비율을 나타낸다.

데이터셋 및 평가

VETSCORE를 검증하기 위해 저자들은 메타 평가 데이터셋을 구축하였다:

• 입력값: 다양한 학문 분야(위장관계학, 심장학 등)와 종(species)을 아우르는 실제 운영 중인 수의학 QA 시스템의 67개 다양한 쿼리.
• 생성: 여섯 가지 서로 다른 LLM(GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro 및 오픈 웨이트 모델 포함)이 검색된 PubMed 출처를 바탕으로 인용구가 포함된 답변을 생성하였다.
• 인간 주석 달기: 수의사(임상의 및 학생)들이 1,200개의 세그먼트에 포함된 4,986개의 주장에 대해 주석을 달았다. 이들은 두 가지 작업, 즉 이진 사실 검증과 1~5점 사이의 위해도 점수 산출을 수행하였다.
• 집계: 위해도 점수에 대한 중등도의 평가자 간 일치도($\alpha = 0.462$)를 고려하여, 저자들은 평가자의 엄격함을 조정하고 종합 점수를 도출하기 위해 문항 반응 이론(특히 부분 점수 모델)을 사용하였다.

주요 결과

저자들은 9가지 서로 다른 판정 모델(GPT-5.6 Sol과 같은 독점 모델부터 Gemma 4 31B와 같은 작은 오픈 웨이트 모델까지)을 사용하여 인간의 주석에 대해 VETSCORE를 평가하였다.

• 전문가와의 상관관계: VETSCORE는 인간 전문가와 높은 스피어먼 상관계수를 달성하였다. 사실 검증 상관관계는 최대 0.783(Gemini 3.6 Flash), 위해도 점수 상관관계는 0.763(Gemini 3.1 Pro)에 달했다.
• 모델 효율성: 모듈형 접근 방식은 작은 모델에서도 효과적임이 입증되었다. Gemma 4 31B(31B 파라미터)는 훨씬 더 큰 독점 모델들과 경쟁력 있는 상관관계를 보여주었으며, 이는 본 방법론이 효과적인 평가를 위해 거대한 LLM을 반드시 필요로 하지 않음을 시사한다.
• 절제 연구 (Ablation Studies): 위해도 구성 요소를 제거했을 때(검증 전용 베이스라인), 인간의 종합 점수와의 상관관계가 절대적인 수치에서 크게 감소하였으며, 이는 위험 가중치가 임상적 관련성을 위해 필수적임을 확인시켜 준다. 통합 평가(하나의 프롬프트에서 검증과 점수 산출을 결합하는 방식)는 모듈형 접근 방식보다 성능이 저하되었다.
• 일관성: 독점 모델과 Gemma 4 31B는 실행 간 높은 일관성을 보였으나, 일부 오픈 웨이트 MoE(Mixture-of-Experts) 모델은 더 높은 변동성을 보였다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. VETSCORE 파이프라인: 효율적이고 설명 가능하며 모듈화된 검증 파이프라인으로, 위험 가중치가 적용된 충실도 점수를 수의학 장문 QA에 특화하여 제공한다. 기존 방법과 달리, 이 방식은 검증되지 않은 고위험 주장에 더 큰 페널티를 부여한다.
2. 전문가 검증 데이터셋: 수의사들에 의해 주석이 달린 메타 평가 데이터셋을 공개하며, 이는 제안된 접근 방식이 인간 전문가의 판단과 높은 상관관계를 가짐을 입증한다.
3. 소형 모델의 실현 가능성: 모듈식 분해 및 위험 가중치 접근 방식이 더 작고 효율적인 LLM을 사용한 효과적인 평가를 가능하게 함을 입증하여 확장성을 보여준다.

저자들은 VETSCORE가 임상 도메인을 위한 "위험 정보 기반(risk-informed)" 평가의 특정 요구사항을 해결한다고 강조한다. 출력을 분해하고 위해도에 따라 주장에 가중치를 부여함으로써, 이 시스템은 미세한 설명 가능성을 제공하여 전문가가 어떤 고위험 주장이 근거가 부족한지 정확히 식별할 수 있게 한다. 논문은 본 방법론이 현재 발췌본 기반의 충실도에 집중되어 있지만, 그 위험 조정 프레임워크가 수의학 분야에서 더 안전하고 증거 기반인 AI를 향한 중요한 단계라고 결론짓는다.