기술 요약: DrugClaw 및 DrugAudit

문제 정의

약물 정보 질의응aff(QA)는 환각된 사실이 임상 의사결정을 직접적으로 오도할 수 있는 고위험 환경에서 작동합니다. 대규모 언어 모델(LLM)은 강력한 일반 생의학 지식을 보여주지만, 고자원 질환 영역 외부에서는 파라미터 지식이 급격히 저하되며, 규제 기관이나 동료 검토된 출처에 대한 네이티브 감사 추적 기능이 부족합니다. 또한, 기존의 도구 증강 에이전트들은 가용한 첫 번째 URL을 선호하거나 인용 없이 그럴듯해 보이는 수치를 조작함으로써 실패하는 경우가 많습니다.

평가 계층에서도 중요한 격차가 존재합니다. 현재의 생의학 QA 스코어링은 표면적인 정답의 정확성만을 평가할 뿐, 상위 기본 출처(예: FDA 라벨, FAERS)와 동일한 출처를 다루는 하위 애그리게이터 래퍼(aggregator wrappers) 간의 구분을 수행하지 못합니다. 규제 대상인 약물 정보 설정에서 프로비넌스(provenance, 출처의 기원)는 단순한 제시 방식의 선택이 아니라 근본적인 평가 축입니다.

방법론

DrugClan 시스템

DrugClaw는 반사 기반 상태 머신 워크플로우를 통해 약물 및 약물감시 기술 레지스트리를 쿼리하도록 설계된 멀티 에이전트 검색 증강 시스템입니다. 이 아키텍처는 세 가지 설계 목표를 기반으로 구축되었습니다:

1. 기본 출처 추적 가능성: 생성되는 모든 클레임은 기본 규제 또는 동료 검토 기록에 대해 식별 가능한 식별자를 보유해야 합니다.
2. 보정된 기권(Calibrated abstention): 시스템은 사실을 조작하는 대신, 기초 기술이 뒷받침하는 증거를 반환하지 않을 경우 답변을 거부해야 합니다.
3. 적응형 검색 깊이: 검색 및 추론 루프는 증거가 충분할 때까지 종료되거나, 증거가 부족할 때 자동으로 심화됩니다.

아키텍처 및 워크플로우:
시스템은 상태 $S_t = (P_t, E_t, G_t, a_t, r_t)$에 대한 이산 동역학계로 작동하며, 여기서 $P_t$는 쿼리 계획, $E_t$는 증거 풀, $G_t$는 클레임-증거 서브그래프, $a_t$는 중간 산출 텍스트, $r_t$는 반사 충분성 점수입니다. 워크플로우는 $r_t \geq \tau_{suff}$가 되거나 최대 반복 횟수에 도달할 때까지 6개의 특화된 에이전트(Plan, Retrieval, Graph Builder, Re-Ranker, Response, Reflector)를 통해 반복됩니다.

• 기술 레지스트리(Skill Registry): DrugClaw는 70개 이상의 큐레이션된 리소스(예: openFDA, ChEMBL, DrugBank, PharmGKB, SIDER)에서 추출된 57개의 활성 기술이 포함된 폐쇄형 레지스트리에 접근합니다. 이들은 15개의 하위 카테고리 분류 체계로 구성됩니다.
• 샌드박스 코드 에이전트: 안전성과 결정론을 보장하기 위해, 검색은 코드 에이전트를 통해 매개됩니다. 이 에이전트는 서브쿼리를 무한 반복과 동적 실행을 금지하는 제한된 파이썬 서브언어($L_{safe}$)로 변환합니다. 코드는 하드 타임아웃이 설정된 프록시 전용 샌드박스 내에서 실행됩니다. 검증 또는 런타임 실패 시, 시스템은 직접 API 호출로 폴백(fallback)합니다.
• 반사 메커니즘(Reflection Mechanism): Reflector 에이전트는 커버리지, 완결성, 소스 품질, 일관성 및 실행 가능성을 기반으로 충분성 점수 $\rho_{t+1}$을 계산합니다. 이전 점수보다 낮은 점수가 나올 경우 회귀 페널티를 적용하여 반복 간의 "트래싱(thrashing)"을 방지합니다.
• 추론 모드: 시스템은 세 가지 모드를 지원합니다:
  • Linear (선형): 낮은 지연 시간을 우선시하는 단일 패스 워크플로우.
  • Graph (그래프): 클레임-증거 그래프 구축 및 리랭킹을 포함한 전체 반복 워크플로우.
  • Web-only (웹 전용): 레지스트리가 불충분할 때 직접 웹 검색을 위해 레지스트리를 우회하는 폴백 모드.

DrugAudit 벤치마크

이 시스템들을 평가하기 위해, 저자들은 9개의 소스 데이터베이스에서 유도된 3,772개 항목의 권위 인식 벤치마크인 DrugAudit를 도입합니다. 표준 벤치마크와 달리, DrugAudit는 필드 수준의 로케이터와 URL을 포함한 골드 스탠더드 인용을 포함합니다.

권위 인식 지표 패널:
평가 프레임워크는 기존 스코어링의 구조적 편향을 해결하기 위해 네 가지 지표를 도입합니다:

1. 소스 권위 일치(Source Authority Match): 등가 버킷 규칙과 비대칭적 "upstream-of" 관계를 사용합니다. 시스템이 (예: SIDER와 같은) 하위 애그리게이터를 인용하더라도, 해당 쿼리에 대해 상위 원천(예: FAERS)이 권위가 있다면 크레딧을 부여합니다.
2. 스니펫 의미론적 중첩(Snippet Semantic Overlap): 엄격한 부분 문자열 매칭 대신 불용어를 제외한 토큰에 대한 토큰-자카드(token-Jaccard) 유사성을 사용합니다.
3. 기본 출처 비율(Primary-source Rate): 계층 구조(규제/동료 검토 1.0, 큐레이션된 KB 0.7, 애그리게이터 0.5)를 기반으로 인용된 소스의 평균 가중치를 계산합니다.
4. 충실도 비율(Faithfulness Rate): 예측된 인용이 골드 소스 유니버스 또는 답변 텍스트에 근거하는 비율을 측정합니다.

평가 프로토콜:
논문은 자기 선호 편향을 제거하기 위해 Llama-3.1-70B-Instruct와 gpt-oss-120b를 사용하는 듀얼 저지(dual-judge) LLM-as-judge 프로토콜을 채택합니다. 이 저지들은 후보 시스템 외부에 존재합니다. 이들은 사실적 동등성 규칙(단위 변환, 반올림 허용 오차, 순서 무관성)과 보정된 거절 로직을 기준으로 답변의 정확성을 점수화합니다. 저지 간 일치도($\kappa$)는 0.88(거의 완벽함)로 보고되었습니다.

주요 기여

1. DrugClaw: 모든 클레임이 기본 기록에 추적 가능하도록 보장하며, 검증된 규제 및 동료 검토 소스의 폐쇄형 레지스트리를 쿼리하는 권위 기반 멀티 에이전트 시스템입니다.
2. DrugAudit: upstream-of-gold 소스 일치, 토큰 수준의 의미론적 중첩, 인용 충실도를 명시적으로 점수화하는 평가 패널을 갖춘 3,772개 항목의 벤치마크입니다.
3. 듀얼 저지 프로토콜: 두 개의 독립적인 오픈 웨이트 LLM을 사용하여 답변 정확성에 대해 거의 완벽한 일치도($\kappa = 0.88$)를 달로하는 확장 가능한 평가 방법입니다.
4. 실증적 결과: 7개 시스템의 포괄적인 비교를 통해 DrugClaw가 기본 모델들보다 기본 소스 비율 및 증거 밀도 측면에서 우수한 성능을 보임을 입증했습니다.

결과

DrugAudit, MedQA (약물 관련 서브셋, 751개 항목), PubMedQA (약물 관련 서브셋, 512개 항목)에서 평가했을 때, DrugClaw는 모든 주요 지표에서 Top-1 성능을 달성했습니다:

• 기본 출처 비율 (Primary-Source Rate): DrugClaw-graph는 0.918을 달성하여, 차순위 시스템(0.817)보다 10.1 퍼센트 포인트(pp) 향상되었습니다.
• 충실도 (Faithfulness): DrugClaw-linear는 0.887을 달성하여, 차순위 대비 5.9 pp 향상되었습니다.
• 종합 증거 지수 (Composite Evidence Index, EI): DrugClaw-graph는 Llama 저지 기준 0.632, gpt-oss 저지 기준 0.623을 기록하며 모든 베이스라인을 앞섰습니다.
• 폐쇄형 정확도 (Closed-Form Accuracy): DrugClaw-graph는 MedQA에서 0.920, PubMedQA에서 0.693을 달성했습니다.
• 보정된 거절 (Calibrated Refusal): DrugClaw는 항목의 4148%에 대해 답변을 거부했습니다. 이러한 거절 중 9197%가 "데이터 없음"을 나타내는 골드 답변과 일치한 반면, 베이스라인은 1~5%의 일치율만을 보였습니다. 이는 시스템이 증거가 불충분할 때 효과적으로 기권함을 나타냅니다.

결과는 폐쇄형 정확도 측면에서는 베이스라인과 부트스트랩 신뢰 구간 내에서 경쟁적이었으나, 권위 인식 지표(기본 출처 비율 및 증거 지수)에서는 베이스라인과 통계적으로 유의미한 격차를 보였음을 보여줍니다.

의의

본 논문은 DrugClaw와 DrugAudit가 약물 정보 QA에서 프로비넌스의 중요성을 해결한다고 주장합니다. 기본 규제 기록과 하위 애그리게이터를 구분함으로써, 이 시스템은 근거 기반 의학 보고의 표준을 실행합니다. 결과는 폐쇄형 레지스트리 접근 방식이 적응형 검색 및 보정된 거절을 결과로 할 때, 오픈 웹이나 순수 파라미터 방식에 비해 더 높은 구조적 품질의 인용과 낮은 환각률을 제공함을 시사합니다. 듀얼 저지 프로토콜과 권위 인식 지표는 향후 규제 영역의 검색 증강 시스템을 평가하기 위한 견고한 프레임워크를 제공합니다.

저자들은 LLM 저지가 그래프 모드의 다중 클레임 산출물을 파싱하는 데 어려움이 있다는 점과 폐쇄형 레지스트리의 내재적 범위 트레이드오프(레지스트리에 아직 등록되지 않은 롱테일 약물을 놓칠 수 있음)를 한계점으로 언급했습니다. 그러나 이들은 이 접근 방식이 모델 재학습을 요구하지 않으며, 더 감사 가능한 임상 AI를 향한 구체적인 경로를 제공한다고 주장합니다.