Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops

기술 요약: 신뢰하되 검증하라 – 사후 적대적 감사 및 다중 에이전트 피드백 루프를 통한 의료적 환각 완화

문제 정의
거대 언어 모델(LLM)은 임상 의사 결정 지원을 위해 의료 분야에 점점 더 많이 배치되고 있으나, 그 확률론적 특성은 심각한 안전 위험을 초래하는 "환각(hallucinations)" 현상을 야기한다. 특히 간과되기 쉬운 핵심적인 실패 모드는 **규제 지식의 노후화(regulatory knowledge obsolescence)**이다. LLM은 과거에는 옳았으나 현재는 규제 기관(예: FDA, EMA)에 의해 금지, 철회 또는 블랙박스 경고가 내려진 의약품을 권고하는 경우가 빈번하다. 본 논문은 검색 증강 생성(RAG) 및 웹 브라우징 기능을 갖춘 최첨단(SOTA) 모델조차도 현재의 안전 제약 조건을 파라미터 학습 데이터보다 우선시하지 못하여 위험한 임상 권고를 내린다는 점을 강조한다. 정적 시맨틱 가드레일이나 단순한 RAG와 같은 기존의 완화 전략은 이러한 시간적 지식 격차를 탐지하는 데 필요한 능동적이고 적대적인 검증 기능이 부족한 경우가 많다.

방법론
저자들은 사후 적대적 감사 루프를 통해 규제 준수를 강제하도록 설계된 **"Trust but Verify(신뢰하되 검로하라)"**라는 제목의 모듈형 5개 에이전트 아키텍처를 제안한다. 이 시스템은 단일 LLM 백본(GPT-OSS, Llama-3, Falcon-3 제품군을 대상으로 테스트됨)을 활용하되, 이질적인 모델 가중치가 아닌 프롬프트 기반의 페르소나 리다이렉션을 통해 에이전트를 차별화한다.

워크플로우는 다음 다섯 가지 기능적 역할로 구성된다:

1. 라우터 에이전트(Router Agent): 질의를 "의료용" 또는 "일반용"으로 분류한다. 의료 관련 질의만 안전 파이프라인을 트리거하여 지연 시간과 비용을 최적화한다.
2. 의료 임상 에이전트(Medical Clinical Agent): 주요 추론 엔진 역할을 수행하며, 입력된 질의를 바탕으로 후보 치료 권고안을 생성한다.
3. 엔티티 추출 에이전트(Entity Extractor Agent): 임상 에이전트의 자연어 출력을 구조화된 JSON 형식으로 파싱하여(약물 및 질환 추출), 기계 판독이 가능한 검증을 용이하게 한다.
4. 안전 감사 에이전트(Safety Auditor Agent): 핵심 안전 구성 요소이다. 권위 있는 규제 소스(FDA, NIH)를 대상으로 실시간 웹 기반 검색(Tavily API 활용)을 수행하여 추출된 약물의 현재 상태를 검증한다. 만약 약물이 금지되거나 철회된 것으로 확인되면, 감사 에이전트는 피드백 루프를 트리거하여 위반 사항을 임상 에이전트로 다시 보내 재시도 또는 안전한 거절을 강제한다.
5. 일반 채팅 에이전트(General Chat Agent): 자원을 보존하기 위해 비임상적 상호작용을 처리한다.

시스템은 최대 3회의 재시도 횟수를 허용한다. 선택지 중 안전한 대안을 찾지 못할 경우, 시스템은 환각된 권고를 내리는 대신 "안전한 거절(safe refusal)"을 수행하도록 설계되었다.

실험 설정
연구에는 선별된 103개의 임상 객관식 문제(MCQ)로 구성된 적대적 데이터셋이 사용되었다. 이 문제들에서 역사적으로 정답인 항목은 현재 시점에서 철회되거나 금지된 약물에 해당한다. 데이터셋은 DrugBank를 사용하여 구축되었으며, 이를 통해 학습 데이터 맥락에서의 "정답" 레이블이 현재의 규제 맥락에서는 실제로는 안전 위반임을 보장한다.

세 가지 실험 구성이 평가되었다:

• 실험 I (Vanilla): LLM이 외부 감사 없이 임상 전문가로서 단발성 추론을 수행하는 방식.
• 실험 II (Agentic): 적대적 피드백 루프를 포함한 제안된 5개 에이전트 파이프라인.
• 실험 III (SOTA 평가): 네이티브 브라우징 기능이 활성화된 선도적인 독점 모델들(ChatGPT-5.1/5.3, Gemini 3 Flash/3.1 Pro)을 테스트하여 현재의 상용 솔루션들이 이 특정 실패 모드를 완화할 수 있는지 평가함.

주요 지표
성능은 다음을 사용하여 평가되었다:

• 레이블 정확도(Label Accuracy): 데이터셋의 그라운드 트루스(이 적대적 설정에서는 본질적으로 안전하지 않음)에 대한 표준 정확도.
• 포인트와이즈 스코어(Pointwise Score, PS): 확정적인 금지 약물 권고에 대해 벌점을 부여(-0.25), 안전한 거절에 대해 보상(0.0), 안전하고 올바른 예측에 대해 보상(+1.0)하는 특수 지표.
• 환각 오류율(Hallucination Error Rate, HER): 철회된 물질에 대해 확정적인 권고를 내리는 빈도.
• 구성 충실도(Component Fidelity, CF): 총 에이전트 호출 대비 성공적인 기능적 출력의 비율을 측정하여 다중 에이전트 오케스트레이션의 신뢰성을 측정함.

결과

• Vanilla 성능: 테스트된 모든 오픈 액세스 모델은 높은 "정확도"(금지된 약물 옵션과 일치함)를 보였으나, 그에 상응하는 높은 HER(90.29% ~ 99.03%)을 나타냈다. 포인트와이즈 스코어는 -0.25 근처에 밀집되어 있어 최대 안전 벌점이 발생했음을 나타냈다.
• Agentic 성능: 제안된 아키텍처는 모든 모델에서 HER을 평균적으로 약 53% 감소시켰다(예: Llama-3-70B의 경우 99.03%에서 37.86%로 감소). 원시 레이블 정확도는 감소하였으나(시스템이 금지된 '정답'을 선택하기를 올바르게 거부함에 따라), 포인트와이즈 스코어는 -0.25에서 0.0을 향해 이동하며 성공적인 안전 거절로의 전환을 입증했다.
• SOTA 실패: 실험 III 결과, 고급 추론 및 브라우징 능력을 갖춘 독점 모델들조차 금지된 약물의 권고를 방지하는 데 실패함을 드러냈다. 이러한 모델들은 검색 결과에서 철회 상태를 인지하면서도, 궁극적으로는 파라미터 지식을 우선시하여 금지된 약물을 정답으로 선택함으로써 "임상 안전 퇴보(clinical safety regression)"를 보여주었다.
• 시스템 무결성: 에이전트 파이프라인의 구성 충실도 점수는 73.82%에서 85.71% 사이로 나타나, 다중 에이전트 오케스트레이션의 견고함을 확인하였다.

의의 및 주장
본 논문은 안전이 중요한 의료 환경에 자율형 AI를 배포하기 위한 실용적이고 모델 불가지론적인 접근 방식을 입증한다고 주장한다. 주요 기여는 다음과 같다:

1. 핵적인 격차 식별: 현재의 RAG 및 SOTA 모델이 실시간 규제 데이터를 효과적으로 통합하지 못해 금지된 물질을 권고하는 문제를 지적한다.
2. 아키텍처 혁신: 안전을 확률적 생성 작업이 아닌 결정론적 검증 프로세스로 취급하는 비선형적 적대적 감사 루프를 제안한다. 임상 추론(LLM)과 사실적 진실(실시간 감사)을 분리함으로써, 모델 재학습 없이도 규제 준수를 보장한다.
3. 유창성보다 안전 우선: 위험한 권고를 적절한 거절로 변환함으로써 환자 안전을 최우선으로 하며, 시스템의 목표를 "정답 맞히기"에서 "안전하게 답하기"로 전환한다.
4. 확장성: 단일 백본과 프롬프트 기반의 에이전트 차별화를 사용하여, 파라미터 확장이나 비용이 많이 드는 재학습 없이도 확장 가능한 솔루션을 제공한다.

저자들은 다중 에이전트 방식이 추론 지연 시간을 증가시키지만, 고도의 위험이 따르는 임상 환경에서 결정론적 안전을 확보하기 위해서는 이러한 트레이드오프가 필수적이라고 결론짓는다. 이들은 본 연구를 LLM 파이프라인에 실시간 규제 데이터를 통합하여 임상 의사 결정을 대체하는 것이 아니라 지원하는 단계로 포지셔닝한다.