A Hybrid Knowledge-Grounded Framework for Safety and Traceability in Prescription Verification

본 논문은 대형 언어 모델의 사실성 부족과 추론 한계를 극복하기 위해, 반복적 스키마 정제 알고리즘으로 구축된 하이브리드 제약 지식 베이스와 검증 기반 체인 추론을 결합한 'PharmGraph-Auditor' 시스템을 제안하여 처방 검증의 안전성과 추적 가능성을 강화하는 방법을 제시합니다.

핵심

이 논문은 "처방전 검사 (약사 확인)"라는 매우 중요한 일을, 인공지능 (AI) 이 어떻게 더 안전하고 정확하게 도와줄 수 있는지에 대한 새로운 방법을 제안합니다.

약사님이 환자에게 약을 줄 때, "이 약이 이 환자에게 맞을까? 용량은 적절한가? 다른 약과 섞이면 안 되는가?"를 꼼꼼히 확인해야 합니다. 하지만 약사님들도 사람이기 때문에 피곤하면 실수를 하거나, 너무 많은 정보를 처리하지 못해 중요한 위험 요소를 놓칠 수 있습니다.

이 문제를 해결하기 위해 저자들은 **LLM(대형 언어 모델, 즉 최신 AI)**을 도입하려 했지만, AI 가 가끔은 사실과 다른 말을 지어내는 (할루시네이션) 특성이 있어, 환자 생명과 직결된 곳에서는 바로 쓰기 어렵다는 걸 깨달았습니다.

그래서 저자들은 **'PharmGraph-Auditor(약물 그래프 감사관)'**라는 새로운 시스템을 만들었습니다. 이 시스템을 이해하기 쉽게 세 가지 비유로 설명해 드리겠습니다.

---

1. 두 개의 다른 도서관을 하나로 합치기 (하이브리드 지식 베이스)

약물 정보는 크게 두 가지 성격으로 나뉩니다.

1. 숫자와 조건: "신장 기능이 30 이하면 용량을 50% 줄여라", "65 세 이상은 금지" 같은 엄격한 규칙.
2. 연결과 관계: "A 약과 B 약은 섞으면 안 된다", "이 약은 알레르기 유발 성분을 포함한다" 같은 복잡한 관계.

기존의 AI 는 이 두 가지를 한 번에 잘 처리하지 못했습니다.

• 비유: 마치 숫자 계산기와 지하철 노선도를 하나로 합쳐야 하는 상황입니다.
  • 계산기는 숫자 비교 (조건) 는 빠르지만, 복잡한 노선 (관계) 을 찾으면 느립니다.
  • 지하철 노선도는 복잡한 경로를 찾기는 쉽지만, "30 세 미만" 같은 숫자 조건을 빠르게 필터링하기는 어렵습니다.

이 시스템의 해결책:
저자들은 이 두 가지를 하나의 시스템 안에 두 개의 도서관처럼 배치했습니다.

• 도서관 A (관계형): 숫자와 조건을 빠르게 검색하는 곳.
• 도서관 B (그래프): 약과 약, 사람과 알레르기 사이의 복잡한 연결고리를 찾아주는 곳.
  이 두 도서관을 매핑 (연결) 레이어로 이어주어, AI 가 필요한 정보를 가장 적합한 도서관에서 정확하게 꺼내오게 했습니다.

2. AI 를 '지식 없는 천재'에서 '참고서 보는 전문가'로 바꾸기 (검증 체인)

기존 AI 는 책을 안 보고 기억만으로 답을 말하려다 틀리는 경우가 많았습니다. 하지만 이 시스템은 AI 가 답을 말하기 전에 반드시 '참고서 (약물 정보)'를 찾아보게 합니다.

비유: "수학 시험을 보는 학생"

• 기존 AI: 암기만 한 학생이, 기억이 안 나면 "아마도 50 일 거야"라고 짐작해서 답을 적습니다. (위험!)
• 이 시스템 (CoV): 문제를 풀 때, 단계별로 다음과 같이 진행합니다.
  1. 문제 분석: "이 환자에게 어떤 약을 줬지? 어떤 병이 있지?" (작업 분해)
  2. 참고서 찾기: "신장 기능이 30 미만이면 용량 줄여야 해"라는 규칙을 도서관 A 에서 찾아옵니다. "A 약과 B 약은 섞으면 안 돼"라는 연결을 도서관 B 에서 찾아옵니다.
  3. 증거 정리: 찾은 정보 중 환자에게 정말 필요한 것만 골라냅니다. (불필요한 정보는 버림)
  4. 최종 보고서: 찾은 **증거 (참고서 페이지)**를 함께 붙여서 "이 약은 위험합니다. 왜냐하면 참고서 30 페이지에 이렇게 적혀 있기 때문입니다"라고 보고합니다.

이 과정을 통해 AI 는 무작정 지어내는 게 아니라, 근거를 바탕으로 논리적으로 추론하게 됩니다.

3. "모르는 건 모른다"고 말하는 안전장치 (정보 공백 감지)

가장 중요한 점은, 환자의 정보가 부족할 때 AI 가 임의로 판단하지 않는다는 것입니다.

• 상황: "신장 기능이 나쁘면 약을 줄여야 한다"는 규칙이 있는데, 환자의 신장 기능 수치가 기록되지 않았을 때 어떻게 할까요?
• 기존 AI: "아마도 정상일 거야"라고 추측해서 약을 줄이지 않고 내보낼 수 있습니다. (치명적!)
• 이 시스템: "환자 정보가 부족합니다. 신장 기능 수치를 확인해야 합니다"라고 경고를 보냅니다.
  • 비유: 요리사가 "소금이 부족할지 모르는데, 소금 양을 재지 않고 그냥 넣겠다"고 하지 않고, **"소금 양을 재야 합니다"**라고 말하는 것과 같습니다.

---

요약: 왜 이것이 중요한가요?

이 논문은 **"AI 가 약사님을 대체하는 게 아니라, 약사님의 눈과 기억력을 100 배 강화해주는 보조 도구"**가 되는 방법을 제시합니다.

• 정확도 향상: 기존 자동화 시스템보다 13.4% 더 정확하게 위험을 찾아냈습니다.
• 피로도 감소: 약사님이 불필요한 경고 (거짓 경보) 에 지치지 않도록 도와줍니다.
• 투명성: AI 가 왜 그렇게 판단했는지 **근거 (참고서 페이지)**를 보여주기 때문에, 약사님이 최종 확인하기가 훨씬 수월합니다.

결론적으로, 이 시스템은 인공지능의 능력과 약학 지식의 엄격함을 결합하여, 환자가 더 안전하고 빠르게 올바른 약을 받을 수 있도록 돕는 지능형 안전망입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 약물 오용은 환자 안전에 심각한 위협이 되며, 약사의 검증 (Pharmacist Verification, PV) 은 이를 막는 마지막 방어선입니다. 그러나 현대 의약품 증거의 복잡성 증가로 인해 약사의 수동 검증은 인지적 과부하에 시달리고 있습니다.
• 기존 LLM 의 한계: 대형 언어 모델 (LLM) 을 처방 검증에 직접 적용하는 것은 다음과 같은 근본적인 한계로 인해 불가능합니다.
  1. 사실성 불확실성 (Factual Unreliability): 환각 (Hallucination) 현상으로 인해 사실과 다른 정보를 생성할 수 있어 환자 안전에 치명적입니다.
  2. 추적성 부재 (Lack of Traceability): 모델 내부 파라미터에 지식이 암호화되어 있어, 결론이 어떤 근거 문서에서 도출되었는지 추적할 수 없습니다. 이는 근거 기반 의학 (Evidence-Based Medicine) 원칙에 위배됩니다.
  3. 복합 추론의 약점 (Weakness in Complex Reasoning): 환자의 신장 기능, 약물 특성, 용량 가이드라인 등 이질적인 정보를 연결하는 다단계 추론 (Multi-hop reasoning) 을 신뢰성 있게 수행하기 어렵습니다.
• 기존 CDSS 의 한계: 기존 규칙 기반 임상 의사결정 지원 시스템 (CDSS) 은 경직된 규칙에 의존하여 오탐지 (False Positive) 가 많아 '경보 피로 (Alert Fatigue)'를 유발하거나, 비정형 텍스트를 처리하지 못해 중요한 위험을 놓치는 경우가 많습니다.

2. 제안 방법론 (Methodology)

저자들은 PharmGraph-Auditor라는 새로운 시스템을 제안하며, 이는 가상 지식 그래프 (Virtual Knowledge Graph, VKG) 패러다임을 기반으로 한 **하이브리드 의약품 지식베이스 (HPKB)**와 **지식 기반 검증 체인 (Chain of Verification, CoV)**을 핵심으로 합니다.

A. 하이브리드 의약품 지식베이스 (HPKB) 구축

의약품 지식은 엄격한 수치적 제약 (용량, 금기) 과 복잡한 의미적 연결 (상호작용, 계층 구조) 을 동시에 가지므로, 단일 데이터 모델로는 부족합니다. 이에 따라 두 가지 컴포넌트를 통합합니다.

1. 관계형 컴포넌트 (Relational Component, R):
   • 역할: 엄격한 제약 조건 (Set Constraint Satisfaction) 처리.
   • 데이터: 용량 임계값, 수치적 조건 (예: 신장 기능에 따른 용량 조절).
   • 이유: 관계형 데이터베이스 (RDBMS) 는 B-Tree 인덱스를 통해 $O(\log N)$의 효율로 범위 검색과 논리적 필터링을 수행합니다.
2. 그래프 컴포넌트 (Graph Component, G):
   • 역할: 의미적 위상 구조 (Topological Traversal) 처리.
   • 데이터: 약물 상호작용, 알레르기, 계층적 관계.
   • 이유: 그래프 데이터베이스는 인덱스 없는 인접성 (Index-free adjacency) 을 통해 연결된 노드 간 이동 시 $O(1)$의 상수 시간 복잡도로 다단계 추론을 수행합니다.
3. 매핑 계층 (Mapping Layer): 두 컴포넌트 간의 엔티티를 통합된 식별자로 연결하여 일관성을 유지합니다.

B. 지식베이스 구축 알고리즘: 반복적 스키마 정제 (ISR)

• 문제: 의약품 지식의 복잡성과 이질성으로 인해 사전에 완벽한 스키마를 정의하기 어렵습니다.
• 해결: 반복적 스키마 정제 (Iterative Schema Refinement, ISR) 알고리즘을 도입합니다.
  • LLM 과 전문가의 협업: LLM 이 문서에서 '스키마 간극 (Schema Gaps)'을 발견하고 제안하면, 인간 전문가가 이를 추상화하여 통합된 구조로 정제합니다.
  • 분할 샘플링: ICD-10 분류에 기반한 다양한 치료 영역의 문서를 샘플링하여 스키마의 일반화 능력을 확보합니다.
  • Section-Aware Multi-Agent: 문서의 섹션 (용량, 금기, 상호작용 등) 을 인식하는 전문 에이전트들이 각자 담당 영역의 정보를 추출하여 HPKB 를 채웁니다.

C. 처방 검증 프레임워크: 지식 기반 검증 체인 (CoV)

LLM 을 '블랙박스 생성기'가 아닌 '투명한 추론 엔진'으로 변환하는 4 단계 프로세스입니다.

1. 작업 분해 (Task Decomposition): LLM 이 처방을 분석하여 검증 가능한 하위 작업들 (용량 확인, 금기 확인 등) 로 분해합니다.
2. 하이브리드 쿼리 생성 (Hybrid Query Generation):
   • 제약 조건 작업 (용량 등) $\rightarrow$ SQL 쿼리 (관계형 DB).
   • 위상 추론 작업 (상호작용 등) $\rightarrow$ Cypher 쿼리 (그래프 DB).
   • LLM 이 직접 쿼리를 생성하지 않고, 규칙 기반 엔진이 생성하여 문법 오류와 환각을 방지합니다.
3. 증거 수집 및 정제 (Evidence Retrieval & Curation):
   • P-EST (Patient Profile-driven Evidence Selection Tree): 환자의 프로필 (나이, 신장 기능 등) 에 맞춰 불필요한 규칙을 제거하고 가장 관련성 높은 단일 규칙을 선별합니다.
4. 증거 기반 종합 (Evidence-Grounded Synthesis):
   • 선별된 증거를 바탕으로 검증 보고서를 생성합니다.
   • 정보 간극 (Information Gaps) 식별: 환자 데이터가 부족하여 검증이 불가능한 경우, LLM 이 임의로 결론을 내리는 대신 '정보 부족'으로 명시적으로 플래그를 둡니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 지식 모델링: 수치적 제약과 의미적 추론을 동시에 처리하기 위해 관계형 DB 와 그래프 DB 를 통합한 VKG 기반 HPKB 아키텍처를 제안했습니다.
2. ISR 알고리즘: 도메인 지식의 복잡성을 반영하여 LLM 과 전문가의 협업을 통해 동적으로 스키마를 진화시키는 알고리즘을 개발했습니다.
3. CoV 프레임워크: LLM 의 환각을 방지하고 추론의 투명성을 확보하기 위해, LLM 을 쿼리 생성이 아닌 검증된 증거 기반의 종합 단계로 제한하는 새로운 추론 패러다임을 제시했습니다.
4. 정보 간극 처리: 환자 데이터가 부족할 때 환각적 결론 대신 안전을 우선시하는 '정보 간극' 플래깅 메커니즘을 도입했습니다.

4. 실험 결과 (Results)

실제 병원 데이터 (입원 환자 처방 100 건) 와 전문가 주석 데이터를 기반으로 평가했습니다.

• 지식 추출 성능 (RQ1):
  • 제안된 PharmGraph-Auditor 는 Zero-shot OpenIE 및 One-shot Schema-guided 에이전트보다 우수한 성능을 보였습니다.
  • F1-Score: 0.8374 (GPT-4o 기준) 로, 기존 방법들 (0.61~0.78) 을 상회했습니다. 특히 **Recall(0.8491)**이 높아 잠재적 위험을 놓치지 않고, **Precision(0.8260)**이 높아 허위 경보를 줄였습니다.
• 처방 검증 성능 (RQ2):
  • 인간 전문가 (경험 기반): 정밀도 (Precision) 100% 이지만 재현율 (Recall) 이 45.9% 로 위험을 절반 이상 놓쳤습니다.
  • 기존 규칙 기반 CDSS: 재현율 67.6% 이지만 정밀도가 52.1% 로 오탐지가 많아 경보 피로를 유발했습니다.
  • 제안 방법 (PharmGraph-Auditor): **재현율 70.3%, 정밀도 74.3%**로 가장 균형을 잘 잡았습니다. 기존 CDSS 대비 F1 점수가 +13.4% 향상되었습니다.
  • 특이 사항: 신장/간 장애 등 '특수 인구 (Special Populations)' 관련 위험은 규칙 기반 시스템이 전혀 탐지하지 못했으나, 제안 시스템은 의미적 추론을 통해 대부분 성공적으로 탐지했습니다.
• Ablation Study: 외부 지식베이스와 CoV 프레임워크를 제거할 경우 성능이 급격히 하락하여, 두 요소의 필수성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 안전성과 추적성 확보: LLM 의 환각 문제를 해결하고, 모든 검증 결과가 출처 문서와 연결되어 있어 임상적 신뢰성을 확보했습니다.
• 약사 업무 효율화: 높은 정밀도로 오탐지를 줄여 '경보 피로'를 완화하면서, 높은 재현율로 인간 전문가가 놓칠 수 있는 잠재적 위험을 찾아냅니다.
• 확장 가능성: 복잡한 제약 조건과 심층 의미 추론이 모두 필요한 다른 의료/임상 분야로 아키텍처를 확장할 수 있는 새로운 패러다임을 제시했습니다.

이 연구는 LLM 을 단순한 생성 도구가 아닌, 검증된 지식에 기반한 투명한 추론 엔진으로 재정의하여, 임상 의사결정 지원 시스템의 안전성을 획기적으로 높였다는 점에서 의의가 큽니다.