기술 요약: ClinicBot

문제 정의

고위험 임상 분야에서 대규모 언어 모델 (LLM) 의 도입은 할루시네이션 경향과 권위 있는 가이드라인에 대한 명시적 근거 부재로 인해 방해받고 있습니다. 표준 검색 증강 생성 (RAG) 시스템은 외부 소스에 접근할 수 있지만, 종종 텍스트 유사성에 기반하여 모든 증거를 무분별하게 처리합니다. 이러한 접근 방식은 잡음이 많은 문맥과 일반화된 답변을 생성하여 임상적 증거 위계를 존중하지 못하게 하고, 특정 권고사항과 이를 뒷받침하는 데이터 간의 관계를 흐리게 합니다. 결과적으로 임상 전문가는 답변이 공식 가이드라인을 충실히 반영하는지 검증하는 데 어려움을 겪으며, 이는 의료 의사결정 지원에 대한 신뢰와 유용성을 훼손합니다.

방법론

ClinicBot 은 구조화되고 가이드라인에 기반한 아키텍처를 통해 이러한 한계를 해결하며, 검색을 두 가지 상호 보완적인 단계인 의미론적 지식 추출과 우선순위 증거 검색으로 분리합니다.

1. 구조화된 지식베이스 구축

PubMed 초록과 같은 비구조화 텍스트를 처리하는 일반적 RAG 시스템과 달리, ClinicBot 은 단일 권위 있는 소스인 *2025 년 미국당뇨병학회 (ADA) 당뇨병 관리 기준 (Standards of Care in Diabetes)*에 기반하여 운영됩니다. 시스템은 이 문서를 반자동 파싱과 수동 검증을 통해 구조화된 JSON 지식베이스로 변환합니다. 콘텐츠는 명시적으로 세 가지 유형으로 분류되며, 각 유형은 특정 검색 우선순위를 할당받습니다:

• 권고사항 (Recommendations): ID 와 증거 등급 (예: Grade A) 을 포함한 구조화된 레코드.
• 기준 표 (Criteria Tables): 수치 임계값 및 분류 범위를 가진 진단 및 선별 기준.
• 서술적 문맥 (Narrative Context): 근거, 인구집단별 지침 및 정의.

2. 2 단계 검색 파이프라인

검색 과정은 임상적 관련성과 권위를 보장하기 위해 "라우팅 후 검색 (routing-then-retrieval)" 전략을 사용합니다:

• 라우팅: LLM 기반 퓨샷 (few-shot) 분류기가 임상 전문가의 쿼리를 가이드라인의 특정 섹션 및 하위 섹션 (예: "진단 및 선별") 에 매핑합니다. 이는 검색 범위를 개념적으로 일관된 세그먼트로 좁혀 전체 문서 검색보다 특이성을 향상시킵니다.
• 우선순위 검색: 라우팅된 섹션 내에서 시스템은 의미론적 유사성이 아닌 임상적 권위에 기반하여 엄격한 검색 순서를 강제합니다:
  1. 권고사항 (최고 우선순위)
  2. 진단/선별 기준 표
  3. 지원 서술
     이러한 구조적 필터링은 실행 가능하고 인용 가능한 콘텐츠가 생성기에 전달되는 문맥을 지배하도록 보장합니다.

3. 답변 생성 및 검증

생성 단계는 외부 의학적 지식의 주입을 금지하는 프롬프트 템플릿으로 제한된 LLM 을 사용합니다. 출력은 다음과 같이 구조화됩니다:

• 직접적이고 실행 가능한 간결한 답변 (2~3 문장).
• 주장과 특정 권고 ID 또는 표 행을 연결하는 검증 가능한 인용.
• 정확한 수치 임계값을 포함한 증거 세부사항.

중요하게도, 답변이 제시되기 전에 검증 모듈이 작동합니다. 이 모듈은 할루시네이션을 방지하기 위해 세 가지 제약을 강제합니다:

1. 인용 요구사항: 모든 주장은 특정 인용을 가진 검색된 증거로 뒷받침되어야 하며, 인용되지 않은 주장은 거부됩니다.
2. 수치 무결성: 수치 임계값 (예: mg/dL 값) 은 드리프트를 방지하기 위해 문자열 매칭을 통해 검색된 값과 정확히 일치해야 합니다.
3. 우아한 거절: 라우팅된 섹션에 충분한 증거가 없는 경우, 시스템은 할루시네이션을 일으키기보다 답변 생성을 거절합니다.

주요 기여

• 가이드라인 기반 아키텍처: 복잡한 임상 가이드라인을 구별되지 않는 텍스트로 취급하는 대신, 구조화되고 우선순위가 지정된 지식베이스로 변환하는 시스템.
• 증거 우선순위화: 텍스트 유사성이 아닌 임상적 중요도 (권고사항 > 표 > 서술) 로 콘텐츠를 순위 매기는 검색 메커니즘으로, 임상적 증거 위계와 일치함.
• 검증 가능한 인용 및 추적 가능성: 답변에서 소스 자료까지의 완전한 추적 가능성을 강제하는 설계로, 지지되지 않는 주장을 거부하고 수치 정확성을 보장하는 검증 계층 포함.
• 이중 모드 인터페이스: 가이드라인 기반 질문 - 답변 인터페이스와 ADA 프레임워크에 충실한 당뇨병 위험 평가 도구를 모두 제공하는 웹 기반 데모.

평가 결과

시스템은 Hugging Face 당뇨병 QA 데이터셋과 diabetes.co.uk 의료 웹보드에서 추출한 30 개의 수동으로 선별된 당뇨병 관련 질문에 대해 평가되었습니다. 평가는 진단 기준, 약물 관리, 생활습관 개입 및 환자 교육을 포함했습니다.

• 전체 정확도: ClinicBot 은 96% 의 종합 정확도를 달성했습니다.
• 세부 내역:
  • 63% (19/30): 완전히 정확한 응답.
  • 33% (10/30): 비중요한 세부사항 (예: 2 차 약물 옵션) 의 경미한 누락이 있는 정확한 이해.
  • 3% (1/30): 잘못된 응답.
• 성과: 결과는 가이드라인 기반 아키텍처가 복잡한 ADA 권고사항을 임상적으로 정확하고 실행 가능한 답변으로 효과적으로 운영화하여 실무 임상 전문가에게 제공함을 보여줍니다.

의의

본 논문은 ClinicBot 을 원시 생성 능력보다 설명 가능성과 증거 정당화를 우선시하는 신뢰할 수 있는 임상 AI 로서의 한 걸음으로 위치시킵니다. 의미론적 지식 추출과 계층적 증거 순위 매기기를 결합함으로써, 시스템은 엄격한 권위 있는 소스 준수를 유지하면서 다중 에이전트 환경에서 복잡한 임상 가이드라인을 대규모로 처리할 수 있음을 입증합니다. 이 연구는 의료와 같은 고신뢰도 분야에서 답변의 정확성만큼이나 특정 가이드라인 섹션과 증거 등급에 대한 결정을 검증할 수 있는 능력이 중요함을 강조합니다. 이 시스템은 투명하고 추적 가능하며 가이드라인에 충실한 지원을 제공함으로써 임상 전문가를 대체하는 것이 아니라 지원하도록 설계되었습니다.