Multi-agent Self-triage System with Medical Flowcharts

1. 문제 정의 (Problem)

• 배경: 온라인 건강 정보와 대규모 언어 모델 (LLM) 이 의료 결정의 첫 번째 접촉점으로 급격히 증가하고 있습니다. 특히 ChatGPT 와 같은 LLM 을 이용한 자기 진단 (Self-triage) 이 보편화되고 있습니다.
• 현황의 문제점:
  • 정확성 부족: 기존 증상 체크기 (Symptom checkers) 는 정확도가 낮고, LLM 은 환각 (Hallucination) 현상으로 인해 잘못된 정보를 생성할 수 있습니다.
  • 투명성 부재: LLM 의 의사결정 과정은 '블랙박스'로, 의료 전문가나 환자가 그 근거를 검증하거나 감사 (Audit) 하기 어렵습니다.
  • 비효율적 자원 배분: 응급실 (ED) 에 비응급 환자가 몰려 의료진이 과부하를 겪고, 실제 응급 환자가 지연되는 문제가 발생합니다.
• 목표: LLM 의 유연한 대화 능력과 표준화된 임상 프로토콜의 엄격함을 결합하여, 투명하고 검증 가능하며 정확한 자기 분류 시스템을 구축하는 것.

2. 방법론 (Methodology)

저자들은 TriageMD라는 이름의 대화형 자기 분류 시스템을 제안했습니다. 이 시스템은 미국 의학회 (AMA) 의 임상적으로 검증된 100 개의 흐름도 (Flowchart) 를 기반으로 하며, 다중 에이전트 (Multi-agent) 아키텍처를 사용합니다.

핵심 구성 요소

1. 의료 흐름도 데이터베이스 (Flowchart Database):
   • AMA 가족 의학 가이드의 100 개 흐름도를 그래프 (Graph) 구조로 변환하여 저장했습니다.
   • 각 노드는 질문 (N), 다른 흐름도로의 전환 (F), 행동 권고 (A), 설명 (I) 으로 정의되며, 방향성 있는 간선으로 연결됩니다.
2. 3 단계 다중 에이전트 시스템:
   • 검색 에이전트 (Retrieval Agent): 환자의 인구통계학적 정보 (성별, 나이) 와 주요 증상 (Chief complaint) 을 입력받아, 데이터베이스에서 가장 적합한 흐름도를 검색합니다.
     • 기술: 벡터 유사도 검색 (Cosine Similarity) 과 LLM 의 의미 분석을 결합한 RAG(Retrieval-Augmented Generation) 방식을 사용합니다.
   • 의사결정 에이전트 (Decision Agent): 환자의 응답을 해석하여 흐름도의 다음 단계로 진행할지, 아니면 추가 확인이 필요한지 판단합니다.
     • 출력: 4 가지 축 (Topic 관련성, 답변 완료 여부, Yes/No, 불확실성) 을 구조화된 JSON 형식으로 출력합니다.
   • 채팅 에이전트 (Chat Agent): 환자의 응답에 기반하여 공감적이고 간결한 답변을 생성하거나, 불확실한 경우 추가 질문을 유도합니다.

평가 방법

• 데이터셋: 실제 환자 데이터의 한계로 인해, 4 가지 다른 LLM(GPT-4o, Claude 3, Gemini, DeepSeek) 을 사용하여 생성한 합성 데이터 (Synthetic Data) 를 사용했습니다.
  • 검색 평가: 2,000 개의 환자 시작 문장 (Opening statements) 을 생성하여 올바른 흐름도 검색 정확도를 측정했습니다.
  • 내비게이션 평가: 37,200 개의 환자 응답을 생성하여 5 가지 대화 패턴 (간결함, 상세함, 모호함, 불확실함, 주제 이탈) 에서 시스템이 흐름도를 올바르게 따라가는지 평가했습니다.

3. 주요 기여 (Key Contributions)

• 공유 표현 (Shared Representation) 도입: LLM 과 의료 전문가 간의 신뢰할 수 있는 연결고리로 '검증된 임상 흐름도'를 사용함으로써, LLM 의 환각을 방지하고 의사결정 경로를 투명하게 만들었습니다.
• 다중 에이전트 구조: 검색, 해석, 응답 생성을 분리하여 각 에이전트가 전문적인 역할을 수행하도록 설계함으로써 시스템의 신뢰성과 제어 가능성을 높였습니다.
• 투명하고 감사 가능한 AI: 블랙박스인 LLM 의 출력을 인간이 읽고 수정할 수 있는 명시적인 흐름도 기반으로 제한하여, 의료 현장에서의 적용 가능성을 제시했습니다.

4. 결과 (Results)

시스템은 대규모 합성 데이터셋에서 뛰어난 성능을 보였습니다.

• 흐름도 검색 (Flowchart Retrieval):
  • 100 개 흐름도 중 가장 적합한 흐름도를 **Top-3 정확도 95.29%**로 식별했습니다.
  • 검색 에이전트 (유사도 검색 + LLM) 는 단일 LLM 만 사용할 때 (78.40%) 나 유사도 검색만 사용할 때 (82.14%) 보다 높은 정확도 (84.66%) 를 보였습니다.
• 흐름도 내비게이션 (Flowchart Navigation):
  • 다양한 대화 스타일과 조건에서 환자의 응답을 해석하고 흐름도를 따라가는 정확도가 **99.10%**에 달했습니다.
  • 특히, 환자의 응답이 모호하거나 불확실한 경우 (Weak/Uncertain patterns) 에 시스템이 잘못된 판단을 내리지 않고 현재 단계에 머무르거나 확인을 요청하는 등 안전 장치를 잘 작동시켰습니다.
  • '확실하고 잘못된 (Certain and Incorrect)' 치명적 오류는 매우 낮게 발생했습니다.

5. 의의 및 결론 (Significance)

• 의료 자원 최적화: 환자가 자신의 증상에 대해 적절한 진료 수준 (자가 관리, 일반 진료, 응급실 방문) 을 판단하도록 도와 응급실의 비응급 방문을 줄이고 의료 자원을 효율적으로 배분할 수 있습니다.
• 신뢰할 수 있는 AI 의료 도구: LLM 의 유연성을 유지하면서도 임상 프로토콜의 엄격함을 준수하는 새로운 패러다임을 제시했습니다. 이는 환자와 의료진 모두에게 투명하고 검증 가능한 AI 기반 의사결정 지원 도구의 가능성을 보여줍니다.
• 향후 전망: 현재는 영어 텍스트 기반이며 합성 데이터로 평가되었으나, 향후 실제 임상 데이터 검증, 다국어/멀티모달 지원, 오류 복구 메커니즘 등을 통해 실제 의료 현장에 적용될 수 있는 기반을 마련했습니다.

이 연구는 구조화된 임상 지식과 생성형 AI 를 결합하여, 의료 분야에서 AI 의 신뢰성과 안전성을 확보할 수 있는 중요한 실마리를 제공했습니다.