기술 요약: 설명 가능한 질병 진단을 위한 대규모 언어 모델을 활용한 불확실성 추론

문제 제기

임상 의사결정은 종종 불확실성 하에서 이루어지며, 이때 환자 내러티브는 불완전하고 시간적으로 모호하며, 명확한 부울 사실 대신 질적, 등급적 용어 (예: "경미한 피로" 또는 "고열") 로 표현됩니다. 대규모 언어 모델 (LLM) 은 자연어에서 잠재 정보를 추출하는 데 뛰어난 능력을 보이지만, 검증 가능성, 해석 가능성, 그리고 신뢰할 수 있는 불확실성 보정 부족으로 고통받습니다. 반면, 순수 기호 시스템은 투명한 규칙과 검증 가능한 추론을 제공하지만, 실제 임상 기술에 내재된 모호성과 노이즈에 직면할 경우 종종 실패합니다. 본 연구가 다루는 핵심 과제는 LLM 의 적응성과 형식 논리의 엄격함을 결합하여 설명 가능하고, 감사 가능하며, 신뢰할 수 있는 의학적 진단을 생성하는 진단 시스템을 개발하는 것입니다.

방법론

저자들은 LLM 을 형식 논리와 정렬하는 3 개 모듈 아키텍처를 통해 신경 - 기호 추론 프레임워크를 제안합니다:

1. 형식 지식 구축

이 모듈은 비정형 텍스트와 기호 논리를 연결합니다:

• 신경 임베딩 및 규칙 유도: 임상 코퍼스 (기록, 가이드라인) 는 도메인 튜닝된 LLM 을 사용하여 인코딩됩니다. 모델은 증상 - 질병 쌍에 대한 Horn 절 템플릿 ($H \leftarrow B_1, \dots, B_n$) 을 제안하도록 프롬프트됩니다. 신뢰도 임계값을 초과하는 템플릿은 동적으로 진화하는 기호 규칙 집합 $R$로 구체화됩니다.
• 기호 디코딩: LLM 은 임베딩된 텍스트 세그먼트를 구조화된 삼중항 (개체, 관계, 값) 으로 변환합니다. 이들은 언어적 완충어 (예: "경미한"이 특정 가중치에 매핑됨) 를 반영하는 진리도 $w \in [0, 1]$을 가진 퍼지 술어에 매핑됩니다.
• Prolog 합성: 삼중항과 규칙은 템플릿 라이브러리를 사용하여 기호 지식 베이스로 컴파일되어, 추론된 모든 가설에 대한 세밀한 증명 트리 생성을 가능하게 합니다.

2. 신경 - 기호 사이클

이 프레임워크는 데이터와 인간 피드백을 모두 포함하는 지속적인 학습 루프를 지원합니다:

• 의사 주도 편집: 임상 전문가는 추론 흔적을 검사하고, 예외 규칙을 추가하며, 술어 가중치를 조정하거나 반례를 제공할 수 있습니다. 이러한 편집은 버전 관리되어 투명한 감사 추적기를 생성합니다.
• 자동 규칙 업데이트: 시스템은 데이터 기반 정제를 위한 2 단계 메커니즘을 사용합니다:
  • 온라인 패시브 - 어그레시브 랭킹: 참인 질병이 위양성 (false positives) 에 비해 잘못 랭킹될 때 증상 가중치를 조정합니다.
  • 구조적 추가/제거: 증거 임계값에 기반하여 새로운 증상 - 질병 간 연결을 추가하거나 기존 연결을 제거하기 위해 집계 통계 (공발생 수 및 특이도 비율) 를 주기적으로 분석합니다.
• 버전 관리된 지식 베이스: 모든 업데이트는 시간戳이 찍힌 스냅샷 $K(t)$를 생성하여, 버전 간 진단이 변경된 이유를 설명하기 위한 반사실적 감사를 가능하게 합니다.

3. 실시간 진단 엔진

이 모듈은 진단을 실행합니다:

• 전처리: 기록은 세그먼트로 나누고 시간 표현은 정규화됩니다.
• 하이브리드 증상 가중치: 증상 가중치는 검색 사전 확률(FAISS 인덱스의 최근접 이웃 사례와의 유사성) 과 고유 중요도(텍스트 완충어에서 파생된 LLM 기반 가중치) 의 혼합에서 도출됩니다. 소프트맥스 혼합을 통해 임상 전문가는 텍스트 대 검색 증거에 대한 의존도를 조정할 수 있습니다.
• 퍼지 Prolog 추론: 가중치 부여된 사실은 SWI-Prolog(퍼지 논리 라이브러리가 확장됨) 에서 주장됩니다. 규칙은 t-norm 활성화가 임계값을 초과할 경우 발동됩니다.
• 역학적 사전 확률 융합: 최종 확률은 규칙 활성화 점수와 환자 인구통계 (연령, 성별, 지역) 에 조건부인 유병률 데이터를 결합하여 계산됩니다.

주요 기여

1. 하이브리드 아키텍처: LLM 추출, 퍼지 증상 표현, 기호 추론, 확률적 랭킹을 연결하는 통합 파이프라인.
2. 검사 가능한 업데이트 메커니즘: 의사의 피드백과 지역적 사례 증거가 규칙 가중치와 구조를 수정할 수 있도록 허용하면서도 지식 베이스의 버전 관리된 감사 가능한 이력을 유지하는 시스템.
3. 실증적 검증: 공개 임상 벤치마크에 대한 평가로, 하이브리드 설계가 기호 제거 모델보다 견고성과 설명 가능성을 향상시키면서도 강력한 LLM 베이스라인과 경쟁력을 유지함을 입증했습니다.

실험 결과

이 프레임워크는 세 가지 데이터셋에서 평가되었습니다: gretelai/symptom-to-diagnosis(단일 레이블), lavita/ChatDoctor-iCliniq(다중 레이블), 그리고 MIMIC-IV(다중 레이블).

• 정확도: 단일 레이블 데이터셋에서 전체 하이브리드 방법은 최고 Top-1 정확도 (44.8%) 를 달성하여 순수 LLM 베이스라인 (예: GPT-4o 의 39.0%) 과 제거된 기호 모델 모두를 능가했습니다.
• 다중 레이블 성능: iCliniq 데이터셋에서 하이브리드 방법 (44.8% Top-1) 은 GPT-4o(48.6%) 를 약간 하회했습니다. 저자들은 이를 데이터 품질 문제 (불신뢰한 레이블, 비증상 텍스트) 와 LLM 이 뛰어난 고도로 모호한 컨텍스트의 본질적 어려움으로 귀인합니다. 그러나 다듬어진 iCliniq 데이터셋과 더 명확한 증상 신호를 특징으로 하는 MIMIC-IV 데이터셋에서는 하이브리드 시스템이 우월하거나 동등한 성능을 보였으며, MIMIC-IV 에서 57.2% 의 Top-1 정확도를 달성하여 GPT-4o 의 53.3% 를 상회했습니다.
• 일관성 및 설명 가능성: 시스템은 증상 추출에서 낮은 오류율 (<1.3%) 과 높은 설명 가능성 점수 (3.20–3.67/4.00) 를 보여주어, 중간 추론이 최종 결론과 정렬됨을 확인했습니다.
• 효율성: 하이브리드 시스템은 1,000 개 샘플에 대해 더 많은 실행 시간이 필요했습니다 (GPT-4o 의 26.61 분 대비 48.69 분). 그러나 비용 효율성은 훨씬 더 높았으며 ($14.68 대비$7.61), 토큰 사용량도 적었습니다 (5.75M 대비 2.87M).

중요성 및 주장

이 논문은 신경 추출을 명시적인 퍼지 및 기호 표현에 근거시킴으로써, 제안된 프레임워크가 추적 가능성을 유지하면서 모호한 환자 내러티브에 대해 추론할 수 있는 실용적인 진단 AI 로 나아가는 길을 제공한다고 주장합니다.

저자들은 그들의 시스템이 단순히 신뢰도에 따라 진단을 랭킹하는 것을 넘어 감사 가능한 추론 경로와 형식적으로 검증 가능한 결론을 제공한다고 강조합니다. 순수 통계적 방법과 달리, 이 시스템은 LLM 생성 진단과 참값 사이의 불일치를 형식 규칙을 통해 추적, 설명, 수정할 수 있는 반복적 정제를 지원합니다. 이 연구는 정확할 뿐만 아니라 해석 가능하고, 견고하며, 인간 추론과 정렬된 AI 로 나아가는 한 걸음으로 자리매김하며, 고위험 임상 의사결정 지원에서 투명성에 대한 중요한 필요성을 해결합니다.

저자들은 새로운 도메인으로의 확장성을 제한할 수 있는 수동으로 큐레이션된 규칙에 대한 의존성, 퍼지 논리를 위한 전문가가 만든 소속 함수에 대한 의존성, 그리고 증상 진화에 대한 명시적 시간 모델링의 현재 부재와 같은 한계를 인정합니다.