기술 요약: ClaMPAPP – 소아 충수염을 위한 하이브리드 LLM–ML 시스템

문제 정의

소아 충수염의 임상 의사 결정 지원에 인공지능을 통합하는 데에는 근본적인 이분법적 문제가 존재한다. 구조화된 임상 데이터(예: 검사 수치, 초음파 측정값)로 학습된 지도 학습 머신러닝(ML) 모델은 견고하고 결정론적인 위험 예측을 제공하지만, 실제 임상 기록의 비구조적이고 서술적인 특성을 처리하는 데 어려움을 겪는다. 반대로, 대규모 언어 모델(LLM)은 자유 형식의 텍text 내러티브를 해석하는 데 탁월하지만, 단독 진단 엔진으로 사용될 경우 심각한 신뢰성 문제를 노출한다. 이러한 문제에는 프롬프트 구문에 대한 민감도, 위치 편향(정보 순서), 그리고 "환각(hallucination)" 현상을 일으키는 그럴듯한 출력 생성 등이 포함된다. 소아 충수염과 같은 고위험 급성 트리아지(triage) 환경에서 위음성(진단 누락)의 위험은 주요한 안전 문제이며, 엔드 투 엔드(end-to-end) LLM 진단의 불안정성은 용납될 수 없다.

방법론: ClaMPAPP 아키텍처

자연어 사용성과 진단 신뢰성 사이의 간극을 메우기 위해, 저자들은 ClaMPAPP(Clinical Language-assisted Machine-learning Pipeline for Appendicitis)를 제안한다. 이 하이브리드 시스템은 LLM의 역할을 의사 결정자가 아닌 인터페이스로 재할당하며, 최종 위험 예측은 지도 학습 ML 모델에 위임한다. 파이프라인은 네 단계의 순차적 과정으로 구성된다:

1. LLM 기반 특징 추출(Feature Extraction): LLM(재작성 단계에서 Llama-3.1-8B 사용)이 비구조적인 노트 형태의 임상 내러티브를 처리한다. LLM은 진단을 생성하는 대신, 도구 호출(tool calling)을 통해 의미론적 파싱을 수행하도록 제약되어, 자유 텍스트를 인구통계, 임상 점수(Alvarado, PAS), 증상, 실험실 변수 및 초음파 소견을 포함하는 스키마 제약 구조(JSON)로 매핑한다.
2. 결정론적 특징 검증(Deterministic Feature Validation): 안전 게이트가 추출된 특징들을 사전 정의된 생리학적 및 임상적 타당성 제약 조건(예: $0 \le \text{Age} \le 18$, $35.0 \le \text{Temperature} \le 42.0^\circ\text{C}$)에 따라 검증한다. 이 범위를 벗어나는 값들은 편향된 입력을 방지하기 위해 클리핑(clipping)되는 대신 결측값(NaN)으로 처리된다. 이 단계는 임상적으로 타당한 데이터만이 예측기에 입력되도록 보장한다.
3. 위험 예측(Risk Prediction): 검증된 특징 벡터는 구조화된 임상, 실험실 및 초음파 변수로 학습된 XGBoost 분류기로 전달된다. XGBoost는 결측 데이터를 기본적으로 처리할 수 있고 임상 분류 작업에서 강력한 성능을 발휘한다는 점 때문에 선택되었다. 이 모델은 연속적인 충수염 위험 점수를 출력한다.
4. 보고서 생성(Report Generation): LLM은 임상 요약가로서 역할을 수행하며, XGBoost 위험 점수와 추출된 특징들을 맥락화하여 임상의에게 구조화된 보고서를 제공한다. 이때 확정적인 진단 지시를 내리는 대신, 비처방적 트리아지 언어(예: "고위험: 외과 협진 고려")를 사용한다.

데이터 생성 및 평가:
통제된 평가를 위해, 저자들은 템플릿 기반 렌더링 후 LLM 재작성을 거쳐 구조화된 전자 건강 기록(EHR) 데이터로부터 노트 형태의 임상 내러티브를 합성하였다. 이 접근 방식은 정보의 순서를 뒤바꾼 "치환된(permuted)" 내러티브를 생성함으로써, LLM의 알려진 취약점인 위치 편향에 대한 강건성을 테스트할 수 있게 하였다.

시스템은 독일 병원들의 두 독립적인 회고적 코호트를 통해 평가되었다:

• 내부 코호트 (레겐스부르크): 782명의 환자 (훈련 580명, 테스트 202명).
• 외부 코호트 (뒤셀도르프): 301명의 환자 (외부 검증용으로만 사용).

주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

1. LLM의 재배치: 본 프레임워크는 LLM을 직접적인 진단 분류가 아닌 특징 추출 및 인터페이스 역할로 제한한다. 이를 통해 최종 예측을 결정론적이고 투명하며, 검증된 ML 모델에 의존함으로써 감사(auditable) 가능하게 만든다.
2. 안전 중심 성능: ClaMPAPP는 단독 LLM 베이스라인에 비해 우수한 민감도-특이도 트레이드오프를 보여준다. 이는 특히 급성 트리아지에서 핵심 안전 지표인 위음성(진단 누락 사례)을 유의미하게 감소시킨다.
3. 내러티브 변형에 대한 강건성: 문장 순서 치환 실험을 통해, 순수 LLM 베이스라인은 위치 편향으로 인해 상당한 성능 저하를 보이는 반면, 하이브리드 ClaMPAPP 아키텍처는 상대적으로 안정적임을 입증하였다.

실험 결과

시스템은 다양한 LLM(OpenAI GPT-5.5, o3-pro, Anthropic Claude Opus 4.7 및 MedGemma, Llama-3.1과 같은 오픈 소스 모델 포함) 및 전통적인 ML 모델들과 벤치마킹되었다.

• 진단 성능:

  • 내부 검증 (레겐스부르크): ClaMPAPP는 최고 정확도(85.1%)와 F1-score(84.8%)를 달성하였으며, 민감도는 97.7%로 단 2건의 확진 사례만을 놓쳤다. 반면, 단독 LLM들은 불안정한 트레이드오프를 보였다. 예를 들어, MedGemma-4b-it는 높은 특이도를 보였으나 40건의 사례를 놓쳤고(민감도 53.5%), OAS-Pythia-12b는 단 1건만을 놓쳤으나 특이도가 2.6%에 불과했다.
  • 외부 검증 (뒤셀도르프): ClaMPAPP는 최고 정확도(80.7%)와 F1-score(0.881)를 유지하였으며, 민감도는 93.5%로 15건의 사례를 놓쳤다. 이는 모든 베이스라인 중 진단 누락을 최소화하는 데 가장 뛰어난 성능을 보였으며, GPT-5.5와 같은 모델은 높은 특이도에도 불구하고 78건의 사례를 놓쳤다.

• 강건성 분석:

  • 문장 순서 치환(내러티브의 앞부분과 뒷부분을 교체) 상황에서, 순수 LLM 베이스라인은 심각한 성능 붕괴를 보였다. 예를 들어, Llama-3.1-8b의 정확도는 0.475로 떨어졌고, MedGemma-4b-it의 민감도는 0.128로 급락했다.
  • ClaMPAPP는 높은 아키텍처 강건성을 입증하며, 내부적으로는 완벽한 민감도(1.000)를, 외부적으로는 치환 시 0.926의 민감도를 유지하며 정확도 감소를 5.2%로 최소화했다.

• 교정(Calibration):

  • ClaMPAPP는 우수한 변별력(내부 AUC = 0.982; 외부 AUC = 0.804)을 보였으나, 원시 확률 교정은 불완전했다. 탐색적 사후 로지스틱 재교정(post-hoc logistic recalibration)을 통해 순위 성능을 해치지 않으면서도 Brier score 및 ECE를 줄이는 등 교정 지표를 개선할 수 있었는데, 이는 미교정이 예측 능력의 부족보다는 확률 척도의 불일치에서 기인했음을 시사한다.

의의 및 주장

본 논문은 "인터페이스로서의 LLM, 예측기로서의 ML" 패러다임이 제약 없는 생성적 진단보다 더 감사 가능하고 안전 지향적인 임상 의사 결정 지원 경로를 제공한다고 주장한다. 자연어 사용성과 예측 추론을 분리함으로써, 시스템은 데이터 추출을 위한 LLM의 임상적 유용성을 활용하는 동시에, 결정적인 결정 단계에서는 검증되고 결정론적인 ML 모델에 의뢰한다.

저자들은 ClaMPAPP가 단독 진단 도구가 아니라 트리아지 지향적 위험 계층화 보조 도구임을 강조한다. 이 시스템의 주된 가치는 급성 환경에서 진단 누락(위음성)을 최소화하는 데 있다. 연구는 현재 엔드 투 엔드 LLM이 불안정성과 환각 위험으로 인해 안전이 중요한 진단 결정에 부적합하지만, 하이브리드 시스템은 구조화된 예측 모델과 내러티브 문서 사이의 간극을 효과적으로 메울 수 있다고 결론짓는다. 또한, 이러한 통합 패턴은 검증된 테이블형 예측기와 내러티브 문서가 공존하는 다른 의료 분야에도 전이 가능하지만, 실제 워크플로우에서의 전향적 검증이 선행되어야 한다고 주의를 준다.