🤖 machine learning

Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care

이 논문은 비정형 노트로부터 지역적 처방 패턴을 학습하고 베이지안 프롬프트 평균화(Bayesian prompt averaging)를 활용하여 불확실성을 인지한 유예 신호를 생성함으로써, 우간다 소아 뇌전증 케어에서의 LLM 기반 항경련제 권고를 향상시키는 비매개변수적 프롬프트 학습 프레임워크인 MANANA를 소개하며, 이를 통해 더 높은 정확도를 달ato 전문의 검토를 위한 선택적 예측을 가능하게 한다.

원저자: Shreyas Rajesh, Kartik Sharma, Tonmoy Monsoor, Mehmet Yigit Turali, Richard Idro, Juliana Kayaga, Robert Sebunya, Tracy Tushabe Namata, Jessica Nichole Pasqua, Vwani Roychowdhury, Rajarshi Mazumder

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shreyas Rajesh, Kartik Sharma, Tonmoy Monsoor, Mehmet Yigit Turali, Richard Idro, Juliana Kayaga, Robert Sebunya, Tracy Tushabe Namata, Jessica Nichole Pasqua, Vwani Roychowdhury, Rajarshi Mazumder

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 우간다의 분주한 클리닉에서 근무하는 일반의라고 상상해 보십시오. 당신은 뇌전증 환자를 진료하고 있으며, 어떤 약을 처방할지 결정해야 합니다. 문제는 당신이 보통 의존하는 "전문가"의 조언(거대 의학 교과서나 부유한 국가의 데이터로 학습된 AI)이 당신의 현실과 맞지 않을 수도 있다는 점입니다. 예를 들어, 비싼 약은 구할 수 없거나, 현지의 치료 방식이 다를 수 있습니다. 당신에게는 단순히 교과서적인 지식이 아니라, 당신의 구체적인 이웃 환경을 이해하는 AI 비서가 필요합니다.

이 논문은 MANANA라는 새로운 방식을 소개합니다. 이는 LLM(대규모 언어 모델)이 자원이 제한된 환경에서의 뇌전증 케어를 위해 어떻게 유능한 현지 조수가 될 수 있는지를 가르치는 방법입니다.

작동 원리는 다음과 같이 간단한 개념으로 나누어 설명할 수 있습니다.

1. 문제점: "관광객" 의사

표준 AI 모델은 관광객과 같습니다. 그들은 모든 의학 서적을 읽었지만(미국이나 영국 같은 부유한 국가의 데이터로 학습됨), 현지의 규칙은 알지 못합니다.

만약 당신이 관광객 AI에게 처방을 요청한다면, 그 AI는 너무 비싸거나 단순히 우간다에서 구할 수 없는 약을 제안할 수 있습니다.
AI는 "서구의 규칙"을 "우간다의 현실"에 적용하기 때문에 실수를 저지릅니다.
연구 결과, 이러한 AI들은 일부 사항을 올바르게 추측할 수는 있었지만, 그 오류는 체계적이었습니다. 즉, 현지 맥락을 모르기 때문에 자신 있게 틀린 답을 내놓는 것이었습니다.

2. 해결책: MANANA ("도제" 시스템)

AI의 뇌 자체를 다시 학습시키는 것(이는 비용이 많이 들고 어렵고 감사가 힘든 작업입니다) 대신, 저자들은 MANANA를 만들었습니다. MANANA를 실수와 교훈을 기록하는 "현장 일지"를 가진 똑똑한 도제라고 생각하십시오.

MANANA는 세 명의 팀처럼 작동합니다:

예측자 (도제): 환자의 차트를 보고 세 가지 가능한 약물 계획을 제 제안합니다.
검사자 (비평가): 도제의 제안을 실제 의사가 실제로 처방한 내용과 대조하여 확인합니다. 만약 일치하지 않는다면, 검사자는 왜 틀렸는지에 대한 이유를 적습니다 (예: "여기서는 약물 X를 제안하지 마세요. 재고가 없습니다").
설계자 (스승): 검사자의 모든 노트를 살펴봅니다. 만약 동일한 실수가 서로 다른 환자들에게 반복해서 발생한다면, 설계자는 다시는 이런 일이 발생하지 않도록 "현장 일지"(메모리)에 영구적인 규칙을 작성합니다.

핵심 기술: AI는 자신의 내부 뇌 코드를 변경하지 않습니다. 대신, 단지 "현장 일지"를 업데이트할 뿐입니다. 덕분에 감사가 용이하며(의사들이 일지를 읽고 AI가 무엇을 배웠는지 확인할 수 있음), 각 클리닉에 맞춰 적응시키기도 쉽습니다.

3. 두 가지 학습 방식

이 논문은 두 가지 버전의 도제를 테스트했습니다:

MANANA-Single: 팀이 하나의 큰 규칙 리스트를 작성합니다 (예: "항상 약물 A를 먼저 확인하라").
MANANA-Multi: 팀이 "전문가 에이전트" 그룹을 생성합니다. 한 에이전트는 약물 가용성에 집중하고, 다른 에이전트는 부작용에, 또 다른 에이전트는 환자의 병력에 집중합니다. 이들은 함께 문제를 해결합니다.

4. "모른다"고 말할 때를 아는 법 (안전 장치)

의학에서 AI가 확신이 없을 때 추측하는 것은 위험합니다. 이 논문은 **베이지안 프롬프트 평균화(Bayesian Prompt Averaging, BPA)**라는 기능을 도입했습니다.

이것은 AI가 자신의 확신도를 스스로 체크하는 것이라고 생각하십시오.

AI는 학습함에 따라 현장 일지의 다양한 "단계"를 거칩니다.
BPA는 이 단계들을 살펴보고 묻습니다: "우리가 이 답이 맞다고 얼마나 확신하는가?"
높은 확신도: AI가 매우 확신한다면(예: 99%), 그 처방을 의사에게 전달하여 사용하게 합니다.
낮은 확신도: AI가 흔들린다면, 경고를 울리고 이렇게 말합니다: "이 건에 대해서는 확신이 없습니다. 전문의에게 보내주세요."

이것은 매우 중요합니다. 전문의가 적은 곳에서는 쉬운 사례에 전문의의 시간을 낭비하고 싶지 않기 때문입니다. 당신은 전문의가 오직 어렵고 불확실한 사례만을 다루기를 원합니다.

5. 결과

연구팀은 우간다의 두 병원에서 가져온 실제 환자 기록을 바탕으로 테스트를 진행했습니다.

기본 모델보다 우수함: MANANA는 표준 AI 프롬프트나 기존의 컴퓨터 모델보다 올바른 약물을 훨씬 더 잘 예측했습니다.
"Multi" 팀의 승리: 전문가 에이전트 그룹이 있는 버전(MANANA-Multi)이 가장 좋은 성과를 보였습니다.
안전망의 효과: 시스템이 확신이 없는 경우를 "위임(pass on)"하도록 허용했을 때, 처리한 사례들에 대한 정확도가 급격히 상승했습니다.
- 가장 확신이 높은 50%의 사례를 처리할 때 95%의 정확도를 보였습니다.
- 가장 확신이 높은 25%의 사례를 처리할 때 99%의 정확도를 보였습니다.

요약 비유

당신이 한 번도 방문해 본 적 없는 도시를 항해하고 있다고 상상해 보십시오.

표준 AI는 뉴욕 시에서만 훈련된 GPS와 같습니다. 그 GPS는 "지하철역에서 좌회전하세요"라고 말하겠지만, 당신의 도시에는 지하철이 없습니다.
MANANA는 빈 노트를 들고 시작하는 현지 가이드와 같습니다. GPS가 잘못된 길을 알려줄 때마다, 가이드는 "여기에 지하철은 없으니, 대신 우회전하세요"라고 노트에 적습니다. 며칠이 지나면, 가이드는 당신의 도시에 딱 맞는 완벽한 지도를 갖게 됩니다.
**BPA (확신도 체크)**는 가이드가 "시장에 가는 길은 완벽하게 알고 있지만, 산으로 가는 길은 잘 모르겠습니다. 산 부분은 현지 전문가에게 물어봅시다"라고 말하는 것과 같습니다.

이 논문은 이러한 접근 방식이 값비싼 재학습 없이도 제한된 현지 데이터를 통해 AI가 학습할 수 있게 해주며, 전문의 케어가 부족한 곳에서 의사를 도울 수 있는 실질적인 도구가 된다는 결론을 내립니다.

기술 요약: 소외된 뇌전증 케어 분야에서 LLM의 권고 및 유보 학습

문제 정의
전문적인 뇌전증 전문 지식은 저소득 및 중저소득 국가(LMIC)에서 매우 희귀하며, 이곳의 일반의들은 진단 자원(예: EEG 또는 영상 의학 장비 부족)이 제한적이고 약물 가용성이 낮은 상황에서 장기적인 치료를 관리합니다. 대규모 언어 모델(LLM)은 의사 결정 지원의 잠재력을 제공하지만, 현재의 의료 AI 벤치마크는 구조화된 전자 건강 기록(EHR)을 갖춘 고소득 환경에 편중되어 있습니다. 결과적으로, 표준 LLM은 현지의 처방 관행, 약물 품절 상태, 추적 관찰 규범에 적응하지 못합니다. 또한, 기존 시스템은 불확실성을 정량화하는 메커니즘이 부족하여, 희귀한 전문의에게 어려운 사례를 전략적으로 유보(defer)하는 기능이 결여되어 있습니다. 핵심 과제는 파라미터 가중치 업데이트(계산 비용이 많이 들고 감사가 어려움) 없이도 비구조화된 임상 노트를 통해 현지의 처방 로직을 학습하고, 선택적 예측을 가능하게 하는 신뢰도 점수를 제공할 수 있는 시스템을 개발하는 것입니다.

방법론: MANANA 프레임워크
저자들은 소규모 환자 단위 학습 세트(본 연구에서는 50명의 환자)를 사용하여 LLM을 현지 임상 환경에 적응시키기 위한 비파라미터적 프롬프트 학습 프레임워크인 MANANA를 소개합니다. MANANA는 모델 가중치를 업데이트하는 대신, 미래의 예측을 조건화하는 명시적이고 감사가 가능한 메모리 상태를 학습하는 방식으로 작동합니다.

다중 에이전트 학습 루프 (Multi-Agent Learning Loop):
- 예측기 (Predictor): 환자의 병력과 현재 메모리 상태가 주어졌을 때, 세 가지 후보 항경련제(ASM) 요법을 제안하는 LLM 에이전트입니다.
- 검사기 (Inspector): 예측된 요법을 실제 의사의 처방과 비교하는 에이전트입니다. 이 에이전트는 구조화된 보고서와 "후보 학습 내용"(특정 케이스 노트에 근거한 간결한 교훈)을 생성합니다.
- 설계자 (Architect): 후보 학습 내용의 추가 전용 버퍼(append-only buffer)로부터 증거를 집계하는 에이전트입니다. 이 에이전트는 서로 다른 진료 방문에서 반복되는 패턴이 감지될 때만 메모리 상태를 업데이트하여 노이러스(noise)에 대한 견고성을 보장합니다.
메모리 변형 (Memory Variants):
- MANANA-Single: 단일 공유 수정 규칙 목록(예: "약물 X를 사용할 수 없는 경우, 약물 Y로 교체")을 학습합니다.
- MANANA-Multi: 각 에이전트가 특정 임상 신호를 추출하는 역할을 맡는 "전문가 에이전트" 집단을 인스턴스화합니다. 설계자는 반복되는 증거를 바탕으로 이러한 에이전트를 생성, 편집 또는 제거하여, 경계가 있고 검사 가능한 전문가 프롬프트 세트를 유지합니다.
베이지안 프롬프트 평균화 (Bayesian Prompt Averaging, BPA):
불확실성을 해결하기 위해, 저자들은 학습된 프롬프트 궤적에 대한 베이지안 모델 평균화 절차인 BPA를 제안합니다. 단일 최종 프롬프트 대신, 시스템은 메모리 상태의 시퀀스( $m_1, \dots, m_T$ )를 앙상블 추정기로 취급합니다.
- 사후 확률 가중치 부여 (Posterior Weighting): 홀드아웃 검증 세트를 사용하여 각 메모리 상태의 주변 가능도(marginal likelihood)를 계산합니다. 검증 데이터에서 더 나은 성능을 보이는 상태에는 더 높은 가중치를 할당합니다.
- 유보 신호 (Deferral Signal): 예측의 가중 평균은 처방 확률 분포를 산출합니다. 이를 통해 시스템은 고신뢰 사례(자동 처리 가능)와 저신뢰 사례(전문의에게 유보)를 식별하여, 희귀한 전문의의 주의가 가장 필요한 곳으로 경로를 지정할 수 있습니다.

주요 기여

MANANA 프레임워크: 임상의가 작성한 규칙이나 추론 과정에 대한 전문가 검토 없이도, 비구조화된 노트를 통해 현지의 처방 결정을 학습하는 비파라미터적, 오류 기반 프롬프트 학습 시스템입니다. 이는 Single-agent 및 Multi-agent 변형으로 구현됩니다.
저자원 환경에서의 성능: 두 개의 독립적으로 수집된 우간다 소아 뇌전증 코호트를 통해, 소규모 데이터셋으로 훈련된 MANANA가 고전적 ML 모델, 직접적인 LLM 프롬프팅, 그리고 최첨단 프롬프트 최적화 베이스라인(예: TextGrad, DSPy)을 능가함을 입증했습니다.
불확실성 인지 유보 (Uncertainty-Aware Deferral): BPA는 학습된 프롬프트 궤적을 처방 확률로 변환합니다. 이는 의미 있는 선택적 예측을 가능하게 하여, 가장 확신이 있는 사례는 자동으로 처리하고 불확실한 사례는 전문의 검토를 위해 유보함으로써 업무량을 조절할 수 있게 합니다.

실험 결과
연구는 훈련/검증을 위한 코호트 A(환자 332명, 방문 1,040회)와 독립적 전이 테스트를 위한 코호트 B(환자 367명, 방문 1,509회)를 포함한 우간다 참조 센터의 두 코호트를 활용했습니다. 과제는 장기적인 비구조화 노트를 바탕으로 ASM 요법(단독 요법 또는 병용 요법)을 예측하는 것이었습니다.

정확도: MANANA-Multi는 가장 높은 Exact Match@3 (EM@3) 점수를 달랐습니다. 코호트 A(단독 요법, 방문 3)에서 **97.0%**를 달성하여, 최상의 프롬프트 최적화 베이스라인(TextGrad, 87.3%)과 직접 프롬프팅(59.3%)을 능가했습니다. 코호트 B(전이)에서 MANANA-Multi는 93.2%(단독 요법, 방문 3) 및 69.8%(병용 요법, 방문 3)를 달성하여, 고전적 베이스라인과 유의미하게 차별화되는 성능을 보였으며 다양한 문서 형식과 임상의 사이에서도 견고함을 입증했습니다.
불확실성 및 유보: BPA는 단순 다수결 투표에 비해 Top-1 정확도를 개선하고 정답과 오답 예측 사이의 신뢰도 격차를 키웠습니다.
- 홀드아웃 코호트 B에서, 시스템은 상위 25% 가장 신뢰도 높은 사례에 대해 99% 정밀도를, 상위 50% 가장 신뢰도 높은 사례에 대해 95% 정밀도를 달eli 성했습니다.
- 이를 통해 클리닉은 하위 50%의 사례를 전문의에게 유보하면서도, 자동 처리되는 절반의 사례에 대해 95%의 정확도를 유지하며 업무량을 조절할 수 있습니다.

의의 및 주장
본 논문은 MANANA가 모델 가중치를 재학습시키는 부담 없이 제한된 현지 데이터로부터 학습할 수 있는 현지 적응형 임상 LLM 시스템을 향한 경로를 제공한다고 주장합니다. 관찰된 처방 오류를 감사 가능한 프롬프트 메모리로 변환함으로써, 시스템은 표준 의료 지식 베이스가 놓칠 수 있는 현지의 처방 규칙(예: 약물 가용성 제약)을 포착합니다.

결정적으로, 저자들은 BPA를 통한 유보 신호 생성 능력이 중요한 배포 요구 사항을 해결한다고 강조합니다. 즉, 모델이 가장 불확실해하는 사례에 희귀한 전문의의 주의를 집중시킬 수 있도록 보장하는 것입니다. 이 연구는 MANANA가 고차원적 의료 지식과 저자원 임상 환경의 실제 현실 사이의 간극을 메워, 전문 지식을 사용할 수 없는 장기적 케어 관리 상황에서 배포 가능한 솔루션을 제공한다고 제언합니다.

한계점
저자들은 현재의 유보 임계값이 홀드아웃 데이터에 대해 사후적으로 선택되었으며, 실제 임상 현장에서는 전향적 튜닝이 필요하다고 언급했습니다. 또한, 시스템은 임상적으로 최적인 요법(발작 자유도 기준)을 증명하기보다는, 담당 의사의 처방과 일치하는 것을 최적화합니다. 향-후 학습된 메모리를 임상 결과와 대조하고 직접적인 발작 예측을 통합하는 후속 연구가 필요합니다.