이 편지를 읽어서 **"이 증상이 정말 약 때문일까? 아니면 다른 병 때문일까?"**를 판단해야 합니다. 이를 '인과성 평가'라고 합니다.
인간 전문가 (요리사):
약학자나 의사 같은 전문가들은 이 편지들을 꼼꼼히 읽고, 경험과 논리를 바탕으로 "약 때문일 확률이 80% 야"라고 결론을 내립니다.
인공지능 (AI 요리사):
연구팀은 **의학 책과 논문만 먹고 자란 특수한 AI (Biomedical LLM)**들을 데려와서 이 편지들을 읽게 했습니다.
그리고 이 AI 들에게 **"이렇게 생각해보자 (프롬프트)"**라는 다양한 지시 방법을 주었습니다.
실험 목표:
"AI 요리사가 인간 요리사와 똑같은 결론을 내릴 수 있을까?"를 확인하는 것입니다.
🔍 실험 내용: 어떤 AI 를 썼을까?
연구팀은 세 가지 다른 'AI 요리사'를 테스트했습니다.
TinyLlama: 작고 빠른 AI (간단한 일에는 좋지만 복잡한 건 힘들어함).
Medicine LLaMA-3: 의학 전문으로 훈련된 중형 AI.
MedLLaMA: 또 다른 의학 전문 AI.
이들에게 두 가지 다른 **'레시피 (알고리즘)'**를 적용했습니다.
나란조 (Naranjo) 레시피: 10 가지 질문을 하나씩 체크하는 점수제 방식 (A, B, C 점수).
WHO-UMC 레시피: 전체적인 흐름을 보고 판단하는 서술형 방식.
📊 실험 결과: AI 는 잘했을까?
결론부터 말하면, **"전통적인 일반 AI 보다 훨씬 나아졌지만, 아직 인간 전문가를 완전히 대체할 수는 없다"**입니다.
1. 좋은 점 (성공):
의학 전문 AI 는 일반 AI 보다 훨씬 잘했습니다.
일반 AI 는 "약 때문일 수도 있고, 아닐 수도 있어"라고 막연하게 말했지만, 의학 전문 AI 는 약과 관련된 전문 지식을 바탕으로 더 논리적인 판단을 내렸습니다.
특히 나란조 (점수제) 레시피를 사용할 때, AI 가 인간 전문가와 약 64% 정도 일치하는 결론을 내렸습니다. 이는 이전 연구 (34%) 보다 훨씬 높은 성과입니다.
비유: "일반 AI 는 요리 레시피를 다 읽지 못해서 엉뚱한 요리를 했지만, 의학 전문 AI 는 재료 (약) 에 대해 잘 알고 있어서 맛을 꽤 잘 냈어요."
2. 나쁜 점 (실패):
복잡한 추론은 여전히 어렵습니다.
"이 증상이 약 때문인지, 아니면 환자가 원래 앓고 있던 병 때문인지"를 구별하는 것 (대안적 원인) 이나, "시간적으로 맞는지"를 판단하는 것은 AI 가 자주 틀렸습니다.
가장 큰 문제: "이유를 못 말해요."
AI 가 점수를 매겨서 "약 때문이야 (Probable)"라고 답할 때, 왜 그런지 설명을 제대로 못 하는 경우가 많았습니다.
비유: AI 가 "이 요리는 소금 때문이야!"라고 외치는데, 정작 소금을 넣은 흔적은 없거나, "내가 그렇게 느꼈어"라고만 말합니다. 약국에서는 "왜?"라는 질문에 확실한 근거가 있어야 하므로, 이 부분이 치명적입니다.
할루시네이션 (망상): 없는 사실을 있는 것처럼 말하거나, 질문을 그대로 반복하는 실수도 있었습니다.
3. 레시피의 중요성:
나란조 (점수제) 레시피는 AI 가 잘 따라했습니다.
하지만 WHO-UMC (서술형) 레시피는 AI 가 혼란을 겪었습니다. AI 는 명확한 단계가 있는 점수제를 좋아하지만, 유연하게 판단해야 하는 서술형 방식은 어려워했습니다.
💡 이 연구가 우리에게 주는 교훈
이 연구는 **"AI 가 약사나 의사를 완전히 대신할 날은 아직 멀었다"**는 것을 보여줍니다.
도구로서의 가능성: AI 는 인간 전문가가 읽어야 할 보고서 중 '분명한 사실'이나 '간단한 점수 계산'을 먼저 처리해 주는 유능한 보조 도구가 될 수 있습니다.
인간의 역할: 하지만 최종 판단과 그 이유를 설명하는 것은 여전히 **사람 (Human-in-the-loop)**이 해야 합니다. 특히 환자 안전과 관련된 일에서는 AI 가 "왜?"라고 물었을 때 논리적인 근거를 제시하지 못하면 신뢰할 수 없기 때문입니다.
한 줄 요약:
"의학 전문 AI 는 일반 AI 보다 훨씬 똑똑해져서 약물 부작용 보고서를 분석하는 데 큰 도움을 줄 수 있지만, 아직은 '왜 그런 결론인가?'에 대한 확실한 이유를 설명하는 데는 인간 전문가의 눈과 두뇌가 꼭 필요합니다."
논문 기술 요약: 생물의학 대형 언어 모델 (LLM) 과 프롬프트 엔지니어링을 활용한 약물감시에서의 인과성 평가
1. 연구 배경 및 문제 제기 (Problem)
배경: 약물감시 (Pharmacovigilance) 의 핵심 과정인 개별 사례 안전 보고서 (ICSR) 에 대한 인과성 평가는 약물/백신과 이상반응 (AE/AEFI) 간의 인과 관계를 판단하는 것입니다. 현재 이 과정은 전문가의 수작업에 의존하고 있어 대량의 보고서가 쏟아지는 상황에서 비효율적이고 지속 불가능해지고 있습니다.
문제: 기존 일반 목적의 대형 언어 모델 (LLM) 은 임상 텍스트 해석 능력이 뛰어나지만, 개별 사례 수준의 인과성 평가에서는 성능이 미흡한 것으로 나타났습니다. 이는 도메인 특화 학습 데이터의 부재와 부적절한 프롬프트 전략 때문으로 추정됩니다.
연구 목적: 생물의학 문헌으로 학습된 Biomedical LLM과 최신 프롬프트 엔지니어링 기법을 결합하여, 인간 전문가와 비교했을 때 ICSR 인과성 평가의 타당성과 일관성을 평가하는 것입니다.
2. 연구 방법론 (Methodology)
데이터: 총 150 건의 ICSR 을 분석했습니다.
140 건: 미국 FDA 의 부작용 보고 시스템 (FAERS) 에서 무작위 추출 (신규 승인 약물, 유전자/세포 치료제, 흔한 질환 치료제, 감시 필요 약물, 희귀병 치료제, 통제 물질 등 6 가지 범주).
10 건: 백신 관련 심근염/심낭염 사례 (VAERS 데이터, 임상적으로 확인된 사례).
평가 알고리즘: 두 가지 주요 인과성 평가 도구를 사용했습니다.
Naranjo 알고리즘: 10 가지 구조화된 질문과 점수 체계 (Doubtful, Possible, Probable, Definite).
WHO-UMC 알고리즘: 4 단계 프로세스 (자격 요건, 체크리스트, 알고리즘, 분류).
모델 및 프롬프트 전략:
생물의학 LLM 3 종: TinyLlama 1.1B, Medicine LLaMA-3 8B, MedLLaMA v20. (Hugging Face Open LLM Leaderboard 기준 성능 상위 모델 선정).
프롬프트 전략: Chain-of-Thought (CoT, 사고의 사슬) 와 Decomposition (작업 분해) 기법을 적용.
기준 (Ground Truth): 약물감시 전문가 (약사) 와 고위 의료진 (Novo Nordisk 소속) 2 인이 Naranjo 및 WHO-UMC 알고리즘을 사용하여 수행한 평가 결과를 금표준 (Gold Standard) 으로 설정.
분석 지표:
일치도: Gwet's Agreement Coefficient 1 (AC1) 및 백분율 일치도.
성능: 정확도 (Accuracy), 민감도 (Sensitivity), 특이도 (Specificity), F1 점수 등.
오류 분석: 할루시네이션, 지시 무시 (Instruction drift), 프롬프트 반복 (Prompt echoing), 논리적 불일치 등 정성적 분석.
3. 주요 결과 (Key Results)
최고 성능 조합:Medicine LLaMA-3 8B + Naranjo 알고리즘 + CoT 프롬프트 조합이 인간 전문가와의 최종 인과성 분류 일치도에서 **64%**로 가장 높은 성과를 보였습니다. 이는 기존 일반 목적 LLM 연구 (약 34% 일치도) 보다 약 2 배 높은 수치입니다.
알고리즘별 차이:
Naranjo 알고리즘: 구조화된 항목 기반 평가이므로 LLM 의 성능이 상대적으로 높았습니다.
WHO-UMC 알고리즘: 서술형 (Narrative) 의존도가 높아 모델 간 성능 편차가 크고, 최종 분류 일치도가 낮았습니다 (최고 24.7% 수준).
일치도 및 오류 패턴:
강점: 사실 기반이 명확한 항목 (예: 과거 재도입/재사용 결과, 용량 반응 관계 등) 에서는 높은 일치도를 보였습니다.
약점:시간적 인과성 (Temporal plausibility), 대안적 원인 (Alternative causes), 객관적 증거 (Objective evidence) 식별, 그리고 제품 정보 (SmPC) 에 등재 여부 확인 등에서 일관성 없는 오류가 빈번했습니다.
주요 오류: 모델이 프롬프트를 그대로 반복하는 'Prompt echoing', 지시 사항을 무시하는 'Instruction drift', 근거 없이 높은 확신으로 답변하는 '할루시네이션'이 관찰되었습니다. 특히 WHO-UMC 프레임워크에서는 모델이 논리적 구조를 유지하지 못하고 대화형 루프에 빠지는 경우가 많았습니다.
모델 크기 영향: 파라미터 수가 적은 모델 (8B 등) 이라도 생물의학 데이터로 학습된 경우 일반 목적 모델보다 도메인 추론 능력이 우세했으나, 여전히 복잡한 인과성 추론에는 한계가 있었습니다.
4. 주요 기여 및 시사점 (Key Contributions & Significance)
도메인 특화 모델의 유효성 입증: 생물의학 문헌으로 학습된 LLM 은 일반 목적 LLM 보다 개별 사례 인과성 평가에서 인간 전문가와 더 높은 일치를 보임을 실증했습니다.
알고리즘 호환성의 중요성: LLM 의 성능은 선택된 인과성 평가 알고리즘 (Naranjo vs. WHO-UMC) 에 크게 의존함을 발견했습니다. 구조화된 항목 기반 도구 (Naranjo) 가 LLM 에게 더 적합하며, 서술형 도구 (WHO-UMC) 는 LLM 의 추론 구조와 충돌할 수 있음을 지적했습니다.
현실적 한계와 'Human-in-the-loop' 필요성: 현재 LLM 은 점수 산출은 어느 정도 가능하지만, 그 점수를 뒷받침하는 **투명하고 설명 가능한 근거 (Explainability)**를 제공하는 데 실패합니다. 규제 환경 (특히 EU) 에서는 최종 결정에 인간 전문가의 개입이 필수적이며, LLM 은 보조 도구로만 활용 가능함을 강조했습니다.
향후 방향: 단순 프롬프트 엔지니어링을 넘어, 웹 검색이나 외부 데이터베이스 접근이 가능한 **에이전트 AI (Agentic AI)**와 같은 더 정교한 아키텍처가 필요함을 제안했습니다.
5. 결론 (Conclusion)
이 연구는 생물의학 LLM 이 약물감시 분야의 인과성 평가에서 유의미한 진전을 이루었음을 보여주지만, 아직 규제 당국에서 요구하는 수준의 신뢰성과 설명 가능성을 갖추지 못했음을 결론지었습니다. Naranjo 알고리즘과 CoT 프롬프트의 조합이 현재 가장 유망한 접근법이지만, 객관적 증거 식별 및 대안적 원인 배제와 같은 복잡한 추론 영역에서의 오류를 해결하기 위해서는 더 정교한 모델 튜닝, 하이퍼파라미터 최적화, 그리고 에이전트 기반 시스템의 도입이 필요합니다.