Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment

이 논문은 저자원 의료 환경 배포를 위해 소규모 오픈소스 LLM 들의 프롬프트 민감도와 답변 일관성을 평가한 결과, 일관성이 높다고 해서 정확도가 보장되는 것은 아니며, 특히 역할극 프롬프트는 정확도를 저하시키고 도메인 사전학습만으로는 지시 준수가 어렵다는 점을 밝혀 Llama 3.2 가 정확성과 신뢰성 측면에서 가장 균형 잡힌 성능을 보였음을 제시합니다.

핵심

이 논문은 **"작은 인공지능 (AI) 이 병원에서 환자를 진료할 때 얼마나 믿을 수 있는가?"**에 대한 연구입니다.

클라우드나 거대한 서버 없이, 일반 컴퓨터나 작은 기기에서도 돌아갈 수 있는 '작은 AI'들이 의료 현장에 도입되고 있습니다. 하지만 이 작은 AI 들이 질문을 조금만 다르게 해도 답변이 뚝뚝 끊기거나, 똑같은 틀린 답을 계속 반복하는지 확인한 것입니다.

이 복잡한 연구를 세 가지 핵심 비유로 쉽게 설명해 드리겠습니다.

---

1. "똑같은 틀린 답을 반복하는 똑똑한 바보" (일관성 vs 정확성)

연구의 가장 놀라운 발견은 **"AI 가 일관되게 대답한다고 해서, 그 답이 맞다는 뜻은 아니다"**라는 것입니다.

• 비유: imagine imagine 한 무식하지만 자신감 넘치는 길 안내원을 상상해 보세요.
  • 당신이 "서울역으로 가는 길은?"이라고 물으면 "저기 왼쪽으로 가세요"라고 답합니다.
  • "서울역은 어디에 있나요?"라고 다르게 물어도, "아무튼 왼쪽으로 가세요"라고 똑같이 답합니다.
  • 일관성 (Consistency): 이 안내원은 질문을 어떻게 바꾸든 항상 같은 답을 줍니다. 매우 '일관적'이고 '신뢰할 만해' 보입니다.
  • 정확성 (Accuracy): 하지만 실제로 서울역은 오른쪽에 있습니다. 그는 일관되게 틀린 길을 안내하고 있는 것입니다.

이 연구에서 Gemma 2라는 모델이 바로 이런 경우였습니다. 질문을 바꿔도 항상 같은 답을 줘서 '일관성' 점수는 최고였지만, 정작 정답률은 가장 낮았습니다. 의료 현장에서 이런 AI 는 환자에게 "무조건 이 약을 드세요"라고 일관되게 틀린 처방을 내릴 수 있어 매우 위험합니다.

반면, Llama 3.2는 질문을 바꾸면 답변이 조금씩 달라질 수 있었지만 (일관성은 중간), 정답을 맞히는 비율은 가장 높았습니다. 의료 현장에서는 "완벽하게 일관된 틀린 답"보다 "약간은 변할 수 있지만 맞는 답"이 훨씬 안전합니다.

2. "가면을 쓴 배우는 연기를 못 한다" (역할극 프롬프트의 위험)

연구진은 AI 에게 "당신은 이제부터 숙련된 의사입니다"라고 말하며 역할을 부여해 보았습니다 (Roleplay). 하지만 결과는 참담했습니다.

• 비유: 연극 연습을 하다가 본연의 실력을 잃은 배우를 생각해 보세요.
  • 평소에는 문제를 잘 풀던 학생이, 갑자기 "당신은 수석 의사입니다"라고 가면 (역할) 을 쓰고 문제를 풀게 되면, 오히려 당황해서 엉뚱한 답을 내놓습니다.
  • 작은 AI 들은 "의사 역할을 해줘"라는 지시를 받으면, 그 역할극에 집중하느라 실제 의학 지식을 추론하는 능력을 잃어버렸습니다.

결론적으로, 의료 AI 에게 "의사처럼 행동해"라고 말하는 것은 오히려 실수를 부르는 독약이 될 수 있습니다. 가장 간단한 "질문만 던져줘" 방식이 가장 정확한 답을 얻는 길입니다.

3. "지식만 많다고 의사가 될 순 없다" (지식 vs 명령 따르기)

연구에는 Meditron-7B라는 특별한 모델도 참여했습니다. 이 모델은 수만 편의 의학 논문과 가이드라인을 읽어서 의학 지식은 엄청나게 많지만, "질문에 답해라"라는 명령을 따르는 훈련은 받지 않은 상태였습니다.

• 비유: 책을 10 만 권 읽었지만, 질문에는 대답하지 않는 도서관 사서를 상상해 보세요.
  • 그 사서는 의학 지식을 다 알고 있습니다. 하지만 당신이 "이 환자에게 어떤 약을 줘야 할까요?"라고 물으면, 그는 책 내용을 길게 읊어대거나 아예 대답을 안 합니다.
  • 연구 결과, 이 모델은 질문의 99% 에서 "알 수 없음 (UNKNOWN)"이라고 답하거나 형식에 맞지 않는 엉뚱한 글을 써냈습니다.

이는 의학 지식 (Domain Knowledge) 이 아무리 많아도, 사용자의 지시를 정확히 따르는 능력 (Instruction Following) 이 없으면 의료 현장에서 쓸모가 없다는 것을 보여줍니다.

---

🏥 결론: 병원에 AI 를 도입할 때 무엇을 믿어야 할까?

이 연구는 저개발 지역이나 인터넷이 잘 안 되는 곳에서도 쓸 수 있는 작은 AI를 어떻게 선택하고 사용해야 하는지 알려줍니다.

1. 일관성만 믿지 마세요: AI 가 똑같은 답을 계속 내놓는다고 해서 믿지 마세요. 그 답이 틀릴 수도 있습니다.
2. 역할극은 금지: "의사처럼 말해줘" 같은 말은 하지 마세요. 그냥 질문만 던지는 것이 가장 좋습니다.
3. 가장 균형 잡힌 선택: 연구 결과, Llama 3.2라는 모델이 "정답률"과 "명령을 잘 따르는 능력" 사이에서 가장 좋은 균형을 보여주었습니다.
4. 지식보다 태도: 의학 지식이 많더라도, 질문을 제대로 이해하고 답을 내놓는 '태도 (명령 수행 능력)'가 없으면 쓸모가 없습니다.

한 줄 요약:

"작은 AI 를 병원에 쓸 때는, 일관성 있게 틀린 답을 주는 AI보다 질문을 잘 듣고 정확한 답을 주는 AI를 선택해야 하며, 의사 역할을 시키는 말은 하지 않는 것이 안전합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 인공지능 (AI) 이 의료 워크플로우에 통합되고 있으며, 클라우드 인프라가 부재한 저자원 환경 (시골 클리닉, 지역 병원 등) 에서 실행 가능한 소형 오픈소스 언어 모델 (SLM, 2B~7B 파라미터) 의 중요성이 부각되고 있습니다.
• 문제점: 기존 연구는 주로 모델의 정확도 (Accuracy) 에만 집중했습니다. 그러나 의료와 같은 안전 중시 (Safety-critical) 분야에서는 동일한 임상 질문에 대해 프롬프트 (질문 방식) 가 조금만 달라져도 답변이 일관되지 않다면 신뢰할 수 없습니다.
• 연구 격차: 소형 CPU 기반 모델이 다양한 프롬프트 변형 하에서 얼마나 일관된 (Consistent) 답변을 제공하는지에 대한 체계적인 평가가 부족했습니다. 특히 "일관되게 틀린 답변"을 내놓는 위험한 실패 모드가 존재할 수 있음에도 이를 평가하는 프레임워크가 부재했습니다.

2. 연구 방법론 (Methodology)

• 평가 대상 모델 (5 개):
  • 일반 지시 튜닝 모델: Phi-3 Mini (3.8B), Llama 3.2 (3B), Gemma 2 (2B), Mistral 7B (7B).
  • 도메인 특화 모델: Meditron-7B (의료 전문 데이터로 사전 학습되었으나 지시 튜닝이 되지 않은 베이스 모델).
• 데이터셋 (3 개):
  • MedQA (미국 의료 면허 시험), MedMCQA (인도 의료 입학 시험), PubMedQA (생물의학 연구 질문).
  • 각 데이터셋에서 200 개 질문씩 무작위 추출 (총 600 개 질문).
• 프롬프트 변형 설계 (5 가지 스타일):
  1. Original: 데이터셋 원문.
  2. Formal: 학술적/임상적 어조.
  3. Simplified: 환자나 비전문가가 사용하는 쉬운 언어.
  4. Roleplay: "의사로서 답변하라"는 역할극 프롬프트.
  5. Direct: 지시 없이 질문과 선택지만 제시.
• 실험 환경:
  • 모든 실험은 로컬 소비자용 CPU에서 수행되었으며, GPU 가속이나 추가적인 의료 파인튜닝 없이 기반 모델 (Base/Instruct) 로만 실행됨 (저자원 배포 시나리오 반영).
  • Temperature=0 로 설정하여 확률적 요소를 배제하고 프롬프트 민감도만 측정.
• 평가 지표:
  • 일관성 점수 (Consistency Score): 동일 질문에 대해 5 가지 프롬프트 중 가장 많은 답변이 일치하는 비율.
  • 정확도 (Accuracy): 지상 진리 (Ground Truth) 와의 비교.
  • 지시 이행 실패율 (UNKNOWN Rate): 유효한 답변 (A/B/C/D 또는 Yes/No/Maybe) 을 생성하지 못한 비율.

3. 주요 결과 (Key Results)

• 일관성과 정확도의 독립성:
  • Gemma 2 (2B) 는 가장 높은 일관성 점수 (0.8450.888) 를 보였으나, **가장 낮은 정확도 (33.043.5%)** 를 기록했습니다. 이는 모델이 일관되게 틀린 답변을 내놓는 "신뢰할 수 있는 오답 (Reliable Incorrectness)" 상태를 의미하며, 임상적으로 매우 위험합니다.
  • Llama 3.2 (3B) 는 중간 수준의 일관성 (0.7740.807) 을 보였으나, **가장 높은 정확도 (49.065.0%)** 를 달성하여 가장 균형 잡힌 성능을 보였습니다.
  • 일관성과 정확도 사이에는 명확한 양의 상관관계가 없었습니다.
• Roleplay 프롬프트의 부정적 영향:
  • 모든 모델과 데이터셋에서 'Roleplay' (의사 역할극) 프롬프트가 정확도를 가장 크게 저하시켰습니다.
  • Phi-3 Mini 의 경우 MedQA 에서 정확도가 21.5%p(48.0% → 26.5%) 급감했습니다. 이는 역할극 프롬프트가 소형 모델의 추론 능력을 방해함을 시사합니다.
• 지시 이행 실패율 (UNKNOWN Rate):
  • 모델 크기가 크다고 해서 지시 이행이 더 잘되는 것은 아닙니다.
  • Meditron-7B (의료 지식은 풍부하나 지시 튜닝이 안 된 모델) 는 PubMedQA 에서 99.0% 의 UNKNOWN Rate 를 기록하며 구조화된 답변을 전혀 생성하지 못했습니다. 이는 도메인 지식만으로는 임상 QA 가 불가능하며, 지시 이행 능력이 필수임을 증명합니다.
  • Llama 3.2 와 Gemma 2 가 가장 낮은 실패율을 보였습니다.

4. 주요 기여 (Key Contributions)

1. 일관성과 정확도의 분리 평가: 임상 AI 평가에서 정확도만으로는 부족하며, 프롬프트 변화에 따른 답변의 안정성 (일관성) 을 반드시 함께 평가해야 함을 입증했습니다.
2. 위험한 실패 모드 발견: 모델이 "일관되게 틀린" 답변을 내놓을 수 있음을 발견하고, 이를 임상적 신뢰도 저하의 주요 원인으로 지적했습니다.
3. 프롬프트 엔지니어링 가이드라인 제시: 의료 AI 에서는 'Roleplay'와 같은 역할극 프롬프트가 오히려 정확도를 떨어뜨리므로, 직접적이고 간결한 프롬프트 (Direct/Original) 를 사용해야 함을 제안했습니다.
4. 저자원 배포를 위한 모델 선정 기준: 파라미터 수나 도메인 지식 alone 은 충분하지 않으며, 정확도, 일관성, 지시 이행 능력의 균형이 저자원 환경 배포의 핵심 기준임을 제시했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 안전성: 소형 오픈소스 모델은 저자원 의료 환경에 유망하지만, "일관되게 틀린" 모델은 오히려 의사의 오진을 부추길 수 있으므로 신중한 검증이 필요합니다.
• 배포 전략: Llama 3.2(3B) 가 현재 평가된 모델 중 저자원 배포에 가장 적합한 후보로 제시되었습니다.
• 미래 연구 방향:
  • 도메인 특화 모델 (Meditron 등) 에 대한 지시 튜닝 (Instruction Tuning) 의 필요성 강조.
  • RAG(검색 증강 생성) 를 통한 사실성 및 일관성 향상 연구.
  • 실제 임상 현장에서의 의사-모델 상호작용에 대한 인간 중심 평가 (Human-in-the-loop) 필요성 제기.

이 연구는 임상 AI 의 안전성을 보장하기 위해 단일 지표 (정확도) 중심의 평가에서 벗어나, 일관성, 정확도, 지시 준수를 종합적으로 평가하는 다차원적 프레임워크의 필요성을 강력하게 주장합니다.