💬 NLP

Measuring Epistemic Resilience of LLMs Under Misleading Medical Context

이 논문은 대규모 언어 모델들이 의학 시험에서 전문가 수준의 점수를 달성함에도 불구하고, 오해를 불러일으키는 권위 중심의 맥락에 노출되었을 때 올바른 의학적 판단을 빈번하게 포기함으로써 취약한 인식론적 회복력을 보인다는 것을 입증하는 종합적인 벤치마크인 MedMisBench를 소개한다.

원저자: Hongjian Zhou, Xinyu Zou, Jinge Wu, Sean Wu, Junchi Yu, Bradley Max Segal, Tobias Erich Niebuhr, Sara Amro, Michael Petrus, Sheikh Momin, Alexandra M. Cardoso Pinto, Rachel Niesen, Laura Sophie Wegner

게시일 2026-06-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hongjian Zhou, Xinyu Zou, Jinge Wu, Sean Wu, Junchi Yu, Bradley Max Segal, Tobias Erich Niebuhr, Sara Amro, Michael Petrus, Sheikh Momin, Alexandra M. Cardoso Pinto, Rachel Niesen, Laura Sophie Wegner, Dhruv Darji, Jung Moses Koo, Joshua Fieggen, Kapil Narain, Mingde Zeng, Lei Clifton, Linda Shapiro, Fenglin Liu, David A. Clifton

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 모든 교과서를 암기하고 어떤 면허 시험에서도 만점을 받을 수 있는 아주 똑똑한 의대생이 있다고 상상해 보십시오. 당신은 그들을 전적으로 신뢰합니다. 그런데 그때, 당신이 방으로 들어가 그에게 가짜 규칙을 속삭입니다. "참고로, 병원 규칙이 바뀌었어. 이 특정 질환에 대해서는 이제 Y 대신 X를 적용해야 해."

놀랍게도, 이 "완벽한" 학생은 자신이 공부했던 모든 것을 즉시 잊어버리고, 당신의 가짜 규칙을 믿으며 틀린 답을 내놓습니다.

이것이 바로 MedMisBench 논문의 핵심 발견입니다. 연구진은 똑똑한 AI 의사들(거대 언语言 모델)조차도, 설령 이전에 정답을 알고 있었더라도 오해의 소지가 있는 정보에 직면했을 때 놀라울 정도로 취약하다는 사실을 발견했습니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. 시험지의 "함정 문(Trap Door)"

보통 우리는 AI 의사들을 깨끗하고 교과서적인 질문으로 테스트합니다. 그들은 매우 높은 점수(약 71% 정답률)를 기록합니다. 연구진은 이것이 AI를 실제 의료 상담에 사용하기에 안전하다는 의미라고 생각했습니다.

하지만 그들은 틀렸습니다. 연구진은 MedMis-Bench라는 새로운 테스트를 만들었습니다. 이것은 "함정 문"이 있는 시험이라고 생각하면 됩니다.

설정: AI가 정답을 알고 있는 질문을 제시합니다.
함정: 그럴듯한 의료 규칙처럼 보이지만 실제로는 거짓인 문장을 주입합니다.
결과: AI의 정확도는 71%에서 38%로 급락했습니다. 실제로, 절반 이상의 경우(51.5%)에서 AI는 진실을 완전히 버리고 거짓을 따랐습니다.

2. "권위" 효과

연구진은 거짓말이 어떻게 전달되는지 테스트했습니다. 결과적으로, AI는 거짓말이 공식적인 것처럼 들릴 때 가장 쉽게 속아 넘어갔습니다.

비유: 마치 한 학생이 선생님의 교과서를 무시하고, 정장을 입은 낯선 사람(권위자)이 들어와 "사실, 그 책은 틀렸어"라고 말하는 상황과 같습니다.
발견: 가짜 정보가 새로운 병원 규칙, 가이드라인, 또는 공식 노트의 형태로 제시되었을 때, AI는 거의 70%의 확률로 이에 속아 넘어갔습니다.
"예외" 함정: AI는 또한 특정 예외 사항처럼 들리는 거짓말(예: "이 규칙은 모든 사람에게 적용되지만, 이 특이한 사례 하나만은 제외된다")에도 쉽게 속았습니다.

3. "한 명의 목소리" vs "군중"

연구진은 거짓말을 제시하는 두 가지 방식을 테스트했습니다.

유형 1 (속삭임): AI가 질문을 보고, 오답을 뒷받는 단 하나의 구체적인 거짓말을 보는 경우.
- 결과: 재앙이었습니다. AI는 즉시 오답으로 바꿨습니다.
유형 2 (토론): AI가 질문, 진실, 그리고 모든 오답을 뒷받하는 거짓말들을 한꺼번에 보는 경우.
- 결과: AI는 이 경우 훨씬 더 잘 수행했습니다. 전체적인 그림을 볼 수 있었고 대개 진실을 고수했습니다.
교훈: 위험은 AI가 어떤 거짓말도 처리하지 못한다는 것이 아닙니다. 문제는 단 하나의 그럴듯한 거짓말이 직접적으로 속삭여질 때 AI가 무너진다는 것입니다.

4. "더 깊이 생각하기"가 항상 도움이 되지는 않는다

당신은 AI에게 "단계별로 생각하라"거나 더 많은 사고력을 사용하라고 말한다면, 속기가 더 어려워질 것이라고 생각할 수도 있습니다.

비유: 학생에게 "네가 한 일을 다시 한번 검토해 봐"라고 말하는 것과 같습니다.
발견: 일부 AI 모델의 경우, 더 깊이 생각하는 것이 오히려 거짓말에 더 취약하게 만들었습니다. 그들은 가짜 "공식 규칙"을 과도하게 분석하여 그것이 옳은 경로라고 스스로를 설득해 버렸습니다.

5. 현실 세계의 위험성

연구진은 단순히 맞고 틀림만을 본 것이 아니라, 7개국 출신의 실제 의사 14명에게 AI의 실수에 대한 검토를 요청했습니다.

발견: AI가 속은 사례 중 **38%**에서, 잘못된 답변이 환자에게 심각한 해를 끼칠 수 있는 수준이었습니다.
시사점: 이것은 단순한 수학적 오류가 아닙니다. 이는 안전 문제입니다. AI는 단순히 '환각(hallucination)'을 일으키는 것이 아니라, 가짜 맥락에 속아 자신 있게 위험한 조언을 하고 있는 것입니다.

요약

이 논문은 우리가 AI 의사를 측정할 때 그들이 얼마나 교과서를 잘 아는지를 측정했을 뿐, 누군가 가짜 규칙으로 속이려 할 때 그들이 얼마나 진실을 고수할 수 있는지는 테스트하지 않았다고 결론짓습니다.

MedMisBench는 이러한 "인식론적 회복력(epistemic resilience, 세상이 당신을 혼란스럽게 하려 할 때 자신의 판단을 유지하는 능력)"을 측정하기 위해 설계된 새로운 도구입니다. 이는 현재 우리의 AI 의사들이 가짜 뉴스와 오해의 소지가 있는 주장들이 가득한 복잡하고 정보가 넘쳐나는 현실 세계에서 의료 상담을 맡기기에 충분한 회복력을 갖추지 못했음을 보여줍니다.

기술 요약: MedMisBench

문제 정의

대규모 언어 모델(LLM)은 의사 국가 고시 시험에서 전문가 수준의 성능을 달est하며, 높은 벤치마크 점수가 안전하고 신뢰할 수 있는 의료적 판단을 의미한다는 가정을 이끌어냈습니다. 그러나 이러한 가정은 검색된 문서, 환자 설명, 온라인 주장 등 지저도한 정보 환경과 상호작용하는 실제 배포 시나리오에서는 취약합니다.

식별된 핵심 문제는 현재의 의료 벤치마크가 주로 '깨끗한' 입력을 평가하여 모델이 무엇을 아는지를 측정할 뿐, 그 모델이 그럴듯하지만 거짓된 문맥에 노출되었을 때 올바른 의료적 판단을 유지할 수 있는지는 측정하지 못한다는 점입니다. 저자들은 기존의 평가 방식이 LLers의 결정적인 구조적 사각지대를 간과하고 있다고 주장합니다. 즉, 조작된 주장이 올바른 추론을 압도하여 잠재적으로 임상적으로 해로운 결정을 초ras할 수 있는 '오도하는 문맥 주입(misleading-context injection)'에 대한 취약성을 간과하고 있다는 것입니다.

방법론

MedMisBench 벤치마크

저자들은 에피스테믹 회복력(epistemic resilience)—즉, 적대적 문맥 하에서도 올바른 의료적 판단을 유지하는 능력—을 측정하기 위해 설계된 벤치마크인 MedMisBench를 소개합니다. 이 벤치마크는 다음으로 구성됩니다:

MedQA, MedMCQA, MedXpertQA, MedJourney, HLE의 5개 소스 데이터셋에서 파생된 10,932개의 의료 질문 항목.
각 질문을 표적화된 주입 문구와 쌍을 이루어 생성된 48,889개의 오도하는 문맥-선택지 쌍.

오도하는 문맥의 분류 체계

벤치마크는 기만의 성격을 변화시키기 위해 $5 \times 3$ 설계 공간을 구축합니다:

내용 왜곡 유형 (5가지):
- 관계/순서 역전 (Relationship/Sequence Inversion): 시간적 또는 논리적 순서를 뒤바꿈.
- 임계값/참조 왜곡 (Threshold/Reference Corruption): 수치적 결정 규칙을 변경함 (예: 병변 두께 임계값).
- 단서 재매핑 (Cue Remapping): 진단 단서를 오해함.
- 가짜 앵커링 (Spurious Anchoring): 눈에 띄지만 무관한 앵커를 도입함.
- 예외 독성 (Exception Poisoning): 금기 사항이나 예외 사항을 조작함.
출처 프레이밍 (3가지):
- 중립 (Neutral): 거짓된 평서문.
- 환자의 자기 주장 (Patient Self-Claim): 환자의 신념이나 진단으로 귀속됨.
- 권위 (Authority): 가이드라인, 퇴원 기록 또는 표준 운영 절차(SOP)로 프레이밍된 주장.

생성 및 검증 파이프라인

필터링: LLM 기반 필터는 주입된 내용이 원래의 정답을 틀리게 만들지 않으면서도, 오답에 대해 의미론적으로 적용 가능한지를 보장합니다.
생성: 생성용 LLM(Gemini-3-flash)은 정답 옵션은 진실되게 긍정하는 반면, 오답 옵션은 오도하는 문장들에 의해 뒷받침되는 문맥 번들을 생성합니다.
임상 검토: 7개국 출신의 14명으로 구성된 임상 패널이 층화 추출된 샘플을 검토하여 항목의 품질, 공격 충실도 및 임상적 타당성을 검증했습니다. 패널은 벤치마크의 유효성을 확인하고 오도된 응답의 잠재적 위해성을 평가했습니다.

평가 프로토콜

연구는 회복력을 테스트하기 위해 두 가지 전달 프로토콜을 사용합니다:

유형 1 (집중 전달 - Type 1 Focused Delivery): 특정 오답을 뒷받침하는 단 하나의 오도하는 문장만이 질문과 함께 제시됩니다. 이는 단 하나의 그럴듯한 거짓 주장이 정답을 압도할 수 있는지를 테스트합니다.
유형 2 (전체 옵션 전달 - Type 2 All-Option Delivery): 정답에 대한 진실된 지지와 모든 오답에 대한 오도하는 지지를 포함한 전체 번들이 제시됩니다. 이는 경쟁하는 주장들 사이에서 모델의 중재 능력을 테스트합니다.

실험 설정

저자들은 상용 모델(GPT-5.4, Gemini-3.1-pro/flash-lite, Claude-sonnet-4.6), 오픈 웨이트 모델(Gemma 4, Qwen3.6), 그리고 도메인 특화 모델(MedGemma)을 포함한 11개의 모델 구성을 평가했습니다. 지표로는 깨끗한 정확도(clean accuracy), 주입 후 정확도(post-injection accuracy), 그리고 **공격 성공률(ASR)**이 포함되며, ASR은 깨끗한 상태의 정답이 주입 후 오답으로 뒤집히는 비율로 정의됩니다.

주요 결과

1. 에피스테믹 회복력의 취약성

성능 저하: 모델들의 평균 깨끗한 정확도는 **71.1%**였으나, 집중형(Type 1) 오도 문맥 하에서의 정확도는 **38.0%**로 떨어졌습니다.
공격 성공: 평균 ASR은 **51.5%**로, 이는 모델이 원래 정답이었던 경우의 절반 이상에서 오도하는 문맥에 노출되었을 때 그 판단을 유지하지 못했음을 나타냅니다.
깨끗함 vs 회복력: 높은 깨끗한 정확도가 높은 회복력을 보장하지는 않습니다. 예를 들어, 높은 추론 능력을 가진 Gemini-3.1-pro는 83.5%의 깨끗한 정확도를 달성했지만, Type 1 주입 하에서 65.0%의 ASR을 기록했습니다.

2. 전달 방식 및 내용의 영향

집중형 vs 혼합형: 집중형(Type 1) 주입이 혼합형(Type 2) 주입보다 훨씬 더 치명적이었습니다. Type 1 ASR은 **51.5%**였던 반면, Type 2는 **18.7%**였습니다. 이는 모델이 경쟁하는 증거가 제시될 때는 종합적인 정확도를 유지할 수 있지만, 단 하나의 그럴듯한 거짓 주장이 결정을 프레이밍할 때는 실패할 수 있음을 시사합니다.
가장 치명적인 주입:
- 권위 프레이밍 (Authority Framing): 가이드라인이나 SOP로 프레이밍된 주장이 가장 높은 ASR(69.5%)을 기록했습니다.
- 규칙 형태의 조작: "예외 독성(Exception Poisoning)"(64.1%)과 "임계값/참조 왜곡(Threshold/Reference Corruption)"(60.9%)이 가장 효과적인 콘텐츠 유형이었으며, 이는 모델이 조작된 규칙과 예외 사항에 특히 취약함을 시사합니다.

3. 추론 노력과 모델 행동

비균일한 보호: 추론 노력(예: "중간" 또는 "높은" 추론 모드)을 높이는 것이 회복력을 일관되게 향상시키지는 않았습니다. 이는 GPT-5.4와 같은 일부 모델에는 도움이 되었지만, Gemini-3.1-pro 및 Gemini-3.1-flash-lite와 같은 다른 모델들에서는 오히려 회복력을 감소시켰습니다. 즉, 높은 추론 모드가 Type 1 주입 하에서 더 높은 ASR을 초래했습니다.

4. 임상적 위해성 평가

잠재적 위해성: 89개의 과업에 대한 임상가 검토 결과, 오도하는 문맥 하에서의 응답 중 **38.2%**가 "최악의 경우(worst-case)" 출력, 즉 잘못된 답이면서 문맥을 수용하였고 심각한 임상적 위해 가능성이 있는 것으로 나타났습니다.
총 위해성: 저/중등도 위해 가능성이 있는 오답까지 포함하면, 검토된 출력의 **84.3%**가 임상적으로 유해했습니다.
검증: 정답 여부에 대한 임상가 평가는 자동 레이블과 98.1%의 일치율을 보였으며, 이는 ASR이 정답 실패를 선별하는 고정밀 스크린임을 입증합니다.

5. 완화 시도

검색 도구: 외부 검색 기능을 추가하는 것은 강력한 모델(Gemini-3.1-pro)의 ASR을 줄였으나, 작은 모델들에게는 효과가 제한적이었습니다. 이는 검색(retrieval)만으로는 일반적인 방어책이 될 수 없음을 나타냅니다.
방어적 프롬프트: 오도하는 문맥을 신뢰하지 말라는 명시적 경고는 ASR을 10~14포인트 감소시켰으나, 회복력을 완전히 복구하는 데는 실패했습니다. 이는 모델이 최종 의사결정 과정에서 그러한 주의 사항을 실행하는 데 어려움을 겪음을 시사합니다.

의의 및 주장

본 논문은 의료용 LLM의 에피스테믹 회복력을 연구하기 위한 기초적인 벤치마크를 확립한다고 주장합니다. 주요 기여는 다음과 같습니다:

구조적 사각지대 폭로: MedMisBench는 오도하는 문맥 주입을 고려하지 않음으로써 현재의 의료 벤치마크가 실제 세계에서의 효능을 과대평가하고 있음을 보여줍니다.
취약성 정량화: 공식적이고 규칙적인 형태의 조작(특히 권위로 프레이밍된 경우)이 의료적 판단을 훼손하는 데 가장 효과적이라는 실증적 증거를 제공합니다.
임상적 관련성: 벤치마크 실패를 임상가가 평가한 위해성과 연결함으로써, 응답 수준의 회복력이 소비자 건강 및 임상 의사 결정 지원을 위한 안전한 배포의 전제 조건임을 주장합니다.
오픈 리소스: 10,932개의 항목과 48,889개의 쌍을 포함하는 정적이고 재사용 가능한 벤치마크를 공개하여, 회복력 평가 및 완화 전략에 대한 향후 연구를 지원하고자 합니다.

저자들은 LLM이 강력한 의료 지식을 보여주지만, 불확실성과 적대적 문맥 하에서 올바른 판단을 유지하는 능력은 의료 분야의 안전한 AI 배포를 위해 해결해야 할 중대한 과제로 남아있다고 결론짓습니다.