기술 요약: 대규모 언어 모델이 의료 분야에서 실패하는 이유

문제 정의

대규모 언어 모델(LLM)은 임상 질문 답변, 진단 지원, 보고서 요약과 같은 중요한 작업을 위해 의료 분야에 점점 더 많이 배치되고 있습니다. 그러나 이러한 모델들은 어휘적(단어 수준) 및 구문적(구조 수준)인 미세한 프롬프트 섭동(perturbation)에 대해 상당한 민감성을 보입니다. 임상적으로 매우 중요한 환경에서, 유의어 교체, 증상 순서 변경, 또는 미세한 구문 변화와 같은 사소한 표현의 차이는 일관되지 않은 출력, 진단 오류 또는 해로운 권고로 이어질 수 있습니다. 해결하고자 하는 핵심 문제는 범용 모델(예: GPT-3.5, Llama3)과 의료 특화 모델(예: ClinicalBERT, BioLlama3, BioBERT) 모두가 양호하거나 적대적인 입력 변화에 직면했을 때 내재적인 강건성(robustness)이 부족하다는 점입니다. 이러한 예측 불가능성은 모델이 단지 재구성된 입력값만으로 진단을 바꾸거나 잘못된 용량을 권고할 수 있기 때문에 임상적 신뢰에 있어 용납할 수 없는 위험을 초래합니다.

방법론

본 연구는 194,000개 이상의 의료 다지선다형 질문을 포함하는 대규모 데이터셋인 MedMCQA 벤치마크를 사용하여 체계적인 민감도 분석 프레임워크를 채택합니다. 평가는 GPT-3.5, Llama3, ClinicalBERT, BioLlama3, BioBERT의 다섯 가지 모델을 대상으로 수행됩니다.

섭동 전략

저자들은 섭동을 두 가지 유형으로 분류합니다:

1. 어휘적 섭동(Lexical Perturbations): 의료 용어를 임상적으로 정확한 유의어(예: "shortness of breath"를 "dyspnea"로 교체)로 교체하거나 미세한 철자 오류를 도입하는 등의 토큰 수준 교체를 포함합니다. 이는 BioSyn을 사용하여 생성되며, 의료적 동등성을 보장하기 위해 BioBERT 및 SciBERT 임베딩을 통해 검증됩니다.
2. 구문적 섭동(Syntactic Perturbations): 절의 순서를 바꾸거나, 능동태/수동태를 변경하거나, 문장의 초점(예: clefting)을 변경하는 등 근본적인 임상적 의미를 유지하면서 구조적 변화를 주는 것을 포함합니다.

평가 프레임워크

파이프라인은 다음과 같습니다:

1. 원본 프롬프트($P$)로부터 섭동된 프롬프트($P'$)를 생성합니다.
2. Universal Sentence Encoder (USE) 및 BioSyn을 사용하여 섭동된 입력이 원래의 임상적 의도를 유지하는지 의미론적 동등성을 검증합니다.
3. 코사인 유사도 점수를 기반으로 구문적으로 정렬된 상위-$K$개의 프롬프트를 선택합니다.
4. 이 프롬프트들을 대상 LLM에 실행하고 출력을 정답(ground truth)과 비교합니다.

지표

성능은 다음을 사용하여 정량화됩니다:

• BERTScore: 모델의 응답과 정답 사이의 구문적 및 의미적 유사성을 측정합니다.
• Universal Sentence Encoder (USE) 점수: 문장 수준의 임베딩 유사성을 평가하여 임상적 의미의 보존 여부를 측정합니다.
• 응답률 (Response Rate, RR): 생성된 유효한 응답의 비율입니다.
• 후속 지시 이행률 (Follow-up Instruction Rate, FIR): 유효한 응답 내에서 특정 형식이나 구조적 제약(예: JSON 출력)을 준수하는 정도를 측정합니다.

안정성은 점수 임계값에 따라 분류됩니다: 0.9–1.0 (매우 안정), 0.7–0.9 (중간 안정), 0.5–0.7 (경미한 민감도), <0.5 (높은 민감도).

주요 기여

1. 공식적 정의 및 분류: 프롬프트 섭동을 어휘적 및 구문적 변형으로 공식적으로 정의하고 분류하여, 의료 작업에서 LLM 성능에 미치는 영향을 체계적으로 평가했습니다.
2. 비교 분석: 범용 모델과 도메인 특화 의료 모델 간의 포괄적인 비교를 제공하여, 두 범주 모두 본질적으로 민감성으로부터 자유롭지 않음을 밝혔습니다.
3. 취약성 식별: "지시문 드리프트(instruction drift)"(모델이 올바른 의료적 논리에도 불구하고 형식 제약을 지키지 못하는 현상) 및 "구조적 오해석(structural misinterpretation)"(구문적 변화가 잘못된 진단으로 이어지는 현상)을 포함한 핵심 실패 모드를 식별했습니다.
4. 벤치마킹 증거: 특정 섭동 유형이 모델의 일관성과 정확성에 미치는 영향을 상세히 기술하며, 의료 도메인 전반에 걸친 LLM 강건성에 대한 증거를 통합했습니다.

결과

• 일반적 민감도: 의료 특화 모델을 포함한 모든 평가 모델이 섭동 하에서 성능 저하를 보였습니다. 정확도는 섭동이 없는 설정의 약 98–99%에서 구문적 변화 하에서는 94–95%로 떨어졌습니다.
• 어휘적 vs 구문적 영향: 모델들은 단순한 어휘적 교체(예: 유의어)에는 상대적인 회복력을 보였으나, 구문적 재배열 및 오도하는 맥락적 단서에는 상당한 취약성을 보였습니다.
• 지시문 드리프트: 어휘적 변형은 모델이 엄격한 형식 지침(예: JSON 구조)보다 자연어 흐름을 우선시하게 만들어, 의료 진단은 정확하더라도 FIR 점수가 하락하는 결과를 초래했습니다.
• 구조적 붕괴: 구문적 섭동은 때때로 전체적인 시스템 실패를 일으켰으며, 모델이 임상 징후의 가중치를 잘못 판단하여(예: "증가된 객담"을 "COPD" 대신 "폐부종"으로 혼동) 잘못된 진단을 내리는 결과(RR 실패)를 낳았습니다.
• 모델 성능: BioLlama3가 테스트된 모델 중 가장 높은 강건성을 보였으며, BioBERT와 ClinicalBERT는 특히 구문적 변형에 대해 더 높은 민감도를 보였습니다. GPT-3.5와 같은 범용 모델은 전문화된 모델에 비해 경쟁력은 있었으나 더 우수한 안정성을 보여주지는 못했습니다.

의의 및 주장

본 논문은 의료용 LLM이 본질적으로 안전하지 않다고 단언합니다. 연구 결과는 도메인 특화 미세 조정(fine-tuning)이 임상 환경에서의 신뢰성을 보장한다는 가설에 도전합니다. 저자들은 다음을 강조합니다:

• 예측 불가능성은 용납될 수 없음: 고위험 의료 환경에서, 단지 재구성된 입력값 때문에 진단을 바꾸거나 미세한 재구문화 하에서 약물을 환각(hallucinate)하는 모델은 임상의들이 신뢰할 수 없습니다.
• 강건성의 필요성: 깨끗한 데이터에 대한 정확도만을 집중하는 현재의 벤치마크는 불충분합니다. 어휘적 및 구문적 변형을 고려한 체계적인 강건성 평가가 시급히 필요합니다.
• 향후 방향: 저자들은 표준화된 지표, 통제된 섭동 테스트(MedFuzz 및 RAmBLA와 같은 프레임워크와 유사한 방식), 그리고 환자 안전을 보장하기 위해 모델이 증명 가능한 회복력을 갖추거나 투명하게 제한된 범위 내에서 배포되도록 하는 개발을 촉구합니다.

본 연구는 LLM이 의료 분야에서 상당한 잠재력을 가지고 있지만, 현재의 프롬프트 섭동에 대한 취약성은 광범위한 임상 도입이 안전하다고 간주되기 전에 신중한 프롬프트 설계와 적대적 강건성에 대한 추가 연구가 필요함을 시사하며 결론을 맺습니다.