기술 요약: 임상용 LLM의 의미론적 안정성 평가

문제 정의

대규모 언어 모델(LLM)은 진단 지원 및 요약 생성과 같은 과업을 위해 임상 환경에 점점 더 많이 배치되고 있다. 그러나 이러한 모델들은 입력 프롬프트의 미세한 언어적 변이(예: 재구문, 동의어 교체, 구문 재배열)에 대해 상당한 민감도를 보인다. 안전이 필수적인 의료 환경에서는 의미론적으로 동일한 입력이 일관된 예측을 생성해야 하지만, 실증적 증거에 따르면 이러한 변이 하에서 성능이 8~50%까지 편차를 보일 수 있다.

이러한 불안정성을 평가하는 데 있어 주요한 방법론적 과제는 신뢰할 수 있는 의미론적 검증의 부재이다. 코사인 유사도와 같은 임베딩 기반 유사도 지표에 의존하는 기존 방식은 부정(negation), 시간성(temporality), 또는 심각도(severity)와 관련된 임상적으로 중요한 차이를 포착하지 못하는 경우가 많다. 예를 들어, "환자가 가슴 통증을 호소함(patient has chest pain)"과 "환자가 가슴 통증을 부인함(patient denies chest pain)"은 서로 반대되는 임상적 의미를 가짐에도 불구하고 높은 유사도 점수를 받을 수 있다. 프롬프트 변이가 실제로 임상적 의미를 보존하는지에 대한 엄격한 검증 없이는, 모델의 진정한 불안정성과 변경된 내용에 대한 정당한 반응을 구분하는 것이 불가능하다.

방법론

저자들은 엄격하게 검증된 벤치마크와 세 가지 새로운 지표를 사용하여 의미론적 안정성을 평가하기 위한 체계적인 프레임워크를 제본한다.

1. 의미론적 검증 프레임워크

프롬프트 변이가 임상적 의미를 보존하는지 확인하기 위해, 저자들은 다단계 검증 파이프라인을 개발하였다:

• 변이 생성: 200개의 기본 프롬프트(MedQA-USMLE에서 100개, DiagnosisQA에서 100개)로부터 시작하여, GPT-4o-mini를 사용하여 프롬프트당 10개의 의미 보존 변이를 생성하였다. 변이에는 약어 확장/압축, 임상 용어의 일반 언어 변환, 구문 재배열, 그리고 태(voice) 변환이 포함되었다. 임상적 사실, 부정, 시간성, 또는 심각도를 변경하는 것을 금지하는 엄격한 제약 조건이 적용되었다.
• NLI 기반 필터링: 생성된 변이는 세 가지 사전 학습된 자연어 추론(NLI) 모델(PubMedBERT-MN1-MedNLI, roberta-large-mnli, deberta-large-mnli)을 사용하여 필터링되었다. 변이는 세 모델 중 적어도 두 개 모델에서 원본 프롬프트와 **양방향 함의(bidirectional entailment, 상호 함의)**를 만족하는 경우에만 유지되었다.
• 하이브리드 인간-LLM 감사: 두 단계의 검증 프로세스가 적용되었다:
  • 1단계: NLI로 검증된 샘플을 LLM-as-a-Judge(GPT-5.2 및 MedLLaMA3 사용)와 면허를 가진 임상 전문가가 검토하였다.
  • 2단계: LLM 판독기에 의해 거부된 샘플은 자동화에 의해 지나치게 보수적으로 필터링된 유효한 재구성을 복구하기 위해 임상 전문가에 의해 재평가되었다.
  • 최종 벤치마크는 1,761개의 검증된 의미 보존 변이로 구성된다.

2. 평가 지표

연구는 모델의 민감도를 정량화하기 위해 세 가지 지표를 도입한다:

• 의미 보존 변이 민감도 (MVS): 검증된 변이 중 모델의 예측 출력이 기본 프롬프트와 달라지는 비율.
• 신뢰도 변이 ($\Delta$C): 예측 출력이 변경되지 않더라도, 모델의 최대 예측 확률(신뢰도)에서 발생하는 평균 절대 변화량.
• 최악의 경우 불안정성 (WCI): 특정 샘플에 대해, 어떠한 검증된 변이라도 모델의 예측을 정답에서 오답으로(또는 그 반대로) 뒤집는지 나타내는 지표.

3. 실험 설정

프레임워크는 매칭된 제품군 및 파라미터 규모(1.5B ~ 8B)에 걸쳐 16개의 오픈 소스 LLM(일반 목적[GP] 8개 및 도메인 특화[DS] 8개)을 평가하였다. 모델은 4-bit NF4 양자화와 반정밀도(half-precision) 추론 하에서 테스트되었다. 예측은 샘플링 노이즈로부터 의미론적 민감도를 분리하기 위해 토큰 확률로부터 결정론적으로 도출되었다.

주요 결과

1. 도메인 특화가 견고성을 보장하지 않음

의료 미세 조정이 안정성을 보장한다는 가정과 달리, 결과는 견고성이 도메인 의존적이기보다는 모델 의존적임을 보여준다.

• 혼합된 성능: 여러 DS 모델이 가장 견고한 모델 상위에 랭크되었으나, 강력한 GP 베이스라인(예: LLaMA3.1-8B, Qwen2.5-7B) 또한 대등하거나 더 경쟁력 있는 모습을 보였다.
• 보편적 우위 없음: 통계적 분석(쌍체 순열 검정) 결과, 도메인 특화가 견고성을 향상시킨다는 일관된 증거는 발견되지 않았다. 어떤 경우(예: MedQA에 대한 MedQwen2.5-7B)에는 DS 모델이 GP 모델보다 현저히 덜 견고했다.
• 파괴적 망각 (Catastrophic Forgetting): 일부 DS 모델(예: MediChat-LLaMA3-8B)은 GP 모델보다 낮은 성능을 보였으며, 이는 적응 전략이 일반적인 추론 능력을 저하시킬 수 있음을 시사한다.

2. 과업 난이도가 불안정성을 증폭시킴

모델은 DiagnosisQA에 비해 더 복잡한 MedQA 데이터셋에서 더 높은 민감도(높은 MVS 및 WCI)를 보였다. 이는 추론 요구 사항이 증가함에 따라 의미론적 안정성이 저하됨을 나타낸다. 특정 언어적 변환, 특히 **질문 재구성(Question Reframing)**과 **임상 용어의 일반 언어 변환(Clinical-to-Lay Language)**이 가장 파괴적인 영향을 미쳤으며, 얕은 편집(예: 약어 확장)은 최소한의 영향만을 미쳤다.

3. 신뢰도와 안정성 사이의 약한 정렬

• 신뢰도 vs 예측: 예측 불안정성(MVS)과 신뢰도 변이($\Delta$C) 사이에는 약한 연관성만이 존재한다. 모델은 의미론적으로 동일한 재구문 하에서도 예측이 뒤바뀔 때 높은 신뢰도를 유지하는 경우가 많다.
• 과잉 확신 (Overconfidence): 많은 모델이 견고성이나 정확도가 낮음에도 불구하고 과잉 확신을 유지했다. 예를 들어, Qwen2.5-3B는 0.90의 신뢰도를 보고하면서 MedQA에서 단 40%의 정확도만을 달了.
• 캘리브레이션 문제: 신뢰도와 정확도 사이의 상관관계는 DiagnosisQA($r=0.41$)에서는 보통 수준이었으나, MedQA($r=0.18$)에서는 매우 약했다. 이는 신뢰도 점수가 정답 여부나 견고성의 신뢰할 수 있는 대리 지표가 아님을 나타낸다.

4. 양자화의 영향

연구 결과, 4-bit NF4 양자화는 대부분의 모델에서 안정성 지표에 미미한 영향을 미쳤으며, WCI에서만 데이터셋에 따른 미세한 변이가 관찰되었다.

의의 및 주장

본 논문은 의료 미세 조정만으로는 자연스러운 프롬프트 변이 하에서 안정적인 동작을 신뢰할 수 있게 보장하지 못한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 견고성은 도메인 특화에 내재된 것이 아니다: 의료적으로 미세 조정된 모델을 배포한다고 해서 반드시 의미론적 불변성이 보장되는 것은 아니며, 견고성은 의료 데이터의 존재 여부보다 아키텍처, 규모, 훈련 품질에 더 의존한다.
2. 현재의 평가는 불충분하다: 표준 벤치마크 정확도는 임상적 준비성을 측정하기에 부적절하다. 모델은 정적인 프롬프트에서는 유능해 보일 수 있으나, 의미를 보존하는 미세한 재구문 하에서는 처참하게 실패할 수 있다.
3. 신뢰도는 오도될 수 있다: 높은 모델 신뢰도를 안정성이나 정확성의 신호로 해석해서는 안 된다. 모델은 출력이 취약함에도 불구하고 강한 확신을 표현하는 경우가 많기 때문이다.
4. 명시적 견고성 평가의 필요성: 임상 배포 전, LLM은 단순한 유사도 지표가 아닌 원칙적인 의미론적 방법(NLI 등)으로 검증된 의미 보존 변이를 사용하여 명시적인 견고성 평가를 거쳐야 한다.

본 연구는 결론적으로 의미론적 안정성이 헬스케어 AI의 핵심 요구 사항으로 다루어져야 하며, 단일 프롬프트 정확도 평가에서 체계적인 민감도 분석으로의 전환이 필요하다고 강조한다.