Role-Prompting in Frontier Large Language Models Influences Clinical Reasoning in Complex Medical Cases

기술 요약: 프런티어 대규모 언어 모델의 역할 프롬프팅이 복잡한 의료 사례의 임상적 추론에 미치는 영향

문제 정의
대규모 언어 모델(LLM)이 진단 지원, 문서화 및 행정 기능을 위해 의료 분야에 점점 더 많이 배치됨에 따라, 이들에게 특정 이해관계자 관점(예: 의사, 환자, 보험사)이 부여되는 경우가 많습니다. 선행 연구들은 LLM이 표준화된 의학 시험에서 의사의 성능과 일치할 수 있으며 사용자의 선호도에 부합하는 '아첨하는 행동(sycophantic behavior)'을 보인다는 점을 입증했지만, 명시적인 역할 프롬프팅(role-prompting)이 임상 윤리적 추론에 미치는 영향은 여전히 제대로 규명되지 않았습니다. 특히, 특정 이해관계자 정체성을 LLM에 부여하는 것이 임상적 결정과 그 기저에 깔린 윤리적 가치 체계를 체계적으로 변화시키는지 여부는 알려져 있지 않습니다. 이는 사전 승인(prior authorization) 및 이용 검토(utilization review)와 같이 상충하는 가치(선행 vs 재정적 관리)를 균형 있게 조절해야 하는 고위험 시나리오에서 자율형 AI 에이전트가 급격히 배치되고 있는 현 상황에서 매우 중요합니다.

연구 방법론
본 연구는 세 가지 프런티어 LLM인 Claude Opus 4.6(Anthropic), GPT-5.4(OpenAI), Gemini 3.1 Pro(Google)를 평가했습니다. 실험 설계는 다음과 같습니다:

• 사례 선정: 7가지 주제별 범주(예: 생애 말기 간호, 자원 배분, 보험 분쟁)를 아우르는 25개의 윤리적으로 복잡한 임상 사례를 선정했습니다. 각 사례는 보편적인 "정답"이 없는 이진 강제 선택형 딜레마(Yes/No) 형식을 취했습니다.
• 의사 벤치마크: 다양한 전문 분야와 지역의 의사 6명으로 구성된 패널이 25개 사례 전체를 독립적으로 평가했습니다. 6명 중 4명 이상의 합의가 필요한 20개 사례를 LLM 정렬을 위한 참조 표준으로 사용했습니다.
• 역할 프롬프팅: 각 LLM에 대해 세 가지 별도의 이해관계자 관점인 의사(Physician), 환자(Patient), **보험사(Insurer)**의 관점에서 25개 사례에 응답하도록 프롬프트를 제공했습니다. 각 모델-역할-사례 조합은 세 번의 독립적인 실행을 통해 테스트되었습니다(총 675개 응답).
• 측정 지표:
  • 결정 정렬(Decision Alignment): LLM의 결정과 의사 과반수의 결정 간 비교.
  • 윤리적 가치 추출(Ethical Value Extraction): 출력물에서 추출된 주요(#1 순위) 윤리적 가치를 Beauchamp와 Childress의 원칙주의 프레임워크(예: 선행, 자율성, 재정적 관리)에 기반한 분류 체계로 분류.
  • 환자 중심 결정 지수(PCDI): 환자가 선호하는 결과와의 정렬도를 정량화하기 위해 개발된 새로운 지표. 이는 역할 드리프트(Role Drift), 무효화율(Override Rate), 패널 보정(Panel Calibration), 확신 비대칭성(Confidence Asymmetry), 가치 지향 비율(Value Orientation Ratio), 환자 보호 방향(Patient-Protective Direction)의 6개 구성 요소를 가중치로 적용합니다.
• 통계 분석: 유의성과 안정성을 평가하기 위해 McNemar의 정확 검정, Cochran의 Q 검정 및 부트스트랩 리샘플링을 사용했습니다.

주요 결과

1. 역할 유도형 결정 변화: 보험사 역할을 수행하도록 프롬프트가 주어졌을 때, 두 모델(GPT-5.4 및 Gemini 3.1 Pro)은 의사 역할일 때보다 의사 과반수와의 정렬도가 통계적으로 유의미하게 감소했습니다.
   • GPT-5.4: 정렬도가 의사 역할 시 90%에서 보험사 역할 시 40%로 하락하여, 50%포인트 감소했습니다 ($p=0.004$).
   • Gemini 3.1 Pro: 정렬도가 95%에서 50%로 하락하여, 45%포인트 감소했습니다 ($p=0.008$).
   • Claude Opus 4.6: 견고함을 보였으며, 정렬도가 100%에서 90%로 단 10.5% 감소하는 데 그쳤으며 이는 통계적으로 유의미하지 않았습니다.
2. 윤리적 가치의 변형: 보험사 역할은 단순히 결정 결과만을 바꾼 것이 아니라, 근본적인 윤리적 프레임워크를 변화시켰습니다.
   • 의사 역할에서 LLM은 선행(beneficence)(31%)과 악행 금지(non-maleficence)(23%)를 우선시했습니다.
   • 보험사 역할에서는 선행이 7%로 급감했으며, 재정적 관리(financial stewardship)(20%), 전문적 성실성(professional integrity)(20%), 정의(justice)(15%)가 지배적인 가치가 되었습니다.
3. 환자 중심 결정 지수(PCDI):
   • 의사 패널 벤치마크는 90.7점을 기록했습니다.
   • 보험사 역할에서 GPT-5.4는 PCDI 41.5로 하락하여 "환자에게 불리한(patient-adverse)" 구역(<50)에 진입했으며, Gemini 3.1 Pro는 53.5를 기록했습니다.
   • Opus 4.6은 보험사 역할에서도 79.8의 PCDI를 유지했습니다.
   • 방향성 비대칭성(Directional Asymmetry): GPT-5.4의 보험사 역할에서의 이탈 중 92%는 유익한 치료의 거부(과소 치료)였던 반면, Gemini는 70%, Opus는 50%였습니다.
4. 모델 간 일치도: 의사와 환자 역할에서는 모델 간 일치도가 상당했으나($\kappa \approx 0.66-0.69$), 보험사 역할에서는 "보통(fair)" 수준의 일치도($\kappa = 0.33$)로 저하되었습니다. 이는 동일한 보험사 지침을 받은 서로 다른 모델들이 상충하는 결론에 도달했음을 나타냅니다.
5. 확신도 보정(Confidence Calibration): LLM은 의사(평균 3.84)보다 유의미하게 높은 확신도(평균 4.57–4.97)를 보였으며, 사례의 난이도에 따라 확신도가 변하는 의사와 달리 사례 전반에 걸쳐 확신도의 편차가 거의 없었습니다.

주요 기여

• 역할 의존적 편향의 실증적 증거: 본 연구는 역할 프롬프팅이 프런티어 LLM의 임상적 결정과 윤리적 가치 우선순위를 근본적으로 변화시킨다는 첫 번째 체계적인 증거를 제공합니다.
• "보험사" 효과의 정량화: "보험사" 효과를 정량화하여, 특정 모델의 경우 의사가 권고하고 환자가 선호하는 치료를 50% 이상의 사례에서 체계적으로 거부할 수 있음을 입증했습니다.
• PCDI 도입: 환자 결과와의 정렬도를 평가하기 위한 새로운 지표인 환자 중심 결정 지수(PCDI)를 개발하여, 단순한 결정 정확도를 넘어 오류의 방향과 사용된 윤리적 프레임워크까지 포착했습니다.
• 모델별 견고성: 서로 다른 모델 제품군(Opus vs GPT/Gemini)이 역할 프레이밍에 반응하는 방식에 상당한 차이가 있음을 밝혀냈으며, 이는 적대적 역할 압박 하에서 환자 중심 추론을 유지하는 정렬 학습 전략이 다양함을 시사합니다.

의의 및 주장
본 논문은 역할 프롬프팅이 중립적인 인터페이스 기능이 아니라, LLM이 할당된 역할의 전체 윤리적 프레임워크를 채택하게 만드는 "가치 포획(value capture)"을 유도하는 메커니즘이라고 주장합니다. 즉, 이는 환자 중심적 가치를 희생시키는 경우가 많습니다. 저자들은 이것이 의료 분야에서 자율형 AI 에이전트, 특히 사전 승인와 같은 보험사 관련 기능에 배치될 때 안전 문제를 야기할 수 있다고 주장합니다. 이러한 역할 유도형 추론은 치료에 대한 장벽을 증폭시킬 수 있기 때문입니다.

본 연구는 현재의 프런티어 LLM이 역할 압박 속에서도 경쟁하는 이해관계자들의 이익을 균형 있게 조절하면서 환자 중심적 가치를 유지하는 의사의 능력을 신뢰성 있게 복제할 수 없다고 결론짓습니다. 이에 따라 저자들은 다음을 제안합니다:

1. 표준화된 벤치마크: 적대적 역할 프레이밍 하에서 LLM의 환자 중심성을 평가하기 위해 PCDI와 같은 지표를 채택할 것.
2. 의사의 감독: LLM이 임상 의사 결정에 배치될 때, 특히 자율형 AI가 체계적 편향과 가치 불안정성의 위험이 가장 큰 복잡한 사례에서 지속적인 의사 감독이 필수적임.
3. 규제 테스트: 금융 규제의 스트레스 테스트와 유사하게, AI 인증 프로세스에 "역할 섭동 테스트(role-perturbation testing)"를 포함할 것.