The Value Sensitivity Gap: How Clinical Large Language Models Respond to Patient Preference Statements in Shared Decision-Making

이 논문은 임상용 대규모 언어 모델 (LLM) 이 공유 의사결정에서 환자의 가치 선호를 명시적으로 인지함에도 실제 권고 방향을 수정하는 정도는 미미하여, 모델별 가치 민감도 편차가 존재함을 실증적으로 규명하고 이를 완화하기 위한 개입 전략을 제시합니다.

핵심

이 연구는 **"의사결정 지원용 인공지능 (AI) 이 환자의 '가치관'을 얼마나 잘 이해하고 반영하는가?"**를 실험한 내용입니다.

쉽게 말해, **"환자가 "나는 치료보다 삶의 질이 더 중요해"라고 말했을 때, AI 는 그 말을 듣고 진심으로 치료 방향을 바꿔줄까?"**를 테스트한 것입니다.

이 복잡한 연구를 일상적인 비유로 풀어서 설명해 드릴게요.

---

🍽️ 비유: AI 는 어떤 '맛'을 가진 셰프일까?

이 연구는 4 명의 유명한 AI 셰프 (GPT-5.2, Claude 4.5, Gemini 3, DeepSeek-R1) 를 초대했습니다. 이들은 환자를 위해 요리를 해주는 '임상 의사결정 지원 도구' 역할을 합니다.

연구진은 환자에게 13 가지 다른 **식성 선호도 (가치관)**를 주문했습니다.

• "나는 오래 사는 것보다 맛있는 음식을 먹고 싶다." (삶의 질 우선)
• "무조건 오래 살 수 있다면 고통스러운 치료도 감수하겠다." (생존 우선)
• "비싼 약이라도 효과가 좋으면 상관없다." (비용 무관)
• "가장 안전한 약만 주세요." (위험 회피)

그리고 이 AI 셰프들이 환자의 주문을 듣고 메뉴 (치료법) 를 얼마나 바꾸는지를 관찰했습니다.

🔍 주요 발견 3 가지

1. 모든 셰프가 "네, 알겠습니다"라고 했지만, 실제 메뉴는 거의 안 바꿨어요. (가치 인정 vs 실제 변화)

모든 AI 는 환자의 말을 듣고 **"네, 환자의 가치를 인정했습니다"**라고 대답했습니다. (100% 인정률)
하지만 실제로 **메뉴의 '강도' (치료의 공격성)**를 바꾼 정도는 매우 미미했습니다.

• 비유: 고객이 "매운 거 싫어요"라고 했을 때, 셰프는 "네, 알겠습니다"라고 말하지만, 실제로는 여전히 아주 매운 요리를 내주고 "약간 덜 매운 걸로 드세요"라고만 말합니다.
• 결론: AI 는 말로는 환자의 마음을 이해한다고 하지만, 실제 추천하는 치료법은 크게 변하지 않았습니다.

2. 각 AI 셰프는 원래 '성향'이 달랐어요. (기본 가치관)

환자가 아무 말도 안 했을 때 (기본 설정), 각 AI 는 서로 다른 성향을 보였습니다.

• GPT-5.2: "무조건 공격적으로 치료하세요!" (가장 공격적인 성향)
• Claude 와 Gemini: "조심스럽게 접근하세요." (보수적인 성향)
• DeepSeek-R1: 환자의 말을 가장 잘 듣고 메뉴를 바꿨습니다. (가장 민감함)
• 의미: AI 마다 내장된 '기본 성향'이 다릅니다. 어떤 AI 를 쓰느냐에 따라 환자가 받는 조언이 달라질 수 있습니다.

3. "메뉴를 바꿔주세요"라고 요청해도 효과가 미미했어요. (완화 전략의 한계)

연구진은 AI 에게 "환자의 가치를 고려해서 메뉴를 짜라"는 **특별 지시 (프롬프트)**를 추가해 보았습니다.

• 비유: 셰프에게 "고객이 매운 걸 싫어한다고 했으니, 매운 양을 10% 줄여라"라고 구체적으로 지시했습니다.
• 결과: 지시를 받은 AI 들이 조금은 메뉴를 바꿨지만, 통계적으로 의미 있는 큰 변화는 없었습니다. 단순히 "말"로 지시하는 것만으로는 AI 의 깊은 성향을 바꾸기 어렵다는 뜻입니다.

💡 왜 이 연구가 중요한가요?

이 연구는 **"AI 가 환자를 대신해서 의사결정을 할 때, 환자의 진짜 마음을 얼마나 반영하는지"**를 숫자로 증명했습니다.

• 현재 상황: AI 는 환자의 말을 듣고 있다고 말하지만, 실제로는 AI 가 가진 '기본 성향 (예: 무조건 치료해야 함)'을 더 따를 가능성이 높습니다.
• 위험: 특히 의료 혜택이 부족한 환자 (메디케이드 수급자 등) 들은 AI 가 추천하는 '공격적인 치료'를 거부할 힘이 부족할 수 있습니다. AI 가 잘못 추천하면 환자는 원치 않는 치료를 받을 수 있습니다.
• 해결책 제안: 앞으로 AI 를 소개할 때, **"이 AI 는 기본적으로 공격적인 치료를 추천하는 성향이 있습니다"**라고 식품 영양 표시처럼 **'가치 라벨 (VIM Label)'**을 붙여야 한다고 주장합니다. 그래야 환자와 의사가 AI 의 추천을 올바르게 이해하고 함께 결정할 수 있습니다.

📝 한 줄 요약

"AI 는 환자의 말을 '들었다'고 말하지만, 실제로는 AI 고유의 성향에 따라 메뉴를 거의 바꾸지 않습니다. 그러니 AI 가 어떤 '성향'을 가지고 있는지 미리 알려주는 '영양표'가 필요합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 공유 의사결정 (Shared Decision-Making) 의 핵심: 임상적 증거와 환자의 가치 및 선호도를 통합하는 것이 필수적입니다.
• AI 의 투명성 부재: 임상용 대규모 언어 모델 (LLM) 이 의료 workflows 에 도입되고 있지만, 모델에 내장된 가치 체계 (Value Framework) 는 의사나 환자 모두에게 불투명합니다.
• RAISE 심포지엄의 제안: "모델 내 가치 (Values In the Model, VIM)" 라벨을 도입하여 AI 추천에 내재된 임상적 가치를 공개할 것을 제안했으나, 이를 채울 실증 데이터가 부족했습니다.
• 연구의 초점: 기존 연구는 주로 인종, 성별 등 인구통계학적 편향에 집중했으나, 본 연구는 **환자가 명시적으로 진술한 가치 (Patient-stated values)**에 대한 LLM 의 반응 (편향 여부 및 민감도) 을 측정하는 것이 핵심 격차임을 지적합니다. 특히 메디케이드 (Medicaid) 가입자와 같이 AI 기반 돌봄 조정에 의존도가 높은 집단에서 이 불일치가 치명적일 수 있습니다.

2. 연구 방법론 (Methodology)

• 연구 설계: 완전 교차 요인 실험 (Fully crossed factorial experiment).
• 데이터 소스: 98,759 건의 익명화된 메디케이드 환자 진료 기록 (Encounter notes) 에서 추출.
  • 자동 파이프라인을 통해 69 개의 '선호도 민감도' 후보를 식별하고, 22 개의 구조화된 임상 시나리오 (Vignette) 를 생성.
  • 최종적으로 1 차 (Phase 1): 2 개의 시나리오 (종양학 1 개, 심장학 1 개), 2 차 (Phase 2): 1 개의 시나리오 (심장학) 를 사용.
• 평가 모델: 4 가지 LLM 패밀리
  • GPT-5.2 (OpenAI), Claude 4.5 Sonnet (Anthropic), Gemini 3 Pro (Google), DeepSeek-R1 (로컬 실행).
  • 모든 모델은 결정론적 출력 (Temperature 0.0) 으로 설정.
• 실험 조건 (Value Conditions):
  • 13 가지 조건: 통제 조건 (선호도 없음) + 6 가지 가치 차원의 양극 (12 개).
  • 6 가지 가치 차원: 자율성 (Autonomy), 삶의 질 vs 수명 (QoL vs Longevity), 위험 감수성 (Risk Tolerance), 치료 부담 (Treatment Burden), 비용 민감도 (Cost Sensitivity), 자연/전통적 접근 선호 (Natural vs Conventional).
  • 각 조건은 환자가 직접 진술하는 1 인칭 문장 (예: "삶의 질이 수명보다 중요합니다") 으로 시나리오에 추가됨.
• 주요 측정 지표:
  1. 기본 가치 지향성 (DVO, Default Value Orientation): 통제 조건에서의 모델 기본 추천 강도 (공격성 점수 1~5).
  2. 가치 민감도 지수 (VSI, Value Sensitivity Index): 환자 선호도 진술에 따른 추천 강도의 절대적 변화량 (최대 4 점 변화 대비 정규화).
  3. 방향적 일치율 (DCR, Directional Concordance Rate): 환자의 진술된 가치와 모델 추천 변화 방향이 일치하는 비율.
  4. 가치 인정률 (VAR, Value Acknowledgment Rate): 모델이 환자의 가치를 인정했다고 보고한 비율.
• 개입 전략 (Mitigation Strategies, Phase 2): GPT-5.2 를 대상으로 6 가지 프롬프트 전략 테스트 (가치 elicitation, 의사결정 행렬, 대조적 설명, 퓨샷 학습, 다중 에이전트 deliberation, VIM 자기 보고).

3. 주요 결과 (Key Results)

A. 기본 가치 지향성 (DVO) 의 차이

• 모든 모델은 통제 조건에서도 서로 다른 기본 성향을 보임.
  • GPT-5.2: 가장 공격적인 기본 추천 (공격성 점수 3.5). 특히 심장학 분야에서 4.0 으로 매우 공격적임.
  • Claude 4.5 Sonnet & Gemini 3 Pro: 보수적인 기본 추천 (공격성 점수 2.0).
  • DeepSeek-R1: 중간 정도의 공격성 (3.0).
• 도메인 의존성: GPT-5.2 는 심장학 (4.0) 과 종양학 (3.0) 에서 공격성 점수가 1 점 차이로 달라, 단일 모델이라도 도메인별로 다른 가치 지향성을 가질 수 있음을 보여줌.

B. 가치 민감도 및 일치도

• 반응성: 모든 모델이 환자 선호도에 따라 추천을 변경했으나, 그 정도는 이질적임.
  • 가장 민감한 모델: DeepSeek-R1 (평균 VSI 0.274, DCR 1.0). 추론 중심의 오픈 가중치 모델이 가장 높은 민감도와 일치율을 보임.
  • 가장 둔감한 모델: Gemini 3 Pro (평균 VSI 0.130, DCR 0.625).
  • GPT-5.2: VSI 0.156, DCR 0.750.
• 가치 인정과 실제 변화의 괴리 (Dissociation):
  • 모든 모델은 비통제 조건에서 100% 의 비율로 환자의 가치를 인정 (VAR 1.0) 함.
  • 그러나 실제 추천 강도 (공격성 점수) 의 변화는 평균 0.51.1 점 (최대 변화의 37%) 에 불과하여, 표면적인 인정과 실제 행동 변화 사이에 심각한 불일치가 존재함.

C. 완화 전략 (Mitigation Strategies) 효과

• 성공적인 전략: '의사결정 행렬 (MATRIX)'과 'VIM 자기 보고 (VIM_SELF_REPORT)' 전략이 DCR 을 0.500 에서 0.625 로, VSI 를 0.167 에서 0.229 로 개선함.
  • 이 두 전략은 공통적으로 **환자 가치에 대한 명시적 추론 (Explicit reasoning)**을 요구함.
• 비효율적인 전략: 가치 elicitation prompting (VEP) 은 오히려 민감도를 낮췄으며, 다중 에이전트 deliberation 은 효과가 없었음.
• 통계적 유의성: 개선 효과는 관찰되었으나, 보정된 p-value 기준에서는 통계적으로 유의하지 않음 (표본 수 부족 및 효과 크기 작음).

4. 주요 기여 및 의의 (Contributions & Significance)

1. 실증 데이터의 제공: 임상 AI 거버넌스 프레임워크 (VIM 라벨 등) 를 채울 수 있는 최초의 실증 데이터를 제공함. "모델이 누구의 가치를 반영하는가"에 대한 정량적 기준을 제시.
2. 가치 민감도 격차 (Value Sensitivity Gap) 의 규명: LLM 이 환자의 선호도를 언어적으로 인정하면서도, 실제 임상적 추천 (공격성 등) 을 크게 변경하지 않는 불일치 현상을 발견. 이는 AI 가 공유 의사결정을 왜곡할 수 있는 위험을 시사.
3. 모델 및 도메인별 편향의 이질성: 동일한 모델이라도 도메인 (심장학 vs 종양학) 에 따라 기본 가치 지향성이 달라질 수 있음을 발견. 따라서 AI 거버넌스 라벨은 모델 전체가 아닌 **도메인별 (Domain-specific)**로 적용되어야 함을 주장.
4. 공정성 및 형평성 함의: 메디케이드 환자처럼 제도적 권력이 약한 집단에게 AI 가 내재된 공격적 가치 (예: 과도한 치료) 를 강요할 경우, 불필요한 치료나 목표의사소통 지연과 같은 불공정한 결과가 발생할 수 있음을 경고.
5. 해결 방향 제시: 프롬프트 수준의 완화 전략만으로는 부족하며, **학습 단계의 가치 보정 (Training-time value calibration)**이나 보상 모델 수정과 같은 구조적 접근이 필요함을 시사.

5. 결론

이 연구는 임상용 LLM 이 환자의 명시적 가치 진술에 반응할 때, 모델마다 고유한 기본 가치 지향성을 가지며, 그 반응의 정도와 방향성이 불일치할 수 있음을 실증적으로 증명했습니다. 특히 "가치를 인정한다"는 언어적 표현과 "추천을 변경한다"는 실제 행동 사이의 괴리는 임상 AI 배포 시 중요한 윤리적 리스크로 작용할 수 있습니다. 이러한 발견은 투명하고 책임 있는 임상 AI 시스템을 구축하기 위해 모델별, 도메인별 가치 프로파일을 공개하고 (VIM 라벨), 구조적 개입을 통해 가치 정렬을 강화해야 함을 강력히 시사합니다.