Rare Diseases, Common Dilemmas: LLMs Prioritize Equal Resource Distribution over Patient Benefit in Decision-Making

의학의 고위험 세계에서 의사들은 단 하나의 정답이 없는 선택에 직면하곤 합니다. 환자가 위독하거나 희귀 질환을 앓고 있을 때, 의료진은 여러 상충하는 도덕적 의무들 사이에서 균형을 잡아야 합니다. 그들은 환자를 돕고(선행), 해를 끼치지 않으며(악행 금지), 환자의 스스로 길을 선택할 권리를 존려하고(자율성), 자원을 필요한 모든 이들에게 공정하게 배분해야(정의) 하는 의무를 수행해야 합니다. 선행, 악행 금지, 자율성, 그리고 정의로 알려진 이러한 의무들은 자주 서로 다른 방향으로 충돌합니다. 예를 들어, 생명을 구할 수 있는 치료법이 엄청난 고통을 유발할 수도 있고, 희귀하고 비싼 약품이 한 사람에게는 깊은 도움을 줄 수 있지만 다른 많은 이들을 돌봄 없이 남겨둘 수도 있습니다. 인공지능이 의료 현장에서 점점 더 보편화됨에 따라, 사람들은 이 컴퓨터 시스템들이 어떻게 이러한 어려운 가치 중심적 결정을 내리는지에 대해 질문하기 시작했습니다. 우려는 단순히 기계가 사실을 알고 있는지 여부가 아니라, 기계가 그 속에 담긴 도덕적 절충의 무게를 이해하고 있는지에 관한 것입니다.

새로운 한 연구는 인간과 유사한 텍le을 생성할 수 있는 강력한 AI 시스템인 대규모 언어 모델이 희귀 질환 환자를 돌볼 때 이러한 윤리적 선택을 어떻게 내리는지 조사합니다. 희귀 질환은 소수의 사람에게 영향을 미치며 종종 가용할 수 있는 의료 데이터가 제한적이기 때문에 독특한 과제를 안겨줍니다. 이러한 상황에서 가족과 의사들은 불완전한 옵션들을 서로 저울질하며 깊은 불확민성 속에서 결정을 내려야 하는 경우가 많습니다. 연구진은 AI가 이러한 모호한 상황을 헤쳐 나갈 수 있는지 확인하기 위해 테스트를 설계했습니다. 그들은 실제 희귀 질환의 유전적 및 임상적 세부 사항을 바탕으로 한 208개의 현실적인 의료 이야기, 즉 '비네트(vignettes)' 모음을 구축했습니다. 각 이야기는 두 가지 서로 다른 다음 단계가 모두 의학적으로는 타당하지만 윤리적으로는 대립하는 진정한 딜레마를 제시했습니다. 예를 들어, 한 옵션은 단일 환자의 즉각적인 필요를 우선시하는 반면, 다른 옵션은 한정된 자원을 집단 전체에 공정하게 배분하는 데 집중할 수 있습니다. 연구진은 11개의 최첨단 AI 모델에게 이 두 옵션 중 하나를 선택하도록 요청했습니다.

결과는 놀라운 패턴을 보여주었습니다. 누가 만들었는지 또는 어떻게 훈련되었는지와 관계없이, 테스트된 모든 AI 모델에서 시스템은 일관되게 '정의'를 우선시하는 옵션을 선택했습니다. 이러한 의료 이야기의 맥락에서, 이는 AI가 거의 항상 개인 환자의 구체적이고 긴급한 요구보다 자원의 평등한 배분을 선호했음을 의미합니다. 모델들은 공정성을 '누구에게나 더 많은 것을 주는 것'이 아니라 '모두에게 똑같은 몫을 주는 것'으로 취급하는 듯 보였습니다. 이러한 평등에 대한 선호는 환자의 상태의 심각성을 간과한, 공정성 개념에 대한 피상적인 반응처럼 보였습니다. 이 연구는 이러한 AI 시스템이 상황의 도덕적 복잡성을 깊이 추론하는 것이 아니라, 단순한 평등 배분의 규칙을 기본값으로 설정하고 있음을 시사합니다.

연구진은 또한 AI의 선택이 최종 결정권자로 묘사된 인물이 누구인지에 따라 크게 달라진다는 것을 발견했습니다. 이야기가 결정을 위원회나 병원 이사회의 몫으로 설정했을 때, AI는 정의와 자원의 평등한 배분을 강력하게 선호했습니다. 그러나 결정이 단일 의사나 환자 본인의 몫으로 설정되었을 때, AI는 선호도를 바꾸었습니다. 그런 경우, 모델들은 엄격한 평등에서 벗어나 환자 자신의 의지나 즉각적인 웰빙을 우선시하기 시작했습니다. 이는 AI가 사회적 역할 할당에 매우 민щу하게 반응하며, 권위가 작동하는 방식에 대한 인간의 직관을 모방하고 있음을 나타냅니다. AI는 위원회는 공정성에 책임을 지고, 개인은 케어와 선택에 책임을 진다는 것을 학습한 것으로 보입니다.

이러한 행동은 이 도구들이 실제 병원에서 어떻게 사용될지에 대한 중요한 질문을 던집니다. 이 연구는 AI 의사 결정 지원 시스템이 새로운 원칙적 관점을 제공하기보다는 기존의 권력 구조를 묵묵히 강화할 수 있음을 시사합니다. 만약 의사가 어려운 사례에 대해 AI에게 조언을 구한다면, 그 답변은 의사가 개인으로서 묻느냐 혹은 팀의 일원으로서 묻느냐에 따라 달라질 수 있습니다. 연구진은 모델들이 환자에게 무엇이 최선인지에 대해 제1원리로부터 추론하는 것이 아니라, 관련된 역할에 기반한 기대 행동 패턴에 상황을 맞추고 있다는 것을 발견했습니다. 이러한 '권위 편향(authority bias)'은 AI가 불공정한 제도적 관행에 도전하거나, 환자의 구체적인 필요가 일반적인 평등의 규칙보다 우선되어야 하는 시점을 인식하지 못할 수 있음을 의미합니다.

이 연구는 이러한 AI 모델들이 고장 났다거나 유용할 수 없다고 주장하는 것이 아닙니다. 오히려 현재 우리가 의료용 AI를 평가하는 방식에 존재하는 사각지대를 강조합니다. 대부분의 테스트는 기계가 올바른 사실을 알고 있는지 또는 의료 질문에 정확히 답할 수 있는지에 초점을 맞춥니다. 이 연구는 모델들이 사실적으로 정확할지라도, 도덕적 가치를 가중하는 방식에 있어서는 숨겨진 편향을 가질 수 있음을 보여줍니다. 연구 결과는 우리가 고위험 의료 환경에서 AI를 사용하는 방향으로 나아감에 따라, 단순한 정확성을 넘어선 검토가 필요함을 시사합니다. 우리는 이러한 시스템이 가치를 어떻게 우선순위에 두는지, 그리고 그 선택이 생명이 걸린 순간에 인간 의사와 윤리학자들이 사용하는 복잡하고 미묘한 추론과 일치하는지를 이해해야 합니다. 연구는 이러한 윤리적 선호에 대한 세심한 주의가 없다면, AI 도구들이 단순히 제도적 의사 결정의 현상 유지를 반복하게 되어 잠재적으로 가장 취약한 환자들에게 해가 될 수 있다고 결론짓습니다.