Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

급격히 진화하는 인공지능 분야에서, 문학에서 의학에 이르기까지 모든 것에 대해 조언을 제공하며 인간처럼 읽고 쓸 줄 아는 새로운 세대의 컴퓨터 프로그램이 등장했습니다. 이러한 도구들이 의료 분야로 진입함에 따라, 전문가들은 개발자들이 이들에게 특정한 종류의 민감성, 즉 다양성, 형평성, 포용성에 대한 인식을 프로그래밍하도록 촉구해 왔습니다. 그 목표는 의사가 환자에 대한 도움을 받기 위해 컴퓨터에 질문할 때, 기계가 인종, 소득, 또는 문화적 배경과 같은 요인들이 건강 결과에 어떻게 영향을 미칠 수 있는지를 고려하도록 보장하는 것입니다. 이 접근 방식은 컴퓨터에게 이러한 사회적 현실을 고려하라고 명시적으로 요청함으로써, 컴퓨터가 더 공정하고 정확해질 것이라는 가정을 전제로 합니다. 그러나 컴퓨터의 지시와 그 출력값 사이의 관계는 복잡하며, 선의를 가진 프롬프트가 때로는 정보를 명확히 하려는 본래의 의도를 왜곡하는 예상치 못한 행동을 유발할 수 있습니다.

애리조나 주립대학교의 연구진은 의료 관련 질문에 이러한 형평성 중심의 지침을 적용했을 때 어떤 일이 발생하는지 조사했습니다. 그들은 널리 사용되는 상용 시스템부터 특화된 오픈 소스 프로그램에 이르기까지 47개의 서로 다른 인공지 intelligence 모델을 방대한 양의 의학 객관식 문제들을 사용하여 테스트했습니다. 실험에서 연구진은 특정 증상을 가진 환자의 묘사(배경에 대한 언급은 없는 상태)가 담긴 표준 의학 시나리오를 가져와 모델들이 이를 해결하도록 했습니다. 그리고 네 가지 서로 다른 조건 하에서 모델들의 답변을 비교했습니다: 추가 지시가 없는 경우, 무의미한 지시가 있는 경우, 중립적인 의학적 지시가 있는 경우, 그리고 다양성과 형평성을 고려하라는 단일 문장이 포함된 경우입니다.

결과는 놀랍고도 일관된 패턴을 드러냈습니다. 모델들이 형평성 중심의 지시를 받았을 때, 모델들은 원래의 설명에는 전혀 없었던 환자에 대한 세부 사항을 빈번하게 지어내기 시작했습니다. 연구진은 이 현상을 "인구통계학적 주입(demographic injection)"이라고 부릅니다. 특별한 지시가 주어지지 않은 대조군에서는 모델이 환자의 인종이나 사회적 지위와 같은 명시되지 않은 인구통계학적 세부 사항을 추가하는 경우가 1% 미만이었습니다. 그러나 형평성 프롬프트가 추가되었을 때, 테스트된 모든 모델에서 그 수치는 33%로 급증했습니다. 이는 컴퓨터가 형평성을 고려하라는 요청을 받을 때마다 약 3분의 1의 확률로, 배경 정보가 없는 환자에게 특정 인종, 연령 또는 경제적 상황을 암묵적으로 할당하기로 결정했음을 의미합니다.

대부분의 경우 이러한 발명은 해롭지 않았습니다. 모델들은 특정 질병이 현실 세계에서 특정 집단에 어떻게 영향을 미치는지에 대한 일반적인 진술을 추가했을 뿐, 최종적인 의학적 권고를 변경하지는 않았습니다. 그러나 더 적지만 유의미한 비율의 응답들은 더 나아갔습니다. 약 2.5%의 사례에서 모델은 자신이 지어낸 인구통계학적 정보를 이야기 속 특정 환자에게 직접 연결했습니다. 이러한 환자의 정체성 변화는 모델이 의학적 권고를 바꾸게 만들었으며, 거의 항상 그 새로운 권고는 틀렸습니다. 예를 들어, 통증이 없는 목 부종과 정상적인 혈액 수치를 가진 여성의 사례가 제시되었을 때, 모델은 해당 질환을 특정 유형의 갑상선 염증으로 올바르게 식별할 수 있습니다. 하지만 형평성을 고려하라는 프롬프트가 주어지면, 동일한 모델은 갑자기 환자를 흑인 또는 히스패닉 여성으로 결정하고, 그 지어낸 정체성에 근거하여 다른 잘못된 질병으로 진단을 변경할 수 있습니다.

연구는 지시문의 문구가 매우 중요하다는 것을 발견했습니다. 건강의 사회적 결정 요인이나 특정 인구통계학적 집단을 고려하라고 요구하는 더 상세한 프롬프트는 모델이 환자의 세부 사항을 더 자주 지어내게 만들었으며, 발명율은 최대 56%까지 상승했습니다. 연구진은 이러한 행동이 단순히 모델이 더 많은 텍스트를 읽기 때문이 아니라, 형평성 지시 내용 자체에 의해 유발되었다고 판단했습니다. 연구진은 지시가 길기는 하지만 형평성과 관련이 없는 지시문들은 동일한 효과를 일으키지 않았다는 점을 들어, 모델이 단순히 추가적인 단어들에 의해 주의가 분산된 것이 아니라는 점을 입증했습니다. 대신, 모델들은 훈련 과정에서 강력한 연관성을 학습한 것으로 보입니다. 즉, 형평성과 관련된 단어를 보면 인구통계학적 세부 사항이 나타날 것을 기대하고, 사용자가 요청하지 않았음에도 이를 제공해야 한다는 의무감을 느끼는 것입니다.

이 발견은 이러한 시스템이 지시를 처리하는 방식에 있어 미묘하지만 결정적인 결함을 강조합니다. 컴퓨터는 인간적인 의미에서의 악의나 편향을 가지고 행동하는 것이 아니라, 도움이 되는 패턴을 따르고 있는 것입니다. 형평성을 고려하라는 말을 들으면, 모델은 그것을 누락된 정보를 채우라는 명령으로 해석하며, 완전한 의학적 그림을 위해서는 인구통계학적 라벨이 필요하다고 가정합니다. 그 과정에서 모델은 환자의 정체성을 재작성하여, 일반적인 사례를 존재하지 않는 특정한 사례로 바꾸어 놓습니다. 연구진은 모델의 전체적인 정확도는 약간만 떨어졌지만, 오류가 집중된 곳은 모델이 가장 도움이 되려고 노력하는 바로 그 지점이라는 점을 강조했습니다. 연구는 모델이 추론하는 방식에 대해 조언을 주는 모든 지시가 요청되지 않은 세부 사항을 추가하게 만들 수 있으며, 생사가 오가는 의료 현장에서 환자에 대한 아주 작은 묘사의 변화조차 위험한 오진으로 이어질 수 있다고 결론지었습니다.