Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

사람이 응급 도움을 요청할 때, 첫 번째 결정은 종종 전화기 너머의 목소리에 의해 내려집니다. 이 배정사는 환자에게 구급차가 필요한지, 의사의 가정 방문이 필요한지, 아니면 단순히 기다리라는 조언을 해야 하는지를 빠르게 결정해야 합니다. 최근 몇 년 동안 병원과 응급 서비스 기관들은 이 어려운 과업을 돕기 위해 인공지능을 사용하기 시작했습니다. 이 컴퓨터 프로그램들은 대화를 듣고, 말해진 단어들을 읽으며, 상황이 얼마나 긴급한지를 계산합니다. 기계가 인간보다 더 빠르고 일관되게 정보를 처리할 수 있기를 기대하는 것인데, 특히 호출자가 고통 속에 있거나 괴로워할 때 더욱 그러합니다. 그러나 의학계의 고질적인 문제는 여성이 남성과 다르게 치료를 받는 경우가 많으며, 때로는 그들에게 불리하게 작용한다는 점입니다. 여성들은 통증 완화를 위해 더 오래 기다려야 하거나, 증상을 설명할 때 덜 진지하게 받아들여지기도 합니다. 새로운 의료 기술 시대의 핵심적인 질문은, 이 컴퓨터 프로그램들이 단순히 과거의 인간적 오류를 반복할 것인가, 아니면 모든 이를 공정하게 대하도록 구축될 수 있는가 하는 것입니다.

프랑스의 한 연구팀은 응급 의료 배정이라는 맥락 내에서 정확히 이 문제를 조사하기 위해 나섰습니다. 그들은 매일 당일 의료 지원이 필요한 사람들로부터 수천 건의 전화를 처리하는 SOS Médecins Grand Paris라는 대규모 조직과 협력했습니다. 연구진은 특정 유형의 호출, 즉 결국 의사가 환자의 가정을 방문하게 된 호출에 집중했습니다. 모든 방문이 끝날 때마다 의사는 환자가 병원 응급실로 보내졌는지, 아니면 집으로 돌려보내졌는지를 기록했습니다. 이 기록은 연구의 '그라운드 트루스(ground truth, 정답)' 역할을 하여, 연구진이 어떤 호출이 실제로 긴급한 병원 치료를 필요로 했는지 확인할 수 있게 해주었습니다. 그들은 2018년부터 2023년 사이에 발생한 거의 200만 건의 호출 데이터를 수집하여, 초기 전화 통화의 오디오 녹음본을 환자의 최종 의료 기록과 매칭했습니다. 데이터를 정제하고 매칭한 결과, 그들은 100만 개 이상의 쌍을 이룬 호출과 결과 데이터라는 방대한 컬렉션을 확보했습니다.

연구진은 훈련 데이터 내의 남녀 구성이 결과에 어떤 영향을 미치는지 확인하기 위해 세 가지 서로 다른 컴퓨터 모델을 구축했습니다. 그들은 단순히 하나의 모델을 만들어 테스트한 것이 아니라, 성별 균형의 효과를 분리하기 위해 세 가지 별개의 버전을 만들었습니다. 첫 번째 모델은 남성의 데이터로만 학습되었습니다. 두 번째 모델은 여성의 데이터로만 학습되었습니다. 세 번째 모델은 남녀가 완벽하게 균형을 이룬 혼합 데이터로 학습되었으나, 다른 두 모델에 비해 전체 사례 수는 절반 수준이었습니다. 그런 다음, 그들은 각 모델을 새로운, 보지 못한 호출에 테스트하여 누가 병원에 가야 하는지를 얼마나 잘 예측하는지 확인했습니다. 목표는 균형 잡힌 집단으로 학습된 모델이 남성과 여성을 위해 똑같이 잘 작동하는지, 아니면 훈련 데이터의 구성이 기계가 남성과 여성을 '보는' 방식을 변화시키는지 확인하는 것이었습니다.

결과는 이러한 기계가 어떻게 학습하는지에 대한 놀랍고도 복잡한 양상을 보여주었습니다. 남성 데이터로만 학습된 모델은 남성에게는 잘 작동했지만, 여성에게 적용했을 때는 현저히 어려움을 겪었습니다. 이 모델은 실제로 응급 처치가 필요한 많은 여성을 식별하지 못했으며, 명확한 성능 격차를 보였습니다. 반면, 여성 데이터로만 학습된 모델은 여성에게 잘 작동했을 뿐만 {뿐만} 아니라, 놀랍게도 남성에게도 똑같이 잘 작동했습니다. 이 모델은 남성 인구에 적용되었을 때 정확도를 잃지 않는 것처럼 보였습니다. 남녀가 혼합된 세 번째 모델은 그 중간 어디쯤에 위치했습니다. 이 모델은 여성보다 남성에 대해 더 나은 성능을 보였지만, 남성 전용 모델보다는 그 격차가 작았습니다. 결정적으로, 연구진은 훈련 데이터에서 남녀의 숫자를 맞추는 것만으로는 공정성을 보장하기에 충분하지 않다는 것을 발견했습니다. 균형 잡힌 모델조차 약간의 남성 편향을 보였는데, 이는 문제가 단순히 예시의 숫자를 동일하게 맞추는 것이 아니라, 증상과 결과가 서로 어떻게 연관되어 있는지에 관한 더 깊은 차원의 문제임을 시사합니다.

왜 이런 일이 발생하는지 이해하기 위해, 연구진은 모델이 결정을 내릴 때 가장 중요하게 고려하는 단어들을 면밀히 살펴보았습니다. 그들은 응급 상황을 묘사하는 언어가 모델에 따라 서로 다른 가중치를 지닌다는 것을 발견했습니다. 예를 들어, 낙상이나 호흡 곤내와 관련된 단어들은 두 집단 모두에서 중요했지만, "통증"이나 "복부"와 같은 다른 용어들은 여성 모델에서 매우 영향력이 컸던 반면, "혈액"과 "어지러움"은 남성 모델의 결정을 주도했습니다. 이는 환자가 말하는 내용과 병원 방문 필요성 사이의 관계가 남성과 여성에게서 동일하지 않음을 나타냅니다. 컴퓨터 모델은 단순히 여성의 사례를 충분히 보지 못한 것이 아니라, 응급 징후가 호출자의 성별에 따라 다르게 나타난다는 것을 학습한 것이었습니다. 두 집단으로부터 동시에 학습하려는 단일 모델은 결국 다수 집단의 패턴을 따르는 타협안을 만들게 되는데, 이 경우 그 패턴은 남성 쪽으로 치우쳐 있었습니다.

이 연구는 인공지능의 성별 편향을 해결하는 것이 훈련 데이터의 남녀 수를 동일하게 맞추는 것만큼 간단한 문제가 아니라고 결론짓습니다. 데이터를 균형 있게 맞추는 것이 도움이 되기는 하지만, 그것이 자동으로 문제를 해결해주지는 않습니다. 연구진은 남성과 여성이 질병을 경험하고 묘사하는 방식의 차이가 구조적이고 근본적이라고 제안합니다. 이러한 이유로, 여성에 특화되어 구축된 모델은 남성을 다루기에 충분히 견고해 보이지만, 남성에 특화된 모델은 여성에게 잘 전달되지 않습니다. 이러한 발견은 단일하고 균형 잡힌 알고리즘이 모두를 평등하게 대할 수 있다는 일반적인 가설에 도전합니다. 대신, 의료 AI의 공정성은 단순한 데이터 조정을 통해 사후에 교정하는 것이 아니라, 설계 과정의 아주 초기 단계부터 이러한 깊은 차이를 인정하는 것이 필요함을 시사합니다. 이 연구는 이러한 도구들이 진정으로 안전하고 효과적이려면, 인간의 질병 경험이 성별에 따라 균일하지 않다는 점을 이해하는 바탕 위에서 구축되어야 함을 강조합니다.