Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone
تُظهر هذه الدراسة أن موازنة بيانات التدريب حسب الجنس غير كافية لضمان العدالة في نماذج فرز الحالات الطارئة القائمة على الذكاء الاصطناعي، حيث أظهر نموذج يعتمد على الإناث فقط قدرة جيدة على التعميم لكل من الجنسين، بينما أدى نموذج يعتمد على الذكور فقط أداءً ضعيفاً تجاه النساء، مما يسلط الضوء على الحاجة إلى معالجة التحيزات الهيكلية خلال مرحلة التصميم بدلاً من الاعتماد فقط على تكوين البيانات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما يتصل شخص لطلب المساعدة في حالات الطوارئ، غالبًا ما يُتخذ القرار الأول من قِبل صوت على الطرف الآخر من الخط. يجب على موظف الاستقبال هذا أن يقرر بسرعة ما إذا كان المتصل يحتاج إلى سيارة إسعاف، أو زيارة منزلية من طبيب، أو مجرد نصيحة بالانتظار. في السنوات الأخيرة، بدأت المستشفيات وخدمات الطوارئ في استخدام الذكاء الاصطناعي للمساعدة في هذه المهمة الصعبة. تقوم هذه البرامج الحاسوبية بالاستماع إلى المحادثة، وقراءة الكلمات المنطوقة، وحساب مدى إلحاح الموقف. والأمل هو أن تتمكن الآلات من معالجة المعلومات بشكل أسرع وبثبات أكبر من البشر، خاصة عندما يكون المتصل في حالة ألم أو ضيق. ومع ذلك، فإن مشكلة مستمرة في الطب هي أن النساء غالبًا ما يتلقين رعاية مختلفة عن الرجال، وأحيانًا يكون ذلك على حسابهن. فقد ينتظرن لفترة أطول للحصول على مسكنات الألم أو يتم التعامل مع وصفهن للأعراض بجدية أقل. السؤال الحاسم للعصر الجديد من التكنولوجيا الطبية هو ما إذا كانت هذه البرامج الحاسوبية ستكرر ببساطة تلك الأخطاء البشرية القديمة، أم يمكن بناؤها لتعامل الجميع بإنصاف.
قام فريق من الباحثين في فرنسا بالتحقيق في هذه القضية تحديدًا في سياق خدمات الإرسال الطبي للطوارئ. لقد عملوا مع منظمة كبيرة تسمى "SOS Médecins Grand Paris"، والتي تتعامل مع آلاف المكالمات يوميًا من أشخاص يحتاجون إلى مساعدة طبية في نفس اليوم. ركز الباحثون على نوع محدد من المكالمات: تلك التي انتهت بزيارة طبيب للمريض في منزله في نهاية المطاف. وفي نهاية كل زيارة، سجل الطبيب ما إذا تم إرسال المريض إلى قسم طوارئ بالمستشفى أو إعادته إلى المنزل. وقد عمل هذا السجل كـ "حقيقة أرضية" للدراسة، مما سمح للباحثين برؤية المكالمات التي تطلبت بالفعل رعاية عاجلة في المستشفى. لقد جمعوا بيانات من ما يقرب من مليوني مكالمة أُجريت بين عامي 2018 و2023، وربطوا التسجيلات الصوتية للمكالمات الأولية بالسجلات الطبية النهائية للمرضى. وبعد تنظيف البيانات ومطابقتها، حصلوا على مجموعة ضخمة تضم أكثر من مليون مكالمة وزيارة مقترنة.
قام الباحثون بعد ذلك ببناء ثلاثة نماذج حاسوبية مختلفة لمعرفة كيف يؤثر مزيج الرجال والنساء في بيانات التدريب على النتائج. لم يكتفوا ببناء نموذج واحد واختباره؛ بل أنشأوا ثلاث نسخ متميزة لعزل تأثير التوازن بين الجنسين. تم تدريب النموذج الأول فقط على بيانات الرجال. أما النموذج الثاني، فقد تم تدريبه فقط على بيانات النساء. والنموذج الثالث، تم تدريبه على مزيج متوازن تمامًا من الرجال والنساء، ولكن بنصف إجمالي عدد الأمثلة مقارنة بالنموذذجين الآخرين. ثم اختبروا كل نموذج على مكالمات جديدة لم يسبق له رؤيتها لمعرفة مدى قدرته على التنبؤ بمن يحتاج للذهاب إلى المستشفى. كان الهدف هو معرفة ما إذا كان النموذج المدرب على مجموعة متوازنة سيؤدي بشكل جيد لكل من الجنسين، أم أن تكوين بيانات التدريب سيغير كيفية "رؤية" الآلة للرجال والنساء.
كشفت النتائج عن صورة مفاجئة ومعقدة لكيفية تعلم هذه الآلات. فالنموذج الذي تدرب حصريًا على الرجال أدى أداءً جيدًا للرجال ولكنه واجه صعوبة كبيرة عند تطبيقه على النساء؛ حيث فشل في تحديد العديد من النساء اللواتي احتجن بالفعل إلى رعاية طارئة، مما أظهر فجوة واضحة في الأداء. في المقابل، كان النموذج المدرب حصريًا على النساء يؤدي أداءً جيدًا للنساء، ولعل الأمر الأكثر إثارة للدهشة هو أنه أدى أداءً جيدًا للرجال أيضًا؛ إذ لم يبدُ أنه يفقد الدقة عند تطبيقه على السكان من الذكور. أما النموذج الثالث، الذي تدرب على مزيج متوازن من الرجال والنساء، فقد وقع في المنتصف؛ حيث كان أداؤه أفضل للرجال منه للنساء، لكن الفجوة كانت أصغر مما هي عليه في النموذج المخصص للرجال فقط. والأهم من ذلك، وجد الباحثون أن مجرد موازنة أعداد الرجال والنساء في بيانات التدريب لم يكن كافيًا لضمان الإنصاف. فحتى النموذج المتوازن أظهر تفضيلًا طفيفًا للرجال، مما يشير إلى أن المشكلة ليست مجرد مسألة تساوي عدد الأمثلة، بل تتعلق بشيء أعمق في كيفية ارتباط الأعراض والنتائج ببعضها البعض بالنسبة للجنسين المختلفين.
لفهم سبب حدوث ذلك، نظر الباحثون عن كثب في الكلمات التي اعتبرتها النماذج الأكثر أهمية عند اتخاذ قراراتها. ووجدوا أن اللغة المستخدمة لوصف حالة الطوارئ تحمل أوزانًا مختلفة اعتمادًا على النموذج. فعلى سبيل المثال، كانت الكلمات المتعلقة بالسقوط أو ضيق التنفس مهمة لكلا المجموعتين، لكن مصطلحات أخرى مثل "ألم" و"بطن" كانت مؤثرة للغاية في النموذج الخاص بالنساء، بينما كانت كلمات مثل "دم" و"دوار" هي المحرك لقرارات النموذج الخاص بالرجال. وهذا يشير إلى أن العلاقة بين ما يقوله المريض وما إذا كان يحتاج إلى مستشفى ليست متطابقة بين الرجال والنساء. لم تكن النماذج الحاسوبية تفشل فقط في رؤية أمثلة كافية من النساء، بل تعلمت أن علامات الطوارئ تبدو مختلفة اعتمادًا على جنس المتصل. إن نموذجًا واحدًا يحاول التعلم من المجموعتين معًا ينتهي به الأمر إلى تقديم تسوية تحابي أنماط المجموعة الأكثر انتشارًا، وهي في هذه الحالة مالت نحو الرجال.
تخلص الدراسة إلى أن معالجة التحيز الجنسي في الذكاء الاصطناعي ليست بالأمر البسيط مثل ضمان وجود عدد متساوٍ من الرجال والنساء في بيانات التدريب. فبينما يساعد موازنة البيانات، إلا أنها لا تحل المشكلة تلقائيًا. ويشير الباحثون إلى أن الاختلافات في كيفية تجربة النساء والرجال للمرض ووصفهما له هي اختلافات هيكلية وجوهرية. وبسبب ذلك، يبدو أن النموذج المبني خصيصًا للنساء قوي بما يكفي للتعامل مع الرجال، بينما لا يترجم النموذج المبني للرجال بشكل جيد إلى النساء. وتتحدى هذه النتيجة الافتراض الشائع بأن خوارزمية واحدة متوازنة يمكنها معاملة الجميع بالتساوي. وبدلاً من ذلك، تشير إلى أن الإنصاف في الذكاء الاصطناعي الطبي قد يتطلب الاعتراف بهذه الاختلافات العميقة منذ بداية عملية التصميم، وليس محاولة تصحيحها لاحقًا عبر تعديلات بسيطة للبيانات. ويسلط هذا العمل الضوء على أنه لكي تكون هذه الأدوات آمنة وفعالة حقًا، يجب بناؤها مع فهم أن التجربة البشرية للمرض ليست موحدة عبر الجنسين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.