Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

في ظل التطور المتسارع لمجال الذكاء الاصطناعي، تعلم جيل جديد من برامج الكمبيوتر القراءة والكتابة مثل البشر، مقدمين نصائح في كل شيء من الأدب إلى الطب. ومع انتقال هذه الأدوات إلى مجال الرعاية الصحية، حث الخبراء المطورين على برمجتها بنوع محدد من الحساسية: الوعي بالتنوع والعدالة والشمول. والهدف من ذلك هو ضمان أنه عندما يطلب الطبيب مساعدة من الكمبيوتر بشأن مريض ما، فإن الآلة تأخذ في الاعتبار كيف يمكن لعوامل مثل العرق أو الدخل أو الخلفية الثقافية أن تؤثر على النتائج الصحية. يفترض هذا النهج أنه من خلال مطالبة الكمبيوتر صراحةً بالتفكير في هذه الحقائق الاجتماعية، فإنه سيصبح أكثر عدلاً ودقة. ومع ذلك، فإن العلاقة بين تعليمات الكمبيوتر ومخرجاته معقدة، ويمكن للطلبات (prompts) حسنة النية أن تؤدي أحياناً إلى سلوكيات غير متوقعة تشوه المعلومات التي تهدف إلى توضيحها.

استقصى باحثون في جامعة ولاية أريزونا ما يحدث عندما يطبقون هذه التعليمات التي تركز على العدالة على الأسئلة الطبية. فقد اختبروا سبعة وأربعين نموذجاً مختلفاً من نماذج الذكاء الاصطناعي، تتراوح بين الأنظمة التجارية واسعة الاستخدام والبرامج المتخصصة مفتوحة المصدر، باستخدام مجموعة ضخمة من أسئلة الاختيار من متعدد الطبية. وفي تجربتهم، أخذوا سيناريوهات طبية قياسية — وهي أوصاف لمرضى يعانون من أعراض محددة دون ذكر خلفياتهم — وطلبوا من النماذج حلها. وقارنوا إجابات النماذج تحت أربعة ظروف مختلفة: بدون تعليمات إضافية، ومع تعليمات غير منطقية، ومع تعليمات طبية محايدة، ومع جملة واحدة توجه النموذج للنظر في التنوع والعدالة.

كشفت النتائج عن نمط ثابت ومذهل. فعندما تلقت النماذج التعليمات التي تركز على العدالة، بدأت في كثير من الأحيان في اختراع تفاصيل عن المرضى لم تكن موجودة أبداً في الوصف الأصلي. ويطلق الباحثون على هذه الظاهرة اسم "الحقن الديموغرافي" (demographic injection). في مجموعات الضبط (control groups)، حيث لم تُعطَ تعليمات خاصة، أضافت النماذج تفاصيل ديموغرافية غير مذكورة، مثل عرق المريض أو حالته الاجتماعية، في أقل من واحد بالمائة من الحالات. ولكن عند إضافة طلب العدالة، قفز هذا الرقم إلى ثلاثة وثلاثين بالمائة عبر كل نموذج تم اختباره. وهذا يعني أنه في حوالي حالة واحدة من كل ثلاث حالات طُلب فيها من الكمبيوتر مراعاة العدالة، قرر الصمت وتعيين عرق أو عمر أو وضع اقتصادي محدد لمريض لا يملك أي منها.

في معظم الأوقات، كان هذا الاختراع غير ضار؛ حيث كانت النماذج تضيف عبارة عامة حول كيفية تأثير مرض معين على مجموعة معينة من الناس في العالم الحقيقي، دون تغيير توصيتهم الطبية النهائية. ومع ذلك، ذهب جزء أصغر ولكنه مهم من هذه الاستجابات إلى أبعد من ذلك. ففي حوالي اثنتين وعشرين ونصف بالمائة من الحالات، ربط النموذج الديموغرافي المخترع مباشرة بالمريض المحدد في القصة. وقد تسبب هذا التحول في هوية المريض في تغيير نصيحة النموذج الطبية، وكانت النصيحة الجديدة، في الغالب، خاطئة. على سبيل المثال، عند تقديم حالة لامرأة تعاني من تورم غير مؤلم في الرقبة مع علامات دم طبيعية، قد يحدد النموذج بشكل صحيح الحالة كنوع معين من التهاب الغدة الدرقية. ولكن عند توجيهه للنظر في العدالة، قد يقرر نفس النموذج فجأة أن المريضة امرأة سوداء أو من أصول لاتينية، وبناءً على تلك الهوية المخترعة، يغير تشخيصه إلى مرض آخر غير صحيح.

وجدت الدراسة أن طريقة صياغة التعليمات كانت مهمة للغاية. فالطلبات الأكثر تفصيلاً التي تطلب من النموذج مراعاة المحددات الاجتماعية للصحة أو مجموعات ديموغرافية محددة تسببت في اختراع النماذج لتفاصيل المرضى بشكل أكبر، حيث ارتفع معدل الاختراع إلى خمسة وخمسين بالمائة. وحدد الباحثون أن هذا السلوك كان مدفوعاً بمحتوى تعليمات العدالة نفسها، وليس مجرد حقيقة أن النموذج يقرأ المزيد من النصوص. وقد استبعدوا فكرة أن النماذج تشتتت ببساطة بسبب الكلمات الإضافية، حيث إن التعليمات التي كانت بنفس الطول ولكنها غير متعلقة بالعدالة لم تسبب نفس التأثير. بدلاً من ذلك، يبدو أن النماذج قد تعلمت ارتباطاً قوياً أثناء تدريبها: فعندما ترى كلمات متعلقة بالعدالة، تتوقع رؤية تفاصيل ديموغرافية وتشعر بأنها ملزمة بتقديمها، حتى عندما لا يطلب المستخدم ذلك.

يسلط هذا الاكتشاف الضوء على خلل دقيق ولكن حاسم في كيفية معالجة هذه الأنظمة للتعليمات. فالكمبيوتر لا يتصرف بدافع الخبث أو التحيز بالمعنى البشري؛ بل يتبع نمطاً تعلم أنه مفيد. فعندما يُطلب منه مراعاة العدالة، فإنه يفسر ذلك كأمر لملء المعلومات الناقصة، مفترضاً أن الصورة الطبية الكاملة تتطلب تسمية ديموغرافية. وبذلك، فإنه يعيد كتابة هوية المريض، محولاً حالة عامة إلى حالة محددة لم توجد قط. ويؤكد الباحثون أنه بينما انخفضت دقة النماذج بشكل طفيف فقط، إلا أن الأخطاء تركزت في الحالات التي كانت تحاول فيها النماذج أن تكون أكثر فائدة. وتخلص الدراسة إلى أن أي تعليمات تدفع النموذج حول كيفية التفكير يمكن أن تجعله يضيف تفاصيل غير مطلوبة، وفي عالم الطب عالي المخاطر، يمكن حتى لتغيير بسيط في وصف المريض أن يؤدي إلى تشخيص خاطئ خطير.