Proxy reliance in large language model decisions is uncalibrated to predictive evidence

في العالم الحديث، تُطالب الخوارزميات بشكل متزايد باتخاذ قرارات عالية المخاطر تتعلق بالبشر، بدءاً من تحديد من يحصل على قرض وصولاً إلى تقرير أي مريض في المستشفى يحتاج إلى الرعاية أولاً. وعندما تُبنى هذه الأنظمة باستخدام النماذج اللغوية الكبيرة — وهي برامج حاسوبية قوية مدربة على كميات هائلة من النصوص — يصبح سؤال العدالة معقداً. فالقانون يقبل عموماً أن صانع القرار يمكنه استخدام المعلومات إذا كانت تساعد في التنبؤ بنتيجة جيدة، مثل استخدام ضغط دم المريض للتنبؤ بخطر إصابته بنوبة قلبية. ومع ذلك، فإنه يحظر استخدام المعلومات التي تعمل مجرد بديل لسمة محمية، مثل العرق أو الجنس، حتى لو كانت تلك المعلومات مفيدة إحصائياً. ويُعرف هذا بالتمييز عبر الوكيل (proxy discrimination). وتكمن الصعوبة في حقيقة أن قطعة واحدة من البيانات، مثل حي سكن الشخص، يمكن أن تكون مؤشراً طبياً مشروعاً وإشارة خفية لعرقه في آن واحد. وتعتمد الطرق الحالية لاختبار ما إذا كانت الخوارزمية عادلة على فحص بسيط: إذا قمت بتغيير عرق الشخص في أمر (prompt) الحاسوب وتغير القرار، فإن النظام يكون منحازاً. لكن هذا النهج يفتقر إلى الدقة الواقعية؛ إذ ينبغي لصانع القرار العقلاني أن يغير رأيه إذا كانت المعلومات الجديدة مفيدة حقاً، والنظام الذي لا يغير رأيه أبداً قد يكون يتجاهل أدلة مهمة بدلاً من أن يكون عادلاً.

سعى الباحثون في جامعة أوساكا لحل هذه المشكلة من خلال الانتقال لما هو أبعد من فحوصات "نعم أو لا" البسيطة إلى قياس أكثر دقة لمدى اعتماد الخوارزمية على أدلة معينة. لقد أنشأوا عالماً محاكياً حيث يعرفون الحقيقة الدقيقة لكل مريض ولكل نتيجة، مما سمح لهم بحساب القدر المثالي للاعتماد على أي معلومة معطاة. وفي هذه البيئة المنضبطة، طلبوا من أربعة نماذج لغوية كبيرة مختلفة أن تعمل كمتخصصين في فرز المرضى (triage specialists)، حيث يقومون بترتيب أزواج من المرضى المحاكيين حسب أولوية العلاج. وُصِف المرضى بمؤشرات رقمية، بعضها كان إشارات طبية مشروعة والبعض الآخر كان "وكلاء" ارتبطت بصفة محمية خفية ولكن ليس لها أي قيمة طبية حقيقية. واستطاع الباحثون بعد ذلك مقارنة سلوك النماذج مقابل معيار رياضي لما سيفعله صانع قرار عقلاني تماماً باستخدام نفس المعلومات.

كشفت الدراسة عن انفصال مذهل بين الأدلة المتاحة للنماذج وكيفية استخدامها لها بالفعل. فعندما أعطى الباحثون النماذج أدلة ليس لها أي قيمة تنبؤية على الإطلاق، ظلت النماذج تعتمد عليها، وتعاملت مع المعلومات غير المفيدة كما لو كانت ذات أهمية. حدث هذا باستمرار عبر جميع النماذج الأربعة المختبرة، بغض النظر عن الشركة المزودة. وعندما كانت الأدلة مفيدة حقاً، لم تعدل النماذج اعتمادها ليتناسب مع قوة الدليل. بدلاً من ذلك، عملت النماذج عند مستوى أساسي إيجابي كبير من الاعتماد، مما أدى إلى عدم تتبع الأدلة بشكل كافٍ مع نمو قيمتها التنبؤية. بعبارة أخرى، لم تكن النماذج تستمع إلى البيانات؛ بل كانت تتبع نصاً داخلياً جامداً يتجاهل الواقع المتغير للموقف. وهذا يعني أن النظام قد يبدو عادلاً في اختبار محدد، ولكنه قد يكون معيباً بشدة في اختبار آخر، ببساطة لأن الاختبار لا يتطابق مع الظروف الواقعية حيث تكون الأدلة أقوى أو أضعف.

كما بحث الباحثون فيما إذا كان تغيير أسماء حقول البيانات يمكن أن يوقف هذا السلوك. فعندما وضعوا تسميات ذات شحنة اجتماعية مثل "الحي" أو "المهنة" على أدلة الوكيل بدلاً من المصطلحات الطبية المحايدة، قللت النماذج من اعتمادها عليها. بدا هذا للوهلة الأولى كخاصية أمان، إلا أن الدراسة وجدت أن هذا الكبح هش وسهل الكسر. فعندما أضاف الباحثون أمثلة إلى الأمر (prompt) لمساعدة النماذج على فهم المهمة — وهو ممارسة شائعة في التطبيقات الواقعية — بدأت النماذج فوراً في الاعتماد على التسميات الاجتماعية مرة أخرى، متجاهلة في كثير من الأحيان التأثير الوقائي للأسماء. ومع ذلك، أشارت الدراسة إلى أن التباين بين التسميات الاجتماعية والمحايدة استمر في ثلاث من الحالات الست التي تم فيها تقديم الأمثلة، مما يشير إلى أن الكبح لم يُمحَ تماماً ولكنه ضعف بشكل كبير. وهذا يوحي بأن الأمان الظاهري لهذه النماذج هو رد فعل سطحي لصياغة معينة وليس فهماً عميقاً وموثوقاً للعدالة. يمكن خداع النماذج لتبني سلوك غير عادل بمجرد تغيير السياق الذي طُلِب منها العمل فيه.

علاوة على ذلك، أظهرت الدراسة أن دقة قرار النموذج ليست مؤشراً موثوقاً لما إذا كان يستخدم المعلومات بشكل عادل. فقد يتخذ النموذج الخيار الصحيح للأسباب الصحيحة، أو الخيار الخاطئ للأسباب الخاطئة، وينتهي به الأمر بالحصول على نفس الدرجة. وفي بعض الحالات، جعل المهمة أكثر صعوبة بإضافة المزيد من نقاط البيانات جعل النماذج تعتمد بشكل أكبر على الوكلاء غير العادلين، بينما في حالات أخرى، جعلها تعتمد عليهم بشكل أقل. هذا التضارب يعني أن مجرد التحقق مما إذا كان النموذج دقيقاً لا يخبرنا ما إذا كان يمارس التمييز. ووجد الباحثون أن العلاقة بين عدد نقاط البيانات التي يراها النموذج وكيفية استخدامه لها تعتمد كلياً على كيفية ارتباط تلك النقاط ببعضها البعض، وهو عامل يختلف بشكل هائل في البيانات الطبية الواقعية.

في نهاية المط المطاف، يثبت هذا العمل أن الأساليب الحالية لتدقيق الذكاء الاصطناعي غير كافية لتعقيدات النشر في العالم الحقيقي. وتثبت الدراسة أنه بدون معيار معروف لما تستوجبه الأدلة، فمن المستحيل معرفة ما إذا كان النموذج عادلاً أم أنه ببساه يتجاهل البيانات المفيدة. وتشير النتائج إلى أن التكوينات التي تبدو الأكثر أماناً لهذه النماذج — تلك التي تبدو الأكثر مقاومة للتحيز في الاختبارات البسيطة — هي غالباً الأقل تمثيلاً لكيفية تصرفها الفعلي في مستشفى أو بنك. وتخلص الدراسة إلى أنه لفهم هذه الأنظمة وتنظيمها حقاً، يجب أن ننتقل إلى ما وراء مجرد الفحوصات البسيطة للتحيز، ونطور طرقاً لقياس ما إذا كان اعتماد الخوارزمية على معلومات معينة يتوافق مع القيمة الفعلية لتلك المعلومات. وإلى أن نتمكن من فعل ذلك، فإننا نخاطر إما بمعاقبة الأنظمة لكونها عقلانية، أو — وهو الأمر الأكثر خطورة — بالثقة في أنظمة تتخذ قرارات غير عادلة بهدوء بناءً على فهم هش للعالم.