Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction

تخيل أنك أخصائي اجتماعي يحاول مساعدة الأشخاص الذين يعانون من التشرد في العثين على مكان دائم للعيش. لديك نوعان من المعلومات عن كل شخص:

1. "قائمة التحقق" (البيانات الجدولية): قائمة من الحقائق مثل العمر، والجنس، ومدة بقائهم في الشارع، وما إذا كان لديهم طلب توظيف.
2. "القصة" (ملاحظات الحالة): ملاحظات قصيرة وغير منظمة يكتبها عمال التوعية بعد التحدث مع الشخص. تحتوي هذه الملاحظات على التفاصيل الإنسانية الغنية التي تغفل عنها قائمة التحقق.

لفترة طويلة، كانت الحواسيب جيدة في قراءة "قائمة التحقق" للتنبؤ بمن سيحصل على السكن. ولكن الآن، هناك نماذج لغوية كبيرة (LLMs) — وهي ذكاء اصطناعي فائق الذكاء يمكنه قراءة "القصص" أو الملاحظات أيضاً. السؤال الكبير هو: إذا سمحنا للذكاء الاصطناائي بقراءة القصص، فهل سيكون عادلاً مع الجميع، أم أنه سيعامل بعض المجموعات بشكل أسوأ دون قصد؟

هذه الورقة البحثية تشبه تقرير "فحص السلامة". لقد اختبر المؤلفون إعدادات مختلفة للذكاء الاصطناعي لمعرفة ما إذا كان بإمكانهم التنبؤ بتسكين الإسكان بدقة دون أن يكونوا غير عادلين تجاه مجموعات معينة (مثل النساء أو السود).

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. "الطالب الذكي" مقابل "المعلم الخبير"

اختبر الباحثون نوعين من طلاب الذكاء الاصطناعي:

• "طالب الصفر" (Zero-Shot Student): هذا الذكاء الاصطناعي يشبه طالباً عبقرياً قرأ الإنترنت بأكمله ولكنه لم يرَ قط هذه المشكلة السكنية المحددة من قبل. إنه يخمن بناءً على المعرفة العامة.
• "المعلم المتخصص" (Fine-Tuned Teacher): هذا هو نفس الطالب، لكن تم إعطاؤه دورة تدريبية مكثفة (تدريب) على بيانات الإسكان الخاصة بهذه الحالة تحديداً. إنه يعرف قواعد هذه اللعبة المحددة.

النتيجة:

• "المعلم" (المتخصص) كان أفضل بكثير في الحصول على الإجابة الصحيحة (الدقة).
• ولكن، أصبح "المعلم" متحيزاً قليلاً. نظرًا لأن عدد الرجال في البيانات كان أكبر بكثير من النساء (مثل فصل دراسي به 4 أولاد مقابل فتاة واحدة)، تعلم "المعلم" أن يخمن النتائج كـ "ذكر" في كثير من الأحيان، متجاهلاً احتياجات النساء دون قصد.
• "الطالب" (الذي يعتمد على المعرفة العامة) كان أسوأ في تخمين الإجابة الصحيحة، لكنه كان في الواقع أكثر عدلاً لأنه لم يتم "تدريبه" بعد على البيانات المنحازة.

2. تأثير "قلم التحديد" (إضافة الملخصات)

حاول الباحثون تزويد الذكاء الاصطناعي بـ ملخص لملاحظات عامل التوعية (أي "القصة").

• بالنسبة لـ "الطالب" (Zero-Shot): كان الملخص بمثابة قلم تحديد (Highlighter). لقد ساعد الطالب على رؤية الأجزاء الأكثر أهمية في القصة، مما جعله أكثر ذكاءً ودقة.
• بالنسبة لـ "المعلم" (Fine-Tuned): كان الملخص بمثابة ضجيج. بما أن "المعلم" يعرف القواعد بالفعل، فإن النص الإضافي تسبب أحياناً في تشتيته، مما أدى إلى انخفاض دقته قليلاً.
• المفاجأة: على الرغم من أن دقة "المعلم" انخفضت قليلاً مع الملخص، إلا أن عدالته تحسنت بشكل كبير. فقد ساعد الملخص "المعلم" على فهم السياق الفريد للنساء والمجموعات الأقلية، مما خلق توازناً في مواجهة التحيز الذي تعلمه من الأرقام الخام.

3. فخ "الميزة الواحدة"

حاول الباحثون أيضاً إخبار الذكاء الاصطناي: "مهلاً، الشيء الأكثر أهمية للنظر إليه هو 'أين كان يعيش قبل عام 2019؟'"

• بالنسبة لـ "الطالب": كان هذا مفيداً، فقد أعطاه اتجاهاً واضحاً.
• بالنسبة لـ "المعلم": كان هذا خطيراً. لقد تعلم "المعلم" بالفعل أن "أين عاش سابقاً" هو مؤشر قوي، ولكنه أيضاً ميزة تحمل تحيزاً تاريخياً (بسبب التمييز السابق في السكن). من خلال إجبار "المعلم" على التركيز فقط على هذا الشيء الواحد، قام دون قصد بتضخيم عدم العدالة، مما جعله يتجاهل عوامل أخرى مهمة.

الخلاصة (القاعدة الذهبية)

فكر في الذكاء الاصطناعي كموظف جديد في وكالة إسكان:

1. لا تعطهم الأرقام فقط. إذا أعطيتهم قائمة التحقق فقط، فقد يفتقدون القصة الإنسانية.
2. لا تتركهم يخمنون فقط. إذا لم يتم تدريبهم على بياناتك الخاصة، فسيكونون بطيئين وغير دقيقين.
3. نقطة التوازن المثالية: أفضل نهج وجدته هذه الدراسة هو تدريب الذكاء الاصطناعي (Fine-tuning) ولكن أيضاً تزويده بالقصص الملخصة (ملاحظات الحالة).
   • هذا المزيج جعل الذكاء الاصطناعي دقيقاً وعادلاً في آن واحد.
   • عملت القصص كـ "اختبار للواقع"، حيث ذكرت الذكاء الاصطناعي بأن كل شخص فريد من نوعه، مما منعه من مجرد اتباع الأغلبية الإحصائية (الرجال) وتجاهل الأقليات (النساء).

باخت-صار: يمكن للذكاء الاصطناعي أن يكون أداة قوية للخير الاجتماعي، ولكن يجب "تدقيقه" بعناية. إذا تركته يتعلم فقط من البيانات التاريخية، فقد يكرر أخطاء الماضي. ولكن إذا منحته السياق الإنساني (القصص) ودربته بعناية، فيمكنه في الواقع المساعدة في إصلاح حالات عدم المساواة هذه.