"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness
تقدم هذه الورقة أول متن لغوي متعدد المجالات لتتبع التحيزات الاجتماعية ضد المشردين عبر المنصات الإلكترونية وغير الإلكترونية، كاشفةً أنه في حين تستطيع النماذج اللغوية الكبيرة تحديد الوصمة، إلا أنها تبالغ بشكل منهجي في رصد مشاعر "الرفض المحلي" (NIMBY) وتفشل في رصد الادعاءات الواقعية، مما يسلط الضوء على الحاجة إلى بروتوكولات تدقيق معايرة بدلاً من الاعتماد على مخرجات النماذج كحقائق مطلقة.
المؤلفون الأصليون:Jonathan A. Karr, Benjamin F. Herbst, Matthew L. Sisk, Xueyun Li, Ting Hua, Matthew Hauenstein, Georgina Curto, Nitesh V. Chawla
تخيل الإنترنت كأنه ساحة مدينة ضخمة وصاخبة، حيث يصرخ ملايين الأشخاص بآرائهم في كل ثانية. أحياناً تكون هذه الصرخات مفيدة، ولكنها غالباً ما تكون مليئة بالتحيز—أي أحكام غير عادلة عن الناس بناءً على هويتهم أو مكان عيشهم. العلماء الذين يدرسون هذا الضجيج الرقمي يستخدمون مجالاً يسمى معالجة اللغات الطبيعية (NLP)، وهو ببساطة تعليم الحواسيب قراءة وفهم اللغة البشرية. ومؤخراً، أصبح هناك نوع جديد من الأدمغة الحاسوبية فائقة الذكاء يسمى "النموذج اللغوي الكبير" (LLM)، وقد أصبح هو اللاعب النجم. فكر في النموذج اللغوي الكبير كأنه روبوت قرأ كل شيء كُتب تقريباً على الإنترنت؛ يمكنه تلخيص القصص، وكتابة القصائد، وحتى تخمين مشاعر الناس. لكن هنا تكمن المشكلة: مجرد أن الروبوت قد قرأ الكثير لا يعني أنه يفهم "حقيقة" المشاعر الإنسانية. قد يصيب في الكلمات، لكنه قد يخطئ في الجوهر، أو الأسوأ من ذلك، قد يخترع مشاعر ليست موجودة أصلاً. وهذا أمر بالغ الأهمية لأننا إذا أردنا حل مشكلات حقيقية مثل التشرد، فنحن بحاجة إلى معرفة ما يفكر فيه الناس بالضبط، وليس فقط ما "يعتقد" الروبوت أنهم يفكرون فيه.
قرر فريق من الباحثين وضع هذه الروبوتات فائقة الذكاء تحت الاختبار في موضوع محدد وصعب للغاية: كيف يتحدث الناس عن التشرد. أرادوا معرفة ما إذا كانت أدوات الذكاء الاصطناعي هذه تستطيع بدقة رصد متى يكون الناس غير عادلين أو عدائيين تجاه من لا مأوى لهم. قاموا ببناء مكتبة ضخمة من النصوص من عشر مدن أمريكية مختلفة، حيث جمعوا منشورات من وسائل التواصل الاجتماعي مثل "ريديت" و"إكس" (تويتر سابقاً)، ومقالات إخبارية، وحتى محاضر من اجتماعات مجالس المدن حيث يتجادل القادة المحليون حول مكان بناء الملاجئ. كما أنشأوا قائمة مراجعة خاصة تُعرف بـ "المعيار الذهبي"، حيث قام خبراء بشريون بتصنيف 1,698 نصاً بعناية لمعرفة ما يحدث فعلياً. بعد ذلك، طلبوا من ستة نماذج مختلفة من الذكاء الاصطناعي قراءة النصوص نفسها وتخمين التصنيفات.
كانت النتائج صادمة نوعاً ما. فبينما كانت نماذج الذكاء الاصطناعي جيدة في التقاط الانطباع العام، إلا أنها كانت تعاني من نقطة عمياء محددة وخطيرة. لقد كانت الروبوتات سيئة جداً في التمييز بين شخص يطرح سؤالاً حول الإسكان وبين شخص يعارض الإسكان فعلياً. في الواقع، كانت نماذج الذكاء الاصطناعي تشبه حراس الأمن المتحمسين للغاية الذين يصنفون الجميع تقريباً كمثيرين للمشاكل. فقد صنفوا منشورات أكثر بنسبة 11.5 نقطة مئوية على أنها "ليس في فنائي الخلفي" (NIMBY)—وهو مصطلح يُستخدم لوصف الأشخاص الذين يقولون: "أنا أدعم الإسكان، ولكن ليس هنا!"—مقارنة بالخبراء البشريين. والأسوأ من ذلك، أنهم أخفقوا في رصد الادعاءات الواقعية بفارق هائل، حيث قللوا من اكتشافها بنسبة 30.5 نقطة مئوية.
اكتشف الباحثون "لماذا" حدث ذلك. لم يكن الذكاء الاصطناعي يستمع في الواقع إلى معنى الكلمات؛ بل كان يبحث فقط عن طرق مختصرة. فإذا ذكر منشور ما "الإسكان الميسر" أو انتهى بعلامة استفهام، يفترض الروبوت فوراً أن الشخص غاضب ومعارض للملجأ. كان الأمر يشبه كلباً ينبح على كل شخص يرتدي قبعة حمراء، حتى لو كان ذلك الشخص مجرد ساعي بريد ودود. أظهرت الدراسة أنه رغم قوة أدوات الذكاء الاصطناعي هذه، إلا أنه لا يمكن الوثوق بها لتروي القصة كاملة بمفردها. فإذا استخدمت مدينة ما هذه الروبوتات لمراقبة الرأي العام دون التحقق من عملها، فستظن أن مجتمعها أكثر عدائية تجاه ملاجئ المشردين مما هو عليه في الواقع، وستفقد الحقائق الفعلية التي يشاركها الناس. وتخلص الورقة البحثية إلى أننا بحاجة إلى استخدام أدوات الذكاء الاصطنا هذه بحذر، مع ضرورة مراجعة "تخميناتها" دائماً مقابل الواقع البشري للتأكد من أننا لا نبني سياسات على أساس من سوء فهم الروبوتات.
ملخص تقني: "ليس في فنائي الخلفي": النماذج اللغوية الكبيرة تكشف عن التحيزات الاجتماعية عبر الإنترنت وفي الواقع ضد المشردين
بيان المشكلة لا تزال مشكلة التشرد تمثل تحديًا عالميًا مستمرًا، حيث سُجل أكثر من 876,000 شخص يعانون من التشرد (PEH) في الولايات المتحدة في عام 2025. يعمل التحيز الاجتماعي والوصمة ضد هؤلاء الأفراد كعوائق كبيرة أمام تخفيف حدة التشرد، مما يؤدي إلى تجريد المتضررين من إنسانيتهم ويعيق صناع السياسات عن الموافقة على الملاجئ والخدمات. وبينما تعكس الوسائط النصية عبر الإنترنت والخطاب في مجالس المدن في الواقع الرأي العام، فإن الموارد المتاحة لمراقبة هذه التحيزات محدودة. إن العمل السابق، مثل OATH، غالبًا ما يعتمد على بيانات من منصة واحدة (مثل X/تويتر)، وكلمات مفتاحية واحدة، ويفتقر إلى التدقيق المنهجي لكيفية تغيير المصنفات الآلية لانتشار فئات الوصمة عند توسيع نطاقها. يتطلب الشركاء في البلديات ما هو أكثر من مجرد درجات التداخل البسيطة؛ فهم بحاجة لمعرفة ما إذا كان المراقب الآلي يضخم أو يقلل من فئات وصمة معينة، مثل معارضة "ليس في فنائي الخلفي" (NIMBY)، والتي تشكل رد فعل شعبي عنيف.
المنهجية قام المؤلفون ببناء مجموعة بيانات (corpus) للتحيز ضد المشردين متعددة المجالات وإطار تقييم صارم:
بناء مجموعة البيانات: تتكون مجموعة البيانات من 50,087 نصًا تم جمعها من الفترة 2015-2025 عبر عشر مدن أمريكية. تم اختيار المدن عبر مطابقة kNN بناءً على السكان، ومعدلات التشرد، ومعامل جيني، مع تقسيمها إلى مجموعات مدن صغيرة وأخرى كبيرة.
المعجم والمعالجة المسبقة: استُخدم معجم مكون من 11 مصطلحًا خاصًا بالتشرد لاسترجاع النصوص. تم تعمية جميع النصوص باستخدام spaCy وpydeidentify لإزالة معلومات الهوية الشخصية (PII). بالنسبة لمنشورات X، تم استخدام خط معالجة متعدد المراحل لتحديد الموقع الجغرافي للمستخدمين، مما حقق تغطية لما يقرب من 80% من المستخدمين في عينة عام 2025 الفرعية.
التصنيف (Taxonomy): صاغ المؤلفون كشف التحيز كمسألة تصنيف متعدد الملصقات مكونة من 16 فئة. يوسع هذا التصنيف الفئات التسعة من OATH بإضافة أنواع خاصة بـ Reddit ومجالس المدن (على سبيل المثال، التمييز بين الأسئلة الحقيقية والأسئلة البلاغية، وبين الحقيقة/الادعاء والملاحظة). تم تعريف "إطار التحيز السلبي" (Negative Bias Frame) لمراقبة تحديد مواقع الملاجئ، وهو يتكون من خمس فئات: السؤال البلاغي، NIMBY (ليس في فنائي الخلفي)، التعميم الضار، المستحق/غير المستحق، والعنصري.
استراتيجية التوسيم (Annotation Strategy):
المعيار الذهبي (Gold Standard): تم توسيم عينة طبقية مكونة من 1,698 عنصر من قبل ثلاثة مقيمين مدربين مع خبراء مجال من منظمات غير ربحية. تم إنشاء الملصقات باستخدام التوسيم الناعم (تصويت الأغلبية بنسبة 2/3 من المقيمين) للتعامل مع الذاتية.
ملصقات المعلم (Teacher Labels): تم توسيم بقية مجموعة البيانات باستخدام GPT-4.1 عبر مطالبات قليلة الأمثلة (few-shot prompts). ومن المهم ملاحظة أن هذه تُعامل كـ "توسيمات معلم" للاستكشاف، وليس كحقائق مطلقة.
بروتوكول التقييم: تم اختبار ستة نماذج لغوية كبيرة (GPT-4.1، Gemini 2.5 Pro، Grok-4، LLaMA 3.2 3B، Qwen 2.5 7B، وPhi-4 Mini) في إعدادات الصفر من الأمثلة (zero-shot) والقليل من الأمثلة (few-shot) مقابل المعيار الذهبي.
تدقيق فجوة الانتشار (Prevalence-Gap Audit): بالإضافة إلى درجات F1 القياسية، قدم المؤلفون بروتوكول "تدقيق فجوة الانتشار". يقيس هذا البروتوكول الفرق بين معدل الإيجابية المتوقع للنموذج (π^model) والمعدل المرجعي الإيجابي (πref) في المعيار الذهبي. يكشف هذا المقياس عن التوسيم المفرط أو الناقص المنهجي الذي قد تخفيه درجات F1.
المساهمات الرئيسية
مجموعة بيانات متعددة المجالات: إصدار أول مجموعة بيانات للتحيز ضد المشردين (50,087 نصًا) تشمل Reddit، وX، والأخبار، ونصوص اجتماعات مجالس المدن عبر عشر مدن أمريكية.
معيار ذهبي مُطبق: مجموعة مرجعية مكونة من 1,698 عنصر مع تصنيف متعدد الملصقات من 16 فئة، تم توسيمها بدعم من خبراء مجال من منظمات غير ربحية.
بروتوكول تدقيق فجوة الانتشار: منهجية تكمل F1 من خلال فحوصات معايرة منهجية لتحديد التحولات المنهجية في انتشار الملصقات عند استخدام النماذج اللغوية الكبيرة.
تحليل الخطأ: نتائج الاختبار التي كشفت أن النماذج اللغوية الكبيرة تصنف بشكل منهجي مفردات الإسكان وصيغ الأسئلة كإشارات معارضة، مما يؤدي إلى توسيم مفرط لـ "تحيز NIMBY".
النتائج
أداء الاختبار المعياري: حققت واجهات برمجة التطبيقات (APIs) مغلقة المصدر درجات F1 متوسطة (بمتوسط 43 في حالة القليل من الأمثلة)، بينما سجلت النماذج المحلية درجات أقل (32). وفرت المطالبات بالقليل من الأمثلة تحسينات طفيفة ولكنها لم تسد الفجوة في الأداء بين النماذج المحلية والنماذج مغلقة المصدر.
سوء المعايرة المنهجي: رغم درجات F1 المتوسطة، أظهرت جميع النماذج فجوات انتشار كبيرة:
التوسيم المفرط لـ NIMBY: قامت كل النماذج بتوسيم فئة "ليس في فنائي الخلفي" بشكل مفرط، بفجوة مجمعة قدرها +11.5 نقطة مئوية (pp).
ضعف الكشف عن الحقيقة/الادعاء: كشفت جميع النماذج عن نقص في الكشف عن "تقديم حقيقة/ادعاء"، بفجوة مجمعة قدرها -30.5 نقطة مئوية (pp).
تباين النماذج: بينما تراجع Qwen 2.5 7B عن GPT-4.1 بنحو 10 نقاط في F1 الكلي، كان التوسيم المفرط لـ NIMBY في Qwen أسوأ بـ 7 مرات (+27.4 pp مقابل +4.0 pp).
تحليل الخطأ: كشف تحليل الإيجابيات الكاذبة المتفق عليها (العناصر التي صنفها ≥3 من أصل 6 نماذج كـ NIMBY ولكن صنفها البشر كـ "سلبية") أن النماذج تستخدم "مفردات الإسكان/المشردين" (89.7% من الإيجابيات الكاذبة) و"علامات الاستفهام" (32.5% من الإيجابيات الكاذبة) كوكلاء لرفض السكان. فشلت النماذج في التمييز بين النصوص التي تناقش الإسكان (مثل "لديهم كل ذلك الإسكان الميسر...") والنصوص التي تعبر عن معارضة فعلية لتحديد المواقع.
الأهمية والادعاءات يزعم البحث أن درجات F1 المتوسطة وحدها غير كافية للمراقبة الموثوقة للوصمة، لأنها يمكن أن تتعايش مع حالات سوء معايرة منهجية كبيرة تشوه انتشار التحيز المتصور. وتحديدًا، يمكن للنماذج اللغوية الكبيرة المستخدمة كمراقبين للتحيز أن تجعل المجتمعات تبدو أكثر معارضة للملاجئ وأقل استنادًا إلى الأدلة مما هي عليه في الواقع.
يؤكد المؤلفون أن مجموعة البيانات وبروتوكول التدقيق يوفران أساسًا قابلاً لإعادة الإنتاج للبلديات لمراقبة الوصمة ضد المشردين. ويجادلون بأن أي نشر للوحات المعلومات (dashboards) التي تستخدم ملصقات النماذج اللغوية الكبيرة يجب أن يقترن بعمليات تدقيق دورية لـ "فجوة الانتشار" في المعيار الذهبي، ولا ينبغي معاملة "ملصقات المعلم" كحقائق مطلقة. يدعم هذا العمل الشركاء من المنظمات غير الربحية في المراقبة التوجيهية وحملات التوعية، بشرط أن يتم تدقيق وفحص فجوات الانتشار ووضع سقف لها قبل التوسع في لوحات المعلومات العامة. وتخلص الدراسة إلى أن المعايرة لا تقل أهمية عن الدقة عند استخدام الذكاء الاصطناعي في التطبيقات الاجتماعية المتعلقة بالفئات الضعيفة.