ملخص تقني: تموضع المُعلِّم كإشارة: التوزين السيكومتري للكشف عن التحيز المناهض للتوحد

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في مسارات اتخاذ القرار، مثل الإشراف على المحتوى، مما يهدد بتضخيم أو قمع وجهات نظر المجتمع. وبينما حددت الأبحاث السابقة تحيزات عامة متعلقة بالإعاقة في النماذج اللغوية الكبيرة، فإن الآليات المحددة التي تدرك من خلالها هذه النماذج التحيز المناهض للتوحد (anti-autistic ableism) وتكتشفه لا تزال غير مستكشفة بعمق. ويتمثل التحدي الحرج في هذا المجال في التمييز بين الداخل والخارج (insider/outsider distinction): حيث إن المصطلحات التي استردها مجتمع التوحد (مثل "aspie"، "autie") للإشارة إلى التضامن قد تُصنف خطأً على أنها لغة متحيزة من قبل الأنظمة الآلية أو المُعلِّمين البشريين الذين يفتقرون إلى المعرفة المتجذرة في المجتمع. علاوة على ذلك، فإن طرق التقييم القياسية التي تعتمد على تجميع أغلبية الأصوات تقلل بشكل منهجي من قيمة وجهات نظر ذوي التوحد والمتقبلين للتوحد، حيث تعامل هوية المُعلِّم كضجيج بدلاً من كونها إشارة ذات معنى. يؤدي هذا إلى حقائق أرضية (ground truths) تفشل في التقاط الفروق السياقية الدقيقة لهوية المتحدث، واللغة المستردة، والأثر المجتمعي.

المنهجية

يقترح المؤلفون إطار تقييم واعٍ بالتحيز يدمج التوزين السيكومتري مع تقييمات النماذج اللغوية الكبيرة الخاضعة للتحكم.

1. الحقيقة الأرضية الموزونة سيكومترياً

بدلاً من التصويت البسيط بالأغلبية، تبني الدراسة حقيقة أرضية من خلال وزن تسميات المُعلِّمين البشريين بناءً على مستويات تحيزهم المقاسة وسمات التوحد لديهم.

• مصدر البيانات: 2,120 جملة من مجموعة بيانات AUTALIC، تم تصنيفها كتحيز (1) أو غير متحيزة (0).
• توصيف المُعلِّمين: أكمل المُعلِّمون ثلاث أدوات سيكومترية:
  • SATA (المواقف المجتمعية تجاه التوحد): يقيس القبول الصريح.
  • AQ (مقياس طيف التوحد): يحدد كمياً سمات التوحد.
  • IAT (اختبار الارتباط الضمني): يقيس التحيزات الضمنية تجاه التوحد.
• مخطط التوزين: يتم حساب درجة موثوقية مركبة ($R_i$) عن طريق تطبيع الحد الأدنى والأقصى (min-max normalization) ومتوسط درجات الأدوات الثلاث (مع عكس درجة IAT بحيث تشير القيم الأعلى إلى تحيز أقل). يتم تطبيع هذه الدرجات نسبة إلى متوسط الفريق لإنتاج وزن نهائي ($W_i$). الحقيقة الأرضية ($\hat{y}$) هي المتوسط الموزون لتسميات المُعلِّمين.
• التحقق: أظهر هذا التوزين المركب أنه ينتج حقيقة أرضية أكثر صرامة من تصويت الأغلبية ($p < .001$)، بينما لم يؤدِ التوزين المعتمد على AQ فقط إلى ذلك ($p = .651$).

2. إعداد تقييم النماذج اللغوية الكبيرة

• النماذج: تم تقييم اثني عشر نموذجاً لغوياً كبيراً متاحاً للجمهور، تتراوح أحجامها من 135 مليون إلى 20 مليار معلمة، بما في ذلك النسخ الموجهة بالتعليمات، والقدرة على الاستنتاج، والنسخ الموجهة للسلامة، والنسخ غير المقيدة (uncensored).
• ظروف التلقين (Prompting Conditions): تم اختبار ثمانية نماذج تحت سبعة ظروف متميزة:
  1. الصفري (Zero-Shot - ZS): التأطير القائم على التعريف.
  2. سلسلة الأفكار (Chain-of-Thought - CoT): استنتاج من ثلاث خطوات (هوية المتحدث، الكلمة المفتاحية مقابل السياق العام، تقييم الضرر).
  3. التعلم داخل السياق (In-Context Learning - ICL): حالتان فرعيتان تستخدمان أمثلة من مُعلِّمين ذوي AQ مرتفع (مقربين من التوحد) وذوي AQ منخفض (غير توحديين).
  4. تلقين الشخصية (Persona Prompts): ثلاث حالات فرعية تختلف في لغة الهوية (الهوية أولاً، الشخص أولاً، أو محايدة).
• المقاييس: تم قياس الاتفاق الأساسي باستخدام معامل كوهين كابا ($\kappa$) مقابل الحقيقة الأرضية الموزونة. شملت المقاييس الثانوية F1، والدقة (precision)، والاستدعاء (recall)، والضبط (accuracy).

3. التقييم السيكومتري للنماذج اللغوية الكبيرة

لتقييم التحيزات الكامنة، خضعت النماذج اللغوية الكبيرة لاختبارات SATA وAQ. وللتخفيف من "الاستجابة القائمة على التعرف" (حيث تحاكي النماذج الإجابات المرغوبة اجتماعياً بسبب ألفة بيانات التدريب)، استخدمت الدراسة إعادة كتابة مقنعة (masked rewrite) للأدوات. تضمن ذلك عشوائية العناصر، وتغيير الصياغة، وإدراج عناصر حشو وعناصر تحقق (وهمية) لإخفاء الغرض من الاستبيان.

4. تحليل الخطأ

أُجري تحليل خطأ ثلاثي الجوانب على 92 مخرجاً من مخرجات النماذج اللغوية الكبيرة. استخدم ثلاثة محللين عدسات مختلفة: (1) المحتوى الموضوعي، (2) السمات اللغوية لدراسات الإعاقة، و(3) هيكل الاستنتاج.

النتائج الرئيسية

1. بناء الحقيقة الأرضية ليس محايداً

• خط أساس أكثر صرامة: كان معامل $\kappa$ الموزون سيكومترياً أقل باستمرار من $\kappa$ غير الموزون (تصويت الأغلبية) عبر 56 مزيجاً من (النموذج-الشرط) (متوسط $\delta\kappa = -0.012$). وهذا يؤكد أن تصويت الأغلبية يقلل بشكل منهجي من تمثيل وجهات نظر التوحد.
• فجوات التوافق: أظهرت النماذج اللغوية الكبيرة توافقاً أعلى بكما مع المُعلِّمين "الموثوقين" (درجات الثقة العالية) مقارداً مع المُعلِّمين "المقربين من التوحد"، مما يثبت صحة ضرورة مخطط التوزين المركب.
• تباين النماذج: تفوقت المصنفات الموجهة للسلامة (LLaMA Guard 3, GPT-OSS) على النماذج العامة، مما يشير إلى أن التدريب على السلامة المخصص للمهام يبرمج حساسية تجاه ضرر الإعاقة لا يمكن استعادتها عبر التلقين العام.

2. أداء التصنيف

• الأداء المنخفض العام: بلغ متوسط $\kappa$ الموزون 0.118 ومتوسط F1 كان 0.237، مما يشير إلى أداء يقترب من مستوى الصدفة في مهمة عالية المخاطر.
• اختلال الدقة والاستدعاء: أظهرت النماذج تصنيفاً مفرطاً (استدعاء عالٍ، دقة منخفضة)، حيث وصفت المصطلحات المستردة مجتمعياً بأنها متحيزة.
• محدودية التلقين:
  • سلسلة الأفكار (CoT): بينما قضت سلسلة الأفكار على "صرف الموضوع" (تبرير التسميات غير المتحيزة بالادعاء بأن النص لا يتعلق بالتوحد)، إلا أنها فشلت في تحسين "استنتاج التموضع" (فهم هوية المتحدث) بشكل كبير.
  • التعلم داخل السياق والشخصيات: لم يؤدِ التعلم داخل السياق وتلقين الشخصيات إلى تحسين الأداء باستمرار؛ بل في بعض الحالات، تسببا في زعزعة استقرار النماذج عالية الأداء.

3. إخفاقات الاستنتاج

حدد تحليل الخطأ أربعة أنماط رئيسية للفشل:

1. استنتاج الشكل السطحي: اعتمدت النماذج بشدة على مطابقة الكلمات المفتاحية (41% من المقتطفات) بدلاً من السياق. لقد أخطأت في تصنيف المصطلحات المستردة (مثل "aspie") كتحيز، كما أغفلت الأطر القائمة على العجز التي تفتقر إلى كلمات مفتاحية سلبية.
2. عمى التموضع: كان الاستنتاج الصريح حول هوية المتحدث نادراً (10% إجمالاً، 13% تحت ظل CoT) وغائباً في ظروف الصفر (zero-shot).
3. صرف الموضوع: غالباً ما بررت النماذج التسميات غير المتحيزة بالادعاء بأن النص لا يتعلق بالتوحد، وهو سلوك تم القضاء عليه بواسطة CoT ولكنه استُبدل بأخطاء أخرى.
4. الهلوسة والقوالب النمطية: استحضرت النماذج قوالب نمطية وفي بعض الحالات هلوست بمواضيع (مثل الخطأ في تحديد جملة عن "Autism Speaks" على أنها معادية للسامية).

4. التحيزات الكامنة في النماذج اللغوية الكبيرة

• كشف الأقنعة عن التحيز: عند إخفاء إشارات التعرف على الأدوات، أظهرت النماذج اللغوية الكبيرة تباعداً كبيراً في الاستجابات: انخفضت درجات SATA (مما يشير إلى قبول أقل) وارتففت درجات AQ (مما يشير إلى سمات توحد أعلى في النطاق السريري) مقارنة بالأدوات الأصلية.
• التفسير: يشير هذا إلى أن التقارير الذاتية القياسية للنماذج اللغوية الكبيرة تستثير استجابات مرغوبة اجتماعياً تخفي مواقف التحيز الضمني ضد التوحد.

الأهمية والادعاءات

يدعي البحث تقديم نموذج قابل للتكرار للتقييم القائم على المجتمع والواعي بالتحيز في كشف اللغة الضارة. وتتمثل مساهماته الرئيسية في:

1. منهجياً: إثبات أن التوزين السيكومتري يخلق حقيقة أرضية أكثر صرامة ودقة من تصويت الأغلبية للكشف عن التحيز المناهض للتوحد، وتحديداً من خلال رفع وزن المُعلِّمين الذين لديهم سمات توحد عالية وتحيز ضمني منخفض.
2. تجريبياً: الكشف عن أن النماذج اللغوية الكبيرة الحالية، حتى مع استراتيجيات التلقين المتقدمة مثل CoT والشخصيات، تفشل في الاستنتاج بما يتجاوز الكلمات المفتاحية السطحية فيما يتعلق بهوية المتحدث واللغة المستردة.
3. تشخيصياً: إظهار أن التقييمات السيكومترية المقنعة تكشف عن تحيزات كامنة مناهضة للتوحد في النماذج اللغوية الكبيرة تكون مخفية في عمليات التقرير الذاتي القياسية.

يخلص المؤلفون إلى أن الضبط الدقيق للمهام (task-specific fine-tuning) على بيانات مصنفة مجتمعياً هو شرط مسبق للأداء القابل للنشر في هذا المجال، وليس مجرد تحسين اختياري. وهم يؤكدون أن النماذج الحالية تعمل بدقة تقترب من الصدفة في مهام تؤثر على مجتمعات التوحد، مما يسلط الض الضوء على الحاجة الملحة لأطر تقييم تضع منظورات المجتمع وتموضعه في المركز.