Bye Bye Perspective API: Lessons for Measurement Infrastructure in NLP, CSS and LLM Evaluation
تنتقد هذه الورقة التبعية الهيكلية لأبحاث معالجة اللغات الطبيعية والنماذج اللغوية الكبيرة لواجهة برمجة تطبيقات "بيرسبكتيف" (Perspective API) المملوكة التي ستتوقف عن العمل الآن، مسلطة الض الضوء على كيفية تسبب تحديثاتها الغامضة وتوصيفها الأحادي للسمية في خلق نتائج غير قابلة لإعادة الإنتاج، وتدعو إلى إنشاء بنية تحتية مستقلة وصالحة وقابلة لإعادة الإنتاج للقياس من أجل منع مخاطر معرفية مماثلة في المستقبل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كساحة مدينة ضخمة وفوضوية، حيث يصرخ الملايين ويتجادلون ويشاركون القصص كل ثانية. ولكي تمنع هذه الساحة من الانحدار إلى فوضى عارمة، احتاج الباحثون إلى وسيلة لرصد الصراخ المسيء أو الحاقد أو السام بشكل تلقائي.
على مدار عقد من الزمان، اعتمدت المدينة بأكملها على أداة مجانية واحدة تسمى Perspective API للقيام بهذه المهمة. كانت بمثابة "مقياس سمية" عالمي مملوك لشركة تقنية (Jigsaw التابعة لجوجل). استخدمها الجميع لقياس مدى وقاحة الناس، وتقييم مدى "أمان" روبوتات الدردشة الجديدة التي تعمل بالذكاء الاصطناي، ودراسة السلوك عبر الإنترنت.
الآن، يقرر مالكو المقياس إيقافه في نهاية عام 2026. تجادل هذه الورقة البحثية بأنه بينما يعد فقدان هذه الأداة أمراً محزناً، إلا أن المشكلة الحقيقية تكمن في أن المجتمع البحثي بأكمله بنى منزله على أساس لا يملكه، ولا يفهمه، ولا يستطيع إصلاحه.
إليك تفصيل حجة الورقة البحثية باستخدام تشبيهات بسيطة:
1. المقياس "الصندوق الأسود"
تخيل أنك اشتريت ميزاناً لوزن مشترياتك. أنت تثق به لأنه مجاني والجميع يستخدمه مثلك. لكنك تكتشف ما يلي:
- المالكون يغيرون الأوزان: كل بضعة أشهر، تقوم الشركة سراً باستبدال النوابض الداخلية للميزان دون إخبارك. في يوم ما، تزن كيس تفاح بوزن 5 أرطال؛ وفي اليوم التالي، يزن 6 أرطال، لكن الميزان لا يزال يظهر "5".
- التعليمات غامضة: تقول الشركة: "هذا يقيس مدى السوء". لكنهم لا يشرحون أبداً ما هو هذا "السوء". هل هو صوت عالٍ؟ كلمة وقحة؟ نوع معين من الإهانات؟ هم فقط يعطونك رقماً بين 0 و1 ويقولون لك: "أنت تقرر ما هو المرتفع جداً".
- السياق مفقود: الميزان يزن التفاحة في عزلتها فقط. هو لا يعرف ما إذا كانت التفاحة قد رُميت على شخص ما (سامة) أو إذا كان شخص ما يمزح بشأن تفاحة (ليست سامة). إنه يعامل كل جملة كما لو كانت تطفو في فراغ.
2. فخ "الدائرة المغلقة"
بسبب سهولة استخدام المقياس، بدأ الباحثون في استخدامه لتدريب حواسيب أخرى لتصبح آلات كاشفة للوقاحة.
- الحلقة المفرغة: استخدموا Perspective API لتصنيف البيانات (مثلاً: "هذه الجملة سامة"). ثم قاموا بتدريب نماذج ذكاء اصطناعي جديدة على تلك البيانات. وأخيراً، اختبروا تلك النماذج الجديدة لمعرفة ما إذا كانت تتفق مع Perspective API.
- المشكلة: الأمر يشبه طالباً يؤدي اختباراً، ثم يستخدم نموذج الإجابة لتصحيح نفسه، ثم يدعي أنه عبقري لأنه حصل على درجة 100%. هو لم يكن يقيس "السمية"؛ بل كان يقيس فقط "مدى اتفاقك مع تعريف جوجل الحالي للسمية".
3. التحيزات الخفية
لأن المقياس لم يفهم السياق أو الثقافة، فقد ارتكب أخطاءً مستمرة لم يستطع الباحثون رؤيتها أو إصلاحها:
- معاقبة الضحايا: غالباً ما كان يصنف الكلمات التي تستخدمها الفئات المهمشة (مثل المصطلحات المستردة أو مصطلحات مجتمع LGBTQ+) على أنها "سامة" لأنه لم يكن يعرف من يقولها أو لماذا.
- تجاهل الكراهية الحقيقية: فاته خطاب الكراهية المبطن والذكي لأنه كان يبحث فقط عن كلمات سطحية وقحة.
- التحيز اللغوي: كان أكثر صرامة مع النصوص الألمانية مقارنة بالنصوص الإنجليزية، ليس لأن الألمانية أكثر وقاحة، بل لأن الأشخاص الذين دربوا النموذج كان لديهم تحيزات ثقافية مختلفة.
4. صدمة "الإغلاق المفاجئ"
عندما أعلنت الشركة أنها ستغلق واجهة برمجة التطبيقات (API)، لم تترك خلفها دليلاً أو نسخة احتياطية أو سجلاً للإصدارات.
- النتيجة: جميع الأوراق البحثية التي كُتبت على مدار العقد الماضي والتي اعتمدت على هذه الأداة أصبحت الآن "غير قابلة للتكرار". إذا حاولت إجراء نفس التجربة اليوم، فلن تحصل على نفس النتائج لأن "المسطرة" التي استخدموا للقياس بها لم تعد موجودة. إنه مثل محاولة قياس ارتفاع مبنى بمسطرة تم صهرها.
5. التحذير: لا تستبدل المقياس فحسب
يحذر المؤلفون من أن الحل الأسهل — وهو مجرد استخدام أداة أخرى مغلقة المصدر من شركة تقنية كبرى أخرى (مثل OpenAI) — هو فخ.
- المخاطرة: هذه الأدوات الجديدة هي أيضاً "صناديق سوداء". قد تكون أقل شفافية، وقد تم تدريبها على بيانات تم جمعها من عمال مستغلين، ويتم تحديثها دون سابق إنذار. إذا استبدلنا صندوقاً أسود بآخر فقط، فنحن نكرر نفس الأخطاء.
الحل: ابنوا مسطرتكم الخاصة
تدعو الورقة البحثية المجتمع البحثي إلى التوقف عن معاملة "القياس" كخدمة يوفرها شخص آخر. بدلاً من ذلك، عليهم بناء بنيتهم التحتية الخاصة. هذا النظام الجديد يجب أن يكون:
- مفتوح المصدر: يمكن للجميع رؤية كيف يعمل والتحقق من الحسابات.
- واعٍ بالسياق: يجب أن يعرف من المتحدث، ومع من يتحدث، وتاريخ المحادثة.
- مشاركة مجتمعية: لا ينبغي أن يتقرر تعريف "السمية" من قبل شركة واحدة؛ بل يجب أن يشارك فيه المجتمعات التي يتم قياسها.
- الشفافية: نحتاج إلى معرفة كيفية تصنيف البيانات بالضبط ومن قام بعملية التصنيف.
باخت مختصر: تجادل الورقة بأن الاعتماد على أداة شركة واحدة وسرية لقياس السلوك البشري كان خطأً. إن إغلاق هذه الأداة هو جرس إنذار. يحتاج الباحثون إلى التوقف عن كونهم مستخدمين سلبيين لأدوات الشركات والبدء في بناء طرقهم الخاصة، المفتوحة والعادلة والشفافة، لقياس ما يهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.