Explanation Bias is a Product: Revealing the Hidden Lexical and Position Preferences in Post-Hoc Feature Attribution

تخيل أن لديك روبوتًا ذكيًا للغاية ولكنه غامض (ذكاء اصطناعي) يقرأ الجمل ويقرر ما إذا كانت "جيدة" أم "سيئة". تريد أن تعرف لماذا اتخذ هذا القرار، لذا تطلب من الروبوت تسليط الضوء على الكلمات الأكثر أهمية التي استخدمها لتكوين رأيه.

هذه الورقة البحثية تتحدث عن مجموعة من المحققين الذين أدركوا أن الأدوات المستخدمة للحصول على هذه التوضيحات هي أدوات منحازة. فهي لا تظهر لك الحقيقة فحسب؛ بل لديها تفضيلات خفية خاصة بها، مثل كاميرا تركز دائمًا على الجانب الأيسر من الغرفة أو مصباح يدوي يسلط ضوءه فقط على الأشياء الحمراء.

إليك شرح بسيط لما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية:

١. المشكلة: تأثير "المصباح اليدوي"

فكر في تفسير الميزات (Feature Attribution) -وهو الأسلية المستخدمة لتسليط الضوء على الكلمات- كأنه مصباح يدوي. أنت تسلط الضوء على جملة لترى أي الكلمات اعتبرها الذكاء الاصطناعي مهمة.

• المشكلة: إذا استخدمت المصباح (أ)، فقد يسلط الضوء على كلمة "قطة". وإذا استخدمت المصباح (ب)، فقد يسلط الضوء على كلمة "جلست". كلا المصباحين ينظران إلى نفس الجملة، لكنهما يعطيانك إجابات مختلفة.
• الخطر: إذا لم تكن تعلم أن مصباحك معطل، فقد تثق في تفسير خاطئ. تطلق الورقة على هذا اسم انحياز التفسير (Explanation Bias).

٢. نوعان من "العادات السيئة"

اكتشف الباحثون أن هذه المصابيح لديها عادتان سيئتان محددتان:

• الانحياز اللفظي (عادة "الكلمة المفضلة"):
  تخيل مصباحًا يدويًا يحب علامات الترقيم. مهما كانت الجملة التي تعطيها له، فإنه يسلط الضه دائماً على النقطة (.) أو الفاصلة (,) بدلاً من الكلمات الفعلية. إنه يشبه المحقق الذي يهتم فقط بعلامات الترقيم في مذكرات ويهمل القصة نفسها.

  • مثال: إحدى الطرق في الدراسة كانت تحب تسليط الضوء على النقاط أكثر من الفواصل، حتى عندما لم تكن النقطة ذات أهمية.

• انحياز الموقع (عادة "المكان"):
  تخيل مصباحًا يدويًا يسلط الضوء فقط على الصفحة الأولى أو الصفحة الأخيرة من كتاب، متجاهلاً المنتصف.

  • مثال: كانت إحدى الطرق (Vanilla Gradient) مهووسة بـ بداية الجملة. وطريقة أخرى (Integrated Gradient) كانت مهووسة بـ نهاية الجملة. لم يكونوا ينظرون إلى المحتوى؛ كانوا فقط ينظرون إلى مكان الكلمات.

٣. التجربة: اختبار "الأخبار المزيفة"

لكي يمسكوا بهذه العادات السيئة، لم يستخدم الباحثون أخبارًا حقيقية أو قصصًا معقدة. بل صنعوا جملًا عشوائية مزيفة مكونة من كلمات بلا معنى.

• الإعداد: كتبوا جملًا مثل "طاولة الطاولة . ." أو مجرد خليط من الفواصل والنقاط.
• الخدعة: بما أن الجمل كانت عشوائية، فلا ينبغي لأي كلمة أو موقع أن يهم. لا ينبغي للذكاء الاصطناعي أن يكون قادرًا على تخمين الإجابة.
• الكشف: إذا كان "مصباح" الذكاء الاصطناعي لا يزال يسلط الضوء على الكلمة الأولى أو النقطة في كل مرة، فهذا يثبت أن المصباح معطل. لقد وجدوا أنماطًا لا وجود لها.

٤. النتائج: القديم مقابل الجديد، والمقايضة

اختبر الباحثون نموذجين مختلفين من الذكاء الاصطناعي (نموذج قديم يسمى BERT ونموذج أحدث يسمى ModernBERT) مع ستة مصابيح يدوية مختلفة.

• الأحدث ليس أفضل دائمًا: قد تعتقد أن نموذج الذكاء الاصطناعي الأحدث والأكثر تطورًا سيكون أقل انحيازًا. لكن الدراسة وجدت أن النموذج الجديد لا يزال يمتلك انحيازاته الخاصة. لقد امتلك فقط انحيازات مختلفة.
• تأثير الأرجوحة (See-Saw Effect): هذا هو الجزء الأكثر إثارة للاهتمام. وجدوا وجود مقايضة.
  • إذا كانت الطريقة سيئة حقًا في تسليط الضوء على الكلمات الصحيحة (الانحياز اللفظي)، فغالبًا ما كانت جيدة جدًا في تجاهل الموقع (انحياز الموقع).
  • إذا كانت الطريقة مهووسة بـ أين توجد الكلمات، فغالبًا ما كانت تتجاهل الكلمات نفسها.
  • تشبيه: الأمر يشبه كاميرا إما أن تقرب (Zoom in) كثيرًا على الموضوع (متجاهلة الخلفية) أو تركز كثيرًا على الخلفية (متجاهلة الموضوع). من الصعب الحصول على كليهما بشكل مثالي في وقت واحد.

٥. قاعدة "الاستثناء"

وجدت الورقة قاعدة ذهبية لكشف الكاذب: إذا قدم المصباح تفسيرًا مختلفًا تمامًا عن جميع المصابيح الأخرى، فمن المحتمل أن يكون هو المصباح المعطل.

• إذا كانت 5 من أصل 6 مصابيح تشير إلى كلمة "كلب"، وواحد منها يشير إلى كلمة "الـ"، فإن المصباح الذي يشير إلى "الـ" هو على الأرجًا منحاز وغير جدير بالثقة.

٦. الخلاصة لك

إذا كنت تستخدم الذكاء الاصطناعي لاتخاذ قرارات مهمة (مثل الطب أو القانون)، وتنظر إلى "التفسير" لسبب اتخاذ الذكاء الاصطناعي لقرار ما:
١. لا تثق في أداة واحدة فقط. جرب طرقًا مختلفة لترى ما إذا كانت تتفق.
٢. احذر من خدعة "الأول/الأخير". إذا كان الذكاء الاصطناعي يلوم دائمًا الكلمة الأولى أو الأخيرة، فقد يكون ذلك خللاً وليس سببًا حقيقيًا.
٣. تحقق من "الطرف الشاذ". إذا بدا أحد التفسيرات غريبًا مقارنة بالآخرين، فكن متشككًا.

باختصار: تفسيرات الذكاء الاصطناعي ليست مرايا مثالية للواقع؛ بل هي أشبه بمرايا الملاهي التي تمد وتضغط الأشياء بناءً على الأداة التي تستخدمها. تساعدنا هذه الورقة في معرفة أي المرايا مشوهة حتى لا نُخدع.