🤖 machine learning

Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions

تقدم هذه الورقة طريقةً لا تعتمد على الملصقات (label-free) وتُطبق بعد التدريب (post-hoc) لتحديد وتخفيف التحيزات الزائفة في النماذج الرؤيوية المجمدة، وذلك عبر تفكيك التنشيطات إلى مفاهيم قابلة للتفسير وترتيبها من خلال التفاعلات المتدرجة مع الأمثلة المصنفة خطأً، مما يؤدي إلى تحسين دقة أسوأ المجموعات دون الحاجة إلى إعادة التدريب أو ملصقات سمات إضافية.

المؤلفون الأصليون: Thomas Vitry, Kieran Edgeworth, Stefan Wermter, Jae Hee Lee

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thomas Vitry, Kieran Edgeworth, Stefan Wermter, Jae Hee Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً، ولكنه كسول قليلاً، قد خاض اختباراً. يحصل هذا الطالب على درجة كاملة في الاختبارات التجريبية، ولكن عندما يواجه موقفاً من الواقع، يفشل فشلاً ذريعاً. لماذا؟ لأن الطالب لم يتعلم المادة حقاً؛ بل تعلم "طريقاً مختصراً".

على سبيل المثال، إذا كان الطالب يتعلم كيفية التعرف على الطيور، فقد يلاحظ أن جميع صور التدريب التي لديه لـ الطيور المائية تظهر دائماً وهي تقف في الماء، وطيور البر تظهر دائماً وهي تقف على العشب. لذا، بدلاً من النظر إلى ريش الطائر أو منقاره، ينظر الطالب ببساطة إلى الخلفية. إذا رأى ماءً، يخمن أنه "طائر مائي". وإذا رأى عشباً، يخمن أنه "طائر بري". يعمل هذا بشكل رائع في الاختبار التجريبي، ولكن إذا أظهرت له طائراً مائياً يقف على شاطئ رملي، فسيخطئ الطالب لأن "الطريق المختصر" (الماء = طائر مائي) قد انكسر.

هذه الورقة البحثية تتحدث عن طريقة جديدة لمعرفة ما هو الطريق المختصر الذي يستخدمه برنامج كمبيوتر ("نموذج رؤية")، دون الحاجة إلى معلم يخبرنا ما هو هذا الطريق.

إليك كيف تعمل طريقة المؤلفين، مقسمة إلى خطوات بسيطة:

1. المشكلة: "الصندوق الأسود" مع عكاز خفي

عادةً، لإصلاح نموذج ذكاء اصطناعي منحاز، تحتاج إلى معرفة ما هو الشيء الذي ينحاز ضده بالضبط (مثلاً: "إنه يعتقد أن كل ذوي الشعر الأشقر هن نساء"). ولكن غالباً، يكون الذكاء الاصطناعي قد تم نشره بالفعل، ولا نملك بيانات التدريب الأصلية، ولا نعرف ما هو الطريق المختصر. كل ما نملكه هو الذكاء الاصطناعي ومجموعة من الصور الاختبارية.

2. الحل: "المجسات التدرجية" (اختبار الإجهاد)

يعامل المؤلفون الذكاء الاصطناعي كأنه طالب يخوض اختباراً تجريبياً. إنهم ينظرون إلى الصور التي أخطأ فيها الذكاء الاصطناعي.

الخطأ من النوع السلبي (False Negative): رأى الذكاء الاصطناعي طائراً مائياً على الأرض لكنه اعتبره طائراً برياً.
الخطأ من النوع الإيجابي (False Positive): رأى الذكاء الاصطآعي طائراً برياً في الماء لكنه اعتبره طائراً مائياً.

بعد ذلك، يقومون بإجراء "دفعة" رياضية صغيرة (تسمى خطوة تدرجية - gradient step) على "دماغ" الذكاء الاصطناعي الداخلي. تخيل أنك تدفع دماغ الذكاء الاصطناعي بلطف في الاتجاه الذي من شأنه أن يجعله يحصل على الإجابة الصحيحة.

الفكرة الجوهرية: عندما يحاول الذكاء الاصطناعي إصلاح خطأ ما، يجب عليه تغيير رأيه بشأن ما الذي ينظر إليه.
- إذا كان الذكاء الاصطناعي مخطئاً لأنه كان ينظر إلى الخلفية (الطريق المختصر)، فإن "الدفعة" ستخبره بأن يتوقف عن النظر إلى الخلفية ويبدأ في النظر إلى الطائر.
- إذا كان الذكاء الاصطناعي مخطئاً لأنه أغفل الطائر تماماً، فإن "الدفعة" ستخبره بأن ينظر بتركيز أكبر إلى الطائر.

من خلال مراقبة أي "الأفكار" (المفاهيم) الداخلية التي يقوم الذكاء الاصطناعي بتشغيلها أو إيقافها لتصحيح أخطائه، يمكن للمؤلفين رصد الطريق المختصر. إذا قام الذكاء الاصطناعي باستمرار بإيقاف تشغيل "الماء" وتشغيل "الريش" لإصلاح خطأ ما، فإن "الماء" كان هو الطريق المختصر السيئ.

3. تفكيك الدماغ: "تفكيك المفاهيم"

لفهم ما يفكر فيه الذكاء الاصطناعي، يقوم المؤلفون بتفكيك معالجة الصور الداخلية للذكاء الاصطناعي إلى قطع صغيرة ومفهومة تسمى "مفاهيم".

فكر في الصورة كأنها "سموذي" (مشروب مخلوط). الذكاء الاصطناعي يرى السموذي كاملاً.
يستخدم المؤلفون أداة رياضية (تحليل المصفوفات غير السالبة - Non-Negative Matrix Factorization) لفصل السموذي مرة أخرى إلى مكوناته: "أزرق"، "أخضر"، "ريش"، "سماء"، "عشب".
يقومون بإنشاء "بنك" من هذه المكونات لكل نوع من أنواع الطيور.

4. العمل الاستقصائي

يجمع المؤلفون بين الخطوتين أعلاه:

ينظرون إلى "المكونات" (المفاهيم) التي استخدمها الذكاء الاصطناعي لإجابة خاطئة.
يدفعون الذكاء الاصطناعي لتصحيح الإجابة.
يتحققون من المكونات التي تغيرت.

إذا ظهر مكون مثل "العشب" أو "الماء" عندما يكون الذكاء الاصطناعي مخطئاً واختفى عندما يحاول تصحيح نفسه، يتم تحديد هذا المكون كـ "مفهوم انحياز" (Bias Concept). إنه العكاز الذي يتكئ عليه الذكاء الاصطناعي.

5. النتيجة: إصلاح الذكاء الاصطناعي دون إعادة تدريب

بمجرد تحديد "العكاز" (مفهوم الانحياز)، يمكنهم ببساطة إخبار الذكاء الاصطناعي بأن يتجاهل هذا المكون المحدد عند اتخاذ القرار النهائي.

لا يحتاجون إلى إعادة تدريب الذكاء الاصطناعي (وهو أمر مكلف ويتطلب بيانات جديدة).
لا يحتاجون إلى تغيير كود الذكاء الاصطناعي.
هم فقط يخبرون الذكاء الاصطناعي: "عندما ترى طائراً، تجاهل الخلفية".

النتيجة:

في مجموعة بيانات Waterbirds، حسنت هذه الحيلة دقة الذكاء الاصطناعي في الحالات الأكثر صعوبة (الطيور في بيئات خاطئة) بنسبة تقارب 18%.
في مجموعة بيانات CelebA (الوجوه)، حسنت الدقة بنسبة 10%، رغم أن "الطريق المختصر" لم يكن مجرد لون الشعر، بل شمل أيضاً أشياء مثل طول الشعر والمكياج، والتي كان الذكاء الاصطناعي يستخدمها لتخمين الجنس.

ملخص

تقدم الورقة البحثية أداة استقصائية "خالية من الملصقات" (label-free). لا تحتاج إلى إنسان ليقول: "مهلاً، الذكاء الاصطناعي ينظر إلى الخلفية". بدلاً من ذلك، تراقب تعثر الذكاء الاصطناعي في أخطائه، وتدفعه لتصحيح نفسه، وتستمع إلى الأفكار الداخلية التي يغيرها. ومن خلال تحديد وقمع هذه "الأفكار المختصرة"، يصبح الذكاء الاصطناعي أكثر عدلاً وقوة، وكل ذلك دون الحاجة إلى إعادة تدريبه أو إعطائه تسميات جديدة.

ملخص تقني: الانحياز يترك أثراً تدرجياً

بيان المشكلة
غالباً ما تحقق مصنفات الرؤية الحديثة دقة عالية في التوزيع الأصلي (in-distribution) من خلال استغلال الارتباطات الزائفة (الاختصارات) بدلاً من الميزات السببية. وبينما تؤدي هذه النماذج أداءً جيداً في بيانات التدريب، فإنها تفشل تحت تأثير تحولات التوزيع حيث تنكسر هذه الارتباطات. تتطلب طرق تحليل ومعالجة الانحياز الحالية مجموعات بيانات منسقة ذات سمات زائفة أو تسميات مجموعات معروفة، أو تستلزم إعادة تدريب النموذج. ومع ذلك، في سيناريوهات النشر في العالم الحقيقي، غالباً ما يواجه الممارسون نموذجاً "مجمداً" دون إمكانية الوصول إلى خط معالجة التدريب الأصلي، أو تسميات الانحياز، أو تسميات المجموعات. ويتمثل التحدي في تحديد هذه المفاهيم الزائفة الخفية والتخفيف من حدتها بعد عملية التدريب (post-hoc) دون الحاجة لإعادة التدريب أو إشراف إضافي.

المنهجية
يقترح المؤلفون طريقة خالية من التسميات (label-free) وتتم بعد التدريب لتحديد وتخفيف المفاهيم الزائفة في نماذج الرؤية المجمدة باستخدام فقط تسمات الفئات القياسية من مجموعة بيانات تدقيق مستقطعة. تتكون الطريقة من ثلاث مراحل رئيسية:

تفكيك المفاهيم غير السالبة:
- يتم تفكيك النموذج $f$ إلى $h \circ g$ ، حيث تقوم $g$ برسم خرائط المدخلات إلى تمثيلات وسيطة $a$ .
- بالنسبة لفئة مستهدفة $y$ ، يجمع المؤلفون رقعاً (patches) من المدخلات التي تم التنبؤ بأنها تنتمي للفئة $y$ ويطبقون تحليل المصفوفة غير السالبة (NMF) على التنشيطات $A_y$ .
- ينتج عن ذلك بنك من متجهات المفاهيم القابلة للتفسير ( $W_y$ ) ومعاملات مقابلة ( $U_y$ )، مما يفكك التمثيل إلى اتجاهات غير سالبة وذات معنى دلالي.
تحديد الانحياز القائم على التدرج:
- الفرضية الجوهرية هي أن السمات الزائفة تظهر كاتجاهات مفاهيم متميزة تتفاعل بشكل غير متماثل مع تحديثات التدرج في الأمثلة المصنفة خطأً.
- بالنسبة للأمثلة المصنفة خطأً (السلبيات الكاذبة والإيجابيات الكاذبة)، يحسب المؤلفون تدرج الخسارة بالنسبة للتمثيل ( $\nabla_a L$ ) ويطبقون خطوة تدرج واحدة لإنشاء تمثيل مضطرب $a'$ .
- يراقبون كيف تتغير معاملات المفاهيم بين $a$ و $a'$ .
- الحدس: لتصحيح حالة "سلبية كاذبة" (فقدان الفئة المستهدفة)، يميل النموذج إلى إضافة الإشارة الزائفة؛ ولتصحيح حالة "إيجابية كاذبة" (التنبؤ بالفئة المستهدفة بشكل خاطئ)، يميل النموذج إلى إزالة الإشارة الزائفة. المفاهيم الجوهرية (الأدلة الحقيقية) لا تظهر هذا النمط غير المتماثل القوي.
- يتم حساب درجة الانحياز ( $S_{y,k}$ ) لكل مفهوم $k$ بناءً على اتساق عمليات الإضافة والإزالة هذه عبر مجموعة التدقيق. المفاهيم ذات الدرجات العالية يتم ترتيبها كمرشحات لاتجاهات الانحياز.
التخفيف في وقت الاستدلال:
- بمجرد تحديد مفاهيم الانحياز، يتم كبحها في وقت الاستدلال دون تحديث معاملات النموذج.
- تقوم الطريقة بدمج بنوك المفاهيم المشروطة بالفئة، وتجميع المفاهيم المتشابهة، وإسقاط تمثيل المدخلات على الفضاء الجزئي العمودي على مفاهيم الانحياز المحددة.
- يتم إعادة تحجيم التمثيل المكبوت للحفاظ على معيار التنشيط الأصلي قبل التصنيف.

المساهمات الرئيسية

الاكتشاف الخالي من التسميات: طريقة لتحديد المفاهيم الزائفة في النماذج المجمدة دون الحاجة إلى تسميات الانحياز أو المجموعات، بالاعتماد فقط على تسمات الفئات القياسية.
مسابير التدرج (Gradient Probes): آلية تسجيل مبتكرة تستخدم التفاعل بين تنشيطات المفاهيم وخطوات التدرج للتمييز بين مفاهيم الانحياز والأدلة الجوهرية.
تخفيف قابل للتنفيذ: تقنية كبح عملية في وقت الاستدلال تعمل على تحسين دقة أسوأ مجموعة (worst-group accuracy) دون إعادة تدريب أو تحديث للمعلمات.
القابلية للتفسير: توفر الطريقة متجهات مفاهيم مرتبطة برقع تنشيط، مما يوفر تدقيقاً قابلاً للتفسير لما يعتمد عليه النموذج.

النتائج التجريبية
تم تقييم الطريقة على ثلاث معايير قياسية: Colored MNIST (CMNIST)، وWaterbirds، وCelebA.

محاذاة المفاهيم: في Waterbirds وCMNIST، نجح تفكيك NMF في استعادة مفاهيم تتماشى مع السمات الزائفة المعروفة (مثل نوع الخلفية للطيور، واللون للأرقام).
تسجيل الانحياز: نجحت درجة التدرج المقترحة في ترتيب المفاهيم المتحاذية مع الانحياز في مرتبة أعلى من المفاهيم الجوهرية. وُجد أن عتبة 0.55 تفصل بفعالية بين مفاهيم الانحياز.
أداء التخفيف:
- Waterbirds: أدى كبح المفاهيم الأعلى ترتيباً إلى تحسين دقة أسوأ مجموعة بمقدار 17.9 نقطة مئوية (من 45.9% إلى 63.8%) وتحسين دقة أسوأ فئة بمقدار 8.5 نقطة.
- CelebA: رغم أن المفاهيم المحددة تتداخل جزئياً فقط مع سمة النوع الاجتماعي الموسومة (حيث تلتقط شكل وطول الشعر بدلاً من اللون فقط)، إلا أن الكبح حسن دقة أسوأ مجموعة بمقدار 10.4 نقطة مئوية (من 43.4% إلى 53.8%).
- CMNIST: كانت النتائج مختلطة؛ فبينما تم تحديد مفاهيم الانحياز، لم يؤدِ الكبح باستمرار إلى تحسين دقة أسوأ مجموعة، ويرجع ذلك على الأرجح إلى التشابك الوثيق بين اللون والشكل في رتبة التفكيك المستخدمة.
المقارنة: تفوقت الطريقة على تجربة الكبح العشوائي (random suppression ablation)، مما يؤكد أن الاتجاهات المحددة متحاذية خصيصاً مع الانحياز. وهي تعمل دون الحاجة إلى تسميات المجموعات أو إعادة التدريب المطلوبة من النماذج الخاضعة للإشراف مثل Group DRO أو DFR، رغم أنها لا تصل إلى مستويات الأداء المطلقة لتلك النماذج المعاد تدريبها.

الأهمية والادعاءات
يدعي البحث توفير أداة تدقيق قابلة للتفسير ومقبض تخفيف قابل للتنفيذ لنماذج الرؤية المنشورة. تكمن أهميته الأساسية في معالجة "مشكلة الاكتشاف" حيث يكون الانحياز مجهولاً وإعادة التدريب غير ممكنة.

يؤكد المؤلفون أن الطريقة تحدد اتجاهات الانحياز ذات الصلة بالقرار والتي قد لا تتطابق تماماً مع السمات الموسومة (كما في حالة CelebA)، حيث تلتقط بدائل دقيقة مثل طول الشعر أو ملمس الخلفية التي تقود أخطاء النموذج.
تُقدم الطريقة كتدخل "صفر التكلفة" وما بعد التدريب (post-hoc) يمكن تطبيقه قبل اتخاذ قرار بشأن ما إذا كان الأمر يستدعي إعادة تدريب أكثر تعقيداً.
يقر البحث بالقيود، مشيراً إلى أن تفكيك الرقع أحادي المقياس قد يواجه صعوبة في التعامل مع الانحيازات الموزعة مكانياً (مثل النوع الاجتماعي في CelebA)، وأن الطريقة تتطلب عدداً كافياً من الأمثلة المصنفة خطأً في مجموعة التدقيق لتعمل بفعالية.