💻 computer science

Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias

تقدم هذه الورقة طريقة لتجميع خرائط العزو لكل صورة في أنماط اختصار مكانية متكررة باستخدام تقنيات التجميع، مما يتيح تحديد مجموعات فرعية محددة من الصور ذات معدلات خطأ عالية وتطوير تدخلات مستهدفة تقلل من تفاوت الأداء في نماذج الرؤية.

المؤلفون الأصليون: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

نُشر 2026-08-17

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طفلاً كيفية التعرف على أنواع مختلفة من الحيوانات. تُريه صورة لبقرة في حقل أخضر، فيتعلم أن كلمة "بقرة" تعني "حيوان ذو بقع في حقل". ثم تُريه بقرة في حظيرة ثلجية، فيصاب بالارتباك لأن جزء "الحقل" مفقود. هذا بالضبط ما يحدث مع بعض نماذج الذكاء الاصطناعي؛ فهي ذكية للغاية في رصد الأنماط، لكنها تصبح "كسولة" أحيانًا. فبدلاً من تعلم الميزات الحقيقية للشيء الذي يُفترض بها تحديده (مثل شكل البقرة)، فإنها تتمسك بإشارات سهلة وعرضية (مثل العشب الأخضر) التي ظهرت بالصدفة في صور التدريب الخاصة بها. في عالم علوم الحاسوب، يسمى هذا "التعلم عبر الاختصارات" (Shortcut Learning). إنه يشبه الطالب الذي يحفظ نمط الخط المستخدم في نموذج الإجابة بدلاً من دراسة الرياضيات فعليًا. المشكلة هي أن هذه الاختصارات تعمل بشكل رائع حتى يتغير الاختبار — مثل ظهور البقرة في حظيرة. وعند حدوث ذلك، يفشل الذكاء الاصطناعي، وإذا تكررت هذه الإخفاقات مع مجموعات معينة من الناس (مثل المرضى من مستشفى محدد)، يصبح الذكاء الاصطناعي غير عادل أو متحيزًا.

هذه الورقة البحثية تتحدث عن طريقة جديدة لكشف هذه الاختصارات الكسولة قبل أن تسبب المشاكل. لقد بنى الباحثون أداة تعمل كـ "محقق مكاني" للذكاء الاصطناعي. فبدلاً من مجرد النظر إلى الإجابة النهائية، هم يلقون نظرة داخل "دماغ" النموذج ليروا بالضبط أين ينظر الذكاء الاصطناعي في الصورة. وقد وجدوا أن نماذج الذكاء الاصطناعي غالبًا ما تستخدم اختصارات متعددة ومتميزة لصور مختلفة. فقد تعتمد بعض الصور على اختصار متعلق بالخلفية، بينما تعتمد أخرى على أثر غريب ناتج عن الكاميرا. ومن خلال تجميع أنماط الاختصارات المختلفة هذه معًا، يمكن للباحثين تحديد الصور الأكثر عرضة للفشل بدقة، بل وحتى إصلاح النموذج فورًا عبر إخباره بتجاهل الاختصارات والتركيز على الإشارات الحقيقية.

عمل المحقق: العث de الاختصارات

وضع المؤلفون، وهم فريق من كينجز كوليدج لندن، هدفهم لحل لغز محدد: الطرق الموجودة يمكنها إخبارك أن الذكاء الاصطناعي يستخدم اختصارات، لكنها لم تكن تستطيع إخبارك كيف أو أين يستخدمها بطريقة تساعد في إصلاح أخطاء مجموعات معينة. تخيل محاولة العث ث على لص في مدينة من خلال النظر إلى خريطة ضبابية ومتوسطة لجميع الجرائم؛ ستعرف أن الجريمة تحدث، لكنك لن تعرف ما إذا كان اللص هو نشال في الحديقة أم سارق منازل في الضواحي. الطرق القديمة كانت تشبه تلك الخريطة الضبابية؛ فقد كانت تدمج جميع الصور معًا، مما يخفي حقيقة أن الصور المختلفة لها أنواع مختلفة من الاختصارات.

قام الفريق بتطوير طريقة لتفكيك هذا الأمر. أولاً، نظروا إلى ثلاث "وجهات نظر" مختلفة للصورة لكل صورة رآها الذكاء الاصطناعي:

وجهة نظر المهمة: ما يعتقد الذكاء الاصطناعي أنه مهم للوظيفة (مثل تحديد ورم).
وجهة نظر الاختصار: ما يعتقد الذكاء الاصطناعي أنه مهم لسمة حساسة (مثل المستشفى الذي جاءت منه الصورة، أو جنس الشخص).
وجهة النظر العادلة: نموذج مرجعي تم تدريبه ليكون عادلاً، متجاهلاً السمات الحساسة.

ومن خلال مقارنة هذه الوجهات، أنشأوا "خريطة مساهمة" لكل صورة على حدة. تسلط هذه الخريطة الضوء على البكسلات المحددة التي استخدمها الذكاء الاصطناعي لاتخاذ قراره. إذا كان الذكاء الاصطناعي يستخدم اختصارات، فستضيء الخريطة في الخلفية أو في أثر معين بدلاً من الجسم الفعلي.

تجميع الأنماط

هنا يحدث السحر. أخذ الباحثون هذه الآلاف من الخرائط الفردية واستخدموا تقنية فرز رياضية (تسمى K-means و Non-negative Matrix Factorization) لتجميعها في "مجموعات اختصار". فكر في الأمر كفرز كومة ضخمة من قطع الأحجية المختلطة إلى صناديق متميزة بناءً على الأنماط الموجودة على القطع.

اكتشفوا أن الاختصارات لم تكن مجرد كتلة واحدة كبيرة من السلوك السيئ؛ بل بدلاً من ذلك، كانت هناك عدة "شخصيات" متميزة للاختصارات. فعلى سبيل المثال، في مجموعة بيانات لصور الطيور، وجدوا مجموعة من الاختصارات حيث نظر الذكاء الاصطناعي إلى خلفية المياه، ومجموعة أخرى حيث نظر إلى خلفية الأرض. وفي مجموعة بيانات لأشعة الصدر السينية، وجدوا اختصارات ركزت على ظل الثدي أو الأجزاء السفلية من الرئة، بينما كانت المناطق "الجيدة" المخصصة للمهمة تقع في منتصف الرئتين تمامًا.

كانت هذه المجموعات مفيدة للغاية. وجد الباحثون أنهم إذا نظروا فقط إلى أعلى 20% من الصور التي تنتمي إلى "مجموعات الاختصار عالية المخاطر"، فيمكنهم العث de نسبة ضخمة من إجمالي أخطاء النموذج. في بعض الحالات، مثل مجموعة بيانات الطيور، احتوت هذه المجموعة الصغيرة على ما يقرب من 74% من جميع الأخطاء التي ارتكبها النموذج. وهذا يعني أن المدققين ليس عليهم فحص كل صورة؛ بل يمكنهم فقط فحص "مجموعات الاختصار" المحددة للعثور على المشكلات بسرعة.

زر "إعادة المحاولة": إصلاح النموذج

الجزء الأكثر إثارة في الورقة البحثية هو أنهم لم يكتفوا بالعثور على المشكلات فحسب، بل حاولوا إصلاحها في الوقت الفعلي دون إعادة تدريب النموذج بالكامل. لقد اختبروا نوعين من "التدخلات" على الصور:

حجب المدخلات (Input Masking): قاموا حرفيًا بتغطية الأجزاء من الصورة التي استخدمها الذكاء الاصطناعي كاختصار.
تدخل مساحة الميزات (Feature Space Intervention): دخلوا إلى المعالجة الداخلية للنموذج وأخبروه بأن "يخفض مستوى صوت" إشارات الاختصار و"يرفع مستوى صوت" إشارات المهمة الحقيقية.

كانت النتائج مذهلة. عندما قاموا بحجب مناطق "الاختصار"، ظل أداء النموذج كما هو أو حتى تحسن قليلاً، مما أثبت أن تلك المناطق لم تكن ضرورية بالفعل للمهمة. ومع ذلك، عندما قاموا بحجب مناطق "المهمة" (الإشارات الحقيقية)، انهار أداء النموذج، مما أكد أنها كانت الأجزاء المهمة.

الانتصار الحقيقي جاء من النهج المشترك: إخماد الاختصارات مع تضخيم المهمة الحقيقية. عندما فعلوا ذلك، تقلصت الفجوة في الأداء بين المجموعات المختلفة (مثل الأجناس المختلفة أو المستشفيات المختلفة) بشكل ملحوظ. على سبيل المثال، في مجموعة بيانات CelebA للوجوه، قللت هذه الطريقة الفجوة في الأداء بنحو 7.8 نقطة مئوية. وفي مجموعة بيانات CheXpert لأشعة الصدر السينية، قللت الفجوة بنسبة هائلة بلغت 20.3 نقطة مئوية.

ماذا يعني هذا؟

تشير الورقة البحثية إلى أنه من خلال تجميع هذه الاختصارات المكانية، يمكننا رسم صورة أوضح لمواضع فشل نماذج الذكاء الاصطناعي. الأمر لا يقتصر فقط على قول "هذا النموذج متحيز"؛ بل يتعلق بالقول "هذا النموذج يستخدم اختصارات عبر النظر إلى الخلفية في 8 أنواع محددة من الأنماط".

أظهر الباحثون أن هذه المجموعات مستقرة وموثوقة. حتى لو أعادوا تدريب النماذج المساعدة المستخدمة للكشف عن الاختصارات، ظلت المجموعات ثابتة. كما اختبروا الطريقة على أنواع مختلفة من بنيات الذكاء الاصطناعي (مثل ResNet و ViT) وعلى مجموعات بيانات متنوعة (من آفات الجلد إلى صور الطيور)، وعملت الطريقة في جميع الحالات.

ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس عصا سحرية تحل كل شيء. ففي بعض الحالات الطبية المعقدة، مثل شرائح الأنسجة (histopathology) حيث يكون "الاختصار" عبارة عن اختلاف طفيف في الصبغة من مختبر معين، لم يكن مجرد إخماد المنطقة المكانية كافيًا لإصلاح التحيز. ولكن في كثير من الحالات الأخرى، توفر هذه الطريقة المتمثلة في العثور على الاختصارات المكانية وتجميعها وإخمادها وسيلة قوية لتدقيق وتحسين الذكاء الاصطناعي، مما يجعله أكثر عدلاً وموثوقية دون الحاجة للبدء من الصفر. إنها تحول الخريطة الضبابية لتحيز الذكاء الاصطناعي إلى دليل تفصيلي وقابل للتنفيذ لإصلاح الأخطاء.

ملخص تقني: اكتشاف وتوصيف مكاني لمجموعات المسارات المختصرة المتعددة لتدقيق نماذج الرؤية الحاسوبية من حيث الانحياز

بيان المشكلة

غالبًا ما تحقق نماذج التعلم العميق دقة متوسطة عالية من خلال الاعتماد على ميزات "المسار المختصر" (shortcut features)—وهي ارتباطات زائفة موجودة في توزيع بيانات التدريب لا تعمم وقت الاختبار، لا سيما ضمن مجموعات فرعية محددة. وبينما يمكن للاختبار خارج التوزيع (out-of-distribution testing) أن يكشف عن تفاوتات الأداء، إلا أنه يفشل في تحديد مناطق الصور المحددة المرتبطة بهذه المسارات المختصرة. تعتمد طرق التدقيق القائمة على الإسناد (attribution-based auditing)، مثل OSCAR، عادةً على تجميع خرائط الإسناد عبر كامل مجموعة البيانات لإنتاج خريطة مساهمة واحدة على مستوى مجموعة البيانات. يفترض هذا التجميع وجود اتساق مكاني لميزات المسار المختصر عبر جميع الصور، مما قد يؤدي إلى حجب الأنماط المكانية المتكررة التي تحدث فقط في مجموعات فرعية من الصور أو تتفاعل بشكل مختلف مع الأدلة ذات الصل la بالمهام في مجموعات فرعية مختلفة. وبناءً على ذلك، يفتقر المدققون إلى الأدلة المكانية القابلة للتنفيذ لتحديد مجموعات الصور عالية المخاطر أو فهم الطبيعة المحددة للاعتماد على المسار المختصر في النماذج المدربة والمثبتة.

المنهجية

يعالج الإطار المقترح، اكتشاف مجموعات المسار المختصر المكاني (Spatial Shortcut Group Discovery)، هذه القيود من خلال حساب خرائط المساهمة على مستوى الصورة وتجميعها للكشف عن الأنماط المكانية المتكررة. تتبع الطريقة أربع خطوات رئيسية:

الإسناد والترتيب على مستوى الصورة:
يتم استخدام ثلاثة نماذج: نموذج المهمة الخاضع للتدقيق ( $f_{TS}$ )، ونموذج أساسي مخفض الانحياز ( $f_{BA}$ ) تم تدريبه على مجموعة بيانات متوازنة السمات، ونموذج سمة حساسة ( $f_{SA}$ ). يتم توليد خرائط الإسناد (مثل LRP، AttnLRP) لكل نموذج، وتقسيمها إلى شبكة من $R$ من المناطق المتنافية، وتحويلها إلى متجهات مكانية منخفضة الدقة. ومن الأهمية بمكان أن هذه المتجهات يتم ترتيبها داخل كل صورة للحفاظ على التباين من صورة إلى أخرى.
المحاذاة الشرطية وخرائط المساهمة:
باستخدام الارتباط الجزئي، تحسب الطريقة درجات المحاذاة على مستوى الصورة:

محاذاة المسار المختصر ( $\rho_{sc}$ ): تقيس المحاذاة بين $f_{TS}$ و $f_{SA}$ بعد إزالة التأثير الخطي لـ $f_{BA}$ . تشير الدرجات العالية إلى أن نموذج المهمة يستخدم مناطق مرتبطة بالسمة الحساسة.
محاذاة المهمة ( $\rho_{task}$ ): تقيس المحاذاة بين $f_{TS}$ و $f_{BA}$ بعد إزالة تأثير $f_{SA}$ .
يتم اشتقاق خرائط المساهمة على مستوى المنطقة ( $m_{sc}$ و $m_{task}$ ) عن طريق تفكيك درجات المحاذاة هذه، مع الاحتفاظ فقط بالمساهمات الإيجابية التي تدعم عمليات المحاذاة المعنية.

تجميع الأنماط المكانية:
يتم دمج خرائط مساهمة المسار المختصر والمهمة لكل صورة وتطبيعها (normalization). ثم يتم تجميع هذه التمثيلات في أنماط مكانية متكررة باستخدام نهجين:

K-means: يخصص لكل صورة "مجموعة مسار مختصر" واحدة.
تحليل المصفوفة غير السالبة (NMF): يسمح للصور بالتعبير عن أنماط متعددة في آن واحد، مما يوفر أوزان عضوية مرنة.
النتيجة هي مجموعة من نماذج مجموعات المسار المختصر (النماذج الأولية - prototypes) (المتوسطات الموزونة بالعضوية) وصور أمثلة ممثلة لكل مجموعة.

التدخلات المكانية في وقت الاختبار:
للتحقق من فائدة هذه الخرائط، تستخدم الورقة قناع المدخلات والتدخلات في فضاء الميزات الداخلية.

قناع المدخلات (Input Masking): حجب المناطق ذات المساهمة العالية في المسار المختصر أو المهمة لمراقبة تدهور الأداء.
التدخلات في فضاء الميزات: اقتراح تثبيط المسار المختصر (إزالة مكونات المهمة من خرائط المسار المختصر قبل التثبيط) وتضخيم المهمة (إزالة مكونات المسار المختصر من خرائط المهمة قبل التضخيم). يطبق النهج المشترك كلاهما في آن واحد لتقليل الفوارق بين المجموعات الفرعية مع الحفاظ على الدقة.

المساهمات الرئيسية

اكتشاف نمط المسار المختصر المكاني: تقدم الورقة طريقة لحساب خرائط مساهمة المسار المختصر والمهمة على مستوى الصورة وتجميعها باستخدام K-means و NMF. يكشف هذا أن أنماط مسارات مختصرة متماسكة متعددة، ذات تركيبات مجموعات فرعية ومعدلات خطأ متميزة، يمكن أن تتعايش داخل مجموعة بيانات واحدة، وهو فارق دقيق يضيع في عملية التجميع على مستوى مجموعة البيانات.
تدقيق الفشل المستهدف: يوضح الإطار أنه يمكن استخدام عضوية مجموعة المسار المختصر لبناء درجات مخاطر تحدد المجموعات الفرعية من الصور التي تحتوي على جزء كبير بشكل غير متناسب من إجمالي أخطاء الاختبار للنموذ_ال. وهذا يتيح للمدققين تركيز جهود التفتيش على المجموعات الفرعية عالية المخاطر بدلاً من أخذ العينات العشوائية.
تدخلات قابلة للتنفيذ في وقت الاختبار: تثبت الدراسة أن خرائط الإسناد هذه تحتوي على أدلة قابلة للتنفيذ. قناع مناطق مساهمة المهمة يؤدي إلى تدهور الأداء، بينما يؤدي الجمع بين تدخل تثبيط المسار المختصر وتضخيم المهمة عموماً إلى تقليل فوارق الأداء بين المجموعات (المقاسة بـ أكبر فجوة أداء - LPG) عبر مختلف مجموعات البيانات والمعماريات.

النتائج التجريبية

تم تقييم الطريقة عبر خمس مجموعات بيانات (CelebA, CheXpert, Waterbirds, Camelyon17, ISIC2019) ومعماريتين (ResNet50, ViT-B/16).

اكتشاف الأنماط: كشف الفحص البصري لنماذج مجموعات المسار المختصر عن هياكل مكانية متميزة. على سبيل المثال، في CelebA، أظهرت بعض المجموعات اعتماداً على المسار المختصر مركزاً في مناطق الشعر (مرتبطة بالمهمة) بينما ركزت مجموعات أخرى على الخلفية/الملابس. وفي CheXpert، سلطت مجموعات المسار المختصر الضوء على مناطق غير رئوية (مثل ظلال الثدي)، بينما ركزت مجموعات المهمة على مناطق الرئة.
تحديد المخاطر: نجحت درجات المخاطر القائمة على مجموعات المسار المختصر في تحديد مجموعات فرعية تحتوي على عدد أكبر بكثير من الأخطاء مقارنة بالنماذج العشوائية. على سبيل المثال، في نموذج CelebA ViT، احتوت أفضل 20% من الصور المصنفة حسب درجة المخاطر على حوالي 63.5% من إجمالي أخطاء الاختبار المحجوزة (مقارنة بـ 20% المتوقعة بالصدفة). عموماً، تفوق التجميع القائم على NMF على K-means في التقاط الأخطاء والاستقرار عبر النماذج المدربة بشكل مستقل.
فعالية التدخل:
- قناع المدخلات: تسبب قناع مناطق مساهمة المهمة في انخفاض حاد في الأداء، مما يؤكد أن هذه المناطق حاسمة للتنبؤ. أما قناع مناطق المسار المختصر فقد كان له تأثيرات متباينة، وغالباً ما حافظ على الدقة أو حسنها قليلاً، مما يشير إلى أن هذه الإشارات غير أساسية أو زائفة.
- تدخلات الميزات: قلل الجمع بين تثبيط المسار المختصر وتضخيم المهمة باستمرار من أكبر فجوة أداء (LPG) عبر معظم مجموعات البيانات. على سبيل المثال، في CheXpert مع ViT، قلل التدخل المشترك LPG بمقدار 12.8 نقطة مئوية مع الحفاظ على الدقة أو تحسينها قليلاً.
- التدخلات التكرارية: أدى التطبيق المتكرر للتدخلات إلى تقليل درجات محاذاة المسار المختصر وفوارق المجموعات الفرعية بشكل أكبر، مما يثبت فائدة الخرائط للتدقيق التكراري.

الأهمية والادعاءات

تدعي الورقة أن اكتشاف مجموعات المسار المختصر المكاني يسد الفجوة بين الفحص البصري، والتدقيق المستهدف، والتدخل في وقت الاختبار. ومن خلال تجاوز التجميع على مستوى مجموعة البيانات، يوفر الإطار ملخصاً موجزاً وقابلاً للفحص لكيفية تباين الاعتماد على المسار المختصر عبر الصور والمجموعات الفرعية.

يؤكد المؤلفون أن نهجهم لا يتطلب إعادة تدريب النموذج، مما يجعله قابلاً للتطبيق على الأنظمة البصرية المثبتة والمستخدمة فعلياً. توفر النماذج الأولية ودرجات المخاطر الناتجة سير عمل عملي للمدققين لـ:

تصور الأنماط المكانية المتكررة للانحياز التي قد تكون مخفية بخلاف ذلك.
تحديد أولويات مجموعات البيانات للمراجعة اليدوية بناءً على معدلات الخطأ العالية.
التدخل في وقت الاختبار للتخفيف من الفوارق عن طريق تثبيط الإشارات الزائفة وتضخيم الأدلة ذات الصلة بالمهمة.

تظل الورقة متواضعة فيما يتعلق بالتعميم، مشيرة إلى أنه بينما تتعامل الطريقة بفعالية مع سمة حساسة واحدة، فإن السيناريوهات الواقعية قد تتضمن سمات متعددة متفاعلة. علاوة على ذلك، يفترض التقسيم القائم على الشبكة وجود درجة من المحاذاة المكانية، مما قد يحد من التطبيق على مجموعات البيانات ذات التباين المكاني العالي دون مزيد من التكيف. يضع هذا العمل أساساً لاستخدام أنماط المساهمة المكانية لتوجيه التفسير القابل للتنفيذ في نماذج الرؤية.