🤖 machine learning

Test-Time Collective Action: Proxy-Based Perturbations for Correcting Algorithmic Harms

تقترح هذه الورقة "العمل الجماعي في وقت الاختبار" (TTCA)، وهو إطار عمل يُمكّن مجموعة منسقة من المستخدمين من تصحيح التفاوتات الخوارزمية في الأنظمة ذات الصندوق الأسود عبر تجميع الوصول إلى الاستعلامات لتدريب نموذج بديل وتطبيق اضطرابات شاملة في وقت الاستدلال، مما يؤدي إلى تحسين دقة المجموعات الفرعية ومقاييس العدالة دون الحاجة إلى إعادة التدريب من جانب المنصة.

المؤلفون الأصليون: Meghana Bhange, Ulrich Aïvodji, Elliot Creager

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Meghana Bhange, Ulrich Aïvodji, Elliot Creager

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "العمل الجماعي في وقت الاختبار" (Test-Time Collective Action)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة: آلة البيع المعطلة

تخيل آلة بيع ذاتية ضخمة ومتطورة (منصة الذكاء الاصطناعي) تبيع الوجبات الخفيفة للجميع. إنها تعمل بشكل رائع لمعظم الناس. ومع ذلك، بالنسبة لمجموعة محددة من الزبائن — لنقل مثلاً الأشخاص الذين يرتدون قبعات حمراء — تستمر الآلة في إعطائهم الوجبة الخاطئة أو ترفض البيع لهم تماماً.

عادةً، إذا كانت آلة البيع معطلة، فإن الطريقة الوحيدة لإصلاحها هي الاتصال بالشركة المالكة لها (مزود المنصة) وطلب إرسال فريق إصلاح. ولكن ماذا لو كانت الشركة مشغولة جداً، أو لا تهتم، أو قالت: "لا يمكننا إصلاح ذلك الآن"؟ هنا يقع أصحاب القبعات الحمراء في مأزق؛ ليس لديهم أي وسيلة لجعل الآلة تعمل لصالحهم دون مساعدة الشركة.

الطريقة القديمة: نهج "تبرع البيانات"

في الماضي، اقترح الباحثون أنه إذا قام عدد كافٍ من أصحاب القبعات الحمراء بإرسال صورهم وبياناتهم إلى الشركة، فيمكن للشركة "إعادة تدريب" الآلة لتعمل بشكل أفضل.

العائق: هذا لا ينجح إلا إذا وافقت الشركة على إيقاف تشغيل الآلة، وأخذ البيانات الجديدة، وإعادة بنائها. وفي العالم الحقيقي، نادراً ما تقوم الشركات بذلك بناءً على الطلب. فالمستخدمون لا يملكون أي سيطرة على التروس الداخلية للآلة.

الفكرة الجديدة: "العمل الجماعي في وقت الاختبار" (TTCA)

تقترح هذه الورقة حلاً ذكياً للالتفاف على المشكلة. بدلاً من محاولة إصلاح "داخل" الآلة، تتعلم مجموعة أصحاب القبعات الحمراء كيفية خداع "خارج" الآلة بما يكفي للحصول على الوجبة الصحيحة.

فكر في الأمر كأنها مجموعة من الأصدقاء يحاولون اكتشاف الرمز السري لباب مغلق. هم لا يملكون المخططات (الكود الداخلي للذكاء الاصطنا_ي)، لكن يمكنهم الطرق على الباب والاستماع إلى الصوت الذي يصدره.

إليك كيف تسير العملية، خطوة بخطوة:

1. "الآلة الوهمية" (استخراج النموذج البديل)

تقوم المجموعة بتجميع مواردها. بدلاً من أن يقوم كل شخص بالطرق على الباب بمفرده، يرسلون دفعة من الأسئلة (الاستعلامات) إلى الآلة الحقيقية.

التشبيه: تخيل 100 شخص يسألون آلة البيع كل واحد منهم: "ماذا يحدث إذا وضعت عملة معدنية؟". الآلة تجيب. تجمع المجموعة كل هذه الإجابات وتبني آلة بيع مزيفة (نموذج بديل) في مرآب منزلهم. هذه الآلة المزيفة ليست مثالية، لكنها تحاكي سلوك الآلة الحقيقية بدقة كافية للتعلم منها.

2. إيجاد "المفتاح السحري" (تحسين الاضطرابات)

الآن، تجري المجموعة تجاربها على آلتها المزيفة. يحاولون العثور على تعديل طفيف وغير مرئي تقريباً (اضطراب/Perturbation)، والذي إذا أُضيف إلى مدخلات المستخدم، يجبر الآلة على إعطاء الإجابة الصحيحة.

التشبيه: يكتشفون أنه إذا نقرت على زجاج آلة البيع بطريقة معينة بالضبط قبل وضع العملة، فإنها تقدم لك الوجبة الصحيحة. لقد عرفوا بالضبط مدى قوة النقرة وأين يجب النقر.
الخدعة "العامة": هم لا يحتاجون إلى نقرة مختلفة لكل شخص. بل يجدون نقرة واحدة محددة تعمل مع الجميع من مجموعة القبعات الحمراء الذين يريدون وجبة معينة. تُسمى هذه "الاضطراب الشامل" (Universal Perturbation).

3. تطبيق "النقرة السحرية" (التطبيق في وقت الاختبار)

الآن، أي شخص من مجموعة القبعات الحمراء يريد استخدام آلة البيع الحقيقية، لا يحتاج إلى طلب المساعدة من الشركة. ببساطة، يطبق "النقرة السحرية" (الاضطراب) على طلبه قبل إرساله إلى الآلة الحقيقية.

النتيجة: الآلة الحقيقية، التي كانت مرتبكة سابقاً، ترى الطلب بوضوح الآن وتقدم الوجبة الصحيحة. لقد أصلحت المجموعة المشكلة دون لمس التروس الداخلية للآلة أو طلب الإذن من المالك.

لماذا هذا أفضل من العمل بمفردك؟

تقارن الورقة بين سيناريوهين:

العمل بمفردك: يحاول شخص واحد إصلاح مشكلته عبر الطرق على الباب آلاف المرات، وتجربة زوايا مختلفة حتى يحالفه الحظ. هذا أمر مكلف وبطيء.
العمل معاً (العمل الجماعي): تتشارك المجموعة التكاليف. يقومون بالطرق على الباب بضعة آلاف من المرات مرة واحدة فقط لبناء "آلتهم المزيفة" وإيجاد "النقرة السحرية". بعد ذلك، تعمل تلك "النقرة" الواحدة لآلاف الأشخاص إلى الأبد.

النتائج الرئيسية للورقة:

المجموعات الصغيرة تنجح: لا تحتاج إلى جيش ضخم. حتى مجموعة صغيرة (تتراوح بين 5 إلى 10 أشخاص) يمكنها تجميع مواردها لإنشاء إصلاح يعمل بشكل أفضل مما لو حاولوا مواجهة الآلة بمفردهم.
إنه أرخص: يتطلب الأمر عدداً أقل بكثير من "النقرات" (استعلامات واجهة البرمجة API) لنجاح المجموعة مقارنة بنجاح الأفراد بمفردهم.
يعمل على آلات مختلفة: حتى لو قامت المجموعة ببناء "آلتها المزيفة" باستخدام نموذج بسيط، فإن "النقرة السحرية" التي يجدونها لا تزال تعمل على الآلة الحقيقية المعقدة والمتطورة.
يصلح العدالة: من خلال مساعدة المجموعة التي تم تهميشها، يصبح النظام أكثر عدلاً للجميع، وليس فقط للأغلبية المحظوظة.

الخلاصة

تظهر هذه الورقة أنه عندما يعامل نظام حاسوبي مجموعة معينة من الناس بعدم إنصاف، لا يتعين على هذه المجموعة انتظار الشركة لإصلاح الأمر. من خلال العمل معاً، يمكنهم بناء "نموذج ظل" للنظام، واكتشاف تعديل طفيف يصحح الأخطاء، وتطبيق هذا التعديل بأنفسهم. إن هذا يحول مجموعة من المستخدمين العاجزين إلى قوة جماعية يمكنها تصحيح أخطاء الآلة من الخارج.

ملخص تقني: العمل الجماعي في وقت الاختبار (TTCA)

بيان المشكلة

تُظهر أنظمة تعلم الآلة تكرارًا تفاوتات في الأداء عبر المجموعات الفرعية للمستخدمين، مما يؤدي إلى أضرار في "جودة الخدمة" (QoS) حيث تعاني مجموعات معينة بشكل منهجي من دقة أقل من غيرها. وبينما توجد تدخلات لضمان العدالة من جانب المزود (قبل المعالجة، أو أثناء المعالجة، أو بعد المعالجة)، إلا أنها تعتمد على رغبة المنصة وقدرتها على إعادة تدريب النماذج. وفي السيناريوهات التي لا يتوفر فيها الإصلاح، أو يتأخر، أو ترفض المنصة القيام به، يفتقر المستخدمون المتضررون إلى الروافع الخارجية لتصحيح هذه التفاوتات.

تسمح أطر "العمل الجماعي الخوارزمي" (ACA) الحالية للمستخدمين بتوجيه الخوارزميات من خلال المساهمة بالبيانات، لكن هذه الآليات تتطلب عادةً قيام المنصة بإعادة التدريب على البيانات المعدلة من قبل المجموعة — وهو شرط نادرًا ما يتحكم فيه المستخدمون. علاوة على ذلك، يمكن التحايل على أساليب التدخل القائمة على "تسميم البيانات" إذا انتظر المزودون تحديثات قوية للنماذج أو تدربوا على بيانات ما قبل الهجوم. وبناءً على ذلك، هناك حاجة لتدخل من جانب المستخدم يعمل في وقت الاختبار (test time) على نموذج صندوق أسود مجمد دون الحاجة إلى تعاون المنصة أو الوصول إلى حلقة التدريب.

المنهجية: العمل الجماعي في وقت الاختبار (TTCA)

يقترح المؤلفون إطار عمل TTCA الذي يمكّن مجموعة منسقة من المستخدمين من تصحيح الأضرما الخوارزمية من خلال تجميع الوصول إلى الاستعلام عبر واجهة برمجة تطبيقات (API) تعمل كصندوق أسود. تعمل الآلية في مرحلتين:

المرحلة 1: استخراج الوكيل الجماعي وتحسين الاضطراب

تجميع الاستعلامات: تقوم مجموعة من $n$ من المستخدمين، يمتلك كل منهم ميزانية استعلام $B$ ، بتجميع مواردهم لاستعلام نموذج المنصة $f_{plat}$ على مجموعة صور عامة غير مصنفة $D_{pub}$ . ينتج عن ذلك مجموعة بيانات $D_{proxy}$ من أزواج (المدخلات-المخرجات) $(x, f_{plat}(x))$ .
تدريب الوكيل: تقوم المجموعة بتدريب نموذج بديل (وكيل) $f_{proxy}$ على $D_{proxy}$ باستخدام طريقة KnockoffNets. ولتحسين قابلية الانتقال، يتم تدريب مجموعة (ensemble) مكونة من $K=5$ من النماذل البديلة باستخدام بذور عشوائية مستقلة.
تحسين الاضطراب: لكل فئة $y$ في المجموعة $G$ التي تعاني من نقص الخدمة، تقوم المجموعة بتحسين اضطراب عالمي لكل فئة $\delta_y$ . الهدف هو تقليل خسارة الإنتروبيا المتقاطعة (cross-entropy loss) لمجموعة النماذج البديلة للمدخلات التي تنتمي إلى الفئة $y$ ، مع مراعاة ميزانية $\ell_\infty$ (أي $\|\delta_y\|_\infty \le \epsilon$ ). يستهدف التحسين الفئة الصحيحة، مما يؤدي فعليًا إلى "دفع" المدخلات المصنفة خطأً نحو حدود القرار الصحيحة. يتم تطبيق منظم التباين الكلي وتغبيش غاوسي (Gaussian blur) لتوجيه الاضطراب نحو المكونات منخفضة التردد، مما يعزز قابلية انتقال الاضطراب في ظروف الصندوق الأسود.

المرحلة 2: التطبيق في وقت الاختبار

عند الاستدلال، يطبق أعضاء المجموعة التي تعاني من نقص الخدمة الاضطراب المحسوب مسبقًا $\delta_y$ على مدخلاتهم $x$ قبل تقديمها. إذا كان مدخل المستخدم ينتمي إلى الفئة $y \in G$ ، فيقومون بتقديم $x' = \text{clip}(x + \delta_y, 0, 1)$ ; وإلا، فيقدمون $x$ دون تغيير. لا تتطلب هذه العملية أي تفاعل إضافي مع المنصة بخلاف ميزانية الاستعلام الأولية المستخدمة لبناء الوكيل.

المساهمات الرئيسية

آلية تصحيحية في وقت الاختبار: يقدم TTCA إطار عمل يمكن للمستخدمين من خلاله تصحيح التفاوتات في نموذج صندوق أسود مجمد دون الحاجة لإعادة تدريب المنصة. إنه يعيد استخدام منطق هجمات التهرب (الاضطرابات المعادية العالمية) لغرض تصحيحي بدلاً من الغرض الضار.
كفاءة قائمة على الوكيل: من خلال استخراج وكيل جماعي وتحسين اضطراب عالمي قابل لإعادة الاستخدام، تعمل الطريقة على توزيع تكلفة التدخل على المجموعة بأكملها.
الانتقال عبر البنى المختلفة: تُظهر الآلية أن نموذجًا بديلًا أصغر (مثل ResNet-18) يمكنه بفعالية توليد اضطرابات تنتقل إلى بنيات منصة أكبر وغير معروفة (مثل ResNet-50, RegNet-Y).
تحليل كفاءة التكلفة: يقدم البحث تحليلًا صارمًا يوضح أن تجميع الاستعلامات أرخص بكثير من الهجمات الفردية لكل صورة، حتى مع أحجام المجموعات الصغيرة.

النتائج التجريبية

يقيم المؤلفون TTCA على مجموعات بيانات CIFAR-10 وCIFAR-100 وFairFace (من أجل العدالة الديموغرافية) تحت أنظمة تدريب منصة متوازنة وغير متوازنة عمدًا.

دقة المجموعة الفرعية: يحسن TTCA بشكل كبير دقة المجموعة الفرعية (المحددة بأسوأ 10% من المجموعات) عند ميزانيات استعلام منخفضة جدًا. على سبيل المثال، في CIFAR-100، يمكن لمجموعة مكونة من 5 إلى 6 مستخدمين فقط تجمع الاستعلامات تحقيق دقة للمجموعة الفرعية تضاهي أو تتجاوز المهاجمين الأفراد، مع استخدام عدد استعلامات أقل بمراحل من الإجمالي.
كفاءة ميزانية الاستعلام:
- الأساس الفردي: يتطلب المستخدمون الأفراد الذين يهاجمون بمفردهم باستخدام SimBA (هجوم صندوق أسود لكل صورة) ما يصل إلى 308 ضعف إجمالي استعلامات المنصة للوصść إلى دقة مماثلة للمجموعة الفرعية.
- نقطة التعادل: يكفي وجود مجموعة مكونة من 5 إلى 10 أعضاء فقط لجعل تجميع الاستعلامات أكثر فعالية من حيث التكلفة مقارنة بالتدخل الفردي.
- مقايضة السقف: بينما يمكن للهجمات الفردية تحقيق دقة قصوى أعلى (مثلاً 97.9% في CIFAR-100) من خلال تحسين كل صورة على حدة، إلا أنها تقوم بذلك بتكلفة إجمالية هائلة (~~2.3 مليون استعلام لـ 1,000 مستخدم). أما النهج الجماعي فيصل إلى سقف دقة أقل (~~83%) ولكنه يحقق ذلك بتكلفة ثابتة وقابلة لإعادة الاستخدام (~23,000 استعلام)، مما يجعله أكثر كفاءة بكثير للمجموعات الكبيرة.
مقاييس العدالة: يحسن التدخل مقاييس عدالة المجموعة القياسية، بما في ذلك دقة أسوأ مجموعة (WGA)، وفجوة تكافؤ الفرص (EOD)، والأثر المتباين (DI)، دون إضعاف الأداء للمجموعات الأخرى.
دقة الوكيل: لا تُعد النماذج البديلة عالية الدقة ضرورية تمامًا؛ فبمجرد أن يصبح الوكيل "وفيًا بما يكفي" (على سبيل المثال، دقة 60-90%)، فإن الاستعلامات الإضافية تعطي عوائد تناقصية في دقة المجموعة الفرعية.

الأهمية والادعاءات

يضع البحث TTCA كـ تدخل تصحيحي للمستخدمين الذين يواجهون أضرار جودة الخدمة عندما لا يتوفر الإصلاح من جانب المنصة. وتكمن أهميته في:

القدرة على الفعل (Agency): يوفر للمستخدمين رافعة خارجية لاستعادة القدرة على التحكم في الأنظمة الخوارزمية دون الحاجة إلى الوصول إلى التفاصيل الداخلية للنموذج أو بيانات التدريب.
القابلية للتوسع: يوضح أن العمل الجماعي المنسق وصغير النطاق يمكن أن يخفف بفعالية من التفاوتات المنهجية من خلال تجميع الموارد.
التكامل: يعمل كنهج مكمل لأطر العمل الحالية للعمل الجماعي الخوارزمي (ACA)، وتحديدًا لمعالجة "فجوة وقت الاختبار" حيث تكون النماذج منشورة وثابتة.

يشير المؤلفون إلى أن هذا النهج يكون أكثر فعالية عندما تكون المهمة الأساسية مفيدة بشكل عام ولكن أداؤها غير متكافئ. كما يقرون بالقيود: إذا كانت المهمة نفسها ضارة (مثل التعرف الآلي على الجنس الذي يسبب أضرًا تمثيلية)، فقد يكون الإطار التصحيحي لـ TTCA غير كافٍ، وقد يحتاج المستخدمون إلى اللجوء إلى الرفض أو الاعتراض بدلًا من التحسين. بالإضافة إلى ذلك، يفترض النهج نموذج صندوق أسود ثابت؛ إذ يمكن للدفاعات من جانب المنصة (مثل التنعيم العشوائي/randomized smoothing) أن تقلل من فعالية هذه الاضطرابات، رغم أن هذه الدفاعات قد تضعف أيضًا الدقة العامة للمنصة.