On the Fragility of Data Attribution When Learning Is Distributed

ملخص تقني: حول هشاشة إسناد البيانات عند التعلم الموزع

بيان المشكلة
أصبح إسناد البيانات (Data attribution) مكوناً حاسماً لتسعير وتدقيق وحوكمة مسارات تعلم الآلة، لا سيما في البيئات الموزعة مثل التعلم الاتحادي (Federated Learning). تعتمد هذه الأنظمة على مقاييس الإسناد (مثل قيم شابلي، أو دوال التأثير) لتقدير مساهمة مالكي البيانات الفرديين في المنفعة العالمية للنموذج. ومع ذلك، تفترض طرق الإسناد الحالية ضمنياً أن هذه الدرجات تعكس بصدق مساهمات المشاركين الفعلية. تتحدى هذه الورقة هذا الافتراض، حيث تثبت أنه في سير عمل التدريب الموزع القياسي، يمكن لمشارك خبيث واحد أن يتلاعب استراتيجياً بقيمة إسناده المقاسة ليظهر بمظهر أكثر فائدة مما هو عليه في الواقع، دون تقليل المنفعة العالمية للنموذج. تكمن الثغرة الجوهرية في حساسية مُقدِّرات المنفعة الهامشية تجاه تغطية التسميات غير المتماثلة (non-IID) والتفضيلات الهيكلية المحددة لمُقيِّمات الإسناد.

المنهجية: هجوم التحسين الكامن (Latent Optimization Attack)
يقترح المؤلفون نموذج تهديد "يستهدف الإسناد أولاً" (attribution-first)، حيث يهدف عميل خبيث ($i^\star$) إلى تعظيم درجة إسناده $E(\hat{g}^\star_t)$ مع الحفاظ بصرامة على المنفعة العالمية $U(\cdot)$ ضمن نطاق سماح صغير $\delta$. وبخلاف هجمات التسميم التقليدية التي تهدف إلى إضعاف الأداء، يعمل هذا الهجوم تحت قيد استقرار دقة الاختبار.

يسير هجوم التحسين الكمني المقترح كما يلي:

1. حقن بيانات اصطناعية: يستخدم المهاجم وحدة فك ترميز (decoder) ثابتة ومدربة مسبقاً ($Dec(\cdot)$) لتوليد دفعة صغيرة من العينات الاصطناعية $(\tilde{x}, \tilde{y})$ من متجه كامن $z$.
2. تحسين المتجه الكامن: يقوم المهاجم بتحسين المتجه الكامن $z$ عبر التدرج النزولي (gradient descent) لتحقيق دالة خسارة مشتركة $L(z) = L_1(z) + L_2(z) + L_3(z)$:
   • $L_1$ (محاذاة الاتجاه): تضمن محاذاة تدرج الدفعة الاصطناعية مع اتجاه مرجعي حميد (على سبيل المثال، تحديث النموذج العالمي $w_t - w_{t-1}$) باستخدام تشابه جيب التمام.
   • $L_2$ (اتساق المعيار): تطابق حجم التدرج الاصطناعي مع تحديثات البيانات الحميدة للإفلات من الدفاعات القائمة على الهندسة.
   • $L_3$ (أمانة المهمة): تحافظ على خسارة الإنتروبيا المتقاطعة القياسية على الدفعة الاصطناعية لضمان أن تكون البيانات مميزة للفئات ومفيدة للتدريب.
3. التغطية الاستراتيجية: يستهدف المهاجم تحديداً الفئات التي تكون ناقصة التمثيل أو غائبة في مجموعة بياناته الحقيقية المحلية ($D^{(i^\star)}_r$). ومن خلال حقن عينات اصطناعية لهذه "التسميات المفقودة"، يستغل المهاجم حساسية المُقيِّم لفجوات التغطية.
4. التحديث الهجين: يمزج المهاجم الدفعة الاصطناعية المُحسّنة مع بياناته الحقيقية لإجراء تدريب محلي، مما ينتج عنه تحديث مُبلغ عنه $\hat{g}^\star_t$ لا يمكن تمييزه إحصائياً عن التحديثات الحميدة، ولكنه يحقق منفعة هامشية عالية بشكل غير متناسب في نظر مُقيِّم جهة الخادم.

المساهمات الرئيسية

• نموذج تهديد "الإسناد أولاً": تصيغ الورقة نموذج تهديد جديد لهدف الإسناد في التعلم الاتحادي، حيث يكون الهدف هو تضخيم درجات إسناد البيانات تحت قيود صريحة للمنفعة والواقعية، وهو ما يختلف عن أهداف تسميم النماذج التقليدية.
  ما يتمثل في تقديم آلية هجوم ملموسة تستخدم البيانات الاصطناعية المولدة بواسطة وحدة فك الترميز لبناء تحديثات محلية تراعي الإسناد. تظل هذه الطريقة محافظة على المنفعة ومعقولة إحصائياً، مما يسمح لها بالإفلات من ضوابط التحقق من السلامة.
• التحقق النظري والتجريبي: تقدم الورقة رؤية نظرية حول سبب زيادة هذه التحديثات للإسناد الهامشي دون تقليل الدقة (بسبب المحاذاة مع اتجاهات الهبوط العالمية والمكاسب في المنفعة المدفوعة بالتغطية). وتجريبياً، تم التحقق من فعالية الهجوم عبر ثلاثة مجموعات بيانات (CIFAR-10, FashionMNIST, SVHN)، وثلاثة بنى نماذج (ResNet-18, WRN-28-10, VGG16 BN)، وعدة مُقيِّمات (Federated Shapley Value و Leave-One-Out).

النتائج التجريبية

• تضخم الإسناد: تحت هجوم التحسين الكمني، استطاع عميل خبيث كان يحتل المرتبة الأخيرة في البداية (ويحصل على إسناد يقترب من الصفر) أن ينتقل باستمرار إلى النصف الأعلى من التصنيف، محققاً في كثير من الأحيان قيم إسناد تضاهي أو تتجاوز المساهمين الحميدين رفيعي المستوى. على سبيل المثال، في مجموعة بيانات CIFAR-10 مع ResNet-18، ارتفعت قيمة إسناد العميل الخبيث من 0.0547 إلى 0.1682، مما نقل ترتيبه من المركز العاشر إلى المركز الثاني.
• الحفاظ على المنفعة: بخلاف الهجمات المرجعية (مثل قلب التسميات أو الضوضاء العشوائية) التي أدت إلى تدهور كبير في دقة الاختبار، حافظ هجوم التحسين الكمني على الدقة العالمية ضمن هامش ضيق من الخط المرجعي الخالي من الهجوم (مثلاً 77.59% مقابل 76.75% في CIFAR-10/ResNet-18).
• إعادة تشكيل هيكل الإسناد: لم يكتفِ الهجوم برفع درجة المهاجم فحسب، بل أعاد توزيع حصص الإسناد بين العملاء الحميدين، مما غير عملية تخصيص الائتمان النسبية داخل النظام.
• الإفلات من الدفاعات: فشلت دفاعات التقليم القائمة على الهندسة (geometry-based trimming)، والتي تصفّي التحديثات بناءً على انحرافها عن كتلة تحديثات العملاء، في اكتشاف الهجوم (الدقة والاستدعاء يقتربان من 0.00). ظلت التحديثات الهجينة متوافقة مع اتجاه الهبوط العالمي ومدمجة إحصائياً ضمن التوزيع الحميد.
• المتانة: ظل الهجوم فعالاً عبر أعداد مختلفة من العملاء، وترتيبات أولية مختلفة للعملاء، وعدة مُقيِّمات للإسناد (FedSV و LOO).

الأهمية والادعاءات
تزعم الورقة أن الإسناد نفسه يشكل سطح هجوم جديد في التعلم الموزع. وتوضح النتائج أن الحفاظ على دقة النموذج وحده ليس كافياً لضمان تعلم تعاوني موثوق؛ إذ إن نزاهة الإسناد لا تقل أهمية. ويجادل المؤلفون بأن آليات التحفيز وأطر الحوكمة الحالية معرضة للخطر لأنها تعتمد على مُقيِّمات يمكن التلاعب بها دون الإضرار بالأداء العالمي. وتدعو هذه الورقة إلى تطوير مُقيِّمات مقاومة للإسناد وآليات تسجيل متوافقة مع الحوافز، مشيرة إلى أن الضعف ينبع من خصائص الحوافز في تقييم المنفعة الهامشية وليس من قواعد تسجيل محددة. وتخلص الورقة إلى أنه بدون معالجة هذه الثغرات، ستواجه الأنظمة خطر مكافأة المساهمين الخطأ، وتحديد الفاعلين الضارين بشكل مضلل، واستخلاص استنتاجات خاطئة حول جودة البيانات.