Traceable Black-box Watermarks for Federated Learning

ملخص تقني: العلامات المائية السوداء القابلة للتتبع للتعلم الاتحادي (TraMark)

نُشر في: ICLR 2026

1. بيان المشكلة

تواجه أنظمة التعلم الاتحادي (Federated Learning - FL) خطرًا كبيرًا يتمثل في تسريب النموذج (model leakage)، حيث قد يقوم العملاء الخبيثون بتوزيع النموذج العالمي بشكل غير قانوني لتحقيق ربح شخصي. وبينما تُعد العلامات المائية وسيلة معروفة لحماية الملكية الفكرية (IP)، تعاني الطرق الحالية من قصور في مجال التعلم الاتحادي من خلال عيبين رئيسيين:

• الافتقار إلى التتبع في الصندوق الأسود (Black-Box Traceability): تتطلب العديد من طرق العلامات المائية الحالية (مثل تلك القائمة على المعلمات) وصولاً إلى "الصندوق الأبيض" (الوصول إلى أوزان النموذج) للتحقق. وفي السيناريوهات الواقعية، قد يكون النموذج المسرب متاحًا فقط عبر واجهة برمجة التطبيقات (API) (إعداد الصندوق الأسود).
• فجوة التتبع (The Traceability Gap): حتى لو تم التحقق من أن النموذج مسروق، فإن طرق الصندوق الأسود الحالية غالبًا ما تفشل في تحديد أي عميل تحديدًا قام بتسريبه. وعلى العكس من ذلك، فإن الطرق التي تحاول التتبع غالبًا ما تتطلب الوصول إلى بيانات العملاء الخاصة أو تعديل بروتوكول التدريب المحلي، مما يجعلها عرضة للتلاعب أو انتهاكات الخصوصية.

صاغ المؤلفون مشكلة العلامات المائية السوداء القابلة للتتبع (Traceable Black-box Watermarking): كيف يمكن حقن علامات مائية فريدة، قابلة للتحقق، وغير متصادمة في النماذج المشتركة مع العملاء، بحيث يمكن للخادم تحديد المسرب باستخدام مخرجات النموذج فقط (الصندوق الأسود) دون الوصول إلى بيانات العملاء الخاصة.

2. المنهجية: TraMark

يقترح المؤلفون TraMark، وهو إطار عمل جديد للعلامات المائية من جانب الخادم يتكامل بسلاسة مع التعلم الاتحادي القياسي (مثل FedAvg). يكمن الابتكار الجوهري في تقسيم فضاء المعلمات (parameter space partitioning) والتجميع المقنع (masked aggregation).

• تقسيم فضاء المعلمات: يقسم الخادم معلمات النموذج إلى منطقتين متميزتين وغير متداخلتين باستخدام أقنعة ثنائية:
  1. منطقة المهمة الرئيسية ($M_m$): المسؤولة عن مهمة التعلم الأساسية.
  2. منطقة العلامة المائية ($M_w$): محجوزة حصريًا لدمج العلامة المائية.
• التجميع المقنع (Masked Aggregation): لمنع "تصادم العلامة المائية" (حيث تندمج العلامات المائية من عملاء مختلفين وتصبح غير قابلة للتمييز أثناء جولة التجميع التالية)، يستخدم TraMark قاعدة تجميع متخصصة. فهو يقوم بمتوسط التحديثات فقط داخل منطقة المهمة الرئيسية، ولكنه يحافظ على التحديثات الفريدة الخاصة بكل عميل في منطقة العلامة المائية. يضمن ذلك حصول كل عميل على نموذج عالمي مخصص.
• حقن العلامة المائية من جانب الخادم: يقوم الخادم بعملية وضع العلامة المائية بنفسه. لكل عميل $i$، يأخذ الخادم النموذج المخصص ويقوم ببضع دورات من التدريب باستخدام مجموعة بيانات علامة مائية فريدة ($D^w_i$) تؤثر فقط على منطقة العلامة المائية. هذا يمنع العلامة المائية من إضعاف أداء المهمة الرئيسية.
• مجموعات بيانات علامة مائية متميزة: لضمان إمكانية التتبع، يتم تخصيص مجموعة محفزات (trigger set) فريدة وتوزيع مخرجات محدد مسبقًا وفريد لكل عميل. يقترح المؤلفون استخدام عينات خارج التوزيع (OOD) (على سبيل p.هـ، استخدام أرقام MNIST كمحفزات لنموذج مدرب على CIFAR) لضمان استقلالية العلامة المائية عن المهمة الرئيسية.
• مرحلة الإحماء (Warmup Phase): لضمان فعالية التقسيم، يخضع النموذج لفترة "إحماء" من التدريب الاتحادي القياسي. يسمح هذا للخادم بتحديد المعلمات "غير المهمة" (ذات القيم الصغيرة) لتعيينها لمنطقة العلامة المائية، مما يقلل من التأثير على الدقة.

3. المساهمات الرئيسية

• الصياغة الرسمية: أول عمل يحدد رسميًا مشكلة العلامات المائية السوداء القابلة للتتبع في التعلم الاتحادي.
• آلية مبتكرة: تقديم التجميع المقنع وتقسيم المعلمات لمنع تشابك وتصادم العلامات المائية.
• التنفيذ من جانب الخادم: طريقة لا تتطلب أي وصول إلى بيانات العميل ولا أي تعديل لبروتوكول التدريب المحلي للعميل، مما يجعلها عملية للغاية ومقاومة لتلاعب العملاء.
• المتانة: تصميم يضمن اقتران العلامات المائية بالنموذج، مما يجعلها مقاومة للهجمات الشائعة مثل التقليم (pruning) والضبط الدقيق (fine-tuning).

4. النتائج التجريبية

قيم المؤلفون TraMark عبر مجموعات بيانات مختلفة (FMNIST, CIFAR-10/100, Tiny-ImageNet) وإعدادات متنوعة (IID و non-IID).

• قابلية تتبع عالية: حقق TraMark متوسط معدل تحقق (VR) بنسبة 99.58%، مما يعني أنه نجح في تحديد المسرب الصحيح في جميع الحالات تقريبًا.
• أدنى فقد في المنفعة: كان التأثير على المهمة الرئيسية ضئيلاً، حيث بلغ متوسط انخفاض الدقة 0.54% فقط مقارنة بـ FedAvg القياسي.
• المتانة تجاه الهجمات:
  • التقليم/الضبط الدقيق: ظلت العلامات المائية فعالة حتى عندما حاول العملاء إزالتها عبر التقليم القائم على الحجم أو الضبط الدقيق المحلي.
  • الكمية (Quantization): أثبتت الطريقة صمودها أمام تحويلات INT8 و FP16.
  • الهجمات التكيفية: أظهرت مقاومة لتقنية تقليم الخلايا العصبية لإعادة البناء (RNP)، وهي تقنية حديثة لإزالة الباب الخلفي (backdoor removal).
• القابلية للتوسع: أظهرت التجارب على Tiny-ImageNet مع 100 عميل أن الطريقة تتوسع بفعالية دون عبء حسابي أو اتصالي كبير.

5. الأهمية

يوفر TraMark حلاً قويًا لـ المساءلة في التعلم الاتحادي. من خلال تمكين الخادم من العمل كمدقق يمكنه تحديد المسربين من خلال استعلامات الصندوق الأسود، فإنه يحمي الملكية الفكرية لمطوري التعلم الاتحادي. إن قدرته على العمل دون تعاون من العميل أو الوصول إلى بياناته تجعل منه مرشحًا حيويًا للغاية لأنظمة التعلم الموزع الآمنة والتي تحافظ على الخصوصية في العالم الحقيقي.