Protecting Deep Neural Network Intellectual Property with Chaos-Based White-Box Watermarking

ملخص تقني لورقة بحثية بعنوان: "حماية الملكية الفكرية للشبكات العصبية العميقة باستخدام العلامات المائية القائمة على الفوضى في البيئة البيضاء (White-Box)"

1. بيان المشكلة

أدى الانتشار السريع للشبكات العصبية العميقة (DNNs) إلى خلق حاجة ماسة لحماية الملكية الفكرية (IP). تمثل النماذج المدربة استثمارات ضخمة في البيانات، والحوسبة، والخبرة، ومع ذلك، يسهل نسخها، أو إعادة توزيعها، أو إعادة استخدامها دون اكتشاف ذلك.

• التحدي: إن ترخيص البرمجيات التقليدي غير كافٍ للشبكات العصبية العميقة، التي غالبًا ما تُوزع كملفات معاملات (parameters). وتواجه تقنيات العلامات المائية الحالية عدة قيود:
  • الهشاشة: العديد من الطرق يسهل كسرها عن طريق الضبط الدقيق (fine-tuning)، أو التقليم (pruning)، أو التكميم (quantization).
  • الإشارات الثابتة: يمكن تصفية العلامات المائية المصنوعة يدويًا أو الثابتة عبر تنعيم المعاملات (parameter smoothing) أو التدريب الخصومي (adversarial training).
  • تدهور الأداء: تتطلب بعض الطرق تعديل مسار التدريب أو إعادة التدريب من الصوامد، وهو أمر غير ممكن للنماذج التابعة لجهات خارجية أو النماذج القديمة.
  • قيود الصندوق الأسود: بينما توجد طرق الصندوق الأسود، إلا أنها غالبًا ما تكون أقل قوة وعرضة لهجمات عكس المحفز (trigger inversion).

2. المنهجية

يقترح المؤلفون إطار عمل للعلامة المائية في البيئة البيضاء (White-Box Watermarking Framework) يقوم بدمج معلومات الملكية مباشرة في الأوزان الداخلية لشبكة عصبية عميقة مدربة مسبقًا باستخدام المتواليات الفوضوية، ويتحقق من الملكية باستخدام الخوارزميات التطورية. يتكون إطار العمل من مرحلتين رئيسيتين:

أ. توليد ودمج العلامة المائية

1. توليد المتوالية الفوضوية:
   • يتم توليد العلامة المائية باستخدام الخريطة اللوجستية (Logistic Map)، وهي دالة فوضوية حتمية تُعرف بـ: $x_{n+1} = r \cdot x_n \cdot (1 - x_n)$.
   • المفتاح السري: يعتمد التوليد على ثلاثة معاملات: الثابت اللوجستي ($r$)، والقيمة الأولية ($x_0$)، وعامل القياس ($\epsilon$). ونظرًا لحساسية الأنظمة الفوضوية للظروف الأولية، تعمل هذه المعاملات كبصمة فريدة وغير متوقعة.
   • يتطابق طول المتوالية مع عدد الأوزان في طبقة وسيطة مختارة.
2. عملية الدمج:
   • يتم حقن المتوالية الفوضوية في أوزان طبقة وسيطة مختارة من نموذج مدرب مسبقًا.
   • التعديل: يتم تحديث كل وزن $w_i$ كالتالي: $w'_i = w_i + \epsilon \cdot c_i$، حيث $c_i$ هي القيمة الفوضوية.
   • الضبط الدقيق: لتقليل فقدان الدقة، يخضع النموذج الذي يحمل العلامة المائية لخطوة ضبط دقيق وجيزة على بيانات التدريب الأصلية بمعدل تعلم مخفض (1/10 من المعدل الأصلي). هذا الإجراء يستعيد الأداء مع الحفاظ على الإشارة المدمجة.

ب. التحقق من العلامة المائية
يفترض التحقق وجود وصول للبيئة البيضاء (White-Box access) (أي الوصول إلى أوزان النموذج).

1. استخراج الإشارة: يقوم المُحقِّق بحساب الفرق بين أوزان النموذج المشتبه به ($W_{ft}$) والنموذج المرجعي الذي يحمل العلامة المائية ($W_{wm}$): $\Delta W = W_{ft} - W_{wm}$. هذا يعزل إشارة العلامة المائية المدمجة.
2. تحسين الخوارزمية الجينية (GA):
   • نظرًا لأن المعاملات الأصلية ($r, x_0, \epsilon$) غير معروفة للمُحقِّق، تُستخدم الخوارزمية الجينية للبحث عن المعاملات المثلى التي تعيد توليد متوالية فوضوية تطابق الإشارة المستخرجة.
   • دالة اللياقة (Fitness Function): تقلل الخوارزمية الجينية من مزيج مرجح من متوسط مربع الخطأ (MSE) ومسافة الارتباط (Correlation Distance) بين الإشارة المستخرجة والمتوالية المعاد توليدها.
   • العمليات التطورية: تستخدم الخوارزمية عمليات الاختيار بالبطولة (tournament selection)، والعبور المختلط (blend crossover)، والطفرة الغاوسية (Gaussian mutation) لتطوير مجتمع المرشحين نحو القيم الأصلية.
3. الكشف المساعد:
   • تحليل كثافة الأوزان: تصور توزيعات الأوزان للتمييز بين النماذج التي تحمل علامة مائية والنماذج العشوائية أو التي خضعت للضبط الدقيق.
     est التصنيف القائم على التنشيط: يتم تدريب مصنف انحدار لوجستي (Logistic Regression) خفيف الوزن على أنماط التنشيط الداخلية للشبكة العصبية للتمييز بين النماذج الأصلية، والموسومة، والمتلاعب بها.

3. المساهمات الرئيسية

• دمج المتوالية الفوضوية: تقديم طريقة مبتكرة باستخدام متواليات فوضوية قائمة على الخريطة اللوجستية، مما يوفر عدم قابلية للتنبؤ ومقاومة عالية للإزالة مقارنة بالإشارات الثابتة.
• التوافق مع ما بعد التدريب: لا تتطلب الطريقة إعادة تدريب النموذج من الصفر أو تعديل مسار التدريب الأصلي؛ بل تعمل على النماذج المدربة مسبقةًا مع خطوة ضبط دقيق خفيفة.
• التحقق القائم على الخوارزمية الجينية: اقتراح آلية تحقق قوية باستخدام الخوارزميات الجينية لاستعادة المعاملات الفوضوية السرية، مما يضمن الموثوقية حتى بعد تعرض النموذج للاضطرابات.
• استراتيجية تحقق متعددة الطبقات: تجمع بين الاسترداد الكمي للمعاملات والتحليل البصري النوعي (كثافة الأوزان) والتصنيف القائم على التعلم الآلي (الانحدار اللوجستي على التنشيطات) لتعزيز الموثوقية.
• الدقة العالية: إثبات أن عملية وضع العلامة المائية تؤدي إلى فقدان ضئيل جدًا في دقة التنبؤ.

4. النتائج التجريبية

تم تقييم النهج على مجموعات بيانات MNIST و CIFAR-10 باستخدام الشبكات العصبية الالتفافية (CNNs).

• الدقة (Fidelity):
  • MNIST: أظهر النموذج الموسوم تحسنًا طفيفًا في الدقة (0.9945 $\to$ 0.9957)، مما يشير إلى تأثير تنظيمي محتمل.
  • CIFAR-10: لوحظ انخفاض طفيف في الدقة (0.7326 $\to$ 0.7279)، لكن الأداء ظل ضمن الحدود المقبولة.
• المتانة (هجمات الضبط الدقيق):
  • تعرض النموذج لهجمات الضبط الدقيق (إعادة التدريب على البيانات الأصلية بمعدل تعلم أقل).
  • الاسترداد: نجحت الخوارزمية الجينية في استعادة المعاملات الأصلية ($r, x_0, \epsilon$) بدقة عالية. على سبيل المثال، في MNIST، كان الفرق بين $r$ الحقيقي والمسترد هو 0.011 فقط، بينما كان النموذج العشوائي يعطي فرقًا قدره 0.25.
  • الإيجابيات الكاذبة: رفض النظام بشكل صحيح النماذج التي تحمل علامات مائية بمعاملات غير ذات صلة، مما أظهر مقاومة لادعاءات الملكية الكاذبة.
• أداء الكشف المساعد:
  • حقق مصنف الانحدار اللوجيستي دقة تقارب الكمال في التمييز بين أنواع النماذج:
    • MNIST: خطأ واحد من أصل 7,920 عينة.
    • CIFAR-10: خطأ واحد من أصل 29,049 عينة.
• التقارب: أظهرت منحنيات لياقة الخوارزمية الجينية تقاربًا مستقرًا نحو الحلول المثلى للنماذج الموسومة، بينما فشلت في التقارب نحو قيم خطأ منخفضة للنماذج غير الموسومة.

5. الأهمية والقيود

الأهمية:

• حماية الملكية الفكرية: توفر حلاً عمليًا لإثبات الملكية للنماذج المنشورة دون الحاجة للوصول إلى بيانات التدريب.
• المرونة: يجعل استخدام المتواليات الفوضوية والبحث التطوري من العلامة المائية صعبة التزوير أو الإزالة عبر الضبط الدقيق القياسي.
• المرونة: قابلة للتطبيق في مراحل مختلفة من دورة حياة النموذج (ما بعد التدريب) ومتوافقة مع البنى الهيكلية الموجودة.

القيود:

• متطلب البيئة البيضاء: تتطلب الطريقة الوصول إلى الأوزان الداخلية، مما يحد من استخدامها في سيناريوهات الصندوق الأسود (مثل واجهات برمجة تطبيقات MLaaS).
• التكلفة الحوسبية: يمكن أن تكون عملية التحقق القائمة على الخوارزمية الجينية مكلفة حوسبيًا للنماذج الكبيرة جدًا أو المتواليات الطويلة.
• خصوصية البنية: اقتصرت التجارب على الشبكات العصبية الالتفافية (CNNs)؛ ولم يتم إثبات قابليتها للتطبيق على نماذج Transformer أو RNN.
• سعة الحمولة: تقوم حاليًا بدمج متوالية فوضوية مستمرة بدلاً من معرفات متعددة البتات (مثل معرفات مالكين محددين أو بيانات وصفية).
• نطاق الهجوم: تم اختبار المتانة بشكل أساسي ضد الضبط الدقيق؛ وتحتاج المتانة ضد التقليم (pruning)، أو التكميم (quantization)، أو استخراج النموذج (model extraction) إلى مزيد من التحقق.

الخاتة

تقدم الورقة إطار عمل قوي للعلامة المائية في البيئة البيضاء، يوازن بفعالية بين حماية الملكية الفكرية وفائدة النموذج. ومن خلال الاستفيد من عدم القدرة على التنبؤ بالأنظمة الفوضوية وقدرات البحث في الخوارزميات الجينية، أثبت المؤلفون طريقة مرنة تجاه هجمات الضبط الدقيق وتحافظ على دقة عالية للنموذ، مما يوفر أداة حيوية لتأمين أصول التعلم العميق في السيناريوهات الواقعية.