Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

ملخص تقني: تقريب دالة ReLU القائم على النواة لنماذج التعلم العميق المتوافقة مع التشفير المتماثل

1. بيان المشكلة

أدى الانتشار الواسع لنماذج اللغات الكبيرة (LLMs) والتعلم العميق (DL) إلى زيادة المخاوف المتعلقة بالخصوصية، لا سيالما فيما يتعلق بمعالجة بيانات المستخدم الحساسة (مثل المعلومات الصحية) في أشكال غير مشفرة. يوفر التشفير المتماثل (HE)، وتحديداً مخططات مثل CKKS، حلاً من خلال تمكين العمليات الحسابية على البيانات المشفرة دون الحاجة لفك تشفيرها. ومع ذلك، فإن التشفير المتماثل محدود جوهرياً بعمليات الجمع والضرب فقط. وهذا يخلق عدم توافق حرج مع بنيات التعلم العميق القياسية، التي تعتمد بشكل كبير على دوال التنشيط غير الخطية مثل وحدة الخطية المعدلة (ReLU).

دالة ReLU، المعرفة بـ $ReLU(x) = \max(0, x)$، هي دالة غير سلسة (غير قابلة للاشتقاق عند الصفر). إن تقريب مثل هذه الدالة غير السلسة باستخدام كثير حدود من درجة منخفضة — وهو أمر مطلوب لتقليل العمق الضربي في التشفير المتماثل — يؤدي إلى أخطاء تقريب كبيرة. الطرق الموجودة، مثل دالة $x^2$ أو كثيرات حدود تشيبيشيف (Chebyshev) ذات الدرجات الأعلى، إما تفشل في محاكاة سلوك التصفير للمدخلات السالبة أو تؤدي إلى تكاليف حسابية باهظة وعدم استقرار (مثل ظاهرة رونج - Runge's phenomenon) عند نشرها في البيئات المشفرة.

2. المنهجية

يقترح البحث طريقة تقريب ReLU القائمة على النواة المكونة من مرحلتين، والمصممة لتوليد كثير حدود من الدرجة الثانية متوافق مع التشفير المتماثل، يحاكي سلوك ReLU بدقة عالية وعمق ضربي منخفض.

• التنعيم عبر انحدار النواة (Kernel Regression): لمعالجة عدم سلاسة ReLU، يقوم المؤلفون أولاً بتحويل الدالة إلى تقريب سلس باستخدام طريقة قائمة على النواة. وتحديداً، يستخدمون نواة الظل الزائدي ($k(x, x') = \tanh(\langle x, x' \rangle + 1)$) المدربة على بيانات المدخلات. تعتمد هذه الخطوة على مبدأ أن الدوال الأكثر سلاسة يمكن تقريبها بدقة أكبر بواسطة كثيرات الحدود، كما يدعم ذلك مبرهنة جاكسون (Jackson's Theorem).
• ملاءمة كثير الحدود (Polynomial Fitting): يتم بعد ذلك تقريب مخرجات دالة النواة المدربة باستخدام انحدار المربعات الصغرى العادية (OLS) لكثير حدود من الدرجة الثانية ($p(x) = a_0 + a_1x + a_2x^2$).
• مصدر البيانات: تم تدريب وتقييم الطريقة مباشرة على تضمينات الرموز (token embeddings) المستخرجة من نماذج اللغات الكبيرة المدربة مسبقاً (RoBERTa و DistilBERT) باستخدام مجموعة بيانات Stanford Sentiment Treebank (SST-2). يضمن ذلك أن يكون التقريب مستنداً إلى بيانات معالجة اللغات الطبيعية (NLP) في العالم الحقيقي بدلاً من التوزيعات الاصطناعية.
• اختيار الدرجة: قام المؤلفون بتقييم كثيرات الحدود من الدرجة 2 إلى 5 بشكل منهجي. ووجدوا أنه بينما توفر الدرجات الأعلى نظرياً ملاءمة أفضل، إلا أنها تسبب عدم استقرار ومعدلات خطأ تزداد بشكل كبير في النطاقات المشفرة بسبب زيادة العمق الضربي ونمو الضجيج في مخطط CKKS. وبناءً على ذلك، تم اختيار كثير الحدود من الدرجة الثانية كأفضل مقايضة بين الدقة والكفاءة الحسابية.

كثير الحدود النهائي الناتج هو:
$$p(x) = 0.082261 + 0.495588x + 0.444488x^2$$

3. المساهمات الرئيسية

• استراتيجية تقريب مبتكرة: تقديم تقنية تنعيم قائمة على النواة يتبعها ملاءمة لكثير حدود من درجة منخفضة، مصممة خصيصاً لقيود التشفير المتماثل.
• التحقق من الواقعية: على عكس الأعمال السابقة التي تعتمد غالباً على بيانات اصطناعية أو تقييم غير مباشر عبر دقة التصنيف، تم تدريب وتقييم هذه الطريقة على تضمينات رموز فعلية من نماذج لغات كبيرة مدربة مسبقاً.
• المقارنة المرجعية الشاملة: تمت مقارنة الطريقة المقترحة بصرامة مع التقريبات الراسخة، بما في ذلك $x^2$، وFasterCryptoNets، وكثيرات حدود تشيبيشيف (الدرجتين 3 و 5)، عبر أبعاد متعددة: خطأ التقريب (MSE)، ودقة النموذج (FeedForward, CNN, ViT)، والتكلفة الحسابية.

4. النتائج

أُجري التقييم عبر ستة سيناريوهات تجريبية، تغطي كلاً من بيئات النصوص الصريحة (plaintext) والبيئات المشفرة (CKKS):

• دقة التقريب: حققت طريقة كثير الحدود القائم على النواة أدنى متوسط خطأ تربيعي (MSE) في كل من البيئات الصريحة والمشفرة (0.056862) مقارًة بكثيرات الحدود ذات الدرجات الأعلى، والتي أظهرت عدم استقرار كبير (على سبيل المثال، MSE > 390 للدرجة 5). وفي اختبارات البيانات المهيكلة باستخدام تضمينات RoBERTa و DistilBERT، حافظت الطريقة المقترحة على MSE قدره 0.002، متفوقة على $x^2$ و FasterCryptoNets.
• أداء النموذج:
  • نماذج التعلم العميق (DL Models): في بنيات FeedForward و CNN على مجموعة بيانات MNIST، حقق كثير الحدود القائم على النواة دقة 99% و 99.2% على التوالي، وهي نتائج مقاربة أو أقل قليلاً من أفضل أداء لـ FasterCryptoNets (99.3%).
  • نماذج المحولات (Transformers): في بنية ViT على مجموعتي بيانات CIFAR-10 و CIFAR-100، أظهرت الطريقة قدرة قوية على التعميم، حيث حققت دقة 38.5% على CIFAR-100 (وهي الأعلى بين الطرق المختبرة)، بينما أظهرت التقريبات ذات الدرجات الأعلى مثل Chebyshev-5 أداءً أقل.
• الأداء في البيئة المشفرة:
  • فجوة الدقة: أظهرت الطريقة المقترحة أصغر فجوة دقة بين التنفيذ الصريح والمشفر (29.3%)، متفوقة على Chebyshev-3 (35.3%) و Chebyshev-5 (33.6%).
  • الكفاءة الحسابية: وفر كثير الحدود من الدرجة الثانية ميزة سرعة كبيرة. بلغ إجمالي وقت التجربة لكثير الحدود القائم على النواة 1,864 ثانية، بينما استغرق Chebyshev-5 حوالي 11,348 ثانية (عامل تباطؤ قدره ~109 ضعفاً). حافظت الطريقة على عمق ضربي منخفض، مما حال دون النمو السريع للضجيج المرتبط بكثيرات الحدود ذات الدرجات الأعلى في مخطط CKKS.

5. الأهمية والادعاءات

يزعم البحث أن طريقة كثير الحدود القائم على النواة المقترحة تمثل حلاً قوياً وفعالاً للاستنتاج القائم على الخصوصة في نماذج اللغات الكبيرة ونماذج التعلم العميق. وتكمن أهميتها في:

• سد الفجوة: فهي تسد بفعالية فجوة الأداء بين التنفيذ المشفر وغير المشفر، مما يسمح بنشر نماذج معقدة مثل المحولات (Transformers) في إعدادات معالجة اللغات الطبيعية الحساسة للخصوصية دون التدهور الحاد في الدقة الذي تسببه التقريبات ذات الدرجات الأعلى.
• المقايضة المثلى: تثبت الدراسة أنه بالنسبة للدوال السلسة القائمة على النواة، يمكن لكثيرات الحدود من درجات منخفضة (تحديداً الدرجة 2) تحقيق أخطاء تقريب منخفضة للغاية مع الحفاظ على دقة تصنيف عالية وتكاليف حسابية أقل. وهذا يتحدى الافتراض القائل بأن كثيرات الحدود ذات الدرجات الأعلى هي بطبيعتها الأفضل للتقريب في سياقات التشفير المتماثل.
• القابلية للتطبيق العملي: من خلال تقليل العمق الضربي، تقلل الطريقة من "تكلفة الخصوصية" (زمن الاستجابة وتراكم الضجيج)، مما يجعلها مرشحاً قابلاً للتطبيق لتطبيقات الاستنتاج الآمنة ذات الإنتاجية العالية.

يخلص المؤلفون إلى أنه بينما قد يستكشف العمل المستقبلي النماذج الهجينة التكيفية وتسريع الأجهزة، فإن الطريقة الحالية تعالج بنجاح التحدي الحرج المتمثل في دمج دوال التنشيط غير الخطية في خطوط أنابيب التعلم العميم المتوافقة مع التشفير المتماثل.