Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

ملخص تقني: استبدال ReLU التربيعي المدرك للقرار ليكون صديقًا للتشفير المتماثل بالكامل (HE)

بيان المشكلة
يتيح التشفير المتماثل بالكامل (FHE) الاستدلال العصبي المحافظ على الخصوصية من خلال السماح بإجراء الحسابات على البيانات المشفرة دون الحاجة لفك تشفيرها. ومع ذلك، يدعم التشفير المتماثل بالكامل عمليات الجمع والضرب فقط بشكل أصيل، مما يجعل دالات التنشيط غير الخطية مثل ReLU ($\max\{0, u\}$) مكلفة حاسوبيًا. تعتمد الأساليب الحالية التي تعتمد على التشفير المتماثل بالكامل فقط عادةً على استبدال ReLU بمتعددات حدود عالية الدرجة (مثل تقريبات Remez أو Chebyshev) التي يتم ضبطها عبر فترات تنشيط تجريبية. وبينما تتجنب هذه الطرق المقارنات، إلا أنها غالبًا ما تتطلب متعددات حدود عالية الدرجة للتحكم في خطأ التقريب، مما يؤدي إلى زيادة العمق الضربي، وعمليات إعادة القياس، وزمن التأخير. علاوة على على ذلك، تركز هذه الأساليب على تحسين دقة التقريب النقطي المحلي بدلاً من هدف التصنيف العالمي: وهو الحفاظ على ترتيب الـ logit للـ top-1 النهائي.

المنهجية
يقترح المؤلفون إطار عمل مدرك للقرار (decision-aware) يستبدل ReLU بمتعدد حدود تربيعي مشترك ($q(u) = \alpha u^2 + \beta u + \eta$) دون إعادة تدريب النموذج. تكمن الفكرة الجوهرية في أنه بالنسبة لنموذج MLP ذي طبقة مخفية واحدة مدرب باستخدام ReLU أو رأس MLP على ميزات مجمدة، فإن القرار النهائي يعتمد على ترتيب الـ logits. لذلك، لا يحتاج متعدد الحدود البديل إلى تقريب ReLU نقطيًا؛ بل يحتاج فقط إلى الحفاظ على الترتيب النسبي للنتائج (scores) النهائية على مجموعة معايرة معلنة.

تتم المنهجية عبر مرحلتين:

1. بناء المعاملات في مرحلة ما قبل التشغيل (Offline): بالنظر إلى نموذج مدرب ومجموعة معايرة، يصيغ المؤلفون البحث عن المعاملات $(\alpha, \beta, \eta)$ كمسألة جدوى هندسية.
   • الحالة الثنائية (Binary Case): يتم اختزال المسألة في إيجاد فاصل مستوي فائق (hyperplane) ذي هامش موجب بين غلافين محدبين مرفوعين في فضاء ثنائي الأبعاد محدد بالإحصائيات $Q(x) = \sum a_j y_j(x)^2$ و $H(x) = \sum a_j y_j(x) + b$. إذا كانت الأغلفة المحدبة منفصلة، فمن الممكن إجراء استبدال خالٍ من خسارة المعايرة بدقة. ويتم اشتقاق المعاملات المثلى من أقرب زوج من النقاط بين الأغلفة.
   • حالة تعدد الفئات (Multiclass Case): تصبح الحالة هي تحقق عدم قابلية التناقض الصارم لعدم مساواة هامش الـ logit الأفيني الزوجي.
   • التخفيفات (Relaxations): عندما يفشل الفصل الدقيق (بسبب عينات مصنفة خطأً أو هوامش صغيرة)، يستخدم المؤلفون الأغلفة المحدبة المختزلة (RCH) و تخفيفات الهامش الناعم لـ Lagrangian-dual، وهي تقنيات تحد من تأثير العينات الفردية (عبر معامل $\mu$) أو تُدخل متغيرات إضافية (slack variables)، مما يحول المسألة إلى برامج تربيعية محدبة (QPs) تنتج معاملات قابلة للتحقق تقريبيًا مع توافق تجريبي عالٍ.
2. الاستدلال عبر الإنترنت (Online Inference): يقوم الخادم بتقييم الدائرة الحسابية متعددة الحدود الناتجة على المدخلات المشفرة. يتطلب الاستبدال التربيعي عملية ضرب واحدة فقط بين نص مشفر وآخر لكل عملية تنشيط، مما يقلل بشكل كبير من العمق الضربي مقارنة بالبدائل ذات الدرجات الأعلى.

المساهمات الرئيسية

• الصياغة المدركة للقرار: نقلت الورقة البحثية الهدف من تقليل خطأ التنشيط المحلي إلى تعظيم التوافق مع ترتيب الـ logit لمجموعة المعايرة. يسمح هذا باستخدام متعدد حدود من الدرجة الثانية حتى لو كان تقريبًا ضعيفًا لـ ReLU من الناحية النقطية، طالما أنه يحافظ على قرارات التصنيف النهائية.
• نظرية العينة المحدودة الدقيقة: بالنسبة للمصنفات الثنائية، وضع المؤلفون شروطًا ضرورية وكافية للاستبدال الخالي من خسارة المعايرة بناءً على قابلية الفصل بهامش موجب للأغلفة المحدبة المرفوعة. يوفر هذا خواروارزمية بنائية بتعقيد $O(n \log n)$ لإيجاد المعاملات وشهادة لتحمل التكميم.
• التخفيفات الهندسية: بالنسبة للحالات التي يكون فيها الفصل الدقيق مستحيلاً، تقدم الورقة تقنيات RCH وتخفيفات الهامش الناعم التي توسع النظرية الدقيقة بشكل مستمر. توفر هذه الأساليب بدائل عملية مع تشخيصات صريحة (الهوامش، الـ slacks، معدلات التوافق) بدلاً من الادعاء بالدقة المطلقة حيث لا يمكن إثباتها.
• التنفيذ والتحقق: قام المؤلفون بتنفيذ المسار في مكتبة QUAD4FHE مفتوحة المصدر. وقد تحققوا من نهجهم باستخدام مجموعات بيانات متنوعة (جدولية، رؤية حاسوبية، نصوص) باستخدام كل من الميزات الخام والتمثيلات المجمدة (DINOv2, Qwen3).

النتائج

• الدقة: تحت مخطط CKKS، يطابق الاستبدال التربيعي دقة الـ top-1 للنص الصريح للنموذج الأصلي (ReLU) في عدة اختبارات معيارية (مثل Otto, DINOv2/FGVC-Aircraft, Qwen3/MASSIVE). وفي العديد من مهام تعدد الفئات، يتفوق على أو يضاهي أساليب قوية مثل OLA وPrecise Approximation، رغم استخدامه لمتعدد حدود من درجة أقل.
• الكفاءة: يعمل الاستبدال التربيعي بسرعة 3.7–4.1 ضعفًا في وحدة التنشيط و 1.18–1.68 ضعفًا في نهاية العملية (end-to-end) مقارنة بـ Remez-7 (وهو بديل عالي الدرجة). يتحقق ذلك لأن الدائرة من الدرجة الثانية تقع ضمن عمق ضربي أقل (العمق 4 مقابل العمق 5 لـ Remez-7)، مما يسمح بسلسلة معامل-معامل أكثر كفاءة وتقليل عبء إعادة القياس.
• المتانة: تظل الطريقة فعالة حتى عندما تكون مجموعة المعايرة صغيرة (بنسبة 1-5% فقط من مجموعة البيانات) وتتعامل بفعالية مع مستخرجي الميزات المجمدة.

الأهمية والادعاءات
تدعي الورقة أنه من خلال إعادة صياغة استبدال ReLU كمسألة حفظ قرار بدلاً من مسألة تقريب دالة، يمكن تحقيق استدلال عالي الدقة بالتشفير المتماثل بالكامل بأقل تكلفة حسابية. تكمن الأهمية في إثبات أن متعدد حدود من الدرجة الثانية كافٍ لاستدلال مشفر عالي الدقة عند اختياره عبر إطار عمل هندسي مدرك للقرار، مما يتجنب عقوبات زمن التأخير المرتبطة بمتعددات الحدود ذات الدرجات الأعلى. ويؤكد المؤلفون أن ضماناتهم مرتبطة بمجموعة المعالة المعلنة ولا تقدم ضمانات خالية من التوزيع للمدخلات غير المرئية، لكن النتائج التجريبية تظهر تعميمًا قويًا على مجموعات الاختبار. يوفر هذا العمل مسارًا شفافًا رياضيًا لتحسين المقايضة بين الدقة وزمن التأخير في الاستدلال العصبي الذي يعتمد على التشفير المتماثل بالكامل فقط.