Public-Decay Homomorphic State Space Models for Private Sequence Inference

ملخص تقني: نماذج فضاء الحالة المتجانسة ذات الاضمحلال العلني للاستدلال المتسلسل الخاص

1. صياغة المشكلة

تتناول الورقة البحثية التكلفة الحسابية العالية لإجراء الاستدلال المتسلسل تحت نظام التشفير المتماثل الكامل (FHE). وبينما يتيح التشفير المتماثل الكامل (FHE) الاستدلال الخاص حيث يقوم العميل بتشفير المدخلات ويقوم الخادم بتقييم النماذج على النصوص المشفرة، تواجه نماذج التسلسل القياسية قيوداً شديدة. فالعمليات الروتينية في الشبكات العصبية ذات النصوص الصريحة — مثل التنشيطات غير متعددة الحدود، و"softmax"، وتطبيع الطبقة (layer normalization)، والانتباه واسع السياق (context-wide attention) — تصبح قيوداً هيكلية من الدرجة الأولى تحت نظام FHE بسبب عمق الضرب، وتكاليف التدوير، وتجسيد النص المشفر (ciphertext materialization).

تحدد الورقة تحديداً نقطة الاختناق في الاسترجاع الانتقائي المشفر (encrypted selective recurrence). ففي كتلة استرجاع مشفرة بدائية (مثل GRU أو LSTM مشفر)، تتضمن عملية تحديث الحالة عادةً ضرب بوابة تعتمد على المدخلات ومشفرة في حالة محمولة مشفرة ($h_t = g_A(x_t) \cdot h_{t-1} + \dots$). إن عملية ضرب النص المشفر في نص مشفر هذه تستهلك عمق الضرب عند كل خطوة زمنية، مما يؤدي سريعاً إلى استنفاد ميزانية الضجيج المتاحة ويستلزم عمليات مكلفة لرفع مستوى التشفير (bootstrapping) أو التجديد.

2. المنهجية: نموذج فضاء الحالة المتجانسة ذو الاضمحلال العلني (Public-Decay HSSM)

يقترح المؤلفون نماذج فضاء الحالة المتجانسة ذات الاضمحلال العلني (Public-Decay HSSMs)، وهي كتلة استرجاع/فضاء حالة مصممة لتجنب عملية ضرب النص المشفر في النص المشفر في مسار الحمل الاسترجاعي.

• الآلية الجوهرية: يعتمد التصميم على تثبيت معامل الاضمحلال الاسترجاعي ($a$) ليكون علنياً/نصاً صريحاً (public/plaintext). معادلة تحديث الحالة هي:
  $$h_t = a \cdot h_{t-1} + g(x_t) \cdot u(x_t)$$
  هنا، $h_t$ هي الحالة المشفرة، و$a$ هو ثابت علني، ويمثل $g(x_t)u(x_t)$ مسار الكتابة المحلي.
• تقليل العمق: من خلال جعل حد الحمل ($a \cdot h_{t-1}$) عملية ضرب نص مشفر في نص صريح، تخلص الورقة من نمو عمق الضرب المرتبط بالحمل الاسترجاعي. عملية ضرب النص المشفر في النص المشفر الوحيدة تحدث في مسار الكتابة المحلي ($g \cdot u$)، وهي عملية محدودة ومحلية للخطوة الحالية.
• بنية النظام:
  • جانب العميل: يتولى عملية التجزئة (tokenization)، والبحث في fastText المجمد، والإسقاط العشوائي المعاير بالتدريب، والقص (clipping)، والتشفير، وفك التشفير، وتحديد العتبة (thresholding).
  • جانب الخادم: يستقبل الميزات المسقطة المحدودة المشفرة. يقوم بإجراء الإسقاطات الأفينية العلنية، وتقييم كثيرات حدود البوابة/الكتابة المشفرة منخفضة الدرجة، وإجراء عملية ضرب الكتابة المحلية، وتجميع الحالة باستخدام الاضمحلال العلني.
  • القيود: معاملات النموذج (الأوزان، الاضمحلال، الإسقاطات) علنية. يلاحظ الخادم البيانات الوصفية (طول التسلسل، أشكال العمليات) ولكن ليس البيانات المشفرة أو المفاتيح السرية.

3. المساهمات الرئيسية

تقدم الورقة أربع مساهمات رئيسية:

1. التوصيف الهيكلي: تحديد كتلة HSSM الدنيا ذات ثبات الاضمحلال العلني، مع الفصل الصريح بين معالجة جانب العميل والتقييم المتجانس في جانب الخادم.
2. المقارنة الرمزية: مقارنة HSSM مع استدلال الـ Transformer المشفر والاسترجاع الانتقائي المشفر البدائي. وتوضح أن HSSM يحافظ على حالة مشفرة ثابتة الحجم ويتجنب تراكم عمق الضرب المرتبط بالاسترجاع البدائي.
3. التحقق التجريبي: تسجيل آثار FHE الحقيقية عبر خلفيات OpenFHE (المعالج المركزي) وFIDESlib (CUDA). يتضمن ذلك تتبع المستويات المتطابقة الذي يظهر سلوك ضجيج متسق عبر الخلفيات وقياسات L40S GPU.
4. جودة المهمة مقابل تكلفة النظام: فصل دقة المهمة عن زمن انتقال النظام. تم التحقق من النهج باستخدام سير عمل fastText مُصلح (لتجنب الميزات "الدمية") ومقارنة HSSM بآليات انتباه متعددة الحدود صديقة للـ HE.

4. النتائج التجريبية

يركز التقييم على مجموعات بيانات تحليل المشاعر Rotten Tomatoes وSST-2 باستخدام واجهة ميزات محدودة (512 مقداراً مسقطاً لكل مثال).

• الدقة: يطابق مسار HSSM المشفر تماماً التصنيفات ذات النصوص الصريحة، محققاً دقة 0.7505 في Rotten Tomatoes و0.7420 في SST-2.
• الكمون والكفاءة:
  • مقابل الانتباه متعدد الحدود لكامل التسلسل، يعد HSSM أسرع بنحو 5 أضعاف (على سبيل المثال، ~15 ملي ثانية مقابل ~75 ملي ثانية للتقييم) مع مطابقة أو تجاوز جودة المهمة.
  • مقابل الانتباه متعدد الحدود المعتمد على الرمز النهائي المخزن مؤقتاً، يظهر HSSM زمن انتقال أقل بمقدار 1.34–1.62 ضعفاً في السياقات الطويلة (T=16, 32) ويحافظ على بصمة حالة مشفرة منطقية أصغر.
• استخدام الموارد:
  • الذاكرة: يحتفظ HSSM بنص مشفر واحد للحالة بغض النظر عن طول التسلسل ($T$)، بينما يتطلب الانتباه متعدد الحدود نصوصاً مشفرة بمقدار $O(T)$ أو $O(T^2)$ للمخازن المؤقتة والنتائج المتجسدة. تظهر اختبارات الضغط نجاح HSSM في إكمال تسلسلات حتى $T=36$ على وحدة معالجة رسومات L40S، بينما يفشل الانتباه التربيعي المتجسد عند $T=36$ بسبب أخطاء نفاذ الذاكرة (OOM).
  • العمق: ينجح HHSM المسقط تحت العمق 8 / الحلقة 32768، في حين يتطلب كتلة انتباه Q/K/V المشفرة المماثلة العمق 10 / الحلقة 65536 للنجاح عند نفس أطوال التسلسل.
• الضجيج والمستويات: تؤكد التتبعات المتطابقة على OpenFHE وFIDESlib أن مسار HSSM الموسع ينتهي عند المستوى النهائي 3 مع درجة مقياس ضجيج 2، دون استدعاء عملية رفع مستوى التشفير (bootstrapping) لسير عمل الميزات المحدودة.

5. الأهمية والادعاءات

تزعم الورقة أن HSSM ذو الاضمحلال العلني هو نمط تصميم مشترك عملي لـ FHE للاستدلال المتسلسل من الميزات المسقطة المحدودة من جانب الخادم.

• رافعة التصميم: المساهمة المركزية هي إثبات أن استبدال بوابة حمل مشفرة تعتمد على المدخل بـ اضمحلال علني/صريح هو رافعة قابلة للقياس لتقليل الضغط على مسار الحمل المشفر.
• نطاق الادعاءات: يتسم المؤلفون بالتواضع بشأن النطاق. فهم لا يدعون:
  • التجزئة المتجانسة أو عمليات البحث في التضمين (embedding lookups).
  • خصوصية أوزان النموذج (الأوزان علنية).
  • الـ softmax الدقيقة، أو كتل Transformer كاملة، أو خدمة نماذج لغوية بمقياس الإنتاج.
  • الأمن ضد الخوادم الضارة أو هجمات القنوات الجانبية.
• الخلاصة: تثبت النتائج أنه بالنسبة للاستدلال من الميزات المحدودة، يوفر HSSM ذو الاضمحلال العلني مقايضة ملموسة: فهو يحقق فائدة مهمة غير "دمية" مع حساب حالة مشفرة ثابتة، وزمن انتقال أقل من الانتباه كامل التسلسل، ونمو أقل في الحالة المنطقية، وكل ذلك ضمن ميزانية عمق FHE يمكن إدارتها دون الحاجة لرفع مستوى التشفير (bootstrapping).