ملخص تقني: CGF-Softmax

بيان المشكلة

تتيح التشفير المتماثل (HE) تعلم الآلة الحفاظ على الخصوصية من خلال السماح بإجراء العمليات الحسابية على البيانات المشفرة دون الحاجة لفك تشفيرها. ومع ذلك، يظل تنفيذ العمليات غير متعددة الحدود، ولا سيما دالة softmax المركزية في بنيات الـ Transformer، عائقًا كبيرًا في بيئات التشفير المتماثل غير التفاعلية الصارمة.

إن الصيغة القياسية لـ softmax، وهي $\text{softmax}(x)_i = \frac{\exp(x_i)}{\sum_j \exp(x_j)}$، تفرض ثلاثة تحديات رئيسية في التشفير المتماثل:

1. عدم الاستقرار العددي: تتسبب الدالة الأسية في نمو سريع يؤدي إلى تجاوز السعة (overflow). وتعمل عملية طرح القيمة القصوى ($x_{\max}$) في الاستدلال النصي العادي على تخفيف هذا الأمر، لكن عملية إيجاد القيمة القصوى تتطلب منطق مقارنة معقدًا لا يتوافق مع التشفير المتماثل ويستلزم تقريبات متعددة الحدود مكلفة.
2. عمليات القسمة: تتطلب خطوة التطبيع (normalization) عملية القسمة، وهي عملية لا تدعمها مخططات التشفير المتماثل بشكل أصيل. وتعتمد الأعمال السابقة على التقريبات متعددة الحدود التكرارية (مثل خوارزمية Goldschmidt أو كثيرات حدود Chebyshev) للدوال المقلوبة، مما يزيد بشكل كبير من العمق الضربي (multiplicative depth).
3. التكلفة الحسابية: تستهلك التقريبات متعددة الحدود عالية الدرجة المطلوبة لكل من الدوال الأسية ودوال القسمة ميزانية المستويات المحدودة لمخططات التشفير المتماثل المستويات (مثل CKCK)، مما يستلزم غالبًا عمليات bootstrapping مكلفة لتجديد التشفيرات.

تنقسم النهج الحالية إلى فئتين: تقريب softmax (دقة عالية ولكن عمق عالٍ بسبب القسمة والحد الأقصى) واستبدال softmax (عمق منخفض ولكن مع تدهور كبير في الدقة، خاصة في النماذج واسعة النطاق والاختبارات المعقدة).

المنهجية: CGF-Softmax

يقترح المؤلفون CGF-Softmax، وهو إعادة صياغة لدالة softmax تلغي كلاً من القسمة المتماثلة وعمليات طرح الحد الأقصى الصريحة. يكمن الابتكار الجوهري في تفسير مقام softmax من خلال دالة مولد العزوم التراكمية (CGF).

إعادة الصياغة النظرية

بالنظر إلى متجه مدخلات $x$، يفسر المؤلفون المقام $\sum \exp(x_i)$ كمتوسط عينة مدرج لـ de terms الأسية. ومن خلال استبدال متوسط العينة بالمتوسط الجماعي (الانتظار)، يتم استبدال المقام بـ $n M_X(1)$، حيث $M_X(t)$ هي دالة مولد العزوم (MGF).

باستخدام CGF، المعرفة بـ $K_X(t) = \ln M_X(t)$، يتم التعبير عن softmax المعاد صياغتها كالتالي:
$$\text{softmax}_{\text{CGF}}(x)_i = \exp(x_i - K_X(1) - \ln n)$$

تقدم هذه الصيغة ثلاث مزايا حاسمة:

1. إلغاء عملية الحد الأقصى: بدلاً من طرح القيمة القصوى، يتم إزاحة المدخلات بمقدار $K_X(1) + \ln n$. وبما أن $K_X(1)$ يمكن تقريبه باستخدام عزوم منخفضة الرتبة (المتوسط $\mu$ والتباين $\sigma^2$)، فإن هذه الإزاحة تكون متكيفة مع البيانات ويمكن حسابها عبر عمليات التشفير المتماثل الأساسية (الجمع والضرب) دون الحاجة للمقارنات.
2. إلغاء القسمة: يتم استيعاب حد التطبيع داخل الدالة الأسية. والنتيجة هي دالة أسية واحدة، مما يلغي الحاجة تمامًا للقسمة المتماثلة.
3. تدرج النطاق: تدعم الطريقة تدرج النطاق بشكل طبيعي. فمن خلال تغيير مقياس الأس بمقدار $1/2^k$، يتم تقييم الدالة الأسية عبر فاصل زمني أصغر، ويتم استعادة المقياس الأصلي عن طريق التربيع $k$ من المرات. وهذا يتجنب عملية "التطبيع والتربيع" التكرارية المطلوبة لـ softmax القياسية، والتي تتضمن عمليات قسمة متكررة.

التجسيد العملي

لأجل التقييم العملي في التشفير المتماثل، يتبنى المؤلفون تقريب العزم من الدرجة الثانية:
$$K_X(1) \approx \mu + \frac{\sigma^2}{2}$$
يتم إهمال الحدود ذات الرتب الأعلى ($\kappa_j/j!$ لـ $j \ge 3$). ويجادل المؤلفون بأن المقام العاملي يقمع هذه الحدود بطبيعته، كما أن الضبط الدقيق التجريبي يقلل بشكل أكبر من حجم العزوم ذات الرتب الأعلى، مما يجعل التقريب دقيقًا بما يكفي للاستدلال.

المساهمات الرئيسية

1. صيغة CGF-Softmax: إعادة صياغة مبتكرة تلغي الحاجة إلى القسمة المتماثلة وطرح الحد الأقصى، مما يقلل بشكل كبير من العمق الضربي.
2. التحليل النظري: تثبت الورقة الخصائص الرئيسية لـ CGF-softmax، بما في ذلك:
   • الإيجابية: مخرجات موجبة تمامًا.
   • الحفاظ على الترتيب والنسب الزوجية: تحافظ على الترتيب النسبي للـ logits ونسب المخرات الزوجية الدقيقة ($\exp(x_i - x_j)$) لـ softmax القياسية.
   • الثبات تجاه الإزاحة: مثل softmax القياسية، فهي ثابتة تجاه الإزاحات الثابتة.
   • حد الخطأ التقاربي: باستخدام مبرهنة Berry–Esseen، يثبت المؤلفون أن الخطأ النسبي يتقارب إلى الصفر باحتمالية مع زيادة بُعد المدخلات $n$.
3. التحقق التجريبي: تقييم واسع النطاق على نماذج Vision Transformers (ViT/DeiT) ونماذج اللغات الكبيرة (LLaMA-3.2-1B) يظهر دقة عالية مع تكلفة حسابية منخفضة.

النتائج التجريبية

قيم المؤلفون CGF-softmax على ImageNet-1k (Vision Transformers) وعدة اختبارات لمهام معالجة اللغات الطبيعية (Clinc150, Banking77, SST-2) باستخدام نموذج LLaMA-3.2-1B.

• العمق الضربي: يحقق CGF-softmax عمقًا ضربيًا يتراوح بين 7–10 للنماذج واسعة النطاق (مثل LLaMA-3.2-1B، ViT-Base). وفي المقابل، تتطلب طرق التقريب السابقة (مثل Cho et al. و EncryptedLLM) أعماقًا تتراوح بين 14–52 للنماذج أو المهام الأصغر.
• وقت التشغيل: في مصفوفة مدخلات 256×256، قلل CGF-softmax إجمالي زمن التأخير من 107.65 ثانية (Cho et al.) إلى 3.25 ثانية، ويرجع ذلك أساسًا إلى إلغاء عملية الـ bootstrapping وتقليل عمليات ضرب التشفير (CMult).
• الدقة:
  • يحافظ CGF-softmax على دقة الاستدلال ضمن نطاق أقل من 1% من خط الأساس لـ softmax النصي الدقيق عبر جميع الاختبارات.
  • يتفوق بشكل كبير على طرق استبدال softmax (مثل BPMax)، التي تعاني من انخفاض كبير في الدقة في المهام المعقدة.
  • يحقق دقة تقارب دقة النص الصريح بينما يتطلب 4–6 أضعاف أقل من العمق مقارنة بنماذج التقريب عالية الدقة.
• سلوك الضجيج: من خلال إلغاء القسمة، يقلل CGF-softmax من تراكم الضجيج. عند العمق 7، يحقق إجمالي ضجيج قدره $3.05 \times 10^{-10}$، وهو أقل من صيغ softmax القياسية حتى عند أعماق أكبر.

الأهمية والادعاءات

تدعي الورقة أن CGF-softmax يوفر حلاً قابلاً للتوسع وفعالاً للاستدلال الآمن في نماذج Transformer. فمن خلال التوفيق بين الدقة العالية والعمق الضربي المنخفض بشكل كبير، يعالج البحث العائق الرئيسي في مجال تعلم الآلة المحافظ على الخصوصية (PPML) القائم على التشفير المتماثل.

يؤكد المؤلفون أنه بينما قد تكفي طرق استبدال softmax للنماذج الصغيرة في المهام البسيطة، فإن CGF-softmax ضروري للبنيات واسعة النطاق والاختبارات المعقدة حيث تفشل البدائل الحالية في الحفاظ على الدقة. تمكن هذه الطريقة من إجراء استدلال كامل خارجي وغير تفاعلي على النماذج الكبيرة (مثل LLaMA-3.2-1B) بتكاليف حسابية لم تكن ممكنة سابقًا للاستدلال عالي الدقة باستخدام التشفير المتماثل.

تشير الورقة بتواضع إلى أنه بالنسبة للنماذج الأصغر نسبيًا (مثل BERT) في المهام البسيطة، قد تظل طرق الاستبدال منخفضة العمق كافية، ولكن CGF-softmax يوفر مقايضة متفوقة في السيناريوهات الأكثر تطلبًا.