🤖 machine learning

Power-Softmax: Towards Secure LLM Inference over Encrypted Data

تقدم هذه الورقة البحثية "Power-Softmax"، وهي نسخة مبتكرة من آلية الانتباه الذاتي (self-attention) متوافقة مع التشف𝙩 المتماثل (HE)، تتيح تدريب أول نماذج لغوية كبيرة (LLMs) ذات بنية متعددة الحدود بمليار معلمة، والتي تكون قادرة على إجراء استدلال آمن على البيانات المشفرة مع الحفاظ على قدرات الاستنتاج والتعلم في السياق المماثلة لنماذج المحولات (transformers) القياسية.

المؤلفون الأصليون: Itamar Zimerman, Allon Adir, Ehud Aharoni, Matan Avitan, Moran Baruch, Nir Drucker, Jenny Lerner, Ramy Masalha, Reut Meiri, Omri Soceanu

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Itamar Zimerman, Allon Adir, Ehud Aharoni, Matan Avitan, Moran Baruch, Nir Drucker, Jenny Lerner, Ramy Masalha, Reut Meiri, Omri Soceanu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد أن تسأل روبوتاً فائق الذكاء (نموذج لغوي كبير، أو LLM) سؤالاً، ولكنك تريد أن تبقي سؤالك سراً. لا تريد لمالك الروبوت أن يرى ما سألت، ولا تريد للروبوت نفسه أن يعرف سرك.

للقيام بذلك، تستخدم نوعاً خاصاً من "القفل السحري" يسمى التشفير المتماثل (Homomorphic Encryption - HE). هذا القفل يسمح لك بإرسال سؤالك بتنسيق مشفر وغير قابل للقراءة. يمكن للروبوت إجراء عمليات رياضية على السؤال المشفر وإعطائك إجابة مشفرة، والتي يمكنك أنت فك تشفيرها لاحقاً. الروبوت لا يرى السؤال الحقيقي أبداً.

المشكلة: "دماغ" الروبوت لا يتناسب مع القفل
المشكلة هي أن هذه الروبوتات الحديثة مبنية بمحرك رياضي محدد يسمى المحول (Transformer). هذا المحرك يستخدم أداة شائعة جداً تسمى Softmax ليقرر أي الكلمات هي الأكثر أهمية.

فكر في Softmax كأنه طاهٍ يتذوق الحساء ويقرر كمية الملح التي سيضيفها بناءً على وصفة معقدة تعتمد على الأرقام الأسية. هو بارع جداً في الطبخ، لكن "القفل السحري" (HE) لا يفهم إلا الرياضيات البسيطة ذات الخطوط المستقيمة (كثيرات الحدود). هو لا يستطيع التعامل مع وصفة الطاهي المعقدة والأسية. إذا حاولت إجبار الروبوت على استخدام دماغه الطبيعي وهو مقفل، ستتعطل الرياضيات أو يصبح الروبوت مشوشاً وغير مستقر.

المحاولات السابقة لإصلاح ذلك كانت أشبه بمحاولة وضع وتد مربع في ثقب مستدير:

نهج "القوة الغاشمة" (Brute Force): محاولة تقريب الوصفة المعقدة باستخدام كثير حدود ضخم وفوضوي. هذا ينجح ولكنه بطيء جداً وثقيل للغاية.
نهج "ما قبل التدريب" (Pre-Training): تغيير دماغ الروبوت قبل أن يتعلم، عبر استبدال الوصفة المعقدة بأخرى أبسط. لكن هذا غالباً ما يجعل الروبوت أقل ذكاءً أو يجعله يعاني كلما زاد حجمه.

الحل: PowerSoftmax
ابتكر المؤلفون أداة جديدة تسمى PowerSoftmax.

تخيل بدلاً من أن يستخدم الطاهي وصفة أسية معقدة، يستخدم وصفة قوة بسيطة (مثل تربيع الأرقام).

التشبيه: إذا كان Softmax هو طاهٍ يضرب المكونات في رقم سحري متزايد، فإن PowerSoftmax هو طاهٍ يكتفي بضرب الأرقام في نفسها (مثلاً $2 \times 2$ ، $3 \times 3$ ).
لماذا ينجح: هذه "وصفة القوة" تتصرف تماماً مثل الوصفة الأصلية المعقدة، لكنها تتناسب تماماً داخل "القفل السحري". فهي بسيطة بما يكفي ليتعامل معها القفل، وذكية بما يكفي لتجعل الروبوت يفكر بوضوح.

التحديات التي حلوها
لم يكن مجرد استبدال الوصفة كافياً؛ بل كان عليهم إصلاح ثلاثة مشكلات محددة لجعل ذلك يعمل مع روبوت ضخم:

مشكلة "الصفر": أحياناً، قد تؤدي الرياضيات في الوصفة الجديدة إلى القسمة على صفر، مما يؤدي إلى انهيار النظام.
- الحل: أضافوا عازلاً صغيراً آمناً (مثل شبكة أمان) بحيث لا تصل الرياضيات أبداً إلى الصفر، مما يجعل الحساب مستقراً وسهل التقريب.
مشكلة "الفيضان" (Overflow): إذا أصبحت الأرقام كبيرة جداً أو صغيرة جداً، ينفجر دماغ الروبوت (أو يتجمد).
- الحل: ابتكروا "نسخة مستقرة" (Stable Variant) تقوم بتقليص الأرقام إلى حجم آمن يمكن التحكم فيه قبل إجراء الرياضيات، تماماً كما قد يتذوق الطاهي ملعقة من الحساء قبل إضافتها إلى القدر بأكمله.
مشكلة "الجمل الطويلة": الطريقة الأصلية كانت تصبح أبطأ وأبطأ كلما طالت الجملة.
- الحل: ابتكروا طريقة "مستقلة عن الطول" (Length-Agnostic). بدلاً من عد كل كلمة في قصة طويلة لإجراء الرياضيات، يقومون فقط بالنظر إلى متوسط الكلمات. هذا يعني أن الروبوت يظل سريعاً سواء سألت سؤالاً قصيراً أو كتبت رواية كاملة.

النتائج: روبوت ضخم وآمن
باستخدام هذه الحيل، بنى الفريق أول روبوت آمن يحتوي على أكثر من مليار معلمة (Parameter) (وهو مقياس لمدى "ضخامة" وذكاء الروبوت).

الحجم: هو أكبر بـ 10 مرات من أي روبوت آمن سابق.
الذكاء: لا يزال بإمكانه فهم السياق، والتفكير في المشكلات، والتعلم من الأمثلة (مهارة تسمى "التعلم داخل السياق" أو In-Context Learning) تماماً مثل الروبوتات القياسية غير المقفلة.
السرعة: لأن رياضياتهم الجديدة فعالة للغاية، فهي تعمل بشكل أسرع بكثير على البيانات المشفرة مقارنة بالطرق السابقة.

باختصار
تقدم الورقة البحثية طريقة جديدة لبناء ذكاء اصطناعي يحترم الخصوصية. لقد استبدلوا آلية "الانتباه" المعقدة للذكاء الاصطناعي بنسخة "قائمة على القوة" أبسط تتناسب مع داخل قفل التشفير. يتيح هذا بناء نماذج ذكاء اصطناعي ضخمة بمليارات المعلمات يمكنها التفكير والاستنتاج بشكل آمن، دون الكشف أبداً عن بيانات المستخدم أو أسرار النموذج. لم يصنعوا مجرد لعبة صغيرة؛ بل بنوا دماغاً ضخماً وآمناً يعمل بالفعل.

ملخص تقني: PowerSoftmax: نحو استدلال آمن للنماذج اللغوية الكبيرة (LLMs) عبر البيانات المشفرة

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) الحديثة التي تحافظ على الخصوصية غالبًا على التشفير المتماثل (Homomorphic Encryption - HE)، وتحديدًا مخطط CKKS، الذي يسمح بإجراء العمليات على البيانات المشفرة دون الحاجة لفك تشفيرها. ومع ذلك، يدعم CKKS فقط العمليات متعددة الحدود (Polynomial operations). تعتمد بنيات المحولات (Transformer) القياسية بشكل كبير على مكونات غير متعددة الحدود، وأبرزها دالة Softmax في آلية الانتباه الذاتي (Self-attention)، والتي تتضمن عمليات أسية، وقسمة، وعمليات لوغاريتمية (مثل حيلة log-sum-exp من أجل الاستقرار العددي).

تواجه النهج الحالية لسد هذه الفجوة قيودًا كبيرة:

التقريب ما بعد التدريب (PTA): تقريب الدوال غير متعددة الحدود مباشرة في النماذج المدربة مسبقًا باستخدام كثيرات حدود عالية الدرجة. غالبًا ما يؤدي هذا إلى عدم كفاءة الاستدلال بسبب العمق الضربي العالي وتراكم الضجيج.
التدريب المدرك للتقريب (AAT): استبدال العناصر الأولية غير متعددة الحدود ببدائل أسهل في التقريب (مثل الانتباه النقطي أو scaled ReLU) قبل التدريب. ورغم فعالية هذه الطرق في النماذج الصغيرة، إلا أنها واجهت صعوبات في الاستقرار والقابلية للتوسع، وفشلت في دعم النماذج اللغوية الكبيرة ذات المليارات من المعلمات أو البنيات العميقة (مثل 32 طبقة).

التحدي الجوهري يكمن في تصميم بنية محول (Transformer) متوافقة جوهريًا مع قيود التشفير المتماثل (درجات منخفضة من كثيرات الحدود، ونطاقات عددية مستقرة) مع الحفاظ على القدرة التعبيرية، وقدرات الاستنتاج، والتعلم في السياق (ICL) لنماذج Softmax القياسية عند مقياس المليارات من المعلمات.

المنهجية

يقترح المؤلفون PowerSoftmax، وهو متغير جديد من الانتباه الذاتي صديق للتشفير المتماثل، مصمم لمحاكاة المبادئ الأساسية لـ Softmax مع البقاء قابلاً للتقريب متعدد الحدود. تتضمن المنهجية ثلاث مراحل متميزة:

1. تصميم انتباه صديق للتشفير المتماثل (HE-Friendly)

قام المؤلفون باستخلاص الخصائص الجوهرية لـ Softmax: التطبيع (Normalization) إلى النطاق $[0, 1]$ ، وتضخيم فروق الدرجات، والحفاظ على الترتيب. قاموا باستبدال الدالة الأسية $\exp(x)$ في Softmax بدالة القوة $x^p$ (حيث $p$ عدد زوجي موجب).
تُعرف آلية الانتباه المقترحة كما يلي:
$\text{PowerSoftmax}(x)_j = \frac{x_j^p}{\sum_i x_i^p}$
هذه الصيغة تتجنب المشاكل المتعلقة بالدوال الأسية ومشكلات القسمة على صفر المتأصلة في التقريب المباشر لـ Softmax.

2. استقرار التدريب والمتانة العددية

لمعالجة عدم الاستقرار في التدريب الناتج عن دالة القوة (حيث تنفجر المدخلات $>1$ وتتلاشى المدخلات $<1$ )، قدم المؤلفون تعديلين رئيسيين:

النسخة المستقرة (Stable Variant): مستوحاة من حيلة log-sum-exp، يقومون بتطبيع المدخلات بواسطة ثابت $c = \|x\|_\infty + \delta$ قبل تطبيق دالة القوة. يضمن هذا بقاء المدخلات ضمن نطاق يمكن التحكم فيه $(0, 1)$ ، مما يمنع تجاوز السعة (overflow) أو التلاشي (underflow) ويحافظ على دقة الفاصلة العائمة.
القسمة المحدودة بـ $\epsilon$ ( $\epsilon$ -Bounded Division): للتعامل مع عملية القسمة، وهي عملية غير متعددة الحدود وحساسة بالقرب من الصفر، قاموا بتعديل المقام ليصبح $\epsilon + \sum x_i^p$ . هذا يخلق دالة مستمرة بـ $1/\epsilon^2$ -Lipschitz، مما يجعل التقريب متعدد الحدود اللاحلي للقسمة أكثر سهولة وتيسيرًا، ويقلل من عمق الضرب المطلوب.

3. التقريب المستقل عن الطول (Length-Agnostic)

تعاني طريقة تقريب القسمة القياسية (مثل خوارزمية Goldschmidt) مع المجموع غير المحدود لدرجات الانتباه، والذي يتناسب خطيًا مع طول التسلسل $L$ . يقترح المؤلفون PowerSoftmax المستقل عن الطول:
$\text{Length-Agnostic}(x)_j = \frac{x_j^p}{L \cdot \text{Mean}(x^p)}$
بما أن $L$ (طول التسلسل) معلوم للجميع، يمكن حساب المصطلح $1/L$ مباشرة دون تقريب. يقوم النموذج بتقريب قسمة المتوسط بدلاً من المجموع، مما يضمن بقاء نطاق التقريب محدودًا بغض النظر عن طول التسلسل.

4. مسار البناء (الخوارزمية 1)

المسار الكامل لإنشاء نموذج لغوي كبير متعدد الحدود يتكون من:

تعديل البنية: استبدال Softmax بمتغير Stable PowerSoftmax والتدريب من البداية (أو عبر التدريب المسبق المستمر) مع أهداف تقليل النطاق.
تقليل النطاق (Range Minimization): تطبيق دالة خسارة متخصصة لتقييد نطاقات المدخلات للطبقات غير متعددة الحدود (PowerSoftmax, GELU, LayerNorm) لضمان دقة تقريبات كثيرات الحدود منخفضة الدرجة.
الاستبدال متعدد الحدود: بعد التدريب، يتم استبدال العمليات المتبقية غير متعددة الحدود (القسمة، الجذر التربيعي العكسي) بتقريبات منخفضة الدرجة لكثيرات الحدود (مثل طريقة Goldschmidt) لإنتاج نموذج متعدد الحدود بالكامل.

المساهمات الرئيسية

آلية PowerSoftmax: متغير جديد للانتباه الذاتي يستبدل القياس الأسي بالقياس متعدد الحدود، المصمم خصيصًا لبيئات التشفير المتماثل مع الحفاظ على المبادئ التصميمية الأساسية للانتباه.
النماذج اللغوية الكبيرة متعددة الحدود القابلة للتوسع: تطوير أول نماذج لغوية كبيرة متعددة الحدود تتجاوز مليار معلمة (تحديدًا 1.4 مليار معلمة مع 32 طبقة). تُظهر هذه النماذج قدرات الاستنتاج والتعلم في السياق (ICL) مقارنة بنماذج Transformer القياسية من نفس الحجم.
استراتيجيات التدريب والاستدلال المستقرة: تقديم متغيرات تدريب مستقلة عددياً واستراتيجيات استدلال مستقلة عن الطول تتغلب على مشكلات عدم الاستقرار والقابلية للتوسع في نهج المحولات متعددة الحدود السابقة.
التقييم الشامل: تحليل تفصيلي لزمن انتقال العمليات الحسابية المشفرة ودراسات الاستبعاد (ablation studies) التي تثبت صحة خيارات التصميم، بما في ذلك تأثير معامل القوة $p$ والقسمة المحدودة بـ $\epsilon$ .

النتائج التجريبية

قيم المؤلفون طريقتهم على بنيات سببية (GPT/Pythia) وثنائية الاتجاه (RoBERTa):

الأداء: حقق النموذج متعدد الحدود (1.4B معلمة) أداءً مشابهًا لنماذج Pythia الأصلية القائمة على Softmax في اختبارات zero-shot وfew-shot (مثل Lambada, PIQA, WinoGrande, ARC). ومن الملاحظ أن النموذج أظهر أداءً تنافسيًا في اختبارات الاستنتاج مثل ARC-Challenge، وهي قدرة لم تُلاحظ سابقًا في النماذج متعددة الحدود.
النماذج ثنائية الاتجاه: أظهر متغير RoBERTa-Base متعدد الحدود تراجعًا بنسبة ~1% فقط مقارنة بـ RoBERTa الأصسي القائم على Softmax في مهام GLUE (مثل SST-2, QNLI, MNLI)، متفوقًا على النهج متعدد الحدود السابق مثل Nexus.
الاستدلال عبر HE: أكدت التجارب على نموذج Pythia 70M باستخدام إطار عمل HElayers أن الاستدلال المشفر يعطي نتائج مطابقة تقريبًا للاستدلال في النص الصريح (أقصى خطأ MSE هو 0.005).
الكفاءة: تقلل الطريقة المقترحة بشكل كبير من العمق الضربي مقارنة بالبدائل الحديثة (Nexus, Cho et al.). بالنسبة لتسلسل مكون من 128 رمزًا (token)، قلل PowerSoftmax زمن الانتقال بمقدار ~9.7 ضعفًا مقارنة بنهج Taylor/Goldschmidt وحوالي ~20 ضعفًا مقارنة باستراتيجيات المربع (square-strategy).

الأهمية والادعاءات

يدعي البحث تحقيق اختراق في مجال التعلم الآلي الحافظ للخصوصية من خلال إثبات أن النماذج اللغوية الكبيرة متعددة الحدود بالكامل يمكن أن تتوسع إلى نطاق المليارات من المعلمات دون التضحية بالاستنتاج أو التعلم في السياق.

القابلية للتوسع: على عكس الأعمال السابقة المقتصرة على النماذج الصغيرة أو مهام التصنيف البسيطة، نجح هذا النهج في تدريب نماذج محولات عميقة (32 طبقة) بـ 1.4 مليار معلمة.
الأمن غير التفاعلي: من خلال استخدام التشفير المتماثل الكامل (FHE) مع نموذج متعدد الحدود بالكامل، يتيح الحل استدلالًا غير تفاعلي، مما يتجنب عبء الاتصالات والمخاطر الأمنية المرتبطة بالحوسبة متعددة الأطراف (MPC) أو البروتوكولات التفاعلية.
الواقعية: يشير تحليل زمن الانتقال التفصيلي والنجاح في نشر نموذج بـ 1.4 مليار معلمة إلى أن الاستدلال الآمن والخاص للنماذج اللغوية الكبيرة أصبح ممكنًا من الناحية العملية، مما يمهد الطريق لتطبيقات في القطاعات الحساسة للبيانات مثل الرعاية الصحية والتمويل.

يقر المؤلفون أنه بينما تؤدي النماذج أداءً جيدًا، فإن التقييم الكامل لقدرات التوليد التلقائي (auto-regressive) في فك التشفير المتسلسل عبر البيانات المشفرة يظل اتجاهًا للعمل المستقبلي.