🤖 machine learning

Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization

تقدم هذه الورقة نماذج البروتوكول غير القابلة للاستخراج (UPMs)، وهو إطار عمل لامركزي يتيح التدريب والاستدلال التعاوني للشبكات العصبية الكبيرة من خلال تطبيق تحويلات قابلة للعكس ومتغيرة زمنياً بشكل دوري على أجزاء النموذج، مما يمنع استخراج الأوزان مع الحفاظ على عبء أداء ضئيل ويجعل الأجزاء المجمعة غير متسقة.

المؤلفون الأصليون: Alexander Long, Chamin Hewa Koneputugodage, Thalaiyasingam Ajanthan, Yan Zuo, Gil Avraham, Violetta Shevchenko, Hadi Mohaghegh Dolatabadi, Sameera Ramasinghe

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexander Long, Chamin Hewa Koneputugodage, Thalaiyasingam Ajanthan, Yan Zuo, Gil Avraham, Violetta Shevchenko, Hadi Mohaghegh Dolatabadi, Sameera Ramasinghe

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "نماذج البروتوكول غير القابلة للاستخراج" (Unextractable Protocol Models) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: معضلة "الوليمة المشتركة"

تخيل وليمة مجتمعية ضخمة حيث يحضر آلاف الأشخاص مكونات لطهي حساء عملاق ولذيذ (نموذج ذكاء اصطناعي قوي). الجميع يساهم بجزء بسيط من العمل. ومع ذلك، هناك عقبة: إذا استطاع أي شخص أخذ الحساء الجاهز إلى منزله، فيمكنه بيعه بنفسه، ولن يحصل المساهمون الأصليون على أي شيء.

في عالم الذكاء الاصطناعي، تكلف عملية تدريب نموذج ضخم ملايين الدولارات. ولجعل هذا الأمر أقل تكلفة، يريد الناس استخدام نهج "لامركزي" حيث يساهم آلاف المتطوعين بأجهزتهم الحاسوبية. ولكن إذا كانت "وصفة" النموذج النهائي (الأوزان) مرئية بالكامل للجميع، فقد يقوم شخص سيء النية بسرقة الوصفة كاملة، ويغادر الوليمة، ثم يبيع الذكاء الاصطناعي بمفرده. وهذا يقضي على الحافز للمساهمة من الأساس.

الحل: "لغز التحول السحري"

يقترح الباحثون طريقة جديدة لطهي هذا الحساء تسمى نماذج البروتوكول غير القابلة للاستخراج (UPMs).

بدلاً من إعطاء الجميع وصفة ثابتة، يحولون النموذج إلى لغز متحرك.

الإعداد: يتم تقسيم نموذج الذكاء الاصطناعي الضخم إلى شرائح صغيرة كثيرة (مثل طبقات الكعكة). يحمل المتطوعون المختلفون شرائح مختلفة. لا يرى أي شخص بمفرده الكعكة كاملة أبداً.
الخدعة: كل بضع دقائق، يقوم النظام بـ "خدعة سحرية". حيث يطبق تحويلاً عشوائياً وغير مرئي على حواف هذه الشرائح. فكر في الأمر كأنك تقوم بتدوير حواف قطعة من أحجية (بازل).
- في اللحظة ذاتها تماماً: تظل القطع متطابقة وتتلاءم مع بعضها البعض بشكل مثالي. يعمل الذكاء الاصطناعي تماماً كما ينبغي له أن يعمل.
- في لحظة مختلفة: لا تعود القطع متطابقة. إذا حاولت لصق شريحة من "يوم الثلاثاء" بشريحة من "يوم الأربعاء"، فستكون الحواف متعرجة وغير متطابقة. سينهار النموذج.

كيف يمنع هذا اللصوص

تخيل لصاً يحاول سرقة الوصفة.

المحاولة: ينضم اللص إلى الوليمة، وينتظر لفترة، ثم يأخذ بضع شرائح. بعد ذلك، يغادر ويعود لاحقاً بصفته "شخصاً جديداً"، ويأخذ شرائح مختلفة.
الفشل: نظرًا لأن النظام يغير شكل الحواف باستمرار (التحويلات)، فإن شرائح يوم الثلاثاء الخاصة باللص لن تتطابق مع شرائح يوم الأربعاء. سينتهي به الأمر بمجموعة من قطع الأحجية غير المتطابقة التي لا تشكل صورة واحدة.
تكلفة الإصلاح: يمكن للص اللص محاولة استخدام حاسوب خارق لـ "إجبار" القطع على التوافق عبر إعادة تدريبها. لكن الورقة البحثية توضح أن هذا مكلف للغاية. سيكلفه حوالي 60% من الأموال والوقت الذي استغرقه لبناء النموذج من الصفر في المقام الأول. هذا مكلف جداً لدرجة لا تستحق العناء، لذا يستسلم اللص.

التفاصيل "السحرية"

التحويلات: يستخدم النظام "خلطات" رياضية (تحديداً عمليات دوران وتغيير حجم عشوائية) وهي عمليات قابلة للعكس. هذه التحويلات تلغي تأثير بعضها البعض فوراً حتى لا يرتبك الذكاء الاصطناعي، لكنها تشفر البيانات بدقة شديدة بحيث لا يمكنك عكس هندسة الشكل الأصلي بدون المفتاح السري (الذي يتم التخلص منه فوراً).
السرعة: هذه الخدعة السحرية تحدث بسرعة كبيرة. فهي لا تضيف سوى قدر ضئيل جداً من التأخير (حوالي 3%) وتستخدم قدراً ضئيلاً جداً من الذاكرة الإضافية. الأمر يشبه إضافة علامة مائية صغيرة غير مرئية لكل صفحة في كتاب؛ يظل الكتاب قابلاً للقراءة كما هو، لكن لا يمكنك تصوير الصفحات وإعادة تجميعها لاحقاً.
التدريب: حتى أثناء تعلم النموذج، تحدث هذه الخلطات. وجد الباحثون أنه إذا استخدموا نوعاً صحيحاً من الخلط (المصفوفات المتعامدة)، فإن النموذج يتعلم بنفس كفاءة ما لو لم يحدث أي شيء.

الخلاصة

تقدم هذه الورقة البحثية طريقة تسمح لآلاف الأشخاص ببناء ذكاء اصطناعي ضخم معاً دون أن يتمكن أحد من سرقة المنتج النهائي. من خلال تغيير شكل قطع النموذج باستمرار بحيث لا تتطابق إلا "الآن"، يضمن النظام بقاء قيمة الذكاء الاصطناعي محبوسة داخل المجتمع. يمكنك استخدام الذكاء الاصطناعي، لكن لا يمكنك أخذه معك للمنزل وبيعه.

النتيجة الرئيسية: إنها تحول نموذج الذكاء الاصطناعي إلى كائن "حي" يغير شكله باستمرار، مما يجعل من المستح المستحيل سرقة نسخة ثابتة منه، مع إبقاء تكلفة السرقة عالية جداً لدرجة تجعل الجهد المبذول غير مجدٍ.

ملخص تقني: نماذج البروتوكول غير القابلة للاستخراج (UPMs)

1. بيان المشكلة

تتناول الورقة التحديات الاقتصادية والأمنية لـ التدريب اللامركزي للنماذج التأسيسية الضخمة. في حين تسمح الأنظمة اللامركزية بتجميع موارد الحوسبة الموزعة لتدريب نماذج ضخمة، إلا أنها تواجه مشكلة "الاستحواذ" الحرجة: إذا كانت أوزان النموذج الكاملة متاحة للمشاركين، فلن يتمكن المساهمون من استرداد تكاليف التدريب الخاصة بهم لأن النموذج يمكن استخراجه واستخدامه خارج البروتوكول.

تتطلب النهج اللامركزية الحالية (مثل التوازي للبيانات أو التوازي لخط الأنابيب القياسي) غالبًا أن يحمل المشاركون نسخًا كاملة من النموذج أو يسمح بإعادة بناء الأوزان الكاملة بمرور الوقت. يؤدي هذا إلى تجسيد الأوزان (Weight Materialization)، حيث يمكن للمهاجم (أو تحالف من المشاركين) في النهاية الوصول إلى جميع أجزاء الأوزان عبر فترات زمنية مختلفة لإعادة بناء نموذج وظيفي قابل للاستخراج. تجادل الورقة بأنه لكي يكون التدريب اللمركزي مجديًا اقتصاديًا، يجب أن يكون النموذج غير قابل للاستخراج—مما يضمن عدم امتلاك أي مشارك منفرد لمجموعة الأوزان الكاملة أبدًا، وأن الأوزان التي يتم جمعها في أوقات مختلفة لا يمكن دمجها لتشكيل نموذج متماسك.

2. المنهجية: نماذج البروتوكول غير القابلة للاستخراج (UPMs)

يقترح المؤلفون نماذج البروتوكول غير القابلة للاستخراج (UPMs)، وهو إطار عمل يستفيد من توازي خط الأنابيب (Pipeline Parallelism - PP) لفرض عدم قابلية استخراج الأوزان دون الاعتماد على أدوات تشفير ثقيلة.

الآلية الجوهرية: التحويلات العكسية المتغيرة زمنيًا

الابتكار المركزي هو الحقن الدوري لـ تحويلات عشوائية قابلة للعكس عند الحدود بين مراحل خط الأنابيب.

الإعداد: يتم تقسيم النموذج إلى $S$ من مراحل خط الأنابيب المتسلسلة. يمتلك المشاركون ويعالجون مرحلة واحدة فقط في كل مرة.
التحول (Morphing): في خطوات زمنية محددة، يقدم البروتوكول دالة هوية بين المرحلتين المتجاورتين $f_i$ $f_{i}$ و $f_{i+1}$ $f_{i + 1}$ ، والتي يتم تفكيكها إلى تحويل عشوائي $T$ $T$ ومعكوسه $T^{-1}$ $T^{- 1}$ .
- يتم دمج التحويل $T$ في أوزان الخروج للمرحلة $i$ ( $V_i \leftarrow V_i T$ ).
- يتم دمج المعكوس $T^{-1}$ في أوزان الدخول للمرحلة $i+1$ ( $U_{i+1} \leftarrow T^{-1} U_{i+1}$ ).
الطبيعة المؤقتة: يتم التخلص من التحويلات فور دمجها. وهي توجد فقط داخل الأوزان.
عدم التوافق: بينما تظل دالة الشبكة من البداية إلى النهاية متطابقة رياضيًا عند أي نقطة زمنية واحدة $t$ ، فإن الأوزان المجموعة في أوقات مختلفة ( $t$ و $t'$ ) تصبح غير متوافقة. عملية ربط $f_i(t)$ مع $f_{i+1}(t')$ ستفشل لأن مساحة التنشيط الوسيطة قد تم تحويلها بواسطة $T(t)$ بينما تتوقع المرحلة التالية مساحة تم تحويلها بواسطة $T(t')$ . إعادة بناء النموذج تتطلب تخمين "مصفوفة الجسر" لجميع التحويلات الوسيطة، وهو أمر غير ممكن حوسبيًا.

التعامل مع المكونات الهيكلية

تفصل الورقة كيفية تطبيق هذه التحويلات على مكونات الشبكة العصبية المختلفة مع الحفاظ على الوظائف:

الدوال الفرعية الصالحة: تنطبق الطريقة على الدوال الفرعية من الشكل $g(X) = \Phi(XU)V$ . تُطبق التحويلات على $U$ و $V$ .
وصلات التخطي (Skip Connections): في نماذج المحولات (Transformers)، تفرض وصلات التخطي بشكل طبيعي عدم توافق تام. يعتمد التحويل المطبق على وصلة التخطي على كل من تحويلات الحدود الداخلة والخارجة، مما يمنع المهاجم من تقسيم المرحلة إلى مجموعات مستقلة من الأوزان.
طبقات التطبيع (RMSNorm): نظرًا لأن التطبيع غير خطي، فإن عملية الدمج القياسية صعبة. يقترح المؤلفون إدخال مصفوفة تجميع $Q$ في طبقة التطبيع، وامتصاص أوزان القياس (scaling weights) في الطبقة الخطية اللاحقة. يسمح هذا بدمج التحويلات في $Q$ والأوزان الخطية مع الحفاظ على خاصية RMSNorm بسبب تعامد $Q$ الأولي.
فئات التحويل: لضمان الاستقرار العددي ومقاومة هجمات القوة الغاشمة، يستخدم المؤلفون:
- مصفوفات هير المدارية (Haar Orthogonal Matrices): قيم مفردة موحدة، حد أدنى من الخطأ العددي، وعشوائية منتظمة.
- المصفوفات ذات رقم الحالة المنخفض (Low-Condition Number Matrices): مصفوفات من النوع $UDV^T$ ذات قيم مفردة محكومة لإدخال اضطرابات عالية التردد مع الحد من خطأ الفاصلة العائمة.

تعديلات التدريب والاستدلال

التدريب: يتطلب إطار العمل معالجة خاصة للتدرجات. إذا تحولت الأوزان كـ $W(T) = WT$ ، فإن التدرجات تتحول كـ $G(T) = GT^{-T}$ . يستخدم المؤلفون محسن Muon، الذي يعتمد فقط على العزم الأول للتدرجات، مما يسمح لخطوات التحديث بأن تظل متسقة مع النموذج غير المحول عند استخدام التحويلات المدارية.
الاستدلال: للتخفيف من تراكم خطأ الفاصلة العائمة الناتج عن تكرار دمج التحويلات، يقوم النظام بتخزين أوزان عالية الدقة (FP64) على القرص. عند كل خطوة تحول، يتم تطبيق التحويلات على النسخة عالية الدقة، ثم تحويلها إلى دقة منخفضة (مثل FP16/BF16)، وتحميلها في ذاكرة VRAM الخاصة بالـ GPU.

3. المساهمات الرئيسية

تقديم الإطار العملي: اقتراح نماذج UPMs، وهو إطار عمل للتدريب والاستدلال يتيح تقديم النماذج بشكل تعاوني دون السماح لأي مشارك باستخراج مجموعة الأوزان الكاملة.
التحليل النظري: تحليل شامل للأنواع المعمارية (Transformers, MLPs, RNNs) التي تدعم UPMs، ومتطلبات التحويلات (العشوائية، القابلية للعكس، رقم الحالة)، والبرهان الرياضي على كيفية جعل هذه التحويلات عمليات التجميع عبر الأوقات غير متماسكة.
مقاومة الهجمات:
- الاستخراج المباشر: ثبت أن احتمال وصول المهاجم إلى جميع المراحل ضمن نافذة زمنية قصيرة ضئيل جدًا، خاصة مع وجود "عدم التوافق التام" (وصلات التخطي).
- هجمات الربط (Stitching Attacks): أظهرت أن حل مصفوفات الجسر عبر التنشيطات الوسيطة أمر غير عملي بسبب اشتراط مدخلات متطابقة عبر الأوقر، وهو ما يمكن الدفاع عنه بسهولة عبر فحوصات التوزيع.
- الهجمات القائمة على التعلم: أثبتت تجريبيًا أن ضبط (fine-tuning) نموذج "مربوط" (أوزان من أوقات مختلفة) يتطلب $\ge 60\%$ من موارد الحوسبة اللازمة لتدريب النموذج من الصفر، مما يحافظ على الجدوى الاقتصادية للبروتوكول.
التحقق التجريبي: إجراء تجارب مكثفة على نماذج Qwen-2.5-0.5B و Llama-3.2-1B.

4. النتائج

التكافؤ الوظيفي: في نماذج Qwen-2.5-0.5B و Llama-3.2-1B، أدى تطبيق 10,000 خطوة تحول باستخدام تحويلات مدارية إلى تدهور ضئيل في الأداء ( $\Delta PPL < 0.01$ ; انجراف Jensen–Shannon $< 4 \times 10^{-5}$ ) في FP32. ومع استخدام الحل البديل عالي الدقة، تم الحفاظ على الاستقرار عبر FP16 و BF16.
العبء الإضافي (Overhead):
- الاستدلال: إضافة تحويل كل 30 ثانية تضيف حوالي 3% من زمن التأخير (latency)، و 0.1% من عرض النطاق الترددي (bandwidth)، و 10% من ذاكرة GPU.
- التدريب: العبء الإضافي ضئيل، حيث يضيف 1.6% من الوقت و أقل من 1% من الذاكرة، حيث تهيمن عملية التمرير الخلفي (backward pass) على التكاليف.
جدوى الهجوم:
- الربط (Stitching): تطلب ضبط نموذج Llama 3.2-1B مربوط بنحو 60% من الرموز (tokens) المطلوبة لتدريبه من الصفر للوصول إلى نفس مستوى الـ perplexity.
- نسبة الاستبعاد (Excludability Ratio): حتى مع الوصول إلى جميع الأوزان غير المتوافقة، تظل نسبة الاستبعاد (الحوسبة المطلوبة للهجوم مقابل التدريب من الصفر) مرتفعة ( $\ge 0.6$ )، مما يجعل الهجوم غير مجدٍ اقتصاديًا لمعظم التحالفات.

5. الأهمية والادعاءات

تدعي الورقة أن UPMs تحل التناقض بين التدريب التعاوني و سرية الأوزان. من خلال ربط قيمة النموذج بالبروتوكول بدلاً من الأوزان الثابتة، تجعل UPMs من العملي دمج آليات الحوافز البرمجية في التدريب اللامركزي المدفوع بالمجتمع.

الجدوى الاقتصادية: يضمن إطار العمل الحفاظ على "قابلية الاستبعاد" للنموذج، مما يسمح بتعويض المساهمين عن حوسبتهم دون خطر سرقة النموذج واستخدامه بحرية.
التوافق مع المصادر المفتوحة: تسمح UPMs لبقاء معماريات النماذج، والمعلمات الفائقة (hyperparameters)، والبيانات مفتوحة المصدر، مع إبقاء الأوزات غير قابلة للاستخراج.
اللامركزية القائمة على عدم الثقة (Trustless Decentralization): ينقل النظام العمل نحو تدريب لامركزي غير قابل للاستخراج وغير قائم على الثقة، مما يضع UPMs كركيزة تقنية للذكاء الاصطناعي المفتوح واللامركزي.

يقر المؤلفون بالقيود، مشيرين إلى أن الأمن يعتمد على أغلبية نزيهة من المشاركين، وأن التقييمات الحالية محدودة بمحاكاة أحادية الجهاز، مستبعدة هجمات القنوات الجانبية الواقعية (التوقيت، الذاكرة المخبئية). كما يشيرون إلى أن عدم القدرة على فحص الأوزان قد يعيق تقييمات السلامة، مما يستوجب وجود مراقبة من أصحاب المصلحة المتنوعين للتخفيف من ذلك.