AEGIS: Scaling Long-Sequence Homomorphic Encrypted Transformer Inference via Hybrid Parallelism on Multi-GPU Systems
يُعد AEGIS نظام توازي هجين يعمل على توسيع نطاق استنتاج نماذج المحولات (Transformer) ذات التسلسلات الطويلة المعتمدة على التشفير المتماثل كلياً (FHE) عبر منصات متعددة من وحدات معالجة الرسومات، وذلك من خلال التحسين المشترك لتوزيع الأجهزة بناءً على تبعات التشفير وإعادة ترتيب العمليات متعددة الحدود لتقليل الاتصال بين وحدات معالجة الرسومات واستخدام الذاكرة بشكل كبير مع تحقيق كفاءة توسع عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد طرح سؤال على مساعد ذكاء اصطناعي ذكي للغاية، لكنك مرعوب من أن المساعد (أو الخادم السحابي الذي يشغل هذا المساعد) قد يتلصص على سؤالك أو يسرق بياناتك الخاصة.
لحل هذه المشكلة، تستخدم خدعة سحرية تسمى التشفير المتماثل (Homomorphic Encryption). الأمر يشبه وضع سؤالك داخل صندوق زجاجي غير قابل للكسر ومغلق بإحكام. لا يزال بإمكان الذكاء الاصطناعي إجراء عمليات حسابية على الصندوق (مثل الجمع أو الضرب) دون فتح الصندوق أبدًا أو رؤية ما بداخله. وعندما ينتهي، يعيد إليك الصندوق لتفتحه وتعرف الإجابة.
المشكلة: الصندوق يصبح ثقيلاً جداً
يوضح البحث أنه بينما تنجح هذه الخدعة السحرية مع الأسئلة القصيرة، إلا أنها تنهار أمام الأسئلة الطويلة (مثل قراءة رواية كاملة أو بريد إلكتروني طويل).
- مشكلة الوزن: عندما تضع بياناتك في هذا الصندوق السحري، فإنها تصبح ضخمة. جملة قصيرة قد تسع في حقيبة ظهر، لكن وثيقة طويلة تصبح كالصخرة العظيمة. ذاكرة حاسوب واحد (RAM) تشبه حقيبة ظهر صغيرة؛ لا يمكنها حمل "الصخرة" الناتجة عن وثيقة مشفرة طويلة.
- ازدحام مروري: لحل هذه المشكلة، حاول الناس استخدام عدة حواسيب (GPUs) معاً، مثل فريق من العمال. لكن الطرق القديمة في نقل هذه الصناديق كانت سيئة للغاية.
- الطريقة القديمة 1 (التوازي العضوي - Limb Parallelism): تخيل أنك تحاول نقل أحجية (Puzzle) عملاقة عبر تقسيم قطعها بين 10 عمال. ولكن في كل مرة يحتاج فيها عامل لرؤية قطعة ما، يتعين عليه الصراخ عبر الغرفة ليتأكد مما إذا كانت القطعة تتناسب مع القطع الأخرى. ينتهي بهم الأمر بالصراخ (التواصل) لدرجة أنهم يقضون 90% من وقتهم في الكلام و10% فقط في النقل. هذا أبطأ من قيام شخص واحد بالمهمة بمفرده!
- الطريقة القديمة 2 (توازي التنسور - Tensor Parallelism): تخيل النهج الآخر حيث يحمل كل عامل نسخة كاملة من الأحجية بأكملها. هذا يوقف الصراخ، ولكن الآن أنت بحاجة إلى 10 أضعاف مساحة الشاحنات (ذاكرة الحاسوب). تنفد مساحة الشاحنات فوراً، ولا يمكن إتمام المهمة.
الحل: AEGIS (القائد الذكي للفريق)
ابتكر المؤلفون نظاماً جديداً يسمى AEGIS. فكر في AEGIS كـ قائد فريق بارع يفهم شيئين في آن واحد:
- القصة (التطبيق): ما يحاول الذكاء الاصطناعي فعله حقاً (مثل "تلخيص هذا البريد الإلكتروني").
- القفل (التشفير): كيف يتم بناء هذه الصناديق السحرية وكيف تتناسب مع بعضها البعض.
إليك كيف يعالج AEGIS المشكلات باستخدام تشبيهات بسيطة:
1. استراتيجية "التمركز المشترك" (أوقف الصراخ)
في الطرق القديمة، لم يكن قائد الفريق يعرف أن بعض قطع الأحجية يجب أن تبقى معاً. كان يقسم "الكلمة" الواحدة عبر عمال مختلفين، مما يجبرهم على تمرير القطع ذهاباً وإياباً باستمرار.
حل AEGIS: ينظر AEGIS إلى الأحجية ويقول: "مهلاً، هذه القطع المحددة تنتمي إلى نفس الكلمة. دعونا نضعها على طاولة نفس العامل".
- التشبيه: بدلاً من تمرير طوبة واحدة ذهاباً وإياباً بين 10 عمال، يقوم AEGIS بإعطاء كل عامل جزءاً كاملاً من الجدار لبنائه. هم يتحدثون إلى بعضهم البعض فقط عندما يحتاجون لربط جدارين مختلفين. هذا يقلل من "الصراخ" (التواصل) بنسبة تصل إلى 81%.
2. استراتيجية "التداخل" (أخفِ وقت الانتظار)
حتى مع تقليل الصراخ، لا يزال هناك بعض وقت الانتظار. إذا كان على العامل انتظار وصول قطعة من جاره قبل أن يبدأ في اللصق، فإنه سيقف عاطلاً.
حل AEGIS: يقوم AEGIS بإعادة ترتيب المهام. بدلاً من "انتظر القطعة -> ثم الصق"، يقول: "بينما تنتظر وصول القطعة، ابدأ بلصق الجزء الذي تملكه بالفعل".
- التشبيه: تخيل طباخاً ينتظر وصول شحنة من الطماطم. بدلاً من الوقوف بلا حراك، يبدأ الطباخ في تقطيع البصل والفلفل بينما لا تزال شاحنة التوصيل في الطريق. وبحلول الوقت الذي تصل فيه الطماطم، يكون قد انتهى من بقية التحضيرات. هذا "يخفي" وقت الانتظار، مما يجعل العملية بأكملها تبدو فورية.
3. "التعبئة الذكية" (لا مساحة ضائعة)
حاولت الأنظمة القديمة حشر البيانات المشفرة في الحواسيب مثل محاولة وضع وتد مربع في ثقب مستدير، مما يهدر كميات هائلة من المساحة.
حل AEGIS: يقوم AEVIS بترتيب البيانات بشكل مثالي، مثل خبير لعبة "تيتريس" (Tetris). فهو يضمن أن كل حاسوب يحمل القدر الكافي فقط للقيء بعمله دون الحاجة لحمل نسخ إضافية من الأحجية بأكملها.
- النتيجة: يسمح هذا للنظام بالتعامل مع 4 أضعاف كمية البيانات على نفس الأجهزة دون نفاد الذاكرة.
النتائج
عندما اختبر الفريق نظام AEGIS على نظام مكون من 4 وحدات معالجة رسومية (4-GPU):
- السرعة: كان أسرع بنحو 4 مرات من استخدام حاسوب واحد، في حين أن الطرق الأخرى كانت تصبح في الواقع أبطأ عند إضافة المزيد من الحواسيب.
- الكفاءة: استخدموا الحواسيب بشكل شبه مثالي (كفاءة 96%)، مما يعني عدم ضياع أي وقت تقريباً في الصراخ أو الانتظار.
- الذاكرة: قلل من الذاكرة المطلوبة لكل حاسوب بنسبة 69%، مما سمح له بالتعامل مع وثائق طويلة جداً كانت تتسبب سابقاً في تعطل الحواسيب.
باختاختصار
AEGIS هو طريقة جديدة لتشغيل الذكاء الاصطناعي الخاص على عدة حواسيب. إنه يمنع الحواسيب من إضاعة الوقت في التحدث مع بعضها البعض، ويمنعها من نفاد الذاكرة من خلال كونه ذكياً في أين يضع البيانات ومتى يحركها. إنه يحول الفوضى البطيئة والمضطربة من الصناديق المغلقة إلى خط تجميع سلس، سريع، وخاص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.