Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
تقيم هذه الورقة نشر نظام كوبرنيتيس (Kubernetes) على الحاسوب الفائق HPE Cray EX Isambard-AI لمعالجة قيود أنظمة الدفعات التقليدية أحادية المستأجر عبر تمكين حالات استخدام متعددة المستأجرين ومرنة لبيئات الأبحاث الطبية الموثوقة واستضافة نماذج الذكاء الاصطناعي السرية، مع تحديد التحديات والخطوات المستقبلية لإنتاج خدمة "كوبيرنيتيس كخدمة" (Kubernetes-as-a-Service) على مثل هذه المنصات عالية الأداء.
المؤلفون الأصليون:Jake Watson, Sadaf R Alam, Christopher Woods, Abdelwahab Kawafi, Thomas Green, Ian Johnson, Ellis Pires, Jessica R. Jones, Utz-Uwe Haus
المؤلفون الأصليون: Jake Watson, Sadaf R Alam, Christopher Woods, Abdelwahab Kawafi, Thomas Green, Ian Johnson, Ellis Pires, Jessica R. Jones, Utz-Uwe Haus
تخيل عالماً تكون فيه الحواسيب الفائقة مثل محطات قطارات ضخمة وعالية السرعة. لعقود من الزمن، صُممت هذه المحطات لنوع واحد محدد من المسافرين: مسافرو "الدفعات" (batch). هؤلاء عبارة عن مجموعات ضخمة ومكتظة من البيانات تصل معاً، وتجلس في عربة واحدة مخصصة طوال الرحلة، ولا تغادر إلا بعد انتهاء الرحلة بأكملها. هذا النظام يعمل بشكل مثالي للعلوم التقليدية، لكن العالم يتغير. الآن، لدينا نوع جديد من المسافرين: المسافر "السحابي الأصيل" (cloud-native). هؤلاء هم حاويات مرنة من البيانات، ترغب في الصعود والنزول من القطارات فوراً، ومشاركة العربات مع الغرباء بأمان، وتشغيل تطبيقات تفاعلية معقدة مثل روبوتات الدردشة المدعومة بالذكاء الاصطناعي أو قواعد البيانات الطبية الآمنة.
المشكلة هي أن محطات القطارات القديمة (الحواسيب الفائقة التقليدية) لم تُبنَ لهذا الغرض. فهي بارعة في نقل الشحنات الضخمة، لكنها سيئة جداً في إدارة محطة مزدحمة متعددة المستأجرين حيث يحتاج الجميع إلى مساحتهم الخاصة والآمنة. وهنا يأيد "كوبيرنيتيس" (Kubernetes). فكر في "كوبيرنيتيس" كأنه مراقب حركة المرور الأمثل لهؤلاء المسافرين الذين يسكنون الحاويات. إنه البرنامج الذي يضمن حصول الجميع على مقعد، وأن لا يتمكن الأشخاص المناسبون من التلصص على حقائب الآخرين، وأن تعمل المحطة بسلاسة حتى عندما تعمل آلاف التطبيقات المختلفة في وقت واحد. لكن وضع مراقب حركة المرور المرن هذا على حاسوب فائق صلب وعالي السرعة يشبه محاولة تثبيت نظام تذاكر مترو حديث داخل محرك بخاري؛ الأمر يتطلب سحراً هندسياً حقيقياً لجعلهما يعملان معاً دون التسبب في انهيار النظام بأكمله.
تحكي هذه الورقة قصة كيف قام فريق من المهندسين بأخذ مراقب حركة المرور الحديث هذا وتثبيته بنجاح على أحد أكثر الحواسيب الفائقة تقدماً في العالم، والذي يُدعى "إيسامبارد-AI" (Isambard-AI). لم يكتفوا بجعله يعمل فحسب، بل اختبروه بمهمتين مختلفتين ومهمتين للغاية. أولاً، قاموا ببناء "بيئة بحث موثوقة"، وهي تشبه غرفة زجاجية فائقة الأمان حيث يمكن للعلماء النظر إلى بيانات طبية حساسة دون القدرة أبداً على سرقتها أو تسريبها. ثان، أنشأوا "بيئة تجريبية" (sandbox) لنماذج الذكاء الاصطناعي، مما يسمح لعدة باحثين بتشغيل واختبار عقول اصطناعية قوية في وقت واحد دون أن يعيق أحدهم الآخر.
وجد الفريق أن نظامهم الجديد يعمل بشكل رائع للغاية. لقد أثبتوا أنه يمكنك تشغيل هذه الخدمات المرنة متعددة المستأجرين على حاسوب فائق دون إبطائه. في الواقع، عندما اختبروا سرعة الشبكة التي تربط الحواسيب، وجدوا أن إضافة طبقة الأمان هذه لم تضف سوى تأخير ضئيل يكاد لا يُلحظ — حوالي 0.89 ميكروثانية. ولو وضعت ذلك في الاعتبار، فإن ذلك أقل من رمشة العين، حتى بالنسبة للحاسوب. كما أظهروا أن إعدادهم هذا يمكنه التعامل مع نماذج ذكاء اصطناعي ضخمة، وتشغيلها عبر عدة حواسيب مع الحفاظ على أمنها.
ومع ذلك، لم تكن الرحلة خالية من العقبات. فقد اكتشف الفريق "عنق زجاجة" تقني في الأجهزة: بطاقات الشبكة الأساسية (Cassini NICs) لديها حد صارم لعدد "معرفات الخدمة" (service IDs) الآمنة التي يمكنها إصدارها. ولأن النظام حالياً يخصص معرفاً فريداً لكل حاوية على حدة، فإن المحطة تواجه خطر نفاذ هذه المعرفات، مما قد يؤدي إلى توقف النظام عن العمل إذا حاول عدد كبير جداً من المستخدمين الاتصال في وقت واحد. علاوة على ذلك، حددوا ثغرة أمنية رئيسية في إعدادهم الحالي: للوصول إلى الشبكة عالية السرعة، يجب بناء "الغرف الزجاجية" الآمنة حالياً باستخدام مفاتيح "ذات صلاحيات" (privileged keys). وهذا يعني أن حراس الأمن يعطون المسافرين في الواقع المفاتيح الرئيسية للمحطة، مما يقوض العزل الذي صُمم النظام من أجله.
بينما يعترف الفريق بأن النظام لا يزال معقداً بعض الشيء في الإعداد ويحتاج إلى مزيد من الصقل المستقبلي لمعالجة هذه القيود في الأجهزة والفجوات الأمنية، إلا أنهم أثبتوا أنه من الممكن جلب مرونة السحابة إلى القوة الخام للحاسوب الفائق. وهذا يفتح الباب أمام مستقبل حيث يمكن للعلماء وباحثي الذكاء الاصطناعي العمل معاً على نفس الآلات القوية، بأمان وكفاءة، دون الحاجة إلى بناء أجهزة جديدة تماماً لكل نوع جديد من المهام.
ملخص تقني: حالات استخدام كوبرنيتيس (Kubernetes) متعدد المستأجرين للذكاء الاصطنال، والحوسبة الآمنة، وخدمات البيانات، وغيرها
بيان المشكلة تفتقر أنظمة الحوسبة عالية الأداء (HPC) التقليدية، المصممة لأعباء العمل المتصلة بشدة والضخمة التي تدار بواسطة جداول زمنية مثل Slurm، إلى المرونة والتجريد في الخدمات والعزل متعدد المستأجرين المطلوب لأعباء العمل المتنوعة الحديثة. تشمل هذه الحالات الناشئة تدريب نماذج الذكاء الاصطناعي والاستدلال، والبيئات المعزولة (Sandboxing) الآمنة للبيانات الحساسة، والحوسبة السرية. وبينما يعد كوبرنيتيس (K8s) المعيار القياسي للإدارة متعددة المستأجرين في بيئات السحابة، فإن نشره على أنظمة HPC المعتمدة على الأجهزة الفعلية (Bare-metal) — خاصة تلك التي تستخدم أطر عمل متقدمة عالية السرعة مثل HPE Slingshot — ليس بالأمر الهين. يكمن التحدي الجوهري في التوفيق بين نموذج الموارد الديناميكي والمؤقت لـ Kubernetes، ونموذج Slurm الذي يفترض وجود أجهزة ثابتة ومخصصة، مع ضمان بقاء مستوى الوصول المباشগত للذاكرة عن بعد (RDMA)، الذي يتجاوز مكدس شبكة Linux القياسي، معزولاً بشكل آمن بين المستأجرين. غالبًا ما تعاني محاولات التكامل الحالية (مثل Slinky أو Slurm Operator) من أعباء زمن الاستجة (Latency)، وعدم توافق النماذج، والصعوبة الجوهرية في توفير التوافق التشغيلي السلس لأعباء العمل القائمة على MPI والترابطات عالية السرعة.
المنهجية قام المؤلفون بتنفيذ وتقييم نشر "Kubernetes-as-a-Service" على منصة Isambard-AI (IS-AI)، وهي مورد بحث ذكاء اصطناعي سيادي وطني للمملكة المتحدة يعتمد على إطار عمل HPE Cray EX مع شرائح NVIDIA Grace-Hopper ومعالج الربط Slingshot. تم تصميم هذا النشر ليكون مكملاً، لا بديلاً، لجدول Slurm الزمني الموجود بالفعل.
ركزت المنهجية على ثلاثة مجالات رئيسية:
Kubernetes على الأجهزة الفعلية وتعدد المستأجرين على Slingshot:
قام الفريق بتكييف حل عزل الشبكة المقترح من قبل Friese et al. [6] ليتناسب مع بنية IS-AI القائمة على ARM64.
البنية: قاموا بتوسيع نطاق تعريف CXI، ومكتبة CXI، و libfabric لحصر خدمات CXI ضمن مساحات أسماء شبكة Linux (Network Namespaces). يتيح ذلك تخصيص خدمات CXI ومعرفات الشبكة الافتراضية (VNIs) مختلفة للحاويات، بشكل مشابه لشبكات VLAN، مما يضمن عزل الأطر.
التعديلات: تطلبت البيئة تعديلات محددة؛ نظرًا لأن SmarterDeviceManager لم يكن يقوم بتركيب أجهزة شبكة عالية السرعة (HSN netdev) داخل الحاويات (مما تسبب في فشل تهيئة libfabric)، قام المؤلفون بترقيع (Patching) طريقة netdev_lookup() في libfabric لتقرأ متغيرات البيئة (CXIP_DEFAULT_LINK و CXIP_DEFAULT_SPEED) بدلاً من مدخلات sysfs.
الإدارة (Orchestration): قاموا بنشر RKE2، وLonghorn للتخزين، وNVIDIA GPU Operator. كما تم تنفيذ خدمة VNI (باستخدام Metacontroller وSmarterDeviceManager) لإدارة حجز الـ VNI وإنشاء خدمات CXI بناءً على تعليقات (Annotations) ملفات تعريف Kubernetes.
بيئات البحث الموثوقة (TREs):
نشر الفريق FRIDGE (البنية التحتية البحثية الاتحادية الممتدة عبر حوكمة البيانات)، وهي بيئة TRE قائمة على Kubernetes ومتوافقة مع معايير SATRE.
التنفيذ: باستخدام Pulumi لإدارة البنية التحتية كبرمجيات (IaC)، قاموا بتجهيز مساحات الأسماء (Namespaces)، والتحكم في الوصول القائم على الدور (RBAC)، وسياسات الشبكة. استخدموا MetalLB لموازنة الأحمال (عبر إعلانات ARP من الطبقة الثانية، نظراً لعدم توفر BGP) وCilium لسياسات الشبكة.
الأمن: يتم تعيين VNIs مخصصة لأعباء العمل التي تصل إلى Slingshot لضمان العزل. وفر Longhorn وحدات تخزين مشفرة للبيانات أثناء السكون. كما استُخدمت Argo Workflows لتنسيق المهام، مع إعداد WorkflowTemplates مسبقاً لتركيب أجهزة ومكتبات CXI اللازمة، مما يعزل الإعدادات منخفضة المستوى عن المستخدمين.
نشر المؤلفون خدمة استضافة نماذج ذكاء اصطناعي موزعة ومعزولة باستخدام KubeRay وRay وvLLM.
بناء الصور: لتجنب أعباء التشغيل ومشكلات التبعيات، قاموا ببناء صورة حاوية مخصصة متعددة المراحل. تضمنت هذه الصورة صورة أساسية "واعية بالترابط" (Fabric-aware) تحتوي على libfabric (المتوافق مع مساحات أسماء الشبكة)، وNCCL، وOpenMPI، تليها صورة استدلال (Inference) تحتوي على PyTorch وvLLM.
الأتمتة: استخدموا سياسات القبول المتحولة (MAP) لتعليق (Annotate) موارد RayCluster تلقائياً بـ vni: "true". أدى هذا إلى تحفيز خدمة VNI لتخصيص الموارد، مما يضمن أن جميع الحاويات (Pods) داخل RayCluster تتشارك نفس الـ VNI للاتصال بين العقد.
المساهمات الرئيسية
خط الأساس للنشر: إثبات نهج قابل لإعادة الإنتاج لنشر منصات Kubernetes متعددة المستأجرين على الأجهزة الفعلية في IS-AI، مما يوفر خط أساس متين لحلول التحصين لبيئات التشغيل على بنيات HPE Cray EX وGX المستقبلية.
عزل الشبكة: التحقق من صحة طريقة لعزل حركة مرور RDMA بين مستأجري Kubernetes باستخدام مساحات أسماء الشبكة وVNIs، مما يمنع التداخل بين المستأجرين في إطار Slingshot.
تحقيق حالات الاستخدام:
تنفيذ بيئة بحث موثوقة (FRIDGE) متوافقة مع SATRE على سوبر كمبيوتر، مما يتيح التحليل الآمن للبيانات الطبية والصحية الحساسة.
إنشاء خدمة استضافة نماذج ذكاء اصطناعي مستمرة ومعزولة قادرة على تقديم نماذج لغوية كبيرة (LLMs) موزعة مع تخصيص ديناميكي للموارد.
المنتجات البرمجية: توفير ترقيعات (Patches) محددة لـ libfabric لدعم البيئات المعبأة في حاويات دون الحاجة لتركيب أجهزة HSN، وإثبات تكامل تخصيص VNI مع Argo Workflows وKubeRay عبر متحكمات القبول (Admission Controllers).
النتائج والتقييم
أعباء زمن الاستجابة (Performance Overhead):
زمن الاستجابة (Latency): أظهرت اختبارات OSU Micro-Benchmarks أن حاويات Kubernetes مع عزل VNI تعرضت لزيادة ثابتة في زمن الاستجابة قدرها حوالي 0.89 ميكروثانية مقارنة بالحاويات على الأجهزة الفعلية أو حاويات Podman (لتصل إلى ~3.11 ميكروثانية مقابل ~2.22 ميكروثانية للرسائل الصغيرة). تُعزى هذه الزيادة إلى عبور مساحة أسماء الشبكة ولا تتوسع مع حجم الرسالة.
عرض النطاق الترددي (Bandwidth): وصل ذروة عرض النطاق الترددي إلى الحد الأقصى النظري لإطار Slingshot وهو (200 جيجابت/ثانية) للرسائل الكبيرة، مما يشير إلى عدم وجود عقبة كبيرة في الإنتاجية بالنسبة للأعباء ذات الحجم الثابت.
وظائف بيئة البحث الموثوقة (TRE): سمح نشر FRIDGE للباحثين بتقديم المهام عبر Argo Workflows دون الحاجة لتكوين CXI يدوياً. ومع ذلك، لاحظ الفريق أن حجز VNI لا يتم تحريره تلقائياً عند اكتمال سير العمل، مما قد يؤدي لاستنزاف الموارد، وقد تمت معالجة ذلك بفرض استراتيجية ttlStrategy.
استضافة نماذج الذكاء الاصطناعي:
أظهرت الاختبارات على نموذج Meta-Llama-3.1-405B-Instruct-FP8 أن نظام K8s/VNI تفوق على إعدادات BriCS وvLLoma التعليمية القياسية.
حقق تكوين vni: "true"متوسط زمن الوقت لكل توكن ناتج (TPOT) وزمن تأخير بين التوكنات (ITL) أقل من النصف مقارنة بالإعدادات البديلة.
تحسن عدد التوكنات في الثانية (TPS) بنحو 3 أضعاف مقارنة بتكوين BriCS.
حقق النظام "زمن أول توكن" (TTFT) قدره 120 مللي ثانية و22 توكن/ثانية، وهو ما يضاهي أو يتفوق على التكوينات الأخرى المسجلة لأجهزة مماثلة لهذه النماذج.
الأهمية والادعاءات يدعي البحث توفير خط أساس متين لتحصين حلول كوبرنيتيس لبيئات التشغيل على بنيات HPE Cray EX الحالية وGX المستقبلية. ويؤكد المؤلفون أن عملهم يثبت أن منصات الحوسبة الفائقة المبنية على وصلات متوافقة مع Ethernet (مثل Slingshot) وأطقم توفير شبيهة بالسحابة (مثل CSM) يمكنها دعم خدمات متعددة المستأجرين دون الحاجة إلى حلول مخصصة بالكامل ومتكاملة رأسياً.
تكمن الأهمية في إثبات أن Kubernetes يمكن أن يكمل بفعالية جداول HPC التقليدية لمعالجة حالات الاستخدام المتخصصة والمتطورة في الذكاء الاصطناعي والتعامل مع البيانات الآمنة. ومع ذلك، يظل المؤلفون متواضعين بشأن الحالة الراهنة للحل، حيث أقروا بما يلي:
التنفيذ الحالي معقد تشغيلياً، ويعتمد على مكونات مفككة (Metacontroller، SmarterDeviceManager، خدمة VNI) تتطلب تعديلات مخصصة وتحصيناً إضافياً للوصول إلى جاهزية الإنتاج.
هناك حاجة إلى مكونات مدارة من المجتمع، مثل تعريف CXI لـ Kubernetes (Dynamic Resource Allocation - DRA)، لتقليل العبء التشغيلي.
يتطلب العمل المستقبلي أتمتة تعزيزات الملفات التعريفية (مثل تعليقات VNI، وتركيب المكتبات) واستبدال الأدوات التي أصبحت مهجورة مثل SmarterDeviceManager ببدائل أكثر قوة مثل Akri أو تعريف DRA مخصص.
لا يهدف هذا العمل إلى استبدال Slurm في مهام MPI واسعة النطاق، بل يهدف إلى إنشاء طبقة خدمة مكملة لـ "المورد الوطني لأبحاث الذكاء الاصطناعي"، مما يتيح حوسبة آمنة، قابلة لإعادة الإنتاج، ومرنة لأعباء العمل الحساسة والمدفوعة بالذكاء الاصطناعي.