LGNNIC: Acceleration of Large-Scale GNN Training using SmartNICs

تخيل أنك تحاول تعليم روبوت فهم العالم من خلال إظهار كرة ضخمة ومتشابكة من خيوط الصوف له. كل عقدة في الخيط تمثل شخصاً، أو مكاناً، أو شيئاً، والخيوط التي تربط بينها تمثل علاقاتهم. هذه هي الطريقة التي تتعلم بها الحواسيب عن الشبكات المعقدة مثل أصدقاء وسائل التواصل الاجتماعي، أو الاستشهادات العلمية، أو أنظمة الترشيح. هذا المجال يسمى "الشبكات العصبية الرسومية" (Graph Neural Networks - GNNs). يحتاج الروبوت إلى النظر إلى عقدة ما، ورؤية من يتصل بها، ثم النظر إلى اتصالات تلك العقد الأخرى، وهكذا، لفهم الصورة الكاملة.

المشكلة هي أنه كلما كبرت كرة الصوف، أصبح من المستحيل وضعها بالكامل على مكتب الروبوت. إذا حاول الروبوت الإمساك بكرة الخيط بأكملها بيديه (ذاكرته) لدراستها، فإنه سينفد من المساحة. لذلك، يقوم العلماء عادةً بتقطيع الخيط إلى قطع أصغر يمكن التحكم فيها تسمى "الدفعات الصغيرة" (mini-batches) لدراستها واحدة تلو الأخرى. ولكن هنا تكمن المشكلة: إذا كان الخيط مخزناً في مستودع ضخم بعيد، والروبوت في مكتب صغير، فسيتعين على الروبوت الركض ذهاباً وإياباً إلى المستودع لجلب هذه القطع. الوقت المستغرق في الركض ذهاباً وإياباً (إرسال البيانات عبر الشبكة) غالباً ما يكون أطول من الوقت المستغرق في دراسة العقد نفسها. هذا هو "عنق الزجاجة في الاتصال" الذي يبطئ كل شيء.

هنا يأتي دور فكرة جديدة تسمى LGNNIC. فقد طرح الباحثون سؤالاً بسيطاً: ماذا لو لم نكتفِ فقط بتخزين الخيط في المستودع، بل أعطينا المستودع أيضاً مقصاً ذكياً ومساعداً صغيراً سريعاً للغاية بجانب الخيط مباشرة؟ بدلاً من أن يركض الروبوت طوال الطريق إلى المستودع ليأخذ حزمة ضخمة من الخيط ثم يقطعها لتناسب الحجم المطلوب، يمكن للمساعد الموجود في المستودع القيام بعملية القص والتقليص قبل أن يطلبها الروبوت حتى.

الورقة البحثية التي تحمل عنوان "LGNNIC: تسريع تدريب الشبكات العصبية الرسومية واسعة النطاق باستخدام بطاقات الشبكة الذكية (SmartNICs)"، تستكشف هذا الأمر تماماً. لقد بنى الفريق نظاماً حيث يمتلك "المستودع" (عقدة ذاكرة بعيدة) بطاقة شبكة ذكية خاصة (SmartNIC) (تحديداً NVIDIA BlueFile-2). تعمل هذه البطاقة كأنها ذلك المساعد الذكي؛ فهي تجلس بجوار البيانات مباشرة وتقوم بـ "خدعتين سحريتين" قبل إرسال أي شيء إلى الكمبيوتر الرئيسي (عقدة التدريب المزودة بوحدة معالجة رسومات GPU قوية):

1. أخذ عينات الجيران (Neighbor Sampling): بدلاً من إرسال قطعة ضخمة وفوضوية من الرسم البياني للروبوت، تقوم البطاقة الذكية بقص الاتصالات غير الضرورية، محتفظة فقط بالجيران الأكثر صلة ليدرسهم الروبوت. هذا يحول حزمة الخيط الضخمة والثقيلة إلى حزمة صغيرة ومرتبة.
2. التكميم (Quantization): تقوم البطاقة الذكية أيضاً بتقليص حجم المعلومات داخل الحزمة. فهي تحول البيانات من تنسيق ثقيل وعالي الدقة (32-bit floating-point) إلى تنسيق أخف وأقل دقة قليلاً (16-bit floating-point). فكر في الأمر كضغط فيديو عالي الدقة إلى ملف أصغر حجماً، بحيث يظل يبدو رائعاً ولكنه يشغل نصف المساحة فقط.

اختبر الباحثون هذا الإعداد باستخدام مجموعات بيانات حقيقية مثل Reddit (منتدى ضخم) وشبكات الأوراق الأكاديمية. ووجدوا أنه من خلال السماي للبطاقة الذكية بالقيام بالعمل الشاق المتمثل في القص والتقليص، استطاعوا تقليل كمية المعلومات التي يتعين نقلها عبر الشبكة بشكل كبير.

كانت النتائج مبهرة. فعندما استخدموا طريقة قياسية أبطأ لنقل البيانات (مثل إرسال رسائل البريد الإلكتروني عبر اتصال إنترنت عادي، وهو ما يسمونه "Sockets")، جعلت عمليات القص والتقليص المسبقة التي قامت بها البطاقة الذكية عملية التدريب أسرع بمقدار يصل إلى 62.4 مرة لبعض المهام. وحتى مع استخدام طريقة اتصال أسرع ومباشرة أكثر (تسمى "DOCA-DMA")، فقد حققوا سرعات تصل إلى 17.5 مرة. كما أضافت خدعة "التقليص" (التكميم) سرعة أكبر، حيث جعلت عمليات النقل أسرع بمقدار يصل إلى 3.6 مرة باستخدام الطريقة القياسية، و1.3 مرة باستخدام الطريقة المباشرة.

ومن الأهمية بمكان أن الورقة تشير إلى أنه بينما تعتبر البطاقة الذكية أبطأ في القيام بعملية القص مقارنة بجهاز كمبيوتر رئيسي فائق القوة، فإن الوقت الذي يتم توفيره من عدم الحاجة لجر حزمة ضخمة وغير مقصوصة عبر الشبكة يستحق العناء. "المساعد" في المستودع أبطأ في العمل، لكنه يوفر على "العداء" (الشبكة) عبء حمل حمولة ثقيلة. كما تحقق الباحثون من أن هذا التقليص لم يجعل إجابات الروبوت خاطئة؛ إذ ظل دقة النتائج كما هي تقريباً، مع وجود تغييرات طفيفة لا تُذكر.

باختصار، تقترح الورقة أنه من خلال نقل بعض العمل إلى حافة الشبكة — أي في المكان الذي توجد فيه البيانات تماماً — يمكننا منع الروبوت من إضاعة الوقت في الركض ذهاباً وإياباً. إنها طريقة ذكية لجعل تدريب الذكاء الاصطناوي الضخم والسريع جداً ممكناً دون الحاجة لبناء أجهزة أكبر وأكثر تكلفة، فقط من خلال كوننا أكثر ذكاءً في كيفية نقل بياناتنا.