DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

يتسارع عالم الذكاء الاصطناعي حالياً، مدفوعاً برقائق حاسوبية ضخمة تسمى وحدات معالجة الرسومات (GPUs) التي تعمل كمحركات لتدريب وتشغيل النماذج اللغوية المعقدة. يمكن لهذه النماذج كتابة القصص، وحل المشكلات، وإجراء المحادثات، لكنها تتطلب قدرات حوسبة هائلة. ولمواكبة هذا التطور، تقوم مراكز البيانات بتحديث أجهزتها باستمرار، حيث تتقاعد الرقائق الصالحة للعمل لإفساح المجال لأخرى أسرع وأحدث. وتترك هذه الدورة وراءها كومة متزايدة من المسرعات القادرة ولكن "القديمة"، مما يخلق سوقاً ثانوية تُباع فيها هذه المكونات المهملة بجزء بسيط من سعرها الأصلي. والسؤال الذي يواجه الباحثين والمهندسين هو ما إذا كان يمكن منح هذه الآلات المتقاعدة حياة ثانية منتجة لخدمة مهام الذكاء الاصطناعي الحديثة، أم أن قدمها يجعلها غير فعالة ومبذرة للغاية بحيث لا تكون مفيدة.

لقد شرع فريق من الباحثين في الإجابة على ذلك عبر بناء عنقود حوسبة ضخم من الصفر باستخدام قطع مستعملة فقط. لم يكتفوا بشراء بطاقات رسوميات مستعملة؛ بل استوردوا معالجات، وذاكرة، ولوحات أم، ومعدات شبكات مستعملة لبناء نظام يتكون من 128 وحدة معالجة رسوميات NVIDIA V100 متقاعدة. هذا المجموعة، التي أطلقوا عليها اسم "DumpsterCluster" (عنقود حاوية النفايات)، صُممت لاختبار ما إذا كان بإمكان الأجهزة القديمة تحمل عبء العمل الثقيل لتشغيل النماذج اللغوية الكبيرة، وتحديداً نموذج LLaMA-70B الذي يحتوي على 70 مليار معلمة. أمضى الفريق عاماً كاملاً في تشغيل هذا العنقود في بيئة واقعية، حيث كان يلبي طلبات مستخدمين حقيقيين، لمعرفة ما إذا كان هذا النهج مجدياً اقتصادياً ومستداماً بيئياً. وتكشف نتائجهم عن قصة إمكانات مذهلة تأتي مع مجموعة صارمة من الشروط: فبينما يمكن للأجهزة أن تعمل، يعتمد نجاحها كلياً على مكان وضعها وكيفية إدارتها.

إن الحالة الاقتصادية لهذا النهج مثيرة للإعجاب. فقد جمع الباحثون نظامهم المكون من 128 وحدة معالجة رسوميات بتكلفة تقارب 22,000 دولار، وهو سعر انخفض من 32,000 دولار على مدار فترة دراستهم بسبب انخفاض القيمة السوقية. وفي المقابل، يكلف نظام حديث يحتوي على ثماني وحدات فقط من أحدث الأجيال حوالي 600,000 دولار. وهذا الفرق الهائل في التكلفة الأولية يعني أنه على الرغم من أن الرقائق القديمة أقل قوة بشكل فردي، إلا أن العدد الهائل منها يسم يسمح للعنقود بمعالجة حجم كبير من البيانات. ومن خلال تشغيل النظام لمدة عام، أثبت الفريق قدرتهم على تشغيل النموذج اللغوي الكبير بفعالية، محققين سرعة في توليد النصوص، رغم أنها أبطأ من الرقائق الفائقة الأحدث، إلا أنها كانت كافية للعديد من التطبيقات العملية. ولم يكن المفتاح لإنجاح ذلك مجرد شراء الأجزاء، بل إعادة كتابة البرمجيات التي تشغلها.

البرمجيات القياسية لتشغيل هذه النماذج مصممة لأحدث الأجهزة، والتي تتميز باتصالات سريعة جداً بين الرقائق. أما رقائق V100 القديمة في "DumpsterCluster" فتمتلك اتصالات أبطأ وذاكرة أقل، مما قد يؤدي عادةً إلى تعثرها عند التعامل مع النماذج الكبيرة. ولحل هذه المشكلة، طور الباحثون محركاً مخصصاً يغير طريقة تقسيم العمل. فبدلاً من محاولة إجبار الرقائق على التواصل مع بعضها البعض باستمرار، قاموا بترتيب النموذج بحيث تتعامل كل شريحة مع قسم محدد من الحسابات في سلسلة طويلة، تمرر النتائج عبر الخط. كما قاموا بتحسين النظام بحيث يتولى المعالج المركزي للكمبيوتر عمليات نقل البيانات في الخلفية بينما تستمر رقائق الرسوميات في العمل، مما يمنع النظام من التوقف عن العمل بلا فائدة. وقد سمحت هذه الاستراتيجية لـ 128 شريحة قديمة بالعمل كوحدة واحدة متماسكة قادرة على تشغيل نموذج لا يتسع له شريحة واحدة على الإطلاق.

ومع ذلك، تكشف الدراسة أن هذا الحل ليس حلاً عالمياً لمشاكل الطاقة والبيئة في صناعة الذكاء الاصطناعي. فقد وجد الباحثون أنه بينما التكلفة الأولية منخفضة، فإن تكلفة تشغيل الآلات بمرور الوقت تعتمد بشكل كبير على سعر الكهرباء ومصدر تلك الطاقة. فالرقائق القديمة أقل كفاءة في استهلاك الطاقة مقارنة بالحديثة، مما يعني أنها تستهلك طاقة أكبر لتوليد نفس الكمية من النص. وإذا تم تشغيل هذا العنقود في منطقة تأتي فيها الكهرباء من الوقود الأحفوري، فإن إجمالي الانبعاثات الكربونية الناتجة لكل كلمة يتم توليدها يمكن أن يكون أعلى بعشرات المرات من استخدام نظام جديد وفعال. إن الفائدة البيئية لإعادة استخدام الأجهزة تتبخر تماماً إذا كانت الكهرباء المستخدمة لتشغيلها "متسخة". فلا يصبح النظام مستداماً حقاً إلا عندما يقع في مناطق تتوفر فيها طاقة رخيصة ونظيفة، مثل المناطق التي تعمل بطاقة الرياح أو الطاقة الكهرومائية. في تلك المواقع المحددة، تعوض التكلفة المنخفضة للكهرباء عدم كفاءة الرقائق القديمة، مما يجعل التكلفة الإجمالية للملكية منخفضة والبصمة الكربونية تحت السيطرة.

كما فرضت موثوقية الأجهزة تحديات كان على الفريق إدارتها. فخلال العام، واجه العنقود العديد من المشكلات التقنية، لكن الغالبية العظمى منها كانت أعطالاً برمجية يمكن إصلاحها بإعادة تشغيل بسيطة بدلاً من الإصلاح المادي. أما حالات الفشل الحقيقية للأجهزة، حيث تنكسر شريحة أو مكون فعلياً، فقد كانت نادرة، حيث حدثت في أقل من 14 بالمائة من الحوادث. وهذا يشير إلى أنه مع الاختبار الدقيق وبناء قدرة إضافية للتعامل مع الأعطال، يمكن للأجهزة المستعملة أن تكون موثوقة بما يكفي للاستخدام الإنتاجي. وأشار الباحثون إلى أن النظام هو الأنسب للإجابة على الأسئلة وتوليد النصوص، بدلاً من تدريب نماذج جديدة من الصفر، وهو ما يتطلب نوعاً مختلفاً من قدرات الحوسبة والاستقرار.

في الختية، تثبت الورقة البحثية أن منح التكنولوجيا المتقاعدة حياة ثانية أمر ممكن، لكنه ليس مجرد مسألة توصيل أجزاء قديمة. إن نجاح مثل هذا الـ "DumpsterCluster" يعتمد على توازن دقيق بين الهندسة والاقتصاد والجغرافيا. فهو يتطلب برمجيات متخصصة للتغلب على قيود الأجهزة المتقادمة، وموقعاً يتميز بكهرباء رخيصة ونظيفة للحفاظ على تكاليف التشغيل والانبعاثات منخفضة، وقدرة على تحمل معدل أعلى قليلاً من الصيانة مقارنة بالأنظمة الجديدة تماماً. وعندما تتحقق هذه الشروط، يوفر هذا النهج مساراً قابلاً للتطبيق لتوسيع قدرات الذكاء الاصطناعي دون التكاليف المالية والبيئية الهائلة لتصنيع رقائق جديدة باستمرار. إنه يشير إلى مستقبل يمكن فيه إطالة دورة حياة أجهزة الحوسبة، بشرط أن نكون مستعدين لمطابقة الأدوات الصحيحة مع مصادر الطاقة المناسبة.