A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

في عالم الذكاء الاصطنا ice المتطور بسرعة، ظهر جيل جديد من برامج الكمبيوتر التي يمكنها فهم وتوليد اللغة البشرية بطلاقة مذهلة. هذه الأنظمة، التي تُسمى غالباً النماذج التأسيسية، تُبنى عن طريق تغذية هياكل رياضية معقدة تُعرف بالشبكات العصبية بكميات هائلة من النصوص. كانت الفكرة السائدة في هذا المجال هي أن "الأكبر هو الأفضل": فكلما زادت البيانات التي يراها النموذج وكبر هيكله الداخلي، أصبح أكثر ذكاءً. وقد أدى هذا الاندفاع نحو التوسع إلى إنتاج نماذج تضم مليارات المعلمات (parameters)، قادرة على أداء مهام دون تدريب محدد لها، بمجرد التعرف على الأنماط في النصوص التي استهلكتها. ومع ذلك، فإن هذا السباق نحو الحجم يأتي بتكلفة خفية؛ إذ تستهلك قوة الحوسبة الهائلة المطلوبة لتدريب هذه النماذج كميات ضخمة من الكهرباء، وأصبح الأثر البيئي لاستخدام تلك الطاقة مصدر قلق ملح. وبينما يصارع العالم لمواجهة تغير المناخ، لم يعد فهم البصمة الكربونية الحقيقية لهذه العمالقة الرقمية مجرد تفصيل تقني، بل جزءاً ضرورياً من تقييم قيمتها للمجتمع.

قرر فريق من الباحثين من معهد الابتكار التكنولوجي في أبو ظبي وشركة "لايت أون" (LightOn) في باريس النظر إلى ما وراء الأرقام المعتادة. فبدلاً من مجرد حساب الكهرباء المستخدمة لتدريب نموذج واحد، أجروا محاسبة كاملة وشاملة لمشروع يُدعى "نور" (Noor). هدف هذا المشروع إلى بناء أكبر النماذج اللغوية التي تم إنشاؤها على الإطلاق للغة العربية، بأحجام تتراوح بين 1.5 مليار و13 مليار معلمة. أراد الباحثون معرفة الثمن البيئي الإجمالي لإيجاد هذه النماذح، بدءاً من الخطوة الأولى لجمع البيانات وصولاً إلى اللحظة التي قد يستخدم فيها الناس هذه النماذج في المستقبل. لقد تتبعوا كل مصدر لاستهلاك الطاقة، بما في ذلك تخزين مجموعات البيانات الضخمة، والتجارب الأولية اللازمة لضبط التصميم، وعملية التدريب الرئيسية، وحتى السفر المطلوب للتعاون بين الفريق الدولي. كان هدفهم هو رسم صورة كاملة للانبعاثات الكربونية الناتجة عن مثل هذا المسعى الطموح.

بدأت الرحلة بالبيانات. لتعليم النماذج اللغة العربية، تعين على الفريق تجميع مجموعة مخصصة من النصوص تحتوي على 150 مليار كلمة. تضمن ذلك تحميل كميات هائلة من بيانات الويب، وتصفية المحتوى منخفض الجودة، وتنظيمها لتتمكن الحواسيب من قراءتها. تطلب تخزين ونقل تيرابايتات من هذه المعلومات طاقة كبيرة، حتى قبل بدء التدريب الفعلي. وحسب الباحثون أن الطاقة المستخدمة فقط لتخزين ونقل هذه البيانات، إلى جانب العمل التمهيدي لتنظيفها وإعدادها، شكلت جزءاً كبيراً من إجمالي استهلاك الطاقة للمشروع. ووجدوا أن الجهد المبذول لتجهيز البيانات لم يكن مهمة جانبية بسيطة، بل مساهماً رئيسياً في التكلفة البيئية الإجمالية.

بمجرد جاهزية البيانات، انتقل الفريق إلى مرحلة التدريب، حيث تتعلم الحواسيب التنبؤ بالكلمة التالية في الجملة. وهذا هو الجزء الأكثر استهلاكاً للطاقة في العملية. قام الفريق بتدريب أربعة نماذج مختلفة متزايدة الحجم على حاسوب فائق القدرة. واكتشفوا أن الانبعاثات الكربونية الناتجة عن هذا التدريب تعتمد بشكل كبير على مكان تواجد الحواسيب. فعندما استخدموا مركز بيانات في لوكسمبورغ، والذي يعمل بكهرباء نظيفة جداً، كانت الانبعاثات منخفضة بشكل مفاجئ. ومع ذلك، عندما استخدموا مجموعتهم الخاصة للحوسبة عالية الأداء في الإمارات العربية المتحدة، كانت الانبعاثات أعلى بكثير لأن مزيج الكهرباء المحلي تضمن مصادر أكثر كثافة كربونية. أظهرت الدراسة أن موقع العمل الحوسبي لا يقل أهمية عن حجم العمل نفسه. وفي المجمل، استهلك تدريب النماذج الأربعة أكبر قدر من الطاقة، لكنه لم يكن العامل الوحيد.

نظر الباحثون أيضاً في العنصر البشري للمشروع. تألف الفريق من علماء يعملون في كل من فرنسا والإمارات العربية المتحدة، وكان عليهم السفر بين البلدين لعقد ورش عمل وجلسات عصف ذهني. قاموا بحساب الانبعاثات الكربونية الناتجة عن هذه الرحلات الجوية ووجدوا أنها شكلت جزءاً كبيراً من البصمة الإجمالية. في الواقع، شكل السفر وحده ما يقرب من خُمس إجمالي الانبعاثات الكربونية للمشروع. تحدى هذا الاكتشاف الافتراض الشائع بأن الشيء الوحيد الذي يهم هو وقت تشغيل الكمبيوتر. وسلطت الدراسة الضوء على أنه في عالم تصبح فيه مراكز البيانات أكثر كفاءة وتصبح فيه الكهرباء أكثر نظافة، فإن الانبعاثات الناتجة عن السفر البشري والتكاليف غير المباشرة الأخرى قد تصبح الجزء المهيمن من الأثر البيئي للمشروع.

وبالنظر إلى المستقبل، قدر الفريق أيضاً ما قد يحدث عندما يستخدم الناس هذه النماذج بالفعل. فقد حسبوا الطاقة المطلوبة لتوليد النصوص استجابةً لطلبات المستخدمين. ووجدوا أنه إذا استُخدمت هذه النماذج على نطاق واسع، فإن الطاقة المستهلكة أثناء الاستخدام اليومي قد تتجاوز في النهاية الطاقة المستخدمة لتدريبها في المقام الأول. وهذه رؤية حاسمة لأن التدريب يحدث مرة واحدة، بينما يمكن أن يحدث الاستخدام ملايين المرات. وأشار الباحثون إلى أنه إذا تم نشر هذه النماذج على أجهزة تعمل بالطاقة النظيفة، فسيكون الأثر منخفضاً، ولكن إذا عملت على شبكات مدعومة بالوقود الأحفوري، فقد تكون التكلفة البيئية مرتفعة للغاية.

بلغ المجموع النهائي لمشروع "نور" 36.5 طناً من مكافئ ثاني أكسيد الكربون. ولوضع ذلك في سياقه، ينتج الشخص المتوسط في الولايات المتحدة حوالي 20 طناً من الانبعاثات الكربونية سنوياً، مما يعني أن هذا البحث بأكمله أنتج ما يعادل ما يزيد قليلاً عن عامين من انبعاثات شخص واحد. وبينما قد يبدو هذا صغيراً مقارنة بالتلوث الصناعي، إلا أنه كبير بالنسبة لجهد بحثي واحد. وخلصت الدراسة إلى أن المحرك الأكبر لهذه البصمة كان الكثافة الكربونية للكهرباء المستخدمة في التدريب. ومن خلال اختيار تشغيل حساباتهم في موقع يتميز بطاقة أنظف، قدر الفريق أنه كان بإمكانهم تقليل البصمة الإجمالية بأكثر من النصف.

لا تقترح الورقة البحثية ضرورة التوقف عن بناء النماذج اللغوية الكبيرة، لكنها تجادل بوجوب أن نكون أكثر تأنياً في كيفية بنائها. ويوصي الباحثون بأن تقوم المشاريع المستقبلية بتتبع جميع مصادر الانبعاثات بشكل منهجي، وليس فقط وقت التدريب. ويقترحون أن اختيار مراكز البيانات التي تعمل بالطاقة النظيفة، وتقليل السفر غير الضروري، واستخدام أجهزة كمبيوتر أكثر كفاءة، يمكن أن يخفض التكلفة البيئية بشكل كبير. كما يؤكدون أنه مع تحسن التكنولوجيا وتصبح عملية التدريب أكثر كفاءة، يجب أن ينتقل التركيز إلى التكاليف الأخرى، مثل السفر والاستخدام طويل الأمد للنماذج. ومن خلال تبني رؤية شاملة، يمكن للمجتمع العلمي مواصلة تطوير الذكاء الاصطناعي مع الحفاظ على عين ساهرة على تأثيره على الكوكب.