FLOPs vs Real Work: The Importance of Replication in AI Efficiency Assessment

في عالم الذكاء الاصطناعي المتوسع بسرعة، حيث تتعلم برامج الكمبيوتر الكتابة، وإنشاء الفنون، وحل المشكلات المعقدة، برز سؤال هادئ ولكنه حاسم: كم من العمل يتم إنجازه بالفعل؟ لسنوات، اعتمد الباحثون والمهندسون على طريقة قياسية لقياس الجهد المطلوب من هذه الأدمغة الرقمية؛ حيث يقومون بعدّ عدد العمليات الحسابية الأساسية، وتحديداً عمليات الفاصلة العائمة (floating-point operations)، التي يجب أن ينفذها النموذج للوصول إلى نتيجة. يشبه الأمر قليلاً عدّ الطوب في جدار لتخمين الوقت الذي سيستغرقه بناؤه. يبدو المنطق سديداً: المزيد من الحسابات يعني وقتاً أطول وطاقة أكبر. وقد أصبح هذا المقياس لغة عالمية لمقارنة نماذج الذكاء الاصطناعي المختلفة، مما يساعد المطورين على تحديد التصاميم الفعالة وتلك المهدرة. ومع ذلك، فإن هذا العد البسيط يفترض أن كل عملية حسابية تستغرق نفس القدر من الوقت والطاقة، بغض النظر عن كيفية تنظيمها أو نوع الكمبيوتر الذي يقوم بالعمل.

وقد تعرض هذا الافتراض للتدقيق مع نمو نماذج الذكاء الاصطناعي إلى أحجام هائلة، مما يستهلك كميات ضخمة من الكهرباء ويضغط على شبكات الطاقة. وإذا كانت طريقة العد القياسية هذه معيبة، فقد يؤدي ذلك إلى أخطاء جسيمة في حساب التكلفة البيئية وسرعة الجيل القادم من الأنظمة الذكية. لقد سعى دراسة حديثة لاختبار ما إذا كانت طريقة العد التقليدية هذه لا تزال صالحة على شرائح الكمبيوتر الحديثة والقوية. أراد الباحثون معرفة ما إذا كانت العلاقة بين عدد العمليات الحسابية والوقت الفعلي لتشغيلها تظل مباشرة، أم أن الواقع أكثر تعقيداً بكثير. وقد ركزوا على نوع معين من بنية الذكاء الاصطناعي يُعرف باسم "الشبكة العصبية الالتفافية" (convolutional neural network)، وهي مستخدمة على نطاق واسع في مهام مثل التعرف على الصور وفهم الفيديو. ومن خلال إجراء آلاف التجارب على بطاقة رسومات متطورة، سعوا للتحقق مما إذا كان بإمكان تصحيح رياضي مقترح أن يتنبأ بدقة بالوقت الذي ستستغرقه هذه النماذج للتشغيل، أو ما إذا كانت الأجهزة الجديدة قد أدخلت تعقيدات خفية لا تستطيع الصيغ القديمة رؤيتها.

بدأ الفريق بمراجعة دراسة سابقة أشارت إلى أن العدد الخام للعمليات الحسابية ليس مؤشراً موثوقاً لوقت التنفيذ. أظهر ذلك العمل السابق أن مكان حدوث الحسابات يهم بقدر أهمية عددها. تخيل خط تجميع في مصنع: نقل العناصر عبر حزام ناقل عريض غالباً ما يكون أسرع وأسهل في الإدارة من محاولة حشر نفس العدد من العناصر عبر نفق ضيق وملتوٍ، حتى لو كان إجمالي عدد العناصر متطابقاً. في عالم الذكاء الاصطناعي، يمكن معالجة الحسابات المرتبة في أبعاد مكانية، مثل عرض وطول الصورة، بشكل متوازٍ أسهل بكثير من الحسابات المرتبة في طبقات أعمق وأكثر تعقيداً. وقد طور الباحثون السابقون صيغة لتعديل العدد الخام بناءً على هذه الأبعاد، آملين في إنشاء أداة يمكنها تقدير الوقت الذي سيستغرقه تشغيل نموذج ما على أجهزة محددة بدقة.

ولاختبار ما إذا كانت هذه الصيغة لا تزال تعمل، أجرى الباحثون من جامعة دلفت للتكنولوجيا محاكاة دقيقة للتجارب الأصلية. استخدموا بطاقة رسومات حديثة، وهي NVIDIA RTX 4090، وهي أقوى بكثير من المعدات المستخدمة في الدراسة الأصلية. كان هدفهم هو معرفة ما إذا كانت الأنماط نفسها لا تزال قائمة وما إذا كانت الصيغة لا تزال قادرة على تقديم تنبؤات دقيقة. ومع ذلك، اصطدموا فوراً بعقبة كبيرة: لم توفر الدراسة الأصلية الكود الكامل أو التعليمات التفصيلية اللازمة لإعادة إنتاج العمل بدقة. كان الباحثون يفتقرون إلى تفاصيل محددة حول مكتبات البرمجيات وبرامج التشغيل المستخدمة، ولم يكن لديهم البيانات الخام التي استخدمها المؤلفون الأصليون لبناء صيغتهم. هذا النقص في الشفافية أجبر الفريق على تقديم تخمينات مدروسة حول كيفية إعداد تجاربهم، مما أدخل طبقة من عدم اليقين في نتائجهم.

رغم هذه التحديات، مضى الفريق قدماً في قياساتهم، حيث أجروا آلاف التكوينات المختلفة لمعرفة الوقت الذي يستغرقه كل منها. وقد أكدوا النتيجة الرئيسية الأولى: أن العدد الخام للعمليات الحسابية هو بالفعل مؤشر ضعيف لكيفية التنبؤ بوقت التشغيل. فحتى عندما تطلبت تكوينان نفس العدد من الحسابات تماماً، تباينت أوقات تنفيذهما بشكل كبير اعتماداً على كيفية ترتيب تلك الحسابات. ووجد الباحثون أن العمليات المنتشرة عبر عرض وطول الصورة لا تزال تُعالج بشكل أسرع بكثير من تلك المحشورة في طبقات أعمق، مما يؤكد أن التخطيط المادي للبيانات يهم أكثر من الحجم الإجمالي للعمل.

ومع ذلك، عندما حاولوا تطبيق الصيغة المقترحة على أجهزتهم الجديدة والأسرع، كانت النتائج أقل تشجيعاً بكثير. فالصيغة، التي كانت تعمل بشكل جيد معقول على المعدات القديمة، قللت باستمرار من تقدير الوقت الذي تستغرقه بطاقة الرسومات الحديثة لإكمال المهام. وفي كثير من الحالات، كان الوقت الفعلي المستغرق أطول بكثير مما توقعته الصيغة. والأكثر غرابة من ذلك، وجد الباحثون أن وقت التنفيذ لم يكن زيادة سلسة وثابتة مع نمو عبء العمل؛ بل بدلاً من ذلك، قفز الوقت وتذبذب بطرق غير متوقعة. فعندما زادوا حجم بيانات المدخلات بمقادير ضئيلة، كان الوقت اللازم لمعالجتها يقفز فجأة أو يهبط، مما خلق نمطاً متعرجاً ومضطرباً بدلاً من خط مستقيم. ظهرت هذه القفزات عند أرقام محددة، غالباً ما تكون مرتبطة بمضاعفات الرقم أربعة أو أعداد صحيحة صغيرة أخرى، مما يشير إلى أن البنية الداخلية للرقاقة الحديثة كانت تتفاعل مع البيانات بطرق معقدة وغير خطية لا تستطيع الصيغة البسيطة استيعابها.

كشفت الدراسة أن العلاقة بين عدد الحسابات والوقت الذي تستغرقه هي أكثر هشاشة واعتماداً على الأجهزة مما كان يُعتقد سابقاً. فقد فشلت الصيغة في مراعاة تأثير قنوات المدخلات والمخرجات، والتي لعبت دوراً أكبر بكثير في وقت التنفيذ على الأجهزة الجديدة مقارنة بالأنظمة القديمة. علاوة على ذلك، لاحظ الباحثون أن تحسينات الرقاقة الحديثة، مثل ذاكرة التخزين المؤقت الكبيرة ووحدات المعالجة المتخصصة، أدخلت سلوكيات جديدة تسببت في هذه القفزات المفاجئة في الوقت. كانت هذه السلوكيات مخفية في الدراسة الأصلية لأنها استخدمت دقة أقل للبيانات، حيث اكتفت بأخذ عينات من بعض القيم بدلاً من اختبار كل التباينات الممكنة. وعندما اختبر الفريق كل قيمة بمفردها، انكشف عدم الاستقرار الخفي للنظام.

خلص الباحثون إلى أنه بينما لا تزال الفكرة العامة القائلة بأن الترتيبات المكانية أكثر كفاءة من الترتيبات العميقة صحيحة، فإن الأداة الرياضية المحددة المصممة للتنبؤ بوقت التنفيذ لم تعد موثوقة على الأجهزة الحديثة. إن عدم قدرة الصيغة على التكيف مع التطور السريع لشرائح الكمبيوتر يعني أنه لا يمكن استخدامها كمعيار عالمي لتقدير استهلاك الطاقة أو السرعة. كما سلطت الدراسة الضوء على قضية حرجة في البحث العلمي: نقص حزم إعادة الإنتاج الكاملة والدقيقة. فبدون الكود الأصلي، وإصدارات البرامج المحددة، والبيانات الخام، يصعب معرفة سبب فشل الصيغة بالضبط. ولا يزال من غير الواضح ما إذا كان الفشل ناتجاً عن الأجهزة نفسها أو عن الافتراضات التي اضطر الباحثون لاتخاذها بسبب المعلومات المفقودة.

في نهاية المطاف، يعمل هذا العمل كتذكير بأنه في مجال الذكاء الاصطناعي سريع الحركة، يمكن للمقاييس البسيطة أن تكون مضللة. إن كفاءة نموذج الذكاء الاصطناعي ليست مجرد مسألة عدّ العمليات؛ بل هي تفاعل معقد بين تصميم النموذج، والجهاز المحدد الذي يعمل عليه، والبرمجيات التي تدير العملية. لقد أتاح الباحثون مجموعتهم الكاملة من البيانات والكود للجمهور، آملين أن تسمح هذه الشفافية للآخرين ببناء أدوات أفضل للمستقبل. وتشير نتائجهم إلى أنه مع استمرار نمو الذكاء الاصطناعي، يجب أن نتجاوز عمليات العد البسيطة ونطور فهماً أعمق وأكثر دقة لكيفية عمل هذه الأنظمة الرقمية في العالم الحقيقي.