← أحدث الأبحاث
🤖 AI

Beyond FLOPs: Energy-Aware Knowledge Distillation for Sustainable LLMs on Code-Related Task

تُثبت هذه الورقة أن تقطير المعرفة الموجه بالطاقة عبر نماذج بديلة مباشرة للطاقة، بدلاً من مقاييس العمليات الحسابية العائمة (FLOPs) التقليدية، يقلل بشكل كبير من استهلاك الطاقة والذاكرة أثناء الاستدلال للنماذج اللغوية الكبيرة في مهام هندسة البرمجيات مع الحفاظ على الأداء.

المؤلفون الأصليون: Enrique Barba Roque, Luís Cruz, Annibale Panichella

نُشر 2026-08-19
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Enrique Barba Roque, Luís Cruz, Annibale Panichella

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم البرمجيات الحديث، ظهر نوع جديد من الذكاء: النماذج اللغوية الكبيرة. هذه النماذج عبارة عن أنظمة حاسوبية ضخمة تم تدريبها على مكتبات هائلة من الأكواد البرمجية، وهي قادرة على فهم لغات البرمجة والمساعدة في كتابة البرمجيات وإصلاحها وشرحها. ورغم أن هذه الأدوات قوية للغاية، إلا أنها تأتي بثمن باهظ؛ إذ يتطلب تشغيلها مراكز بيانات ضخمة مليئة بالأجهزة المتخصصة التي تلتهم الكهرباء، مما يساهم بشكل كبير في استهلاك الطاقة والضغط البيئي. ولأن هذه الأنظمة ضخمة جداً، فغالباً لا يمكن تشغيلها على أجهزة الكمبيوتر المحمولة أو الشخصية التي يستخدمها معظم الناس يومياً. ولجعل هذه الأدوات أكثر استدامة وسهولة في الوصول إليها، لجأ الباحثون إلى تقنية تسمى "تقطير المعرفة". تخيل معلماً خبيراً ينقل معرفته إلى طالب أصغر سناً؛ في هذه النسخة الرقمية، يقوم نموذج ضخم ومعقد بتعليم نموذج أصغر وأبسط كيفية أداء المهام نفسها. والهدف هو الحفاظ على ذكاء النموذج الأصغر ليكون مفيداً، مع جعله صغيراً بما يكفي ليعمل بكفاءة على الأجهزة العادية.

وضع فريق من الباحثين في جامعة دلفت للتكنولوجيا هدفاً لاختبار مدى نجاح هذه العملية في مهام هندسة البرمجيات، وتحديداً بالنظر في كيفية قياس تكلفة الطاقة لهذه النماذج. لسنوات طويلة، اعتمدت الصناعة على مقياس قياسي يسمى "العمليات الحسابية ذات الفاصلة العائمة"، أو (FLOPs)، لتقدير مقدار الطاقة التي سيستخدمها النموذج. هذا الرقم يحصي العمليات الحسابية النظرية التي يجب أن يؤديها النموذج. ومع ذلك، اشتبه الباحثون في أن هذا الرقم قد يكون مضللاً، تماماً مثل عدّ الخطوات في رحلة دون مراعاة التضاريس أو الطقس. ولإيجاد الحقيقة، أجروا تجربة منضبطة باستخدام طريقة متطورة تبحث تلقائياً عن أفضل النماذج الصغيرة الممكنة. وقد اختبروا ذلك على نوعين متميزين من المشكلات: إيجاد الكود المكرر والتنبؤ بالثغرات الأمنية في البرمجيات.

بدأت الدراسة بطرح سؤال بسيط ولكنه حاسم: هل يتطابق العدد النظري للحسابات فعلياً مع الطاقة المستخدمة حقيقة؟ قام الباحثون بتشغيل النماذج على أجهزة كمبيوتر فعلية وقاسوا الكهرباء المستهلكة من قبل المعالج وبطاقة الرسوميات أثناء العمل. كانت النتائج مفاجئة وغير متسقة. فبالنسبة لمهمة إيجاد الكود المكرر، لم يكن لعدد الحسابات النظري أي علاقة تقريباً بالكهرباء المستخدمة فعلياً؛ حيث كان النموذج الذي يؤدي عمليات حسابية أقل يستهلك أحياناً طاقة أكثر من نموذج يؤدي عمليات أكثر بكماً. وفي المقابل، بالنسبة لمهمة التنبؤ بالثغرات الأمنية، أظهر عدد الحسابات علاقة باستهلاك الطاقة، ولكن حتى هناك، لم يكن دليلاً مثالياً. فقد استخدمت بعض النماذح ذات أعداد الحسابات العالية طاقة أقل بكثير من نماذج أخرى ذات أعداد أقل. أثبت هذا أن المقياس القياسي في الصناعة ليس وسيلة موثوقة للحكم على كفاءة الطاقة عبر مختلف مهام البرمجيات.

ولأن المقياس القديم كان معيباً، طور الفريق نهجاً جديداً. فبدلاً من التخمين بشأن استخدام الطاقة بناءً على أعداد الحسابات، بنوا نظاماً يتعلم من القياسات الحقيقية. لقد قاموا بتدريب نموذج مساعد للتنبؤ باستهلاك الطاقة بناءً على الإعدادات المحددة للنموذج "الطالب"، باستخدام بيانات فعلية تم جمعها من الأجهزة. وعندما استخدموا هذا النظام الجديد، الواعي بالطاقة، لتصميم النماذج الأصغر، تحسنت النتائج بشكل كبير. فبالنسبة لمهمة الكود المكرر، وجد النهج الجديد نماذج تستهلك طاقة أقل بنسبة 39 بالمائة مقارنة بتلك التي صُممت بالمنهج القديم، دون فقدان أي دقة. أما بالنسبة لمهمة التنبؤ الأمني، فكانت النتائج مماثلة، مما أظهر أن النهج الجديد يمكنه إيجاد حلول فعالة حتى عندما بدا المقياس القديم ناجحاً.

ثم دفع الباحثون بهذا المنهج إلى أبعد من ذلك، بتطبيقه على تحدٍ أكثر تعقيداً: تلخيص الكود. تتضمن هذه المهمة إنشاء وصف مفهوم للبشر لما يفعله جزء من الكود، وهو أمر أكثر صعوبة من مجرد التصنيف البسيط. استخدموا نموذجاً ضخماً يسمى (+CodeT5) كـ "معلم"، وحاولوا تقطيره إلى "طالب" أصغر. كانت النتائج مذهلة؛ فقد أنتج النهج الجديد، المركز على الطاقة، نماذج طالب أصغر بنسبة 86 بالمائة في حجم الذاكرة واستخدمت طاقة أقل بنسبة تصل إلى 90 بالمائة من النموذج المعلم الأصلي. كان المقابل هو انخفاض طفيف في الدقة، لكن الملخصات ظلت متماسكة ومفيدة. ووجد الباحثون أنه بالنسبة لمهام التوليد المعقدة هذه، فإن القاعدة القياسية المتمثلة في جعل النماذج أصغر ما يمكن لم تكن تعمل؛ إذ يجب أن تكون النماذج كبيرة بما يكفي لفهم الكود، لكن النهج الجديد وجد "النقطة المثالية" حيث تكون النماذج صغيرة بما يكفي لتكون فعالة.

يسلط هذا العمل الضوء على تحول حاسم في كيفية تفكيرنا في الذكاء الاصطناعي والاستدامة. توضح الدراسة أن الاعتماد على الأرقام النظرية لتقدير استخدام الطاقة يمكن أن يدفع المهندسين إلى اختيار نماذج ليست هي الأكثر كفاءة في الواقع. ومن خلال قياس استهلاك الطاقة الحقيقي واستخدام تلك البيانات لتوجيه تصميم النماذج الأصغر، من الممكن إنشاء أدوات برمجية قوية ومستدامة في آن واحد. يمكن لهذه النماذج الأصغر والأكثر كفاءة في استهلاك الطاقة أن تعمل في النهاية على الأجهزة الاستهلاكية، مما يجلب فوائد الذكاء الاصطناዊ المتقدم إلى الأجهزة المحلية دون التكلفة البيئية الهائلة للحوسبة السحابية. وتشير النتائج إلى أنه من أجل مستقبل أكثر خضرة للبرمجيات، يجب أن ننظر إلى ما وراء مجرد أعداد العمليات ونقيس البصمة الفعلية للطاقة للأدوات التي نبنيها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →