Enhancing SLMs for Sustainable Code Optimization in Radio-Astronomy
تقترح هذه الورقة نهجاً مدفوعاً بالذكاء الاصطناعي وموفراً للطاقة من أجل تحسين الكود المستدام في علم الفلك الراديوي، وذلك عبر تعزيز النماذج اللغوية الصغيرة (SLMs) باستخدام التوليد متعدد العينات وتغذية المترجم الراجعة، مما يمكنها من مضاهاة أو تجاوز النماذج الأكبر حجماً مع تقليل الأثر البيئي لعملية التحسين نفسها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز ضخم بحجم مجرة. هذا ليس لغزاً يتكون من بضع مئات من القطع؛ بل هو لغز بمليارات القطع، وصورته هي الكون نفسه. هذا هو عالم علم الفلك الراديوي، حيث يستخدم العلماء تلسكوبات عملاقة للاستماع إلى همسات الكون. ولكن إليك المشكلة: الاستماع إلى الكون يولد جبلًا من البيانات الضخمة لدرجة أن حواسيبنا بدأت تعاني من الإجهاد. لمعالجة هذه البيانات، نحتاج إلى كتابة أكواد برمجية معقدة. والمشكلة هي أنه كلما زادت قوة الكود، زاد استهلاك الكهرباء، وزادت الحرارة الناتجة عنه. نحن نقف عند مفترق طرق: نحتاج لرؤية أعماق الفضاء، لكن لا يمكننا تحمل تكلفة حرق الكوكب للقيع القيام بذلك.
لحل هذه المشكلة، يتجه العلماء إلى الذكاء الاصطناعي للمساعدة في كتابة وتحسين الأكواد البرمجية. عادةً ما تكون نماذج الذكاء الاصطناعي "فائقة الذكاء" مثل وحوش ضخمة وجائعة تحتاج إلى مراكز بيانات كاملة لتعمل، مما يبطل الغرض من توفير الطاقة. تطرح هذه الورقة سؤالاً ذكياً: هل يمكننا استخدام نماذج ذكاء اصطناعي أصغر وأكثر كفاءة — لنسمها "المساعدين الصغار الأذكياء" — للقيام بنفس المهمة؟ كما يستكشف المؤلفون طريقة جديدة لتعليم هؤلاء المساعدين. فبدلاً من مجرد طلب كتابة الكود منهم والأمل في الحصول على أفضل نتيجة، فإنهم يتركون الذكاء الاصطناعي يشغل الكود، ويرى أين يتعطل (مثل خطأ في المترجم/Compiler error)، ثم يطلبون من الذكاء الاصطناعي إصلاح أخطائه بنفسه. الأمر يشبه إعطاء طالب اختباراً، وإظهار العلامات الحمراء على ورقته، ثم الطلب منه المحاولة مرة أخرى فوراً. الهدف هو معرفة ما إذا كان هؤلاء المساعدون الأصغر والأكثر كفاءة في استهلاك الطاقة، عندما تُمنح لهم فرصة ثانية للتعلم من أخطائهم، يمكنهم التفوق على الوحوش الضخمة والشرهة للطاقة.
الورقة البحثية: تعليم الذكاء الاصطناعي الصغير ليكون كبيراً وصديقاً للبيئة
في هذه الدراسة، يعالج الباحثون في جامعة لايدن وNWO-I ASTRON تحدياً محدداً للغاية: وهو كيفية ترقية البرمجيات الخاصة بتلسكوب "لوفار" (LOFAR) الراديوي دون استنزاف الميزانية في استهلاك الكهرباء. يتلقى التلسكوب ترقية ضخمة للأجهزة، مما يعني أنه سينتج بيانات أكثر بمقدار 40 ضعفاً. وإذا لم يتم تحسين البرمجيات، فإن فاتورة الطاقة لمعالجة هذه البيانات سترتفع بشكل جنوني. يريد الفريق استخدام الذكاء الاصطناعي للمساعدة في كتابة كود أفضل وأسرع، لكنهم قلقون من أن الذكاء الاصطناعي نفسه قد يستهلك الكثير من الطاقة.
التجربة الأولى: استراتيجية "العديد من التخمينات الصغيرة"
أراد الفريق معرفة ما إذا كان بإمكان نموذج ذكاء اصطناعي صغير أن يهزم نموذجاً كبيراً إذا مُنحوا نفس القدر من الوقت للعمل. تخيل أن لديك صديقاً صغيراً سريع البديهة (نموذج بـ 7 مليارات معلمة) وعبقرياً ضخماً بطيء الحركة (نموذج بـ 32 مليار معلمة). عادةً ما يكون العبقري هو الأفضل، لكنه يستغرق وقتاً طويلاً في التفكير.
جرب الباحثون خدعة مع الصديق الصغير: بدلاً من طلب إجابة واحدة فقط، طلبوا منه تقديم سبعة تخمينات مختلفة في نفس الوقت الذي يستغرقه العملاق لتقديم تخمين واحد فقط. الأمر يشبه طلب سبعة سباقات قصلة سريعة من عداء سريع، بينما يقوم العملاق البطيء بمشية واحدة طويلة وثقيلة.
كانت النتائج مفاجئة. في لغة البرمجة بايثون (Python)، نجح الصديق الصغير، عبر تقديم سبعة تخمينات، في أداء مهمة أفضل من العملاق الذي قدم تخميناً واحداً. لقد تمكن من كتابة كود بجودة تضاهي، إن لم تكن أفضل من، الكود الكبير، بينما استخدم بطاقة رسوميات واحدة (GPU) بدلاً من أربع. وفي لغة سي شارب (#C)، كانت النتائج متباينة قليلاً، لكن الصديق الصغير ظل صامداً. الخلاصة الرئيسية هنا هي أنه من خلال السماح لنموذج صغير بالمحاولة عدة مرات بسرعة، يمكنك الحصول على نتائج عالية الجودة دون الحاجة إلى التكلفة الهائلة للطاقة التي يتطلبها النموذج الضخم.
التجربة الثانية: حلقة "التعلم من الأخطاء"
تناول الجزء الثاني من الدراسة كيفية جعل نماذج الذكاء الاصطناعي هذه أكثر ذكاءً من خلال منحها التغذية الراجعة. تخيل أنك تكتب قصة، وفي كل مرة تنهي فيها فقرة، يسلمك محرر صارم الفقرة ويقول لك: "لقد ارتكبت خطأً قواعدياً هنا"، أو "هذه الجملة غير منطقية". ثم تقوم بتصحيحها والمحاولة مرة أخرى.
بنى الباحثون نظاماً حيث يكتب الذكاء الاصطناعي الكود، ثم يشغله، وإذا أطلق الكمبيوتر خطأً (مثل خطأ في بناء الجملة أو خطأ منطقي)، يقرأ الذكاء الاصطناعي رسالة الخطأ تلك ويحاول إصلاح الكود. اختبروا ذلك مع عدة نماذج ذكاء اصطناعي صغيرة مختلفة.
كانت النتائج متسقة: تحسن كل نموذج من النماذج عندما سُمح لها برؤية أخطائها وإصلاحها. في المتوسط، حسنت النماذج معدل نجاحها بنسبة تتراوح بين 3 إلى 4 نقاط مئوية. أما نموذج "CodeGemma"، فقد شهد قفزة هائلة قدرها 10 نقاط مئوية! وهذا يشير إلى أن مجرد حلقة بسيطة من "حاول، افشل، أصلح" يمكن أن تجعل الذكاء الاصطناعي الصغير أكثر موثوقية.
ما وجدوه وما لم يجدوه
تشير الورقة إلى أننا لسنا بحاجة للاعتماد على نماذج ذكاء اصطناعي ضخمة وشرهة للطاقة لتحسين الكود العلمي. بدلاً من ذلك، فإن استخدام نماذج أصغر مع استراتيجية "تعدد العينات" (المحاولة عدة مرات) وسير عمل "وكيل" (التعلم من أخطاء المترجم) يمكن أن ينتج كوداً بجودة تضاهي، إن لم تكن أفضل من، الكود الناتج عن النماذج الضخمة، مع استهلاك جزء ضئيل من الطاقة.
ومع ذلك، يحذر المؤلفون من اعتبار هذا حلاً سحرياً. فقد أشاروا إلى أنه بينما أدت النماذج الصغيرة أداءً جيداً في هذه الاختبارات المحددة، إلا أنهم لا يزالون يعملون على جعل النظام أفضل. لم يدمجوا بعد استراتيجية "العديد من التخمينات" مع حلقة "التعلم من الأخطاء"، لكنهم يتوقعون أن القيام بكليهما معاً سيكون أكثر قوة. كما أوضحوا أنه بينما تحسن توليد الكود، فإنهم لا يزالون يعملون على كيفية قياس التوفير الدقيق في الطاقة للكود النهائي.
الخلاصة
تظهر هذه الورقة مساراً واعداً نحو العلم المستدام. فمن خلال استخدام نماذج ذكاء اصطناعي أصغر وأكثر ذكاءً، يُسمح لها بالمحاولة عدة مرات والتعلم من أخطائها، قد يتمكن العلماء من ترقية تلسكوباتهم الضخمة ومعالجة بيانات الكون دون زيادة بصمتهم الكربونية. إنها تذكير بأنه في بعض الأحيان، يكون المساعد الصغير والسريع والمثابر أفضل من مساعد ضخم وبطيء ومكلف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.