Green Prompting: Characterizing Prompt-driven Energy Costs of LLM Inference
تثبت هذه الورقة تجريبياً أن المعنى الدلالي للمطالبات والكلمات المفتاحية المحددة المتعلقة بالمهمة، وليس مجرد طول المطالبة، يؤثر بشكل كبير على استهلاك الطاقة أثناء استنتاج النماذج اللغوية الكبيرة، مما يسلط الضوء على إمكانية تحسين الكفاءة من خلال التصميم الاستراتيجي للمطالبات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طباخاً آلياً ذكياً جداً، ولكنه جائع للغاية. هذا الطباخ يمكنه كتابة القصص، أو الإجابة على الأسئلة، أو إخبارك ما إذا كانت مراجعة فيلم ما جيدة أم سيئة. ولكن هناك عقبة: في كل مرة يطبخ فيها وجبة (يولد إجابة)، فإنه يستهلك الكثير من الكهرباء.
هذه الورقة البحثية تشبه مجموعة من العلماء الذين يرتدون قبعات المحققين لمعرفة ما الذي يجعل الطباخ يستهلك كهرباء أكثر أو أقل بالضبط. أرادوا معرفة: هل حجم تذكرة الطلب (الأمر/البرومبت) هو الأهم؟ أم أن هناك شيئاً آخر؟
إليك قصة نتائجهم، مقسمة ببساًطة:
١. المفهوم الخاطئ الكبير: الأمر لا يتعلق بتذكرة الطلب
قد تعتقد أنه إذا أعطيت الطباخ تذكرة طلب طويلة ومعقدة (أمراً طويلاً)، فسيستغرق الأمر طاقة أكبر لقراءتها.
- الحقيقة: وجد العلماء أن طول تذكرة الطلب لا يهم تقرياً. سواء كتبت ملاحظة صغيرة أو فقرة طويلة تطلب فيها وصفة، فإن الطاقة المستخدمة لـ قراءتها هي نفسها تقريباً.
- التشبيه: فكر في "الأمر" كأنه قائمة الطعام التي تسلمها للنادل. سواء كانت القائمة صفحة واحدة أو عشر صفحات، فإن النادل سيضطر للمشي إلى المطبخ مرة واحدة فقط. تكلفة الطاقة ليست في قراءة القائمة؛ بل في الطبخ.
٢. الجاني الحقيقي: حجم الوجبة (طول الاستجابة)
اكتشفت الدراسة أن طول الإجابة هو المحرك الأكبر لتكاليف الطاقة.
- الحقيقة: إذا كتب الطباخ إجابة قصيرة من جملة واحدة، فإنه يستخدم طاقة قليلة جداً. أما إذا كتب رواية، فإنه يستخدم كمية هائلة من الطاقة.
- التشبيه: تخيل أن الطباخ عبارة عن سيارة. "الأمر" هو مجرد الوجهة التي تكتبها في نظام تحديد المواقع (GPS). تكلفة الطاقة ليست في كتابة العنوان؛ بل في المسافة التي تقطعها السيارة. إذا طلبت من الطباخ "اكتب قصة"، فإنه سيقطع مسافة طويلة (يولد كلمات كثيرة)، مما يحرق الكثير من الوقود. إذا سألته "هل هذا سعيد؟"، فإنه سيقطع مسافة قصيرة.
٣. سحر "الكلمات السحرية" (الكلمات المفتاحية)
هذا هو الجزء الأكثر مفاجأة. وجد العلماء أن كلمات محددة في طلبك تعمل مثل مفاتيح تخبر الطباخ بأن "يطبخ بسرعة وبكمية صغيرة" أو "يطبخ ببطء وبكمية ضخمة".
- الحقيقة: استخدام كلمات مثل "اشرح" (explain)، "برر" (justify)، أو "صف" (describe) غالباً ما يحفز الطباخ لكتابة إجابات طويلة ومفصلة، مما يستهلك طاقة أكبر. بينما استخدام كلمات مثل "صنف" (classify)، "لخص" (summarize)، أو "حدد" (identify) غالباً ما يحفز إجابات قصيرة وموجزة، مما يوفر الطاقة.
- التشبيه: الأمر يشبه الطلب في مطعم.
- إذا قلت: "أعطني شرحاً مفصلاً عن تاريخ هذا الطبق،" سيبدأ الطباخ في التقطيع والطهي وتقديم الطبق لمدة ساعة. (طاقة عالية).
- إذا قلت: "صنف هذا الطبق كحار أو معتدل،" فسيقوم الطباخ فقط بتذوقه ويقول "حار". (طاقة منخفضة).
- وجدت الدراسة أن استبدال "كلمة عالية الطاقة" بـ "كلمة منخفضة الطاقة" يمكن أن يقلل فاتورة الكهرباء بنسبة تصل إلى ٦٠٪ لنفس المهمة!
٤. طباخون مختلفون، عادات مختلفة
لقد اختبروا ثلاثة "طباخين" مختلفين (نماذج ذكاء اصطناعي تسمى Mistral و Gemma و Vicuna). ورغم أنهم بُنيوا بمخططات متشابهة، إلا أن لديهم شخصيات مختلفة.
- Gemma كان الأكثر ثرثرة. حتى عندما يُطلب منه سؤال بسيط، فإنه يميل لكتابة إجابات طويلة ومسهبة. كان الأكثر تكلفة في التشغيل بشكل عام لأنه ببساطة لا يتوقف عن الكلام.
- Mistral كان أكثر إيجازاً.
- الدرس المستفاد: لا يعني مجرد كون النموذجين بنفس الحجم أنهما يكلفان نفس القدر من التشغيل. فبعضهما بطبيعته أكثر "إسهاباً" (ثرثرة) من غيرهما.
٥. مفاجأة الرموز التعبيرية (Emoji)
لاحظوا أيضاً أن أحد النماذج (Vicuna) يحب استخدام الرموز التعبيرية.
- الحقيقة: الرموز التعبيرية تكلف طاقة أكثر مما تعتقد! في عالم الذكاء الاصطناعي، الرمز التعبيري الواحد ليس مجرد "حرف" واحد؛ بل يتم تقسيمه غالباً إلى عدة قطع صغيرة (tokens) يجب على الكمبيوتر معالجتها.
- التشبيه: الأمر يشبه طلب رسم لوحة بدلاً من مجرد كتابة كلمة. الرسم يتطلب جهداً أكبر (وطاقة كهربائية) من كتابة كلمة "أحمر".
الخلاصة: كيف توفر الطاقة
الدرس الرئيسي من هذه الورقة هو أن كيفية طرح السؤال أهم من السؤال نفسه.
إذا كنت تريد توفير المال والمساعدة في حماية الكوكب (عن طريق استخدام كهرباء أقل)، فأنت لست بحاجة لشراء كمبيوتر جديد وغالي الثمن. أنت فقط بحاجة لتكون "مهندس أوامر" (Prompt Engineer) أفضل.
- لا تقل: "يرجى شرح بالتفصيل لماذا السماء زرقاء وأعطني تاريخاً للغلاف الجوي." (هذا يجعل الذكاء الاصطناعي يكتب كتاباً).
- قل: "صنف السبب في أن السماء زرقاء." (هذا يجعل الذكاء الاصطناعي يعطي إجابة سريعة).
من خلال اختيار كلماتك بعناية، يمكنك إخبار الذكاء الاصطناعي بالضبط مقدار "الطبخ" الذي تريده، مما يوفر كمية هائلة من الطاقة في هذه العملية. الأمر يشبه إخبار سيارتك: "اذهبي إلى المتجر"، بدلاً من "اذهبي إلى المتجر، ثم اذهبي إلى المنتزه، ثم اذهبي إلى الشاطئ، ثم عودي إلى المنزل".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.