Comparing energy consumption and accuracy in text classification inference
تقيم هذه الدراسة بشكل منهجي المقايضات بين الدقة واستهلاك الطاقة في استنتاج تصنيف النصوص، كاشفةً أنه بينما تستهلك النماذج اللغوية الكبيرة غالباً طاقة أكثر من النماذج التقليدية، إلا أنها لا تتفوق عليها بالضرورة في إعدادات التعلم الصفري، وأن وقت تشغيل الاستنتاج يمكن أن يعمل كبديل عملي لاستخدام الطاقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مكتب بريد مزدحمًا. في كل يوم، تصل آلاف الرسائل (الرسائل النصية)، وعليك فرزها في الحاويات الصحيحة (الفئات) لكي تصل إلى القسم المناسب. لديك نوعان من العمال لمساعدتك:
- الخبراء المحليون (النماذج التقليدية): هؤلاء عمال تم تدريبهم خصيصًا على قواعد مكتب البريد الخاص بك. إنهم سريعون، ويستهلكون القليل جدًا من الكهرباء، ويعرفون بالضبط أين يضعون الرسائل.
- العباقي الخارقون (النماذج اللغوية الكبيرة أو LLMs): هؤلاء علماء بارعون يعرفون كل شيء عن العالم. لم يتم تدريبهم خصيصًا على مكتب البريد الخاص بك، لكن يمكنهم تخمين الحاوية الصحيحة بمجرد قراءة الرسالة. ومع ذلك، فهم بطيئون، ويحتاجون إلى كميات هائلة من الكهرباء لتشغيل عقولهم، وأحيانًا يبالغون في التفكير في المهام البسيطة.
هذه الورقة البحثية هي سباق وجهاً لوجه بين هذين النوعين من العمال لمعرفة من سيفرز البريد بشكل أفضل مع توفير أكبر قدر من الطاقة.
المفاجأة الكبرى: الخبراء المحليون غالبًا ما يفوزون
وضع الباحثون اختبارًا باستخدام رسائل حقيقية من مكتب حكومي ألماني حول النفايات المشعة. طلبوا من كل من الخبراء المحليين والعباقي الخارقين فرز 189 رسالة.
- النتيجة: كان الخبراء المحليون (تحديدًا نموذج بسيط يستخدم "تضمينات الجمل" - sentence embeddings) الأكثر دقة واستخدموا أقل قدر من الطاقة.
- الصدمة: استهلك العباقي الخارقون (نماذج الذكاء الاصطناعي الضخمة) آلاف الأضعاف من الكهرباء مقارنة بالخبراء المحليين. وفي بعض الحالات، كان العباقي الخارقون في الواقع أقل دقة من العمال البسيطين، رغم أنهم استهلكوا طاقة تكفي لتشغيل منزل صغير ليوم كامل.
التشبيه: الأمر يشبه استخدام غواصة تعمل بالطاقة النووية لتوصيل رسالة واحدة عبر الشارع. صحيح أن الغواصة متطورة للغاية، لكنها خيار سيء جدًا لهذه المهمة. أما الدراجة الهوائية (النموذج التقليدي) فتنجز المهمة بشكل أسرع، وأرخص، وبدون أي انبعاثات كربونية.
فخ "التفكير"
بحثت الدراسة أيضًا في توجه جديد حيث يُطلب من نماذج الذكاء الاصطناعي أن "تفكر" قبل أن تجيب (مثل نماذج DeepSeek).
- التشبيه: تخيل عاملًا يقرأ رسالة، ثم يقضي 10 دقائق في كتابة مقال من 5 صفحات حول سبب اعتقاده أنها تنتمي إلى حاوية معينة، قبل أن يضعها أخيرًا في الحاوية.
- النتيجة: جعلت عملية "التفكير" هذه الذكاء الاصطناعي أبطأ واستهلكت طاقة أكبر، لكنها لم تجعل عملية الفرز أكثر دقة. في الواقع، بالنسبة لفرز النصوص البسيط، كان هذا التفكير الإضافي مجرد جهد ضائع.
عامل الأجهزة: الأكبر ليس دائمًا الأفضل
اختبر الباحثون هذه النماذج على محركات حاسوبية مختلفة (GPUs)، من القديمة والبطيئة إلى الأحدث والأسرقة.
- النتيجة: حتى مع المحركات الأسرع والأغلى ثمنًا، ظل العباقي الخارقون يلتهمون الكثير من الطاقة.
- القاعدة العامة: اكتشف الباحثون خدعة بسيطة: الوقت هو الطاقة. إذا كنت تعرف الوقت الذي تستغرقه مهمة ما، يمكنك تقريبًا تخمين مقدار الكهرباء التي استخدمتها. إذا استغرق النموذج 10 ثوانٍ لفرز رسالة، فإنه يستهلك قدرًا معينًا من الطاقة. إذا استغرق 100 ثانية، فإنه يستهلك 10 أضعاف الطاقة. لا تحتاج دائمًا إلى عداد فاخر؛ ساعة إيقاف ستفي بالغرض.
ماذا عن الوظائف الأخرى؟
قلق الباحثون قائلين: "ربما هذا يعمل فقط مع رسائل النفايات المشعة فقط". لذا، اختبروا النماذج في مهام أخرى مثل فرز مراجعات الأفلام، والمقالات الإخبارية، والمشاعر.
- الحكم: ظل النمط ثابتًا في معظم الحالات. بالنسبة للمهام البسيطة، كانت النماذج الصغيرة والفعالة هي الأفضل عادةً.
- الاستثناء: عندما تصبح المهمة معقدة للغاية (مثل فهم المشاعر الإنسانية العميقة أو الأخبار الدقيقة)، بدأ العباقي الخارقون بالفعل في الفوز من حيث الدقة. ولكن حتى حينها، عليك أن تسأل: هل التحسن الطفيف في الدقة يستحق الارتفاع الهائل في فواتير الكهرباء؟
الخلاصة للعالم الحقيقي
يجادل المؤلفون بأننا مهووسون حاليًا بجعل الذكاء الاصطناعي "أذكى" (نماذج أكبر) دون الاهتمام بالتكلفة. وهم يقترحون طريقة جديدة للتفكير:
- ابدأ صغيرًا: قبل أن توظف عبقريًا خارقًا، جرب خبيرًا محليًا. قد تجد أنه يؤدي المهمة بنفس الكفاءة وبجزء ضئيل من التكلفة.
- قس الفاتورة: لا تنظر فقط إلى مدى دقة الذكاء الاصطناعي؛ بل انظر أيضًا إلى "ثمنه" من الطاقة.
- لا تبالغ في التفكير: إذا كانت الإجابة البسيطة تفي بالغرض، فلا تجبر الذكاء الاصطناعي على كتابة رواية للوصول إليها.
باختصار: مجرد قدرتك على استخدام روبوت ضخم يستهلك الطاقة لفرز بريدك، لا يعني بالضرورة أنه يجب عليك فعل ذلك. أحيانًا، يكون الحل الأفضل هو أداة بسيطة وفعالة تنجز المهمة دون حرق الكوكب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.