Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
تُدقق هذه الورقة مشروع استدلال في الأمن السيبراني لتثبت أن مقارنات الطاقة المنشورة بين السحابة والمحلي غير صالحة بسبب عيوب في المصدر، بما في ذلك تمويه الهويات الحسابية في هيئة قياسات وعدم تطابق الأبعاد، وبذلك تضع بروتوكولاً صارماً وواعياً بالمصدر للتقييمات المستقبلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الرقمي الحديث، أصبحت النماذج اللغوية الكبيرة أدوات قوية لفرق الأمن، حيث تساعدهم في فرز رسائل البريد الإلكتروني الاحتيالية، وشرح الثغرات البرمجية، والاستجابة للهجمات السيبرانية. تعمل أنظمة الذكاء الاصطناعي هذه من خلال التنبؤ بالكلمة التالية في الجملة، لكنها تستهلك أيضاً الكهرباء للقيام بذلك. وبينما تقرر المؤسسات ما إذا كانت ستشغل هذه النماذج على خوادمها الخاصة أو تستأجرها من مزودي الخدمات السحابية الضخمة، يبرز سؤال حاسم: أي الخيارين هو الأفضل للبيئة؟ وللإجابة على ذلك، يجب على الباحثين قياس الطاقة المستخدمة في كل طلب. ومع ذلك، فإن قياس الطاقة ليس بسيطاً مثل قراءة عداد؛ إذ يتطلب معرفة الأجهزة المستخدمة بالضبط، ومدة تشغيلها، والمهام المحددة التي تم تنفيذها. وبدون سجل واضح لمصدر الرقم وكيفية حسابه، فإن مقارنة بين نظامين مختلفين تشبه مقارنة قراءة عداد السرعة في سيارة بتخمين مدى سرعة دراجة هوائية.
قرر فريق من الباحثين في جامعة أوكلاند للتكنولوجيا التحقيق في هذه المشكلة من خلال النظر بدقة في مشروع أمني سيبراني محدد تم إنجازه بالفعل. لم يقوموا بإجراء تجارب جديدة أو قياس الكهرباء بمعدات جديدة، بل عملوا كمدققين، حيث فحصوا الملفات والسجلات والتقارير الموجودة لمعرفة ما إذا كان يمكن الوثوق في ادعاءات الطاقة التي قدمتها الدراسة الأصلية. كان هدفهم هو تتبع كل رقم وصولاً إلى مصدره، والتحقق مما إذا كانت البيانات ملاحظة مباشرة للواقع أم حساباً مبنياً على افتراضات. وقد وجدوا أن الدراسة كانت تحاول مقارنة شيئين مختلفين تماماً: خدمة سحابية تخفي آليات عملها الداخلية، وحاسوب محلي حيث استطاع الباحثون رؤية العمليات ولكنهم ارتكبوا خطأً جوهرياً في كيفية تسجيل بياناتهم.
اكتشف الباحثون أن أرقام الطاقة الخاصة بالجزء السحابي من الدراسة لم تكن قياسات للكهرباء على الإطلاق. ففي الجدول السحابي الذي يحتوي على 360 سجلاً، كانت كل قيمة طاقة مشتقة من خلال أخذ العدد الإجمالي للكلمات التي أنتجها النموذج وضربها في رقم ثابت. وهذا يعني أن رقم الطاقة كان هوية رياضية، أي قاعدة مطبقة على النص، وليس قراءة من عداد كهربائي. لم يشارك مزود الخدمة السحابية أي بيانات حول مقدار الطاقة التي استهلكتها خوادمهم فعلياً لهذه الطلبات. وبناءً على ذلك، فإن الرابط القوي بين عدد الكلمات وتكلفة الطاقة كان نتاج طريقة الحساب، وليس ملاحظة فيزيائية لكمية الكهرباء التي استهلكها السحاب.
كان الوضع مختلفاً ولكنه مثير للمشاكل بنفس القدر بالنسبة للتجارب المحلية، حيث تم تشغيل النموذج على أجهزة الباحثين الخاصة. هنا، استخدم الفريق أداة برمجية مصممة لتقدير انبعاثات الكربون. قامت هذه الأداة بحساب كمية مكافئ ثاني أكسيد الكربون المنتجة بشكل صحيح، مقاسة بالكيلوغرامات. ومع ذلك، تعامل الباحثون لاحقاً مع رقم الكربون هذا كما لو كان مقياساً للطاقة الكهربائية بالكيلوواط/ساعة. فقد ضربوا وزن الكربون في ألف وأسموه طاقة، ثم استخدموا هذا الرقم الخاطئ لحساب تكلفة الكهرباء. كان هذا خلطاً في الوحدات، يشبه وزن كيس من التفاح ثم الادعاء بأن الوزن يخبرك بكمية الماء الموجودة في مسبح. وبسبب هذا الخطأ، لم يكن من الممكن مقارنة أرقام الطاقة المحلية بالأرقام السحابية، ولا يمكن الوثوق بها كمقياس حقيقي لاستهلاك الطاقة.
كشف التدقيق أيضاً أن جانبي الدراسة لم يختبرا الأشياء نفسها. تضمنت الطلبات السحابية نوعاً مختلفاً من النماذج وسمحت بالإجابات بأن تكون أطول بكثير من الطلبات المحلية، التي تم قطعها عند طول أقصر. كما افتقرت الدراسة المحلية إلى سجل واضح لإصدارات البرامج وإعدادات الأجهزة المستخدمة، مما يجعل من المستحيل معرفة ما إذا كانت النت النتائج ستكون هي نفسها إذا أُعيدت التجربة. علاوة على ذلك، لم تتضمن الدراسة وسيلة للتحقق مما إذا كانت المهام الأمنية قد حُلت بشكل صحيح أم لا، بل اكتفت فقط بمعرفة أنها اكتملت. وبدون معرفة ما إذا كانت الإجابات جيدة، فمن المستحيل معرفة ما إذا كانت الطاقة المستخدمة كفؤة أم مهدرة.
عندما طبق الباحثون إطاراً صارماً لتتبع تاريخ البيانات، يُعرف باسم "الأصل" (provenance)، وجدوا أن الأرشيف لا يمكنه دعم تصنيف أي من عمليات النشر كانت أكثر كفاءة في استهلاك الطاقة. كانت الأرقام السحابية تقديرات بناءً على طول النص، والأرقام المحلية كانت مبنية على خطأ في تحويل الوحدات. لم تستطع الدراسة تحديد ما إذا كان السحاب أفضل، أو ما إذا كان الإعداد المحلي أفضل، أو حتى ما إذا كانا قابلين للمقارنة. وخلص الباحثون إلى أن الدراسات المستقبلية يجب أن تُصمم بشكل مختلف؛ إذ يجب استخدام نفس المهام لكلا النظامين، وقياس الكهرباء بعدادات مناسبة أو بيانات موثقة، والاحتفاظ بسلسلة واضحة وغير منقطعة من الأدلة توضح بالضبط كيف تم اشتقاق كل رقم. وإلى أن تُجرى دراسة كهذه، ستظل الادعاءات المتعلقة بالفوائد البيئية لأحد النهجين على الآخر غير مثبتة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.