More Accurate or More Efficient? Evaluating Locally Deployed Compact Open-Weight Language Models for Mathematical Reasoning
تقدم هذه الورقة إطار تقييم منضبط لنماذج اللغة المفتوحة الأوزان والمدمجة والمنشورة محلياً في مجال الاستدلال الرياضي، مما يثبت أن الدقة وحدها غير كافية لاختيار النماذج عبر الكشف عن مقايضات جوهرية حيث يوفر نموذج Gemma3:4b كفاءة فائقة في استهلاك الطاقة رغم تفوق دقة نموذج Qwen3:4b في مجموعات بيانات محددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في السنوات القليلة الماضية، تعلمت الحواسيب القراءة والكتابة بطلاقة تبدو بشرية تقريبًا. هذه الأنظمة، المعروفة باسم نماذج اللغات الكبيرة، يمكنها حل المشكلات، وكتابة القصص، والإجابة على الأسئلة من خلال التنبؤ بالكلمة التالية في الجملة بناءً على الأنماط التي تعلمتها من كميات هائلة من النصوص. لفترة طويلة، كانت الطريقة الوحيدة لاستخدام هذه الأدوات القوية هي إرسال سؤال عبر الإنترنت إلى مزرعة خوادم ضخمة مملوكة لشركة تكنولوجيا. لكن هناك توجهًا جديدًا يغير هذه الديناميكية؛ حيث أصبح الباحثون والمطورون الآن قادرين على تحميل نسخ أصغر من هذه النماذج وتشغيلها مباشرة على حواسيبهم الخاصة، تمامًا مثل تثبيت برنامج قياسي. يوفر هذا التحول فوائد كبيرة: بياناتك تظل خاصة على جهازك، ولا يتعين عليك الدفع مقابل كل سؤال، ويمكنك استخدام التكنولوجيا حتى بدون اتصال بالإنترنت. ومع ذلك، فإن تشغيل هذه البرامج محليًا يأتي مع مجموعة جديدة من التحديات. فعندما يعمل نموذج ما على عتادك الخاص، فإنه يستهلك الكهرباء، ويولد الحرارة، ويستغرق وقتًا للتفكير. ومجرد كون النموذج صغيرًا بما يكفي ليتناسب مع جهاز كمبيوتر محمول لا يعني أنه كفء بما يكفي ليكون عمليًا للاستخدام اليومي.
لقد وضع فريق من الباحثين في معهد فلوريدا للتكنولوجيا هدفًا لفهم المقايضات الواقعية لتشغيل هذه النماذج المحلية. أرادوا معرفة ما إذا كان النموذج الأكثر دقة هو أيضًا الأكثر كفاءة، أم أن اختيار الأداة الأفضل للمهمة يتطلب موازنة السرعة والطاقة والصحة. ولإيجاد الإجابة، ركزوا على نوع محدد من المهام: الاستدلال الرياضي. تُعد المسائل الرياضية مثالية لهذا النوع من الاختبارات لأن لها إجابات واضحة وموضوعية. فخلافًا لطلب كتابة إبداعية حيث تكون الإجابة "الصحيحة" ذاتية، فإن المسألة الرياضية إما أن يكون لها حل صحيح أو لا. اختار الباحثون ثلاثة نماذج مدمجة، يحتوي كل منها على أقل من خمسة مليارات معلمة (parameter)—وهو مقياس لحجم النموذج وتعقيده. وقد تم اختيار هذه النماذج، التي طورتها شركات جوجل ومايكروسوفت وعلي بابا، لأنها صغيرة بما يكفي لتشغيلها على أجهزة الكمبيوتر الاستهلاكية القياسية دون الحاجة إلى معدات متخصصة وباهظة الثمن.
صمم الفريق تجربة صارمة لضمان مقارنة عادلة. فقد جمعوا ثلاث مجموعات متميزة من المسائل الرياضية تتراوح من حسابات الصف الثامن إلى التفاضل والتكامل المتقدم في المستوى الجامعي والإحصاء المتقدم. ثم قاموا بتغذية هذه المسائل نفسها بالضبط لكل نموذج من النماذج الثلاثة، مع تشغيلها جميعًا على نفس جهاز الكمبيوتر وبإعدادات متطابقة. والأهم من ذلك، أنهم لم يكتفوا بمراقبة ما إذا كانت النماذج قد حصلت على الإجابة الصحيحة فحًا، بل قاموا أيضًا بقياس الوقت الذي استغرقه كل سؤال للحل، وعدد الكلمات التي أنتجها النموذج للوصول إلى هناك، وكمية الطاقة الكهربائية التي استهلكها بطاقة الرسوميات في جهاز الكمبيوتر أثناء العملية. كما بنوا نظامًا للتحقق تلقائيًا من الإجابات النهائية، عبر تجريد النص من أي زيادات أو تنسيقات لمعرفة ما إذا كان الرقم الأساسي أو الحل يطابق النتيجة المتوقعة. سمح لهم ذلك بالفصل بين أخطاء الاستدلال الحقيقية وأخطاء التنسيق البسيطة.
كشفت النتائج عن انفصال مفاجئ بين الدقة والكفاءة. لم يكن هناك نموذج واحد هو الأفضل في كل شيء. حقق أحد النماذج، الذي طورته شركة علي بابا، أعلى دقة في اختبارات رياضيات الصف الثامن والإحصاء المتقدم. بينما أدى نموذج آخر، من جوجل، أفضل أداء في مسائل التفاضل والتكامل. أما النموذج الثالث، من مايكروسوفت، فقد عانى بشكل كبير عبر الفئات الثلاث، حيث حصل على عدد قليل جدًا من الإجابات الصحيحة. ومع ذلك، عندما نظر الباحثون إلى كفاءة الطاقة، تغيرت التصنيفات بشكل كبير. كان نموذج جوجل هو الفائز الواضح من حيث استهلاك الطاقة؛ فمقابل كل وحدة كهرباء استهلكها، أنتج ما يقرب من ثلاثة أضعاف الإجابات الصحيحة مقارنة بنموذج علي بابا. أما نموذج علي بابا، رغم كونه الأكثر دقة في كثير من الأحيان، فقد تطلب وقتًا وطاقة أكبر بكثير لإنتاج استجاباته، حيث أنتج نصوصًا أكثر مما هو ضروري للوصول إلى الحل. وبالنسبة لنموذج مايكروسوفت، ورغم أنه كان الأقل استهلاكًا للطاقة في بعض الحالات، إلا أن عدم دقته جعل مكاسب الكفاءة لديه غير ذات صلة.
سلطت الدراسة الضوء أيضًا على أهمية كيفية تهيئة هذه النماذج. يمتلك نموذج علي بابا وضع "تفكير" حيث يتوقف ليفكر في المسألة قبل الإجابة. قام الباحثون بتعطيل هذه الميزة في اختبارهم لضمان مقارنة عادلة مع النماذج الأخرى التي لا تمتلك نفس القدرة. وأشاروا إلى أن هذا الخيار قد يكون قد خفض دقة نموذج علي بابا مقارنة بأدائه مع تفعيل ميزة التفكير، لكنه كان ضروريًا للحفاظ على اتساق ظروف الاختبار. علاوة على ذلك، وجد الباحثون أن الأداء المنخفض لنموذج مايكروسوفت لم يكن بسبب فشل الكمبيوتر في قراءة الإجابات؛ إذ نجح النظام في استخراج الإجابات من كل استجابة تقريبًا، مما يعني أن النتائج الضعيفة كانت بسبب تقديم النموذج لحلول غير صحيحة وليس بسبب فشل في عملية الاختبار.
في النهاية، يوضح البحث أنه لأي شخص يتطلع إلى تشغيل هذه النماذج على عتاده الخاص، فإن الدقة ليست المعيار الوحيد الذي يهم. فالنموذج الذي قد يكون أقل دقة بقليل ولكنه يستخدم جزءًا ضئيلًا من الطاقة والوقت قد يكون الخيار الأفضل لطالب أو لفريق صغير ذي موارد حوسبية محدودة. تشير النتائج إلى أنه لا يوجد نموذج واحد "أفضل" للاستخدام المحلي؛ بل يعتمد الخيار الصحيح تمامًا على المهمة المحددة والقيود المفروضة على عتاد المستخدم. فإذا كان الهدف هو حل مسائل التفاضل والتكامل المعقدة بأعلى قدر من الدقة، فقد يُفضل نموذج معين. وإذا كان الهدف هو معالجة مئات الأسئلة بسرعة مع الحفاظ على عمر البطارية أو توفير الكهرباء، يصبح نموذج آخر هو الخيار المنطقي. توفر هذه الدراسة منهجًا واضحًا وموثقًا لاتخاذ هذه القرارات، متجاوزةً مجرد درجات الدقة البسيطة نحو فهم أكثر عملية لكيفية أداء هذه الأدوات في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.