Capability, ranking dynamics, and inference pricing in the large language model ecosystem: evidence from linked public data
تدمج هذه الورقة البيانات العامة المترابطة من لوحات المتصدرين، ولجان تفضيلات البشر، وفهارس الأسعار لتوصيف منظومة النماذج اللغوية الكبيرة، كاشفةً أن الأداء يتوسع مع عدد المعلمات والزمن، وأن تقييمات التفضيل تظهر دورانًا سريعًا واستقرارًا داخل النماذج، وأن التسعير مدفوع بشكل كبير بدرجات القدرة وحالة الأوزان المفتوحة رغم التباينات الملحوظة في أسعار المزودين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، أصبح نوع محدد من البرامج الحاسوبية يُعرف باسم "النماذج اللغوية الكبيرة" أداة مركزية للكتابة والاستنتاج وحل المشكلات. تم تدريب هذه الأنظمة على كميات هائلة من النصوص، لتتعلم التنبؤ بالكلمة التالية في الجملة حتى تتمكن من توليد فقرات متماسكة، والإجابة على أسئلة معقدة، وحتى كتابة الأكواد البرمجية. ولأنه يوجد الآن الآلاف من هذه النماذج، بدءاً من الأنظمة الضخمة التي تبنيها شركات التكنولوجيا العملاقة وصولاً إلى النسخ الأصغر المفتوحة التي أنشأها باحثون مستقلون، فقد برزت حاجة لفهم كيفية مقارنتها ببعضها البعض. وللقيام بذلك، يعتمد المجتمع على شيئين رئيسيين: الاختبارات المعيارية، حيث تجيب النماذج على مجموعة من الأسئلة الصعبة للحصول على درجة، وساحات التفضيل البشري، حيث يصوت الناس على أي من إجابتَي النماذج يفضلون أكثر. وإلى جانب مقاييس الأداء هذه، ظهرت سوق تبيع من خلالها الشركات إمكانية الوصول إلى هذه النماذج حسب عدد الكلمات، مما خلق مشهداً معقداً من الأسعار والقدرات يصعب التنقل فيه.
سعت دراسة حديثة أجراها بيتر باجو من جامعة كورفينوس في بودابست إلى إضفاء النظام على هذا النظام البيئي الفوضوي من خلال ربط ثلاثة مصادر ضخمة للبيانات العامة. قام الباحث بدمج سجل لآلاف درجات الاختبار للنماذج المفتوحة، وسجل طويل الأمد لتصنيفات التفضيل البشري، وفهرس شامل للأسعار التي يفرضها مختلف المزودين. ومن خلال ربط هذه المجموعات من البيانات، تجاوزت الدراسة النظر فقط إلى النماذج الأكثر شهرة لفحص المشهد بأكمله، متسائلة كيف ترتبط الأداء بالحجم، وكيف تتغير التصنيفات بمرور الوقت، وكيف يتم تحديد السعر فعلياً. لم يكن الهدف هو إعلان فائز واحد، بل فهم القواعد الأساسية التي تحكم كيفية تقييم هذه الأدوات الرقمية وكيفية تطورها.
يتعلق الاكتشاف الرئيسي الأول بطبيعة الاختبارات نفسها. حللت الدراسة أكثر من 4500 سجل للنماذج المفتوحة التي تم اختبارها على ستة معايير مختلفة، تتراوح من اتباع التعليمات إلى الرياضيات المتقدمة. وجد الباحثون أن هذه الاختبارات الستة المختلفة لا تقيس ست مهارات منفصلة؛ بل إنها تقيس بشكل ساحق قدرة واحدة مهيمنة. فعندما يؤدي نموذج ما بشكل جيد في اختبار واحد، فإنه بالتأكيد يؤدي بشكل جيد في الاختبارات الأخرى. وهذا الخيط المشترك يفسر ما يقرب من ثلاثة أرباع التباين في الدرجات عبر النظام البيئي بأكمله. ومع ذلك، أشارت الدراسة أيضاً إلى أن هذه الاختبارات تعاني عند أدنى مستوى من الأداء. فالعديد من النماذج تسجل درجات منخفضة جداً لدرجة تجعل من الصعب تمييزها عن التخمين العشوائي، مما يشير إلى أن الاختبارات الحالية أفضل في تمييز الأفضل من الجيد، منها في تمييز الضعيف جداً من غير الوظيفي.
وعند النظر فيما يدفع النموذج لتقديم أداء أفضل، أكدت الدراسة أن الحجم مهم، لكنه ليس القصة بأكملها. فالنماذج الأكبر، والتي تُقاس بعدد المعلمات (parameters) التي تحتوي عليها، تسجل درجات أعلى عموماً. وتحديداً، فإن النموذج الذي يكون أكبر بعشر مرات من نموذج آخر يميل إلى تسجيل حوالي 13.7 نقطة أعلى في متوسط الاختبار. ومع ذلك، فإن الوقت قوة مساوية في الأهمية. فحتى عند مقارنة نماذج من نفس الحجم والنوع، فإن تلك التي تم تقديمها مؤخراً تؤدي بشكل أفضل بشكل ملحوظ. فالنموذج الذي يتم تقديمه بعد عام من نموذج آخر، ولكن تم بناؤه بنفس كمية القدرة الحوسبية، يسجل حوالي 10.5 نقطة أعلى. وهذا يشير إلى أن المجال يتحسن ليس فقط ببناء آلات أكبر، بل بإيجاد طرق أذكى لتدريبها. كما وجدت الدراسة أن النماذج المصممة للمحادثة أو تلك التي تم إنشاؤها عن طريق دمج النماذج الموجودة تتفوق غالباً على نظيراتها الخام غير المعدلة، مما يشير إلى أن عملية الضبط الدقيق والدمج هي محرك رئيسي للتقدم الحالي.
يخبرنا الجانب البشري من النظام البيئي قصة مختلفة عن الاستقرار. تتبعت الدراسة النماذج الأعلى تصنيفاً في ساحة تفضيل بشري على مدار أكثر من عام، ولاحظت أن القيادة عابرة للغاية. فقد تغير لقب أفضل نموذج 19 مرة، وكان متوسط فترة بقاء القائد في المركز الأول حوالي 12 يوماً فقط. ورغم هذا التداول المستمر، ظلت الفجوة بين الأفضل والنموذج العاشر مستقرة بشكل مثير للدهشة. كما كشفت الدراسة عن تحول كبير في نظام تسجيل النقاط نفسه. ففي تاريخ محدد في مايو 2025، تغيرت الطريقة الافتراضية لحساب الدرجات، مما تسبب في ارتفاع تصنيف كل نموذج بنحو 18 نقطة بين عشية وضحاها. وهذا يعني أن مقارنة الدرجات قبل وبعد ذلك التاريخ دون تعديل سيكون مضللاً، لأن الأرقام لم تعد على نفس المقياس. قبل هذا التغيير، كانت التصنيفات مستقرة، ولم تكن النماذج تنحرف صعوداً أو هبوطاً لمجرد إدراجها بشكل متكرر.
لعل الاكتشاف الأكثر تعقيداً يتعلق بسعر استخدام هذه النماذج. فحصت الدراسة ما يقرب من 2700 قائمة أسعار مختلفة من 82 مزوداً مختلفاً. ووجدت أنه بالنسبة لنفس النموذج تماماً، يمكن أن تختلف الأسعار بشكل كبير اعتماداً على من يبيعه. وبالنسبة للنماذج التي يقدمها ثلاثة مزودين أو أكثر، فإن أغلى قائمة سعر تكون عادة أعلى بنسبة 38 بالمائة من أرخص قائمة، وبالنسبة لبعض النماذج، يكون الفرق أكبر من ذلك. وهذا يشير إلى أن مجرد البحث والمقارنة يمكن أن يوفر للمشتري مبلغاً كبيراً من المال. كما قامت الدراسة أيضاً ببناء نموذج لفهم ما يحرك هذه الأسعار. ووجدت أن القدرة هي عامل رئيسي: فالنموذج الذي يتفوق بمقدار انحراف معياري واحد في تصنيفات التفضيل البشري، يفرض سعراً يزيد عن ثلاثة أضعاف. ومع ذلك، فإن كون النموذج مفتوحاً، حيث تكون الشفرة البرمجية متاحة للجم_، يعمل كخصم هائل، مما يقلل السعر إلى أقل من خمس تكلفة نموذج مملوك (proprietary) ذي مهارات مماثلة. بالإضافة إلى ذلك، وجدت الدراسة أن النماذج الأقدم، أي تلك التي تم إدراجها لفترة زمنية أطول، تميل إلى حمل علاوة سعرية، مما يشير إلى أن النماذج الراسخة تحتفظ بقيمتها حتى مع وصول نماذج جديدة، وربما أفضل.
أخيراً، تحققت الدراسة من مدى اتفاق طريقتي القياس الرئيسيتين للجودة. فعندما نظر الباحثون في النماذج الـ 69 التي ظهرت في كل من سجلات درجات الاختبار وتصنيفات التفضيل البشري، وجدوا توافقاً قوياً. فالنماذج التي سجلت درجات جيدة في الاختبارات المعيارية كانت هي نفسها التي يفضلها البشر بشكل عام. هذا التقارب يشير إلى أنه بينما تقيس الاختبارات وتصويتات البشر أشياءً مختلفة قليلاً، إلا أنهما يشيران إلى نفس الواقع من حيث القدرة. وتخلص الدراسة إلى أنه بينما المشهد واسع والبيانات فوضوية، تبرز أنماط واضحة عند ربط المصادر. إن النظام البيئي مدفوع بقدرة واحدة مهيمنة، ويتحسن بالوقت والحجم، ويُسعّر بطريقة تكافئ الأداء ولكنها تخصم بشدة من الوصول المفتوح. ولأي شخص يحاول فهم أو شراء هذه الأدوات، فإن الدرس هو أن الأداء يمكن التنبؤ به، والقيادة مؤقتة، والسعر الذي تدفعه يعتمد على من يبيع ومتى تشتري بقدر ما يعتمد على ما يمكن للنموذج القيام به فعلياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.