Most of the LLM routing gap is task type
تجادل هذه الورقة بأن الفجوة المتصورة في أداء توجيه النماذج اللغوية الكبيرة تعود إلى نوع المهمة بدلاً من تعقيد اختيار النموذج، حيث تثبت أن استراتيجية توجيه ثابتة بسيطة تعتمد على نوع المهمة واللغة تتفوق على الموجهات المتعلمة وأفضل نموذج منفرد مع تقليل التكاليف بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، تعمل النماذج اللغوية الكبيرة كعقول رقمية قوية قادرة على الإجابة على الأسئلة، وكتابة الأكواد، وحل الألغاز. ومع ذلك، لا يوجد نموذج واحد مثالي في كل شيء؛ فبعضها يتفوق في الرياضيات بينما يعاني البعض الآخر في الكتابة الإبداعية، والنموذج الذي قد يكون بارعاً في اللغة الإنجليزية قد يتعثر عندما يُطلب منه التحدث باللغة الهندية. وللحصول على أفضل النتائج، طور المهندسون "الموجهات" (routers)، وهي أنظمة ذكية مصممة للنظر في سؤال المستخدم وتحديد أي نموذج محدد من مجموعة نماذج هو الأنسب للإجابة عليه فوراً. الهدف بسيط: توجيه السؤال إلى الخبير المناسب لتوفير المال والحصول على إجابة أفضل مما يمكن لأي نموذج بمفرده تقديمه. ولكن لكي تعمل هذه الموجهات، يجب أن تكون قادرة على التمييز بين الأسئلة السهلة لنموذج ما والصعبة لآخر بثبات تام.
تتحدى دراسة حديثة أجراها "جانغ هون لي" الافتراض القائل بأن هذه الموجهات متطورة كما نأمل. فقد سعى الباحثون لفهم السبب الدقيق وراء فشل أنظمة التوجيه الحالية غالباً في التفوق على الاستراتيجية البسيطة المتمثلة في استخدام أقوى نموذج متاح دائماً. لقد بنوا مصفوفة اختبار ضخمة تتضمن أربعة عشر نموذجاً مختلفاً للذكاء الاصطناعي، وسبعة أنواع متميزة من المهام تتراوح من البرمجة إلى استخراج الوثائق القانونية، وثلاث لغات: الإنجليزية، والكورية، والهندية. وطلبوا من كل نموذج الإجابة على كل سؤال من أسئلة مجموعتهم الاختبارية البالغ عددها 294 سؤالاً، ثم أجروا التجربة بأكملها مرتين تحت ظروف متطابقة لمعرفة ما إذا كانت النتائج ستصمد. وما اكتشفوه هو أن الفجوة بين النتيجة المثلى وما تحققه الموجهات الحالية لا تنتج عن نقص في الخوارزميات المعقدة، بل عن حقيقة أن معظم الأسئلة "المفقودة" هي في الواقع سهلة التنبؤ إذا نظرت ببساطة إلى نوع المهمة واللغة المعنية.
بدأت الدراسة بتشغيل 4,116 من تركيبات (النموذج-السؤال) مرتين. وحتى مع ضبط إعدادات الكمبيوتر لتكون حتمية تماماً، لم تكن النتائج متطابقة. في حوالي 5.37 بالمائة من الحالات، حصل النموذج الذي أجاب بشكل صحيح في المرة الأولى على إجابة خاطئة في المرة الثانية، أو العكس. هذا التقلب، الذي يسميه الباحثون "أرضية التكرار" (reproducceability floor)، يعني أن أي تحسين يدعي الموجه تحقيقه يجب أن يكون أكبر من هذا الضجيج الطبيعي ليعتبر حقيقياً. وعندما طبق الباحثون قاعدة صارمة — وهي اعتبار الإجابة صحيحة فقط إذا أجاب النموذج بشكل صحيح في كلتا المرتين — وجدوا أن 29 سؤالاً فقط من أصل 294 يمكن تحسينها عن طريق التوجيه. هذا عدد صغير جداً، وهو يمثل "السقف" الحقيقي لما يمكن أن يحققه التوجيه في هذه المجموعة المحددة من البيانات.
ثم تساءل الباحثون عما تشترك فيه هذه الأسئلة الـ 29 الصعبة. ووجدوا أن الغالبية العظمى منها كانت محددة بنوع المهمة التي يتم تنفيذها. فعلى سبيل المثال، إذا كان السؤال يتعلق بالبرمجة، فإن نموذجاً معيناً كان دائماً تقريباً هو الخيار الأفضل، بغض النظر عن حسابات الموجه المعقدة. ومن خلال تخصيص نموذج محدد للتعامل مع جميع أسئلة البرمجة ونموذج مختلف لجميع أسئلة الرياضيات، تمكن الباحثون من استعادة 21 من تلك الأسئلة الـ 29 الصعبة دون استخدام أي ذكاء متعلم أو اتخاذ قرار معقد. وبإضافة لغة السؤال إلى هذه القاعدة البسيطة، تم استعادة سؤالين آخرين. وهذا ترك ستة أسئلة فقط من أصل 294 بقيت غير محسنة، وهو عدد صغير جداً لدرجة أنه وقع تحت عتبة الضجيج الطبيعي الذي قاسه الباحثون. بعبارة أخرى، فإن القدر الضئيل من الربح الذي قد يجده موجه متطور كان أصغر من التباين العشوائي الذي يحدث بمجرد تشغيل نفس الاختبار مرتين.
علاوة على ذلك، كشفت الدراسة أن هوية "أفضل" نموذج واحد ليست حقيقة ثابتة بل تعتمد كلياً على كيفية قياس النجاح. فاعتماداً على ما إذا كنت تحسب السؤال كإجابة صحيحة بناءً على تشغيل واحد أو تتطلب أن يكون صحيحاً في تشغيلين، أو ما إذا كنت تستبعد الأسئلة التي نفدت فيها ذاكرة النموذج، فإن نموذجاً مختلفاً سيفوز بلقب "الأفضل". وفي بعض الحالات، كان الفرق بين النموذج الأول والنموذج الذي يليه صغيراً جداً — أقل من عنصر واحد من أصل 294 — بحيث لا يمكن تمييزه عن الضجيج الطبيعي للنظام. وهذا يشير إلى أن السؤال "أي نموذج هو الأفضل؟" ليس له إجابة واحدة مستقرة في هذه المجموعة من البيانات، مما يجعل من الصعب على الموجه تعلم قاعدة موثوقة لاختيار الفائز.
بدلاً من بناء موجه متعلم ومعقد، اعتمد الباحثون "جدول بحث ثابت" (static lookup table). وهو قائمة معدة مسبقاً تقول: "إذا كان السؤال عن البرمجة باللغة الكورية، أرسله إلى النموذج (أ)؛ وإذا كان عن الرياضيات باللغة الإنجليزية، أرسله إلى النموذج (ب)". هذا الجدول الثابت، الذي لم يتطلب أي تدريب أو تعلم، نجح في الإجابة على 262 سؤالاً من أصل 294 بشكل صحيح. والأهم من ذلك، أنه فعل ذلك بتكلفة تبلغ حوالي 3.33 دولار لكل تشغيل، بينما كان أفضل نموذج مفرد، والذي سيكون الخيار الافتراضي بدون توجيه، يكلف 7.69 دولار لكل تشغيل للإجابة على نفس الأسئلة. لم يكن الجدول الثابت أكثر دقة فحسب، بل كان أيضاً أرخص بكثير، حيث تفوق على أفضل نموذج مفرد في كلا الجانبين.
تخلص الدراسة إلى أن الوعد الذي يقدمه التوجيه لا يكمكم في بناء أنظمة تزداد تعقيداً للعثور على أنماط خفية، بل في إدراك أن الأنماط الأكثر قيمة غالباً ما تكون مرئية على السطح. إن المسافة بين النتيجة المثلى والواقع الحالي تتكون إلى حد كبير من أنواع المهام واللغات التي يمكن تحديدها فوراً. وبمجرد مراعاة هذه العناصر باستخدام قاعدة ثابتة بسيطة، فإن المساحة المتبقية للتحسين تكون صغيرة جداً لدرجة أنها تضيع في ضجيج النظام نفسه. ويجادل الباحثون بأنه قبل الاستثمار في خوارزميات توجيه معقدة، يجب أولاً أن نسأل كم من الإجابة موجود بالفعل في الطلب. وفي هذه الحالة، كانت الإجابة هي أن معظم المكاسب كانت موجودة بالفعل، بانتظار أن يتم التقاطها بواسطة جدول بسيط بدلاً من آلة معقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.