Cost-Aware Multi-Objective Bandits: Theory and Application to Budgeted LLM Configuration Evaluation
تتناول هذه الورقة تحدي تقييم تكوينات النماذج اللغوية الكبيرة في ظل ميزانيات محدودة من خلال صياغة المهمة كمسألة "بانديت" متعددة الأهداف ومراعية للتكلفة، واقتراح خوارزميات مبتكرة للاختيار عبر الإنترنت وتحديد جبهة باريتو مع ضمانات نظرية بشأن الندم الميزاني واحتمالية الخطأ، والتحقق من فعاليتها من خلال التجارب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قبطان سفينة فضائية، لكن خزان الوقود لديك صغير وخريطتك مليئة بالضباب. أنت بحاجة للعثور على أفضل مسار إلى كوكب بعيد، لكنك لا تعرف أي مسار هو الأسرع، وأيها الأكثر أمانًا، وأيها يستهلك أقل قدر من الوقود. في عالم الذكاء الاصطناي، هذا هو بالضبط ما يحدث عندما يحاول المهندسون ضبط "نماذج اللغات الكبيرة" (LLMs) — تلك العقول الحاسوبية فائقة الذكاء التي تكتب القصص، وتحل المسائل الرياضية، وتدردش معنا. تمتلك هذه النماذج آلاف الإعدادات المختلفة، مثل حجم الدماغ، وطريقة التفكير، وسرعة التحدث. إن اختبار كل إعداد بمفرده يشبه محاولة الطيران إلى كل نجم في المجرة؛ فهذا يكلف الكثير من المال، ويستغرق الكثير من الوقت، ويستنزف الكثير من موارد الكمبيوتر.
لحل هذه المشكلة، يستخدم العلماء حيلة ذكية تسمى "مشكلة البندت" (bandit problem). فكر في الأمر كأنه صف من آلات القمار في كازينو. أنت لا تعرف أي آلة تعطي عوائد أكثر، لذا عليك سحب بعض المقابض للتخمين. لكن هنا تكمن الخدعة: بعض الآلات تكلف بنسًا واحدًا للعب، بينما تكلف أخرى دولارًا واحدًا. إذا اكتفيت بلعب الآلات الغالية على أمل تحقيق فوز كبير، فستفلس قبل أن تجد الأفضل. كما يتعين عليك الموازنة بين أهداف متعددة: ربما تريد الآلة التي تدفع أكثر وفي نفس الوقت تكون الأسرع. تتناول هذه الورقة البحثية هذه المعضلة تحديدًا: كيف تجد أفضل إعدادات الذكاء الاصطناعي عندما يكلف كل اختبار مبلغًا مختلفًا، وعليك الموازنة بين السرعة والدقة والتكلفة في آن واحد؟
قرر مؤلفا هذه الورقة، بو شيو وفريقه، التعامل مع البحث عن إعدادات الذكاء الاصطناعي المثالية كأنها لعبة عالية المخاطر من نوع "خمن المسار الأفضل" مع ميزانية صارمة. لقد أدركوا أن الطرق السابقة كانت تفتقر إلى دليلين كبيرين: فغالباً ما تجاهلت أن بعض الاختبارات تكلف أكثر بكثير من غيرها، وكانت عادةً تبحث عن إجابة واحدة "مثالية" بدلاً من مجموعة من الإجابات "الجيدة بما يكفي" التي توازن بين نقاط القوة المختلفة. لذا، قاموا ببناء استراتيجيتين جديدتين للعب هذه اللعبة ذات الميزانية المحدودة بذكاء أكبر.
أولاً، ابتكروا استراتيجية لاتخاذ القرارات أثناء العمل، تسمى CoHV-UCB. تخيل أنك تسير في غابة ومعك مبلغ محدود من المال لشراء الوجبات الخفيفة. في كل مرة تتوقف فيها لتذوق ثمرة، فإن ذلك يكلفك مبلغًا مختلفًا من المال. بعض الثمار رخيصة لكن طعمها مقبول؛ وأخرى غالية لكنها مذهلة. تعمل هذه الخوارزمية كجامع ثمار ذكي للغاية؛ فهي لا تنظر فقط إلى مدى لذة الثمرة، بل تحسب "القيمة مقابل السعر". وهي تسأل: "إذا أنفقت آخر بضع عملات لدي على هذه الثمرة الغالية، فهل ستعطيني طعماً أفضل مقابل كل دولار مقارنة بالثمرة الرخيصة؟". تثبت الورقة رياضياً أن هذه الطريقة فعالة للغاية؛ حيث تُظهر أن "الندم" — وهو مقدار اللذة التي تفوتك بسبب عدم اختيار الثمرة المثالية في كل مرة — ينمو ببطء شديد، وبسرعة لا تتجاوز اللوغاريتم الخاص بميزانيتك. وباللغة البسيطة، حتى لو كان لديك ميزانية ضخمة، فإن هذه الطريقة تضمن لك عدم إضاعة المال على الثمار الخاطئة، وتضبط الحسابات بدقة متناهية حتى آخر رقم عشري.
ثانياً، بنوا استراتيجية لإيجاد "مجموعة باريتو" (Pareto Set)، وهي طريقة منمقة لقول "مجموعة أفضل المقايضات". تخيل أنك تتسوق لشراء سيارة. لا يمكنك الحصول على أسرع سيارة، وأكثر سيارة أماناً، وأرخص سيارة في وقت واحد. قد يتعين عليك الاختيار بين سيارة رياضية سريعة وغالية، أو حافلة عائلية آمنة وبطيئة. "مجموعة باريتو" هي قائمة السيارات التي لا يمكنك فيها الحصول على سرعة أفضل دون دفع المزيد، أو أمان أفضل دون إبطاء السرعة. خوارزمية المؤلفين الجديدة، CoPSI، تشبه المحقق الذي يستبعد السيارات السيئة بسرعة. فهي تنظر إلى السيارات التي اختبرتها حتى الآن، وتحدد أي منها أسوأ بوضوح من غيرها، وتتوقف عن اختبارها لتوفير ميزانيتك للسيارات الصعبة التي لا تزال في المنافسة. تُظهر الورقة أن هذه الطريقة بارعة جداً في إيجاد القائمة الصحيحة لسيارات المقايضة. إذا منحتها ميزانية كافية، فإن فرصة ارتكابها لخطأ ما تنخفض بسرعة تجعل من المستحيل تقرياً الوقوع في الخطأ. الأمر يشبه تماماً لو كان لديك مال كافٍ لاختبار كل سيارة، فستجد بالتأكيد القائمة المثالية من الخيارات.
لم يكتفِ الفريق بكتابة هذه الأفكار على الورق فحسب، بل اختبروها في العالم الحقيقي باستخدام نماذج لغات كبيرة فعلية. فقد أجروا تجارب حيث كان عليهم الاختيار بين نماذج ومطالبات وإعدادات مختلفة باستخدام بيانات حقيقية من اختبارات الرياضيات والاستنتاج. وكانت النتائج واضحة: أساليبهم الجديدة تفوقت على الطرق القديمة. فعندما استخدموا استراتيجية "القيمة مقابل السعر"، وفروا كمية هائلة من المال (التوكنز/الرموز) مع الاستمرار في إيجاد أفضل إعدادات الذكاء الاصطناعي. وعندما استخدموا "مكتشف المقايضات"، كانوا أفضل بكثير في تحديد مجموعة الخيارات المثلى مقارنة بمجرد اختبار كل شيء بشكل عشوائي أو تجاهل التكاليف.
باختصار، تقدم هذه الورقة البحثية قواعد جديدة للعب لعبة ضبط الذكاء الاصطناعي. إنها تخبرنا أنه إذا أردنا العثور على أفضل إعدادات الذكاء الاصطناعي دون كسر ميزانيتنا، فعلينا التوقف عن معاملة كل اختبار كما لو كان له نفس التكلفة. يجب أن نكون أذكياء في كيفية إنفاق ميزانيتنا، ونوازن بين تكلفة الاختبار وبين الأهداف المتعددة التي نريد تحقيقها. لقد أثبت المؤلفون أنه من خلال القيام بذلك، يمكننا جعل تطوير الذكاء الاصطناعي أسرع، وأرخص، وأكثر فعالية، مما يضمن عدم إضاعة مواردنا المحدودة في تجارب لا تؤتي ثمارها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.