تخيل أنك رئيس حكام في مسابقة طبخ ضخمة وعالية المخاطر، لديك عشرون طباخاً رائعاً، لكن ليس لديك سوى الوقت والمال لتذوق عدد محدود من الأطباق. في الأيام الخوالي، كانت الطريقة المعتادة لإدارة هذه المسابقة هي جعل كل طباخ يطهو كل طبق منفرد في القائمة، ثم تذوق كل طبق من كل طباخ. كان ذلك عادلاً بالتأكيد، لكنه كان بطيئاً ومكلفاً للغاية. وبحلول الوقت الذي تنتهي فيه من تذوق الطبق الأخير من الطباخ الثاني والعشرين، قد تكون قد نفدت أموالك، وستظل عالقاً في محاولة معرفة أي من أفضل ثلاثة طهاة كان هو الأفضل حقاً، لأنك قضيت الكثير من الوقت في تذوق أطباق الطهاة الذين لم يكونوا فائزين بوضوح.

هذا هو بالضبط المشكلة التي تواجه عالم الذكاء الاصطناعي الآن. يبني العلماء العشرات من نماذج الذكاء الاصطناك الجديدة كل عام، لكن اختبارها جميعاً بدقة يشبه محاولة تذوق كل طبق من كل طباخ. إن الأمر يكلف ثروة من وقت البشر وقوة الحوسبة. الورقة البحثية التي ستطالعها الآن تعالج مشكلة "ميزانية التذوق" هذه. وهي تقترح طريقة أذكى للتحكيم: بدلاً من تذوق كل شيء من الجميع، يجب أن نتذوق القليل من الجميع لنأخذ فكرة عامة، ثم نسخر كل طاقتنا المتبقية لتذوق أطباق الطهاة الذين يبدو أنهم فائزون. بهذه الطريقة، يمكننا العثور على البطل الحقيقي بشكل أسرع، وأرخص، وبثقة أكبر، دون إضاعة الموارد على الطهاة الذين يبدو بوضوح أنهم خاسرون.

اختبار تذوق الذكاء الاصطناعي العظيم: طريقة جديدة لاختيار الفائز

إذن، كيف تختار أفضل نموذج ذكاء اصطناعي عندما تملك ميزانية محدودة؟ قرر مؤلفو هذه الورقة، وهم فريق من الباحثين من أماكن مثل ETH Zurich وMicrosoft، معاملة المشكلة كأنها لعبة آلات القمار (slots)، أو ما يسميه علماء الرياضيات "المقامر متعدد الأذرع" (multi-armed bandit).

تخيل صفاً من آلات القمار ("الأذرع"). تمثل كل آلة نموذجاً مختلفاً للذكاء الاصطناعي. لديك عدد ثابت من العملات ("ميزانيتك") للعب بها. هدفك ليس ربح أكبر قدر من المال بشكل عام؛ هدفك هو معرفة أي آلة هي الأفضل بأعلى درجة من اليقين. في الطريقة التقليدية المتبعة، ستسحب كل ذراع بنفس العدد من المرات تماماً. ستلعب الآلة (أ) عشر مرات، والآلة (ب) عشر مرات، وهكذا. ولكن هنا تكمن المشكلة: إذا بدأت الآلة (أ) في تقديم أرباح كبيرة في السحبات الأولى، بينما استمرت الآلة (ب) في عدم إعطائك شيئاً، فأنت لا تزال تهدر عملاتك على الآلة (ب) فقط لتكون "عادلاً".

يقترح المؤلفون نهجاً ديناميكياً. بدلاً من سحب كل ذراع بالتساوي، تبدأ بسحب كل ذراع بضع مرات فقط لتأخذ فكرة عن الآلات. ثم تبدأ في تركيز عملاتك على الآلات التي يبدو أنها تعطي أرباحاً أكثر. إذا بدت آلة ما وكأنها خاسرة، تتوقف عن اللعب بها. وإذا بدت آلة ما وكأنها فائزة، تستمر في اللعب بها للتأكد من أنها الأفضل حقاً.

استراتيجية "المقامر" في العمل

تقدم الورقة البحثية بعض الطرق الذكية لتقرير أي "آلة" (نموذج ذكاء اصطناعي) سيتم اختبارها تالياً. إحدى استراتيجياتهم المفضلة تسمى "أخذ العينات الموزونة" (Weighted Sampling). فكر في الأمر كمسابقة شعبية حيث النموذج الأكثر شعبية هو الأكثر حظاً في الحصول على فرصة أخرى. لكن الأمر لا يتعلق فقط بمن يفوز حالياً؛ بل بمن من المحتمل أن يكون هو الفائز.

لقد أثبتوا رياضياً أنه إذا كنت تريد أن تكون متأكداً حقاً من التصنيفات العليا، فلا ينبغي لك فقط اختيار القائد الحالي. بدلاً من ذلك، يجب عليك اختيار النماذج بناءً على معادلة محددة: يجب أن ترتبط فرصة اختيار نموذج ما بالجذر التربيعي لمدى أهمية ذلك الترتيب. وباللغة البسيطة، هذا يعني أنك تركز بشدة على المنافسين الأوائل، لكنك لا تتجاهل الآخرين تماماً؛ فأنت تستمر في فحصهم بما يكفي فقط للتأكد من أنهم لم يتحسنوا سراً.

كما جربوا طريقة تسمى "تقليل الارتباك" (Confusion Minimization). تخيل أنك تحاول الاختيار بين عداءين متقاربين جداً في المستوى. أنت لست بحاجة إلى توقيت الشخص الذي يفوز بفارق شاسع؛ بل تحتاج إلى إجراء المزيد من السباقات بين الشخصين اللذين يتنافسان على المركز الأول لمعرفة من سيفوز فعلياً. هذه الخوارزمية تنظر إلى النماذج الأقرب في الدرجات وتسأل: "أي من هذين الاثنين أحتاج لاختباره أكثر لأتوقف عن الشعور بالارتباك؟" ثم توجه الميزانية إلى هناك.

ما وجدوه (وما لم يجدوه)

اختبر الباحثون هذه الأفكار باستخدام بيانات من مسابقات ترجمة حقيقية (حيث يحاول الذكاء الاصطناعي الترجمة بين اللغات). لقد قاموا بمحاكاة عملية إنفاق الميزانية على هذه الاختبارات.

إليك الخبر الكبير: لقد وجدوا أنه يمكنهم الحصول على نفس التصنيف الدقيق لأفضل النماذج باستخدام 40% فقط من الميزانية.

في عمليات المحاكاة التي أجروها، عندما استخدموا طريقتهم الديناميكية الجديدة، تمكنوا من تحديد ترتيب أفضل ثلاثة نماذج من أصل عشرين بثقة 95%، مستخدمين أقل من نصف المال والوقت الذي تستغرقه الطريقة التقليدية "العادلة". فالطريقة التقليدية، حيث يحصل الجميع على نفس عدد الاختبارات، كانت تهدر كمية هائلة من الجهد على نماذج من الواضح أنها ليست الأفضل.

ومع ذلك، هناك بعض القيود الهامة التي يجب وضعها في الاعتبار. الورقة البحثية لا تقول إن هذه الطريقة تعمل بشكل مثالي في كل حالة.

• إنها محاكاة: النتائج تأتي من عمليات محاكاة حاسوبية باستخدام بيانات موجودة. لم يقوموا بتشغيل مسابقة جديدة وحقيقية من البداية باستخدام هذه الطريقة (رغم أنهم يخططون لذلك).
• ليست سحراً: الطريقة تعمل بشكل أفضل عندما يهمك العثور على النماذج الأفضل. إذا كان يهمك ترتيب كل نموذج من الأفضل إلى الأسوأ بدقة متساوية، فقد لا تكون هذه الطريقة هي الخيار الأمثل. فهي مصممة لتكون فعالة في إيجاد الفائزين، وليس لإنشاء قائمة مثالية للجميع.
• تحتاج إلى مرحلة إحماء: لا يمكنك القفز مباشرة إلى المفضلين. تحتاج الخوارزمية إلى اختبار كل نموذج بضع مرات أولاً (مرحلة "الإحماء") للحصول على خط أساس. إذا تخطيت هذه المرحلة، فقد تتجاهل بالخطأ نموذجاً بدأ ببطء ولكنه كان يمكن أن يكون فائزاً.

لماذا يهم هذا الأمر؟

هذا النهج يشبه قائمة تسوق ذكية. بدلاً من شراء قطعة واحدة من كل صنف في البقالة لترى أيهما مذاقه أفضل، تشتري عينة صغيرة من كل شيء، وتتذوقها، ثم تعود لتشتري ثلاث أكياس من الصنف الذي كان مذاقه رائعاً. أنت توفر المال، وتظل تحصل على أفضل منتج.

بالنسبة لعالم الذكاء الاصطناعي، يعني هذا أننا يمكننا التوقف عن إضاعة ملايين الدولارات وساعات من وقت البشر في اختبار نماذج نعرف بالفعل أنها سيئة. يمكننا تركيز طاقتنا على النماذج التي تتنافس فعلياً على لقب "أفضل ذكاء اصطناعي". وهذا يجعل عملية تحسين الذكاء الاصطناعي أسرع، وأرخص، وأكثر تركيزاً على ما يهم حقاً: العثور على أفضل الأدوات للمهمة المطلوبة.

حتى أن المؤلفين يقترحون أنه يمكن استخدام هذا في مجالات أخرى، مثل اختيار أفضل تكوين (configuration) لنموذج ذكاء اصطناعي جديد أثناء تطويره، أو حتى في المسابقات التي تتخذ نظام البطولة حيث يتواجه النماذج ضد بعضها البعض. ولكن في الوقت الحالي، الخلاصة الرئيسية بسيطة: توقف عن معاملة جميع نماذج الذكاء الاصطناعي بنفس الطريقة. امنح الفائزين المزيد من الاهتمام، وستجد الأبطال الحقيقيين في وقت أقصر بكثير.