Stabilized Best-of-$K$ Training for Neural Combinatorial Optimization

تخيل أنك تحاول حل عقدة ضخمة ومتشابكة من خيط، لكنك لا تستطيع رؤية الصورة الكاملة دفعة واحدة. عليك أن تسحب طرفاً واحداً، لترى إلى أين سيذهب، ثم تحاول مرة أخرى. هذا هو الصراع اليومي لـ "التحسين التوافقي العصبي" (Neural Combinatorial Optimization)، وهو مجال يعلم فيه علماء الكمبيوتر الذكاء الاصطنا-عي لحل الألغاز المعقدة مثل "مسألة البائع المتجول" (إيجاد أقصر مسار لزيارة العديد من المدن). الهدف بسيط: إيجال المسار المثالي. لكن المسار مخفي، وعلى الكمبيوتر أن يخمن.

لتحسين قدرته على التخمين، تستخدم هذه الحواسيب تقنية تسمى "التعلم التعزيزي" (Reinforcement Learning). فكر في الأمر كتدريب كلب؛ إذا جلس الكلب، يحصل على مكافأة (مكافأة/علاوة). وإذا قفز، لا يحصل على شيء. مع مرور الوقت، يتعلم الكلب الجلوس أكثر. في عالم الذكاء الاصطناعي، "الكلب" هو شبكة عصبية، و"المكافأة" هي درجة تعتمد على مدى جودة حله. هناك طريقة شائعة تسمى POMO (تحسين السياسة مع الحلول المثلى المتعددة) تعمل من خلال جعل الذكاء الاصطناعي يجرب اللغز من نقاط بداية مختلفة عديدة في وقت واحد، مثل إرسال عشرة مستكشفين مختلفين للعثور على أقصر مسار. عادةً ما يتعلم الذكاء الاصطنا-عي من متوسط أداء جميع هؤلاء المستكشفين. ومع ذلك، اقترحت فكرة أحدث تسمى "مكافأة القائد" (Leader Reward) أنه يجب على الذكاء الاصطنا-عي إعطاء اهتمام إضافي لأفضل مستكشف منفرد في المجموعة، والتعامل مع هذا "القائد" باعتباره النجم المتألق.

الآن، تخيل أنك توظف فريقاً من المستكشفين لحل لغز، ولكن لديك قاعدة صارمة: ستكتفي فقط بأفضل خريطة يحضرونها. تجربة جديدة تسأل سؤالاً رائعاً: إذا كنت تعلم أنك ستكتفي فقط بأفضل 8 خرائط من أصل 100، فهل يجب عليك تدريب فريقك ليكون الأفضل بمفرده، أم يجب تدريبهم ليكونوا أي شخص يمكن أن يكون ضمن الثمانية الأوائل؟ هذا هو جوهر دراسة حديثة أجراها الباحثان المستقلان ميلفينا جولي وميدهون كزافييه. لم يبتكروا نوعاً جديداً من المستكشفين أو لغزاً جديداً؛ بل قاموا بتعديل قواعد التدريب لنظام ذكاء اصطنا-عي موجود ليروا ما إذا كانت عقلية "أفضل ثمانية" ستجعل الفريق أكثر ذكاءً عندما يتم نشره فعلياً.

التجربة: التدريب من أجل "الأفضل من ثمانية"

أخذ الباحثون إعداداً قياسياً للذكاء الاصطنا-عي تم تدريبه على لغز كلاسيكي يسمى TSP-100 (زيارة 100 مدينة) وأجروا اختباراً محدداً. أرادوا معرفة ما إذا كان تغيير كيفية تعلم الذكاء الاصطنا-عي من أخطائه سيساعد عندما يُطلب منه توليد حلول متعددة واختيار الأفضل منها.

في الطريقة القديمة (المسماة "مكافأة القائد")، كان الذكاء الاصطنا-عي يُدرب على الهوس بالحل الأفضل الوحيد الذي يجده في مجموعة من 100 محاولة. كان الأمر يشبه مدرباً يصرخ: "الشخص الذي ينهي أولاً هو الوحيد المهم! البقية، اذهبوا إلى منازلكم!". الطريقة الجديدة، التي سماها المؤلفون "أفضل-K المستقرة" (Stabilized Best-of-K)، غيرت صوت المدرب. فبدلاً من تجاهل الجميع باستثناء الفائز، قال المدرب الجديد: "إذا كنت ضمن الثمانية الأوائل، فستحصل على مكافأة! إذا كنت في المركز التاسع أو أدنى، فلن تحصل على شيء". الرقم "K" في الاسم يمثل هذا العدد وهو 8. كما أضاف الباحثون "مثبتاً" (stabilizer)، وهو شبكة أمان رياضية للتأكد من أن أرقام التدريب لا تصبح مجنونة أو مشوشة للغاية.

ماذا وجدوا: الأمر يعتمد على اللعبة

كانت النتائج مزيجاً من "الأخبار الرائعة" و"الأمر يعتمد على الحالة".

أولاً، تحقق الباحثون مما إذا كان نظامهم الجديد يمكنه حتى مضاهاة النظام القديم عند لعب اللعبة القياسية. عندما استخدموا الطريقة القديمة ("100 بداية، اختر الأفضل") مع نوع معين من فك التشفير (طريقة لقراءة إجابة الذكاء الاصطنا-عي)، حقق النظام الجديد أداءً مماثلاً تماماً للنظام القديم. فقد حصل على درجة 7.7662، وهو ما يطابق الرقم القياسي السابق 7.766. أثبت هذا أنهم يلعبون بنفس القواعد ولم يفسدوا شيئاً.

ومع ذلك، حدث السحر الحقيقي عندما غيروا قواعد اللعبة لتتطابق مع التدريب الجديد. عندما طلبوا من الذكاء الاصطنا-عي توليد 8 حلول مستقلة واختيار الأفضل منها (سيناريو "أفضل-من-8")، تفوقت طريقة "أفضل-K المستقرة" الجديدة. في كل جولة اختبار أجروها، وجدت الطريقة الجديدة مساراً أقصر من الطريقة القديمة. في المتوسط، قللت الطريقة الجديدة التكلفة (طول المسار) بنحو 0.25%. ورغم أن هذا يبدو صغيراً، إلا أنه في عالم هذه الألغاز، فإن تقليص مسافة ضئيلة جداً يعد أمراً كبيساً. لقد جعل ذلك أداء الذكاء الاصطنا-عي أقرب إلى الحل "المثالي" نظرياً.

لكن هنا تكمن المفاجأة: الطريقة الجديدة ليست حلاً سحرياً لكل المواقف.

• إذا اخترت واحداً فقط: إذا كان مسموحاً للذكاء الاصطنا-عي باختيار حل واحد فقط (أفضل-من-1)، فقد كانت طريقة "مكافأة القائد" القديمة أفضل بالفعل.
• إذا اخترت عدداً ضخماً: إذا سمحت للذكاء الاصطنا-عي بالاختيار من بين 128 حلاً، فلا تزال الطريقة الجديدة أفضل قليلاً، لكن الميزة تضاءلت مع زيادة عدد الخيارات.
• إذا استخدمت فك تشفير مختلف: عندما استخدموا طريقة مختلفة لقراءة إجابات الذكاء الاصطنا-عي (تسمى "الخوارزمية الجشعة المعززة" augmented greedy)، كانت الطريقة القديمة أفضل قليلاً مرة أخرى.

الخلاصة

إذاً، ماذا يعني كل هذا؟ وجد الباحثون أنه إذا كنت تخطط لاستخدام ذكاء اصطنا-عي حيث ستقوم بتوليد مجموعة صغيرة من الخيارات (مثل 8) وتختار الأفضل منها، فإن تدريب الذكاء الاصطنا-عي ليكون هدفُه "ضمن الثمانية الأول" بدلاً من مجرد "الرقم 1" هو خطوة ذكية. إنه يشبه تدريب فريق رياضي ليكون فريقاً قوياً بدلاً من التركيز على نجم واحد فقط.

ومع ذلك، فإن المؤلفين حذرون جداً من المبالغة في الترويج لهذا الأمر. فقد ذكروا صراحة أن هذا ليس اختراقاً "لحالة التقدم" (state-of-the-art) يحل كل شيء. لقد اختبروا هذا على ثلاث "بذور" (بدايات عشوائية) فقط، وهو ما يكفي لرؤية نمط ما، ولكنه ليس كافياً لإثبات أن هذا يعمل للأبد. كما اعترفوا بأن طريقتهم هي "وصفة هندسية" وليست برهاناً رياضياً مثالياً.

باختصار، تشير هذه الدراسة إلى أنه إذا كنت تبني ذكاءً اصطنا-عياً لحل ألغاز التوجيه وتعتزم السماح له بالمحاولة بضع مرات قبل اختيار الفائز، فيجب عليك تعليمه ليكون "منافساً في الصفوف الأولى" بدلاً من مجرد "بطل". ولكن إذا كانت لديك فرصة واحدة فقط، أو إذا كان لديك عدد هائل من المحاولات، فقد تظل الطريقة القديمة هي الأفضل بالنسبة لك. إنه تعديل دقيق ومفيد لزاوية محددة من عالم الذكال الاصطنا-عي، وليس ثورة تغير كل شيء.