A distilled value head breaks search, but search remains an effective teacher, not a move selector: a case study in 19x19 Go

تخيل أنك تعلم طالباً عبقرياً لكنه عنيد كيفية لعب لعبة استراتيجية معقدة مثل الشطرنج أو لعبة "جو" (Go). في هذه اللعبة، يوجد معلم فائق الذكاء (لنسمّه "العراف") يمكنه النظر إلى اللوحة وإخبارك بدقة من هو الفائز. عادةً، عندما تُعلّم طالباً، تتركه يتدرب عبر اللعب ضد المعلم، أو تتركه يفكر في بضع خطوات للأمام ليرى ما سيحدث. في عالم الذكاء الاصطناعي، يُسمى هذا "التفكير المسبق" بـ بحث مونت كارلو في الشجرة (MCTS). إنه يشبه جهاز محاكاة يقوم بتشغيل آلاف الألعاب الخيالية الصغيرة في جزء من الثانية لتحديد النقلة الأفضل.

الفكرة الكبرى في الذكاء الاصطناعي الحديث هي أنه إذا جمعت بين "عقل" ذكي (شبكة عصبية) وهذا "المحاكي" (MCTS)، فإن النتيجة يجب أن تكون لا تُقهر. العقل يخمن النقلة، والمحاكي يتحقق منها. ولكن ماذا لو بدأ المحاكي يجعل العقل أسوأ؟ ماذا لو أصبح الأداة التي من المفترض أن تساعدك على التفكير تسبب لك الارتباك بدلاً من ذلك؟ هذا هو اللغز الغريب الذي عالجه الباحث "تايكي كوجيما". لم يكن يحاول بناء روبوت يفوز ببطولة العالم؛ بل كان يحاول فهم خلل حيث أدى "التفكير" في الذكاء الاصطناعي إلى إفساد "اللعب"، رغم أن جزء "التفكير" كان لا يزال مفيداً للغاية لغرض التعليم. إنها قصة عن كيف يمكن لبوصلة سيئة أن تظل خريطة رائعة للمعلم.

---

البوصلة المعطلة

في عالم لعبة "جو" الحاسوبية (وهي لعبة تُلعَب على شبكة 19×19)، يقوم الباحثون عادةً بتدريب الذكاء الاصطناعي بجعله يتعلم من معلم قوي جداً. في هذه الدراسة، كان المعلم ذكاءً اصطناعياً شهيراً يُدعى "كاتاغو" (KataGo). أخذ الباحث ذكاءً اصطناعياً أصغر وأبسط وحاول نسخ عقل المعلم باستخدام تقنية تُسمى تقطير المعرفة (knowledge distillation). فكر في الأمر كطالب يحاول حفظ إجابات الواجب المنزلي الخاص بمعلمه.

عادةً، بمجرد أن يتعلم الطالب الإجابات، تتركه يستخدم "محرك تفكيره" الخاص (Mally MCTS) للتحقق من عمله قبل اتخاذ أي خطوة. وكان التوقع هو أن هذا سيجعل الطالب أقوى. ولكن هنا حدث التحول الدرامي: عندما ترك الباحث الطالب يستخدم محرك التفكير (MCTS) لاختيار نقلاته، أصبح الطالب في الواقع أسوأ.

الطالب، الذي يلعب بدون محرك تفكير، كان يفوز بنسبة 32% تقريباً من المباريات ضد نفسه. ولكن بمجرد تشغيل "محرك التفكير" لمساعدته في اختيار النقلات، انخفض معدل فوزه بشكل حاد. كان الأمر كما لو أن طالباً يستطيع حل المسائل الرياضية ببراعة، وفجأة بدأ يفشل في كل الاختبارات بمجرد أن سُمح له باستخدام الآلة الحاسبة.

رأس القيمة المعطل

كان على الباحث معرفة لماذا كانت الآلة الحاسبة معطلة. هل كانت الآلة الحاسبة نفسها (خوارزمية البحث) معيبة؟ أم أن عقل الطالب (الشبكة العصبية) كان يعطي الآلة الحاسبة معلومات خاطئة؟

لاختبار ذلك، قام الباحث باستبدال عقل الطالب بعقل المعلم في الخطوة الأخيرة فقط من الحساب. فجأة، ارتفع معدل الفوز ليصل إلى 98.3%. أثبت هذا أن "الآلة الحاسبة" (MCTS) تعمل بشكل مثالي. المشكلة كانت بالكامل في عقل الطالب.

تحديداً، كانت المشكلة في رأس القيمة (value head). في مصطلحات الذكاء الاصطناعي، "رأس القيمة" هو الجزء من الدماغ الذي يقول: "هل هذا الوضع جيد أم سيء؟". كان رأس القيمة لدى الطالب جيداً في الواقع في تقدير الدرجة المطلقة (كان يعرف ما إذا كان الوضع فوزاً أو خسارة بشكل عام). لكنه كان سيئاً جداً في مقارنة نقلتين متشابهتين جنباً إلى جنب. لم يستطع التمييز بين أي من النقلتين المتجاورتين كان الأفضل قليلاً.

تخيل حكماً يمكنه إخبارك ما إذا كانت اللوحة "جيدة" أو "سيئة"، ولكن عندما تعرض عليه لوحتين كلتاهما "جيدة"، لا يستطيع التمييز أيهما أفضل. عندما حاول الذكاء الاصطناعي استخدام هذا الحكم المرتبك لاختيار أفضل نقلة، استمر في ارتكاب الأخطاء. تعمق محرك البحث أكثر، ووجد مقارنات أكثر إرباكاً، وجعل قرارات الذكاء الاصطناعي أسوأ وأسوأ.

الحل: توقف عن استخدام البوصلة، وابدأ باستخدام الخريطة

حاول الباحث إصلاح الحكم المعطل عن طريق إعادة تدريب هذا الجزء من الدماغ فقط. أصبح الحكم أفضل قليلاً في مقارنة النقلات، لكن الذكاء الاصطناعي لم يستطع استخدام محرك البحث للعب بشكل أفضل. ظل محرك البحث معطلاً كـ محدد للنقلات.

لذا، جرب الباحث نهجاً مختلفاً تماماً. بدلاً من محاولة إصلاح قدرة الذكاء الاصطناعي على استخدام محرك البحث لاختيار النقلات، قرر استخدام محرك البحث فقط كـ معلم.

إليك الخدعة السحرية:

1. لعب الذكاء الاصطناعي مباراة باستخدام محرك البحث لإنشاء "توزيع الزيارات" (visit distribution). هذا سجل لكيفية قضاء محرك البحث وقته في النظر إلى نقلات مختلفة. حتى لو اختار محرك البحث النقلة الخاطئة في النهاية، فقد يكون قد قضى وقتاً طويلاً في التفكير في النقلة الصحيحة.
2. بعد ذلك، قام الباحث بتدريب عقل الذكاء الاصطناعي لنسخ هذا "نمط التفكير" (توزيع الزيارات) بدلاً من مجرد نسخ النقلة النهائية.
3. قاموا بإزالة "المرساة الأمنية" التي تمنع الذكاء الاصطناعي عادةً من التغيير كثيراً.

كانت النتيجة مذهلة. من خلال تجاهل القرار النهائي لمحرك البحث والاعتماد فقط على "عملية التفكير" الخاصة به كدرس تعليمي، تحسن الذكاء الاصطناعي بشكل هائل.

• الجيل الثاني (باستخدام الطريقة القديمة): لم يلعب الذكاء الاصطناعي أفضل من نسخته السابقة.
• الجيل الثالث (باستخدام محرك البحث كمعلم): فاز الذكاء الاصطناعي بنسبة 94.1% من المباريات ضد الخط الأساسي الأصلي و82.4% ضد النسخة السابقة.

حدث هذا باستخدام أقل من نصف كمية بيانات التدريب (ألعاب اللعب الذاتي) التي استخدمها الجيل السابق. كان محرك البحث مدرباً سيئاً (كان يختار النقلات الخاطئة بنسبة 73% من الوقت)، لكنه كان معلماً رائعاً.

لماذا يهم هذا؟

تخلص الورقة البحثية إلى أن هناك فرقاً شاسعاً بين قدرة الذكاء الاصطناعي على اتخاذ قرار وقدرته على تقديم درس.

فكر في الأمر مثل مدرب سيئ جداً في لعب الرياضة نفسها. إذا طلبت من هذا المدرب خوض مباراة، فسوف يخسر. ولكن إذا طلبت منه مشاهدة مباراة وإخبارك بـ أين يجب على اللاعبين التركيز، فقد يكون بارعاً. كان محرك البحث في هذه الدراسة مثل ذلك المدرب: لم يستطع اختيار الفائز، لكن "خريطة الانتباه" الخاصة به أظهرت للطالب بالضبط أين ينظر ليتعلم.

كما تسلط الدراسة الضوء على تحذير لأي شخص يبني ذكاءً اصطناعياً: لا تثق في "بطاقات النتائج" الخاصة بك كثيراً. وجد الباحثون أن المقاييس القياسية (مثل مدى جودة ترتيب الذكاء الاصطناعي للنقلات في اختبار ما) غالباً ما فشلت في التنبؤ بما إذا كان الذكاء الاصطناعي سيصبح أفضل فعلياً في لعب اللعبة. أحياناً، كان الذكاء الاصطناعي يتحسن حتى عندما بدت درجات الاختبار أسوأ.

في النهاية، لا يتعلق هذا بلعبة "جو" فحسب. نفس المشكلة تحدث في مجالات أخرى من الذكاء الاصطناعي، مثل تدريب النماذج اللغوية. أحياناً، تكون الأداة التي تستخدمها لتوليد الإجابات معيبة جداً بحيث لا يمكن استخدامها مباشرة، ولكن عملية توليد تلك الإجابات هي التي تحمل السر لجعل الذكاء الاصطناعي أكثر ذكاءً. الدرس المستفاد؟ لا تتخلص من المعلم لمجرد أنه لا يستطيع لعب اللعبة.