The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

معضلة المحقق: عندما لا تتطابق الخريطة مع الواقع

تخيل أنك تعلم روبوتًا كيفية التنقل في متاهة. أنت لا تريد من الروبوت مجرد حفظ المسار؛ بل تريده أن يبني "نموذج عالم" في عقله — خريطة ذهنية تتنبأ بما سيحدث إذا اتجه يسارًا أو يمينًا. إذا استطاع الروبوت التنبؤ بالمستقبل بدقة، فيمكنه التخطيط مسبقًا وحل الألغاز المعقدة. هذا هو حلم نماذج العالم الكامنة (latent world models): وهي أنظمة ذكاء اصطناعي تتعلم القواعد الخفية لبيئتها حتى تتمكن من التصرف بذكاء دون الحاجة إلى إمساك يد بشرية.

ولكن هنا يكمن الجزء الصعب: كيف تعرف أن الخريطة الذهنية للروبوت جيدة حقًا؟ عادةً ما يتحقق العلماء من ذلك عبر رؤية مدى جودة تنبؤ الروبوت بالخطوة التالية. إذا كان بإمكانه تخمين الإطار التالي من الفيديو بشكل مثالي، فإننا نفترض أنه يفهم العالم. ومع ذلك، يطرح هذا البحث سؤالًا خطيرًا: ماذا لو كان الروبوت عبقريًا في التنبؤ بالثانية التالية، لكنه كارثة حقيقية في التخطيط للدقيقة التالية؟

هذه القصة تأتي من عالم تعلم الآلة، وتحديدًا دراسة كيفية تعلم الذكاء الاصطناعي لمحاكاة الواقع. إنه مجال يبني فيه الباحثون عقولًا رقمية لفهم الفيزياء، والحركة، والسبب والنتيجة. المخاطر عالية، لأننا إذا بنينا روبوتات أو سيارات ذاتية القيادة بناءً على نماذج تبدو جيدة على الورق ولكنها تفشل في العالم الحقيقي، فقد تكون العواقب وخيمة. هذا البحث هو قصة عن فريق من الباحثين المستقلين الذين قرروا لعب دور "المحقق" مع طريقة ذكاء اصطناعي شهيرة وجديدة تسمى LeWorldModel. أرادوا معرفة ما إذا كانت الخدعة السحرية تعمل حقًا، أم أن الساحر كان يخفي بعض الخطوات الحاسمة في التعليمات.

---

قضية التعليمات المفقودة

سعى الباحثون إلى إعادة إنتاج نتيجة من ورقة بحثية تدعي أن ذكاءها الاصطناعي الجديد، LeWorldModel، يمكنه حل متاهة بسيطة مكونة من غرفتين بنسبة نجاح تبلغ حوالي 87%. بدا هذا الرقم منخفضًا مقارنة بالطرق الأخرى التي تحقق 97-100%، لكن المؤلف ادعى أن طريقتهم مميزة لأنها أبسط ولا تحتاج إلى حيل معقدة لتعمل.

قام الفريق المستقل، بقيادة جوييت سينغ، باستئجار قدرة حوسبية (بقيمة حوالي 24 دولارًا من وقت وحدة معالجة الرسومات GPU) لإعادة بناء الذكاء الاصطناعي من الصفر. توقعوا رؤية نفس معدل النجاح البالغ 87%. وبدلاً من ذلك، وجدوا فوضى من الأسرار الخفية.

القواعد الأربع الخفية
اكتشف الفريق أن تعليمات الورقة الأصلية كانت تشبه وصفة طبخ نسيت ذكر أهم المكونات. إذا اتبعت ملفات الإعداد المنشورة وحدها، فلن يتعلم الذكاء الاصطناعي أي شيء. وجد الباحثون أربعة "أعراف غير موثقة" مدفونة في الكود البرمجي هي التي حددت كل شيء:

1. جمع الإجراءات الكثيفة (Dense Action Gathering): يحتاج الذككاء الاصطناعي لرؤية كل حركة صغيرة يقوم بها الروبوت، وليس مجرد لقطات متفرقة.
2. العرض البرمجي (Programmatic Width): تم تحديد حجم جزء معين من الدماغ بواسطة معادلة رياضية مخفية، وليس برقم في ملف الإعدادات.
3. تطبيع ImageNet (ImageNet Normalization): يجب معالجة الصور المغذية للذكاء الاصطناعي بطريقة محددة للغاية (باستخدام معايير "ImageNet")، وليس فقط بقسمة الألوان على 255.
4. إجراءات Z-Scored: يجب تعديل حركات الروبوت رياضيًا بناءً على مجموعة البيانات بأكملها، مع إزالة أخطاء "NaN" (ليس رقمًا) الغريبة أولاً.

بدون هذه الإصلاحات الأربعة الخفية، لم يستطع "المتنبئ" (الجزء الذي يتوقع المستقبل) في الذكاء الاصطناعي حتى الوصول إلى حالة الاستقرار (convergence). كان الأمر يشبه محاولة خبز كعكة بوصفة نسيت أن تقول "أضف الدقيق" أو "سخن الفرن مسبقًا".

الشبح في الآلة
حتى بعد إصلاح الوصفة، اصطدم الفريق بحائط مسدود. في ثلاث من عمليات التدريب الخاصة بهم، بدا الذكاء الاصطناعي وكأنه يفشل. كانت "خسارة التحقق" (الدرجة التي تقيس مدى سوء الذكاء الاصطناعي) تتذبذب بجنون، مما يوحي بأن النموذج معطل. لكن "خسارة التدريب" (مدى سوء أدائه على البيانات التي يتعلم منها) كانت في الواقع تتحسن!

وجدوا الجاني: طبقة Batch Normalization. فكر في هذا كمنظم حرارة (ترموستات) في دماغ الذكاء الاصطناعي. في الوضع الخاطئ، كان هذا المنظم معطلاً، حيث يقوم بتضخيم الأخطاء الصغيرة بمعامل قدره 300. جعل هذا الذكاء الاصطناعي يبدو وكأنه يفشل بينما كان في الواقع يتعلم بشكل مثالي. بمجرد أن قاموا بـ "إعادة معايرة" هذا المنظم، ظهر الأداء الحقيقي.

الخريطتان المختلفتان
وجد الفريق أيضًا أن الورقة الأصلية نشرت مجموعتين مختلفتين من القواعد لاختبار الذكاء الاصطناعي، وقد أعطتا نتائج مختلفة تمامًا:

• الاختبار "القصير": يقول ملف إعداد الكود أن الاختبار يتم بهدف يبعد 25 خطوة وميزانية قدرها 50 خطوة. تحت هذه القاعدة، حقق الذكاء الاصطناعي الخاص بالمؤلفين الأصليين نسبة نجاح 84.0%.
• الاختبار "الطويل": يقول ملحق الورقة البحثية أن الاختبار يتم بهدف يبعد 100 خطوة وميزانية قدرها 150 خطوة. تحت هذه القاعدة، حقق نفس الذكاء الاصطناعي نسبة 14.0% فقط.

أدرك الباحثون أن معدل النجاح البالغ "87%" الذي ادعته الورقة كان على الأرجح يعتمد على الاختبار "القصير"، لكن الاختبار "الطويل" (الذي وصفه الملحق) كان في الواقع أصعب بكثير وكشف عن نقطة ضعف الذكاء الاصطناعي.

المفاجأة الكبرى: الدقة لا تعني المهارة

لم يكن الاكتشاف الأكثر صدمة يتعلق بالقواعد الخفية؛ بل كان حول معنى كلمة "جيد" حقًا.

قام الفريق بتدريب ثلاث نسخ مختلفة من الذكاء الاصطناعي:

1. نسخة "سيئة" ذات أخطاء تنبؤ عالية.
2. نسخة "متوسطة" (نسخة المؤلفين الأصليين).
3. نسخة "رائعة" ذات أخطاء تنبؤ منخفضة جدًا (النسخة المصححة من الفريق).

الفوز قصير المدى:
عندما كان الهدف قريبًا (25 خطوة)، كان الذكاء الاصطناعي "الرائع" هو الأفضل، محققًا 94.0% نجاحًا. بينما كان الذكاء الاصطناعي "السيئ" هو الأسوأ بنسبة 78.0%. هذا منطقي: تنبؤ أفضل = تخطيط أفضل.

الكارثة طويلة المدى:
لكن عندما كان الهدف بعيدًا (100 خطوة)، انقلبت القواعد تمامًا.

• الذكاء الاصطناعي "الرائع" (الأكثر دقة في التنبؤ) أصبح الأسوأ في التخطيط، محققًا 20.0% نجاحًا فقط.
• الذكاء الاصطناعي "السيئ" (الأقل دقة في التنبؤ) أصبح الأفضل في التخطيط، محققًا 80.0% نجاحًا.

كان الذكاء الاصطناعي الأكثر دقة واثقًا جدًا في تنبؤاته المثالية لدرجة أنه اتخذ خطوات ضخمة ومتهورة وتجاوز الهدف، لينتهي به الأمر على بُعد 116.6 وحدة (أبعد من التخمين العشوائي!). أما الذكاء الاصطناعي "السيئ"، لعدم ثقته في تنبؤاته، فقد تحرك بحذر أكبر ووصل بالفعل إلى الهدف.

ماذا يعني هذا للمستقبل

لا تقول هذه الورقة أن طريقة الذكاء الاصطناعي عديمة الفائدة. في الواقع، بمجرد إصلاح القواعد الخفية، حقق فريق البحث 94.0% في الاختبار القصير، متفوقًا على الادعاء الأصلي. التمثيل (الخريطة الذهنية) كان صلبًا؛ الروبوت كان يعرف مكانه.

ومع ذلك، تقدم الورقة تحذيرًا قويًا: لا يمكنك الحكم على المخطط بناءً على مدى جودة تنبئه بالخطوة التالية.

في هذه المتاهة تحديدًا، جعلت "الدقة المثالية" في التنبؤ الذكاء الاصطناعي أسوأ في التخطين طويل المدى. وجد الباحثون أن النماذج الأكثر دقة كانت واثقة جدًا من مسارها لدرجة أنها التزمت بأفعال متطرفة أدت بها إلى الضلال.

وجد الفريق أيضًا أن تجربة مسجلة مسبقًا (اختبار تم التخطيط له مسبقًا لمعرفة ما إذا كان الذكاء الاصطناعي أفضل في التنقل داخل نفس الغرفة مقابل الانتقال بين الغرف) نجحت في نسخة واحدة من الذكاء الاصطناعي، وفشلت تمامًا في نسخة أخرى. وهذا يشير إلى أن "السحر" الخاص بالذكاء الاصطناعي قد يكون خاصًا بالإصدار المحدد من النموذج، وليس خاصية عامة للطريقة.

الخلاصة
تخلص الورقة إلى أنه إذا كنت تريد بناء ذكاء اصطناعي يمكنه التخطيط للمدى الطويل، فلا ينبغي لك فقط اختيار النموذج الذي يتنبأ بالمستقبل بدقة أكبر. في الواقع، في هذه المهمة، اختيار النموذج الأكثر دقة كان سيعني اختيار الأسوأ في التخطيط. الدرس للمستقبل هو أننا بحاجة إلى طرق جديدة لاختبار الذكاء الاصطناعي تتجاوز مجرد درجات التنبؤ البسيطة، لأن الخريطة المثالية لا تعني دائمًا أنك تعرف كيف تقود السيارة.