The Time Value of Evolution

اللعبة الطويلة للتطور الرقمي

تخيل أنك تحاول تعليم كمبيوتر حل لغز، ولكن بدلاً من إعطائه الإجابة، تتركه يحاول تطوير حلوله الخاصة. هذا هو عالم البحث التطوري، وهو أسلوب مستوحى من الطبيعة حيث ينشئ الكمبيوتر العديد من "الأبناء" (نسخ جديدة من برنامج)، ويتحقق من مدى جودة عملهم، ويحتفظ بالأفضل منها لصنع الجيل التالي. عادةً ما يكون الكمبيوتر غير صبور للغاية: إذا كان "الابن" الجديد أسوأ من والده، فإن الكمبيوتر يتخلص منه فوراً، معتقداً أن "هذه الطفرة كانت فكرة سيئة".

ولكن ماذا لو كان هذا "الابن السيئ" في الواقع حجر زاوية ضرورياً؟ في الطبيعة، يحتاج الحيوان أحياناً إلى تنمية ميزة غريبة أو خرقاء قبل أن يتمكن من التطور إلى شيء مذهل لاحقاً. في علوم الكمبيوتر، تسمى هذه الفكرة المنفعة المؤجلة: وهي تغيير يبدو كخطأ في الوقت الحالي، لكنه قد يفتح الطريق لحل عبقري بعد بضع خطوات. السؤال الكبير الذي يطرحه الباحثون هو: كيف نعلم الكمبيوتر أن يكون صبوراً بما يكفي للحفاظ على هؤلاء الأسلاف "الضعفاء" أحياء لفترة كافية لرؤية إمكاناتهم؟ تتناول هذه الورقة البحثية هذه المشكلة تحديداً، حيث تقترح طريقة لتقدير مستقبل عملية البحث، وليس فقط نتائجها الفورية.

---

القيمة الزمنية للتطور: لماذا يدفع الصبر ثمنه

تعرف على القيمة الزمنية للتطور. فكر في الأمر كأنه لعبة فيديو حيث لديك عدد محدود من الأرواح (أو "ميزانية بحث"). إذا لعبت مستوى ما واتخذت حركة تجعل شخصيتك تبدو خرقاء وتفقد بعض النقاط، فقد يصاب اللاعب العادي بالذعر ويلغي الحركة فوراً. لكن اللاعب الماهر يعرف أنه في بعض الأحيان، عليك التراجع خطوة إلى الوراء لتقفز فوق فجوة لاحقاً.

في هذه الورقة، يرى المؤلفون، ماثيو سيبر، وأحمد خليفة، وجوليان توجيليوس، أن معظم خوارزميات التطور الحاسوبية سيئة جداً في استراتيجية "اللاعب الماهر" هذه. فهي تركز بشكل مبالغ فيه على النتيجة الفورية. إذا جعلت طفرة ما (تغيير في الكود) البرنامج أسوأ قليلاً في الوقت الحالي، فإن الخوارزمية تقتله. يطلق المؤلفون على هذا "التحكم بالعائد الفوري"، ويقولون إنه أعمى عن حقيقة أن الابن الضعيف يمكن أن يكون سلفاً ذا قيمة.

ولإصلاح ذلك، اخترعوا طريقة جديدة تسمى سياسة تدرج قيمة السلالة (LVPG). تخيل مدرباً لا يكتفي بمراقبة حركة اللاعب الحالية فحسب، بل ينظر أيضاً إلى شجرة الاحتمالات الكاملة التي قد تنتج عن تلك الحركة. تستخدم LVPG "ناقداً" خاصاً (حكماً) ينظر إلى الأمام. يسأل نفسه: "إذا احتفظنا بهذه النسخة الأسوأ قليلاً، هل يمكن لأحفادها العظماء أن يصبحوا الأفضل؟". إذا كانت الإجابة نعم، يحتفظ المدرب بالابن "السيئ"، مدركاً أنه استثمار في المستقبل.

لعبة التداول

لاختبار ذلك، وضع المؤلفون لعبة عالية المخاطر: التداول الآلي. لقد طلبوا من الذكاء الاصطناعي كتابة برامج حاسوبية تشتري وتبيع الأسهم (تحديداً عقود المستقبل لمؤشر S&P 500، والفضة، وسندات الخزانة). هذه لعبة صعبة لأن السوق يتغير باستمرار، والبرنامج الذي يبدو رائعاً اليوم قد ينهار غداً.

أعطوا الذكاء الاصطناعي "ميزانية" قدرها 8 خطوات. في كل خطوة، يمكن للذكاء الاصطناعي أن يختار:

1. التحسين (Refine): إجراء تعديل دقيق وحذر.
2. الاستكمال (Interpolate): مزج الأفكار معاً.
3. الاستكشاف (Explore): إجراء تغيير كبير وجريء.

الطريقة القياسية (التي يسمونها PPO-Immediate) نظرت فقط إلى نتيجة الخطوة التالية مباشرة. إذا حقق البرنامج الجديد مالاً أقل، فإنه يُعاقب. أما الطريقة الجديدة (PPO-Path) فقد نظرت إلى المسار الكامل المكون من 8 خطوات. لقد كافأت حركة ما إذا وجد المسلسل (السلالة) في النهاية طريقة لجني المزيد من المال، حتى بعد حدوث انخفاض مؤقت.

النتائج: الصبر ينتصر

كانت النتائج واضحة بشكل مذهل. فالذكاء الاصطناعي "الصبور" (PPO-Path) لم يجد حلولاً أفضل قليلاً فحسب، بل وجد حلولاً أفضل بكثير.

• نتائج أفضل: عندما اختبروا البرامج النهائية على بيانات غير مرئية، رفع الذكاء الاصطناعي "الصبور" "نسبة شارب" (وهي مقييس لمدى جودة استراتيجية التداول) من 0.862 إلى 1.321. هذه قفزة هائلة في عالم التمويل.
• أخطاء أقل: غالباً ما كان الذكاء الاصطناعي "غير الصبور" يعلق في "تراجعات مؤقتة" – لحظات يتخذ فيها قراراً سيئاً ولا يستطيع التعافي منه. أما الذكاء الاصطناعي "الصبور" فقد ارتكب أخطاء أقل، وعندما ارتكب واحداً، تمكن من التعافي بنسبة 48.0%، مقارنة بـ 39.9% فقط للنسخة غير الصبورة.
• إثبات "القيمة الزمنية": أظهر المؤلفون أن قيمة الطفرة لا تكمن فقط فيما تفعله الآن، بل فيما يمكن أن تفعله لاحقاً. ووجدوا أن النظر إلى الأمام لخطوة واحدة فقط كان مقبولاً، ولكن النظر إلى الأمام لثماني خطوات (الميزانية الكاملة) كان هو النقطة المثالية، مما أدى إلى تحسين كفاءة البحث بشكل كبير.

كيف يعمل الأمر من الداخل

السر يكمن في "دماغ" مكون من جزئين:

1. الدماغ المجمد (ELM): نموذج لغوي مدرب مسبقاً يعرف كيفية كتابة الكود. إنه يشبه مبرمجاً ماهراً "متجمداً في الزمن"؛ فهو لا يتعلم أثناء اللعبة، بل يقوم فقط بتوليد الطفرات.
2. المدرب (الممثل والناقد): جزءان صغيران قابلان للتدريب ملحقان بالدماغ المجمد.
   • الممثل (Actor): يقرر نوع الطفرة التي يجب القيام بها (تحسين، استكمال، أو استكشاف) بناءً على الوقت المتبقي وكيفية أداء البرنامج.
   • الناقد (Critic): هو المسافر عبر الزمن. ينظر إلى "شجرة" من المستقبلات المحتملة (تخيل مساراً متفرعاً بعمق 5 خطوات) ليخمن مدى قيمة الحركة الحالية على المدى الطويل. يتم تدريبه للتنبؤ بأفضل نتيجة يمكن أن تصل إليها السلالة حتى الآن، وليس فقط الخطوة التالية.

ماذا يعني هذا؟

تثبت هذه الورقة أنه في عالم محدود بالوقت والموارد، فإن اللياقة الفورية هي كاذبة. فالطفرة التي تبدو كفشل اليوم قد تكون هي المفتاح لنجاح باهر غداً. من خلال تعليم الذكاء الاصطناعي تقدير قيمة السلالة (شجرة عائلة الكود) بدلاً من مجرد تقدير الابن (النتيجة الفورية)، وجد الباحثون استراتيجيات تداول أفضل.

يلاحظ المؤلفون بحذر أن هذا عبارة عن محاكاة تعتمد على بيانات تاريخية، وليست ضماناً لأرباح مستقبلية في سوق الأسهم الحقيقي. ومع ذلك، فإن المبدأ راسخ: لا تحكم على الكتاب من صفحته الأولى. في عالم التطور الحاسوبي، يجب أحياناً أن تسمح للقصة بأن تصبح فوضوية قليلاً قبل أن تتحول إلى تحفة فنية. ومن خلال منح الذكاء الاصطناعي "القيمة الزمنية" لانتظار العائد، فتحوا الطريق أمام طريقة أكثر ذكاءً ومرونة للبحث عن الحلول.