تخيل أنك تحاول تعليم روبوت كيف يلعب لعبة فيديو، لكن لا يُسمح لك بأن تجعل الروبوت يلعب اللعبة بنفسه. بدلاً من ذلك، ليس لديك سوى دفتر ملاحظات ضخم ومغبر مليء بالتحركات والنتائج للاعب آخر لعب اللعبة منذ زمن طويل. هذا هو عالم "التعلم المعزز غير المتصل" (Offline Reinforcement Learning). التحديد يكمن في أن استراتيجية الروبوت الجديدة قد تبدو مختلفة تماماً عن استراتيجية اللاعب القديم. إذا حاول الروبوت زيارة جزء من عالم اللعبة لم يلمسه اللاعب القديم أبداً، فلن يجد في دفتر الملاحظات أي بيانات لتلك البقعة. الأمر يشبه محاولة التنقل في مدينة جديدة باستخدام خريطة لمدينة أخرى؛ قد تضل طريقك أو تقوم بتخمينات خطيرة. ولحل هذه المشكلة، يستخدم العلماء حيلة رياضية تسمى "نسبة الإشغال" (Occupancy Ratio). فكر في هذه النسبة كعدسة مكبرة خاصة أو مجموعة من الأوزان التي تخبر الروبوت: "مهلاً، اللاعب القديم نادراً ما ذهب إلى هنا، لكن خطتنا الجديدة تذهب إلى هناك طوال الوقت. لذا، عندما ننظر إلى البيانات القديمة، نحتاج إلى إعطاء أهمية إضافية للمرات القليلة التي ذهبوا فيها إلى هناك، وتجاهل الأماكن التي لم يذهبوا إليها أبداً".

لفترة طويلة، كان تحديد هذه الأوزان يشبه محاولة حل لغز حيث كل قطعة تضعها تجعل القطعة التالية أصعب في العثور عليها. كانت الطرق القياسية تتطلب شرطاً صارماً للغاية: يجب أن تكون "خريطة" الاستراتيجية الجديدة متوافقة تماماً مع "خريمة" البيانات القديمة بطريقة رياضية معقدة. إذا كانت الاستراتيجية الجديدة مختلفة جداً، فإن الرياضيات ستنهار، وسيتعلم الروبوت دروساً خاطئة. يقدم هذا البحث طريقة جديدة تسمى "تقييم نسبة الإشغال الملائم" (Fitted Occupancy-Ratio Evaluation - FORE). بدلاً من إجبار قطع اللغز على التوافق تماماً، يستخدم FORE نهجاً ذكياً يعتمد على خطوات متتالية يصحح نفسه طبيعياً. إنه يتعامل مع المشكلة كأنها لعبة "ساخن وبارد"، حيث يعدل الروبوت أوزانه ببطء ليقترب أكثر فأكثر من الحقيقة، دون الحاجة إلى التوافق الصارم الذي كان مطلوباً في السابق. يوضح المؤلفون أنه طالما يمكن وصف خطة الروبوت الجديدة باستخدام الأدوات المتاحة له، فيمكنه تعلم الأوزان الصحيحة وتقديم تنبؤات دقيقة وآمنة حول مدى جودة أدائه، حتى لو كانت البيانات القديمة فوضوية أو غير مكتملة.

قصة العدسة المكبرة ذاتية التصحيح

في عالم الذكاء الاصطناعي، هناك مشكلة كلاسيكية: كيف تقيم خطة جديدة باستخدام بيانات قديمة فقط؟ تخيل أنك مدرب يحاول تقييم استراتيجية فريق كرة قدم جديد، لكن الفيديو الوحيد الذي تملكه هو لفريق مختلف تماماً يلعب في دوري مختلف. إذا حاول الفريق الجديد التسجيل من نقطة لم يلمسها الفريق القديم أبداً، فإن الفيديو الخاص بك سيكون بلا فائدة. أنت بحاجة إلى طريقة لـ "إعادة وزن" الفيديو القديم بحيث يبدو وكأن الفريق الجديد هو من لعب. وهنا يأتي دور نسبة الإشغال؛ وهي رقم يخبرك بمدى تكرار زيارة الفريق الجديد لمكان معين مقارنة بالفريق القديم.

لاحظ مؤلفو الورقة البحثية أن الطرق القديمة لحساب هذه النسبة كانت تشبه محاولة موازنة أرجوحة (سيسو) بقضيب ثقيل وصلب. كان عليك أن تفترض أن "الأرجوحة" (الرياضيات الكامنة وراء ذلك) مستقرة تماماً وأن تحركات الفريق الجديد يمكن التنبؤ بها تماماً بناءً على تحركات الفريق القديم. إذا قام الفريق الجديد بشيء غير متوقع، فإن الحساب بأكمله سيتذبذب ويفشل. أطلقوا على هذا الحاجة إلى "اكتمال بلمان" (Bellman completeness)، وهو مصطلح تقني يعني: "يجب أن تكون الرياضيات قادرة على وصف كل حركة مستقبلية ممكنة بشكل مثالي".

إليك FORE (تقييم نسبة الإشغال الملائم).

يقترح المؤلفون طريقة جديدة لإيجاد هذه الأوزان وهي أكثر مرونة بكثير. بدلاً من محاولة حل معادلة ضخمة ومستحيلة دفعة واحدة، يعمل FORE مثل النحات الذي ينحت في كتلة من الحجر؛ يبدأ بتخمين تقريبي ثم يقوم بالصقل مراراً وتكراراً.

إليك الخدعة السحرية:

1. تكرار بلمان الملحق (Adjoint Bellman Recursion): تخيل نسبة الإشغال كظل تلقيه استراتيجية الفريق الجديد. توضح الورقة أن هذا الظل يتبع قاعدة محددة (معادلة بلمان الملحقة).
2. إسقاط KL (KL Projection): بدلاً من إجبار الظل على التوافق مع قالب صلب، يستخدم FORE نوعاً خاصاً من "العدسات المكبرة" يسمى تباعد KL (وهي طريقة لقياس مدى اختلاف توزيعين احتماليين). في كل خطوة، يأخذ FORE التخمين الحالي للظل ويقوم بإسقاطه على أفضل شكل يمكنه صنعه بالأدوات التي يمتلكها.
3. التصحيح الذاتي: الجزء الأكثر إثارة هو أن هذه العملية تقلل الخطأ طبيعياً. يثبت المؤلفون أنه مع كل خطوة، يقترب التخمين من النسبة الحقيقية، مثل كرة تتدحرج من فوق تل لتستقر في وادٍ. والأهم من ذلك، أن هذا يحدث دون الحاجة إلى فرضية "اكتمال بلمان" الصارمة. تعمل الطريقة طالما يمكن تقريب النسبة الحقيقية باستخدام الأدوات التي يمتلكها الروبوت، حتى لو لم تستطع تلك الأدوات وصف كل حركة مستقبلية بشكل مثالي.

ما وجده البحث بالفعل

لم يكتفِ المؤلفون بصياغة هذه الأفكية نظرياً، بل أثبتوها رياضياً واختبروها.

• النتيجة الرئيسية: أظهروا أن FORE يتقارب نحو نسبة الإشغال الصحيحة. إذا كانت النسبة الحقيقية موجودة ضمن فئة الدوال التي تستخدمها الخوارزمية (وهو شرط يسمى "القابلية للتحقق" أو Realizability)، فإن الخطأ يتقلص هندسياً. وهذا يعني أن الطريقة مستقرة وموثوقة، حتى عندما تكون الاستراتيجية الجديدة مختلفة جداً عن البيانات القديمة.
• ما الذي تنفيه الورقة: تجادل الورقة صراحة ضد الفكرة التي تقول إنك بحاجة إلى "اكتمال بلمان" أو "اكتمال بلمان الملحق" للحصول على نتائج جيدة. في الماضي، اعتقد الباحثون أنك تحتاج إلى خريطة مثالية لكل المستقبلات الممكنة لجعل هذا يعمل. يظهر FORE أنك لست بحاجة لذلك؛ أنت تحتاج فقط إلى تقريب جيد للنسبة نفسها.
• سيناريوهات "ماذا لو" (التغطية): تتناول الورقة أيضاً مشكلة "عدم كفاية التغطية". ماذا لو ذهب الفريق الجديد إلى مكان لم يزره الفريق القديم أبداً؟ في هذه الحالة، لا يمكن معرفة النسبة الكاملة. يقدم المؤلفون FORE المتوقف عند التغطية (Coverage-Stopped FORE). يعمل هذا الإصدار كصمام أمان؛ فهو يقدر قيمة الاستراتيجية الجديدة فقط حتى النقطة التي تنتهي عندها البيانات. وهو يوفر "حداً أدنى متحفظاً"، مما يعني باختصار: "نحن نعرف بالتأكيد أن الفريق سيحصل على هذا القدر من القيمة على الأقل، حتى لو لم نكن نعرف ما يحدث في المناطق غير المستكشفة".

الإثبات واللعب

لدعم ادعاءاتهم، قام المؤلفون بشيئين:

1. الإثباتات الرياضية: قدموا إثباتات صارمة تظهر أن الخطأ في طريقتهم محدود. لقد قسموا الخطأ إلى ثلاثة أجزاء: مدى بعد التخمين الأولي عن الحقيقة، ومدى قدرة الأدوات على تقريب النسبة الحقيقية، والضجيج الإحصائي الناتج عن امتلاك كمية محدودة من البيانات. وأظهروا أن الطريقة تتعامل مع الأجزاء الثلاثة بسلاسة.
2. المحاكاة: أجروا تجارب حاسوبية لمعرفة كيفية أداء FORE في عالم الأرقام الحقيقي.
   • التجربة 1 (Baird-style MRP): استخدموا مشكلة كلاسيكية "على شكل نجمة" حيث تنفجر وتفشل الطرق القديمة (مثل تقييم Q الملائم القياسي). ومع ذلك، ظل FORE مستقراً وتقارب نحو الإجابة الصحيحة.
   • التجربة 2 (Linear-Gaussian): اختبروا مشكلة مستمرة حيث تصبح الرياضيات معقدة. مرة أخرى، عانت الطرق القياسية، لكن FORE ونسخة من FORE التي تعيد "وزن" البيانات (FORE-reweighted FQE) حققت أداءً أفضل بكثير، وحافظت على انخفاض الأخطاء حتى مع زيادة صعوبة اللعبة.
   • التجربة 3 (البيانات المفقودة): قاموا بمحاكاة موقف تحاول فيه الاستراتيجية الجديدة الذهاب إلى أماكن لم تغطها البيانات القديمة. نجح FORE المتوقف عند التغطية في تحديد الجزء "الآمن" من الاستراتيجية وقدم تقديراً متحفظاً، بينما فشلت الطرق القياسية التي حاولت تخمين الأجزاء المفقودة فشلاً ذريعاً.

لماذا يهم هذا؟

هذه الورقة البحثية مهمة لأنها تزيل عقبة رئيسية أمام تعليم الذكاء الاصطناعي من البيانات القديمة. لسنوات، اعتقد العلماء أنك بحاجة إلى فهم كامل ومثالي للمستقبل لتتعلم من الماضي. يظهر FORE أنه يمكنك أن تكون "جيداً بما يكفي" وتصل إلى إجابة موثوقة. الأمر يشبه القول إنك لا تحتاج إلى معرفة كل شارع في المدينة لتعطي شخصاً ما اتجاهات جيدة؛ بل تحتاج فقط إلى خريطة تغطي المسارات الرئيسية بشكل جيد بما يكفي.

يشير المؤلفون بعناية إلى أن هذا ليس عصا سحرية تحل كل المشكلات. إذا ذهبت الاستراتيجية الجديدة إلى أماكن لم تلمسها البيانات القديمة أبداً، فلا يمكنك معرفة الحقيقة الكاملة. ولكن بالنسبة للأجزاء التي يمكنك رؤيتها، يوفر FORE طريقة أكثر استقراراً وموثوقية لتقييم النجاح. إنه يحول عملية حسابية هشة وعالية المخاطر إلى عملية خطوة بخطوة قوية تتحسن كلما حاولت أكثر.

باختصار، FORE هو طريقة جديدة وأكثر مرونة لتعليم الروبوتات التعلم من التاريخ، مما يثبت أنك لست بحاجة إلى بلورة سحرية مثالية للتنبؤ بالمستقبل.