تخيل حاسوباً يتعلم لعب لعبة فيديو ليس من خلال إخباره بالقواعد، بل من خلال تجربة الأشياء، وارتكاب الأخطاء، وفهم أي الحركات تؤدي إلى النقاط وأيها يؤدي إلى الفشل ببطء. هذا هو جوهر مجال يسمى التعلم المعزز العميق، حيث تتعلم وكلاء الذكاء الاصطناعي من خلال التجربة والخطأ. الطريقة الأكثر شيوعاً التي يبني بها هؤلاء الوكلاء معرفتهم هي بناء خريطة ذهنية لـ "القيمة" — وهي تخمين لمدى جودة موقف معين وكم من المكافأة قد يجلبها في المستقبل. يقوم الحاسوب بتحديث هذه الخريطة مراراً وتكراراً، مستخدماً تخميناته الحالية للتنبؤ بالخطوة التالية، وهي عملية تُعرف باسم "التمهيد" (bootstrapping). وبينما سمحت هذه الطريقة للآلات بإتقان ألعاب معقدة، إلا أن لها عيباً سيئ السمعة: فعملية التعلم غالباً ما تكون غير مستقرة. يمكن لتخمينات الوكيل أن تخرج عن السيطرة، مما يجعله ينسى ما تعلمه أو يتخذ قرارات عشوائية، تماماً مثل طالب يتحمس بشدة لفكرة جديدة لدرجة أنه يتوقف عن الاستماع إلى المعلم.

لسنوات، حاول العلماء إصلاح عدم الاستقرار هذا من خلال إلقاء اللوم على مسببات محددة، مثل كون الحاسوب متفائلاً جداً بشأن فرص فوزه. ومع ذلك، تشير دراسة جديدة إلى أن المشكلة ليست مجرد فاعل سيئ واحد، بل هي حلقة معقدة ذاتية التعزيز تتضمن ثلاثة أجزاء مختلفة من نظام التعلم تعمل ضد بعضها البعض. اكتشف الباحثون، بقيادة فريق في جامعة بكين، أن عدم الاستقرار ينشأ من كيفية بناء الحاسوب لتنبؤاته المستقبلية، وكيفية تفسيره للبيانات المشوشة عند اتخاذ القرارات، وكيفية تغير هيكل ذاكرته الداخلية بمرور الوقت. ومن خلال فهم هذه القوى الثلاث المتفاعلة، طوروا طريقة جديدة لتثبيت عملية التعلم، مما يسمح للذكاء الاصطناعي بالتعلم بشكل أسرع وأكثر موثوقية في البيئات التي تندر فيها البيانات.

بدأ الباحثون بالنظر عن كثب في كيفية بناء الحاسوب لتنبؤاته. في الإعداد القياسي، ينظر الذكاء الاصطناعي إلى موقف ما، ويختار أفضل حركة يعتقد أنه يمكنه القيام بها، ويستخدم المكافأة الناتجة عن تلك الحركة لتحديث خريطته. وجد الفريق أنه عندما يحصل الذكاء الاصطناعي على مكافأة إيجابية، يمكن أن تحدث حلقة تغذية راجعة غريبة. ولأن التمثيل الداخلي للعالم لدى الحاسوب مشترك عبر إجراءات مختلفة، فإن مكافأة لحركة معينة يمكن أن تؤدي بالخطأ إلى تضخيم قيمة تلك الحركة نفسها في الموقف التالي مباشرة. وعندما ينظر الحاسوب بعد ذلك للأمام ليقرر ماذا يفعل تالياً، فإنه يرى هذه القيمة المتضخمة ويختار نفس الحركة مرة أخرى. هذا يخلق دورة يستمر فيها الحاسوب في اختيار نفس الإجراء مراراً وتكراراً، مقتنعاً بأنه الخيار الأفضل، حتى لو لم يكن كذلك. يطلق الباحثون على هذا اسم "فخ التعزيز الذاتي"، وهي آلية يعلق فيها الذكاء الاصطناعي في حلقة من صنعه، مما يؤدي إلى تضخيم انحيازاته الخاصة حتى تنهار عملية التعلم.

يكمكن المصدر الثاني للمتاعب من كيفية اتخاذ الحاسوب للقرارات عندما تكون بياناته غير كاملة. التعلم عملية مشوبة بالضجيج؛ فتخمينات الحاسوب للقيمة ليست دقيقة تماماً أبداً. عندما يكون الفرق بين أفضل حركة وثاني أفضل حركة صغيراً، يمكن حتى لقليل من الضجيج أن يسبب تغيير اختيار الحاسوب. وبما أن خيارات الحاسوب هي التي تحدد البيانات التي يجمعها لاحقاً، فإن قراراً واحداً خاطئاً بناءً على الضوضاء يمكن أن يقوده إلى مسار من التجارب السيئة. هذا يخلق انحرافاً في البيانات التي يراها الحاسوب، مما يجعل من الصعب تعلم القيمة الحقيقية للأفعال. أدرك الباحثون أن هذه الحساسية للضجيج تعني أن الحاسوب يحتاج إلى وسيلة ليكون أكثر ثقة في تقديراته، لضمان أن التقلبات الصغيرة في البيانات لا تجعله يتأرجح بجنون بين استراتيجيات مختلفة.

المسألة الثالثة أكثر دقة وتحدث في أعماق دماغ الحاسوب، المكون من طبقات من الروابط الرياضية المسماة "المعلمات". أثناء تدريب الحاسوب، خاصة عندما يُجبر على إعادة استخدام نفس البيانات القديمة عدة مرات للتعلم بكفاءة، تبدأ هذه الروابط في التغير بشكل غير متوازن. تنمو مجموعة صغيرة من الروابط لتصبح ضخمة ومهيمنة للغاية، بينما تظل بقية الشبكة صغيرة وغير نشطة نسبياً. قدم الباحثون طريقة لقياس هذا الاختلال، أطلقوا عليها "نسبة الارتفاع" (spike ratio)، ووجدوا أنه كلما أعاد الحاسوب استخدام البيانات بشكل أكثر عدوانية، تصبح هذه الارتفاعات أكثر وضوحاً. هذا الاختلال خطير لأنه يجعل الشبكة جامدة؛ فهي تفقد القدرة على التكيف مع المواقف الجديدة لأن هيكلها الداخلي أصبح متخصصاً للغاية في البيانات القديمة التي رآها عدة مرات كثيرة.

لحل هذه المشكلات، صمم الفريق إطار عمل جديد للتعلم يعمل كمجموعة من المكابح والمثبتات للذكاء الاصطناعي. أولاً، لكسر فخ التعزيز الذاتي، قاموا بتغيير كيفية اختيار الحاسوب لحركته التالية. بدلاً من ترك نفس جزء من الشبكة يقرر الحركة ويقيم قيمتها، قاموا بتقسيم هذه المهام بين نسخ مختلفة من الشبكة. علاوة على ذلك، أضافوا قاعدة تمنع الحاسوب من اختيار نفس الإجراء الذي أعطاه مكافأة فوراً، مما يجبره على استكشاف احتمالات أخرى ويكسر دورة التضخيم.

ثانياً، للتعامل مع الضجيج في اتخاذ القرار، استخدم الفريق تقنية "التعلم الجماعي" (ensemble learning). بد instead من الاعتماد على عقل حاسوبي واحد لإجراء تخمين، قاموا بتدريب مجموعة من الشبكات المختلفة قليلاً وطلبوا منها التصويت على قيمة كل إجراء. ومن خلال حساب متوسط آراء العديد من الشبكات المختلفة، يتم إلغاء الضجيج العشوائي في أي واحدة منها، مما يؤدي إلى قرار أكثر استقراراً وموثوقية. يستخدم هذا النهج أيضاً طريقة تسمى "انحدار الكميات" (quantile regression)، والتي تسمح للحاسوب بفهم النطاق الكامل للنتائج المحتملة بدلاً من مجرد رقم متوسط واحد، مما يقلل بشكل أكبر من خطر التضليل بسبب القيم المتطرفة.

أخيراً، لمنع الشبكة من أن تصبح جامدة، أضاف الباحثون نظام مراقبة يراقب "نسبة الارتفاع" للروابط. إذا اكتشفوا أن مجموعة صغيرة من الروابط تنمو لتصبح كبيرة ومهيمنة على الشبكة، فإنهم يقومون بإعادة ضبط تلك الروابط المحددة بلطف إلى حالة محايدة. يعمل هذا كنوع من التحديث الدوري، مما يزيل الفروع المتضخمة من ذاكرة الشبكة حتى تظل مرنة وجاهزة لتعلم أنماط جديدة. هذا يضمن أنه حتى عندما يُجبر الحاسوب على إعادة استخدام البيانات بكثافة، فإنه لا يفقد قدرته على التكيف.

اختبر الفريق هذا النهج الجديد في بيئتين مليئتين بالتحديات. الأولى كانت مجموعة من ألعاب الفيديو الكلاسيكية حيث سُمح للحاسوب باللعب لـ 100,000 خطوة فقط، وهي كمية محدودة جداً من البيانات مقارنة بما تتطلبه الطرق الأخرى عادةً. في هذه الاختبارات، تفوق أسلوبهم على العديد من التقنيات الموجودة، محققاً درجات أعلى ووصولاً إلى مستوى الأداء البشري في عدد أكبر من الألعاب مقارنة بأي طريقة أخرى تم اختبارها. الاختبار الثاني تضمن مجموعة من الألعاب التي يتم إنشاؤها إجرائياً، حيث يتم إنشاء المستويات عشوائياً وتتغير في كل مرة. هنا، كان الهدف هو معرفة ما إذا كان بإمكان الحاسوب تعميم ما تعلمه على مستويات جديدة تماماً لم يسبق له رؤيتها. أظهرت الطريقة الجديدة قدرة فائقة على التكيف مع هذه التحديات غير المرئية، مما يشير إلى أن الاستقرار الذي توفره يساعد الحاسوب على بناء فهم أكثر قوة للعالم.

أجرى الباحثون أيضاً تجارب محددة لإثبات أن أفكارهم تعمل بالفعل. أظهروا أنه عندما أزالوا القاعدة التي تمنع الحاسوب من إعادة اختيار نفس الإجراء المكافئ، أصبح التعلم غير مستقر في الألعاب ذات المكافآت المتكررة. كما أثبتوا أن استخدام مجموعة أكبر من الشبكات يحسن الأداء باستمرار، مما يؤكد أن تقليل الضجيج من خلال التصويت أمر بالغ الأهمية. كما تتبعوا "نسبة الارتفاع" أثناء التدريب وأظهروا أنه بدون آلية إعادة الضبط الخاصة بهم، فإن التوازن الداخلي للشبكة سوف يتدهور، خاصة عند إعادة استخدام البيانات بكثافة. تؤكد هذه النتائج أن عدم الاستقرار في التعلم العميق ليس مجرد مشكلة واحدة يجب إصلاحها بحيلة واحدة، بل هو قضية نظامية تتطلب نهجاً منسقاً لكيفية صنع التنبؤات، وكيفية وزن القرارات، وكيفية الحفاظ على هيكل الشبكة.

يقدم هذا العمل صورة أوضح لسبب فشل وكلاء التعلم العميق أحياناً ويوفر مجموعة أدوات عملية لإبقائهم على المسار الصحيح. من خلال إدراك أن عدم الاستقرار يأتي من التفاعل بين انحياز التنبؤ، وضجيج القرار، والجمود الهيكلي، انتقل الباحثون إلى ما وراء الإصلاحات البسيطة نحو حل أكثر شمولية. أسلوبهم لا يجعل الذكاء الاصطناعي أكثر ذكاءً فحسب، بل يجعل عملية التعلم نفسها أكثر موثوقية، مما يضمن قدرة الوكيل على الاستمرار في التعلم بفعالية حتى عندما تكون البيانات نادرة أو البيئة فوضوية. وبينما يستمر الذكاء الاصطناعي في الانتقال من لعب الألعاب إلى حل مشكلات العالم الحقيقي في الروبوتات وما وراءها، ستكون القدرة على تثبيت ديناميكيات التعلم هذه ضرورية لبناء أنظمة ليست قوية فحسب، بل موثوقة ومتسقة أيضاً.