Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory
تتقصى هذه الورقة الأداء دون الأمثل للنماذج اللغوية الكبيرة في مهام اتخاذ القرار المتسلسلة مثل الألعاب صفرية المجموع، وتقترح إطار عمل وكيلّي مع ذاكرة خبرة يستفيد من التأمل ما بعد اللعبة واستخراج القواعد لتحسين اللعب الاستراتيجي دون تعديل أوزان النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت عبقري ومطلع كيفية لعب لعبة ما. تعطي له مكتبة تضم كل كتاب كُتب على الإطلاق، ويمكنه إلقاء الشعر، وحل المسائل الرياضية المعقدة، وكتابة الأكواد البرمجية. ولكن عندما تجلسه أمام لوحة للعبة بسيطة مثل "إكس أو" (Tic-Tac-Toe)، يبدأ في ارتكاب أخطاء سخيفة. يقوم بحركة تبدو جيدة في الظاهر، لكنها تؤدي إلى خسارته في اللعبة بعد خمس خطوات. هذا هو عالم النماذج اللغوية الكبيرة (LLMs): ذكاء اصطناعي فائق الذكاء يمكنه التحدث والاستنتاج، ولكنه يواجه أحياناً صعوبة عندما يتعين عليه اتخاذ سلسلة من القرارات حيث يمكن لحركة واحدة سيئة أن تفسد كل شيء.
السؤال الكبير الذي يطرحه الباحثون هو: لماذا يحدث هذا؟ هل الروبوت سيء في التفكير في الخطوات في اللحظة الراهنة؟ أم أنه مجرد "يهلوس" لأنه يحاول تذكر لعبة رآها في كتاب ما دون أن يفهم منطقها الفعلي؟ لمعرفة ذلك، يستخدم العلماء اتخاذ القرار المتسلسل، وهو مجرد تعبير منمق يعني "اتخاذ سلسلة من الخيارات حيث تغير نتيجة كل خيار شكل اللوحة للخطوة التالية". هم يختبرون ذلك في الألعاب الصفرية، مثل الشطرنج أو الداما، حيث فوز لاعب واحد يعني خسارة الآخر. هذه الألعاب مثالية للاختبار لأن قواعدها صارمة، ويمكننا استخدام الرياضيات لمعرفة الحركة "المثالية" بدقة. إذا لم يستطع الروبوت هزيمة برنامج كمبيوتر مثالي في لعبة "إكس أو"، فهذا يعني أن هناك خللاً في عقله.
لغز عنق زجاجة الاستنتاج
في هذه الدراسة، قرر باحثون من الجامعة التقنية التشيكية في براغ استثارة هذا الوحش. لقد أخذوا أذكى نماذج الذكاء الاصطناعي المتاحة — تتراوح من النماذج الصغيرة الفعالة إلى العمالقة الرائدين مثل GPT-5.4 وGemini 3.1 Pro — وتحدوهم للعب ألعاب بسيطة: إكس أو (Tic-Tac-Toe)، ولعبة نيم (Nim) (وهي لعبة تعتمد على أكوام من الحجارة)، وكونكت فور (Connect Four).
كانت النتائج محرجة بعض الشيء للذكاء الاصطناعي. فحتى النماذج الأكثر تقدماً، والتي يمكنها حل مسائل رياضية بمستوى تنافسي، لعبت بشكل دون المستوى الأمثل. في لعبة "إكس أو"، حيث يمكن لطفل بشري أن يتعلم ألا يخسر أبداً في غض_ة بعد ظهيرة يوم واحد، ارتكبت هذه النماذج من الذكاء الاصطناعي ما بين أربع إلى اثنتي عشرة غلطة لكل مائة حركة. وفي لعبة "كونكت فور"، خسرت النماذج "الرائدة" كل مباراة تقريباً ضد خصم كمبيوتر قياسي، وغالباً ما انهارت خلال أول عشر خطوات من مباراة كان من المفترض أن تستمر أربعين خطوة.
أراد الباحثون معرفة: هل ينسى الذكاء الاصطناعي اللعبة فحسب؟ رب الله يحاول استرجاع استراتيجية رآها في بيانات التدريب الخاصة به، لكن اللعبة تبدو مختلفة قليلاً، مما يجعله يرتبك. لاختبار ذلك، قاموا بخدعة على الذكاء الاصطناعي. حافظوا على اللعبة كما هي في جوهرها، لكن غيروا "المظهر" الخارق لها. حولوا "إكس أو" إلى "مربع سحري" حيث تفوز باختيار ثلاثة أرقام مجموعها 15، أو أخبروه "قصة" عن عبور نهر.
إليك المفاجأة: لم يتحسن أو يسوء أداء الذكاء الاصطناعي كثيراً. حتى عندما تم تمويه اللعبة كمسألة رياضية أو قصة، ظل الذكاء الاصطناعي يرتكب نفس العدد من الأخطاء. هذا يشير إلى أن المشكلة ليست في نسيان استراتيجية محفوظة أو الفشل في فهم القواعد؛ بل إن الذكاء الاصطناعي يعاني من عنق زجاجة في الاستنتاج في اللحظة الراهنة. الأمر يشبه طالباً يمكنه تسميع كتاب تاريخ ويفهم المنطق تماماً، ولكنه يتجمد عندما يُطلب منه حل لغز منطقي بسيط في تلك اللحظة لأنه لا يستطيع ربط الموقف الحالي بالخطوة التالية الصحيحة. الفجوة بين ما "يعرفه" الذكاء الاصطناعي وما "يمكنه فعله" في بيئة متغيرة هي فجوة حقيقية وعنيدة.
الحل: دفتر ملاحظات "تأملي"
بما أن إعادة تدريب هذه النماذج الضخمة من الذكاء الاصطناعي أمر مكلف ومخاطرة (لأن ذلك قد يجعله ينسى كيفية كتابة الكود أو التحدث)، سأل الباحثون: هل يمكننا مساعدة الذكاء الاصطناعي دون تغيير دماغه؟
قاموا ببناء إطار عمل جديد يسمى REAPER (الوكيل التجريبي التأملي مع الاستخراج الدوري للقواعد). فكر في REAPER ليس كدماغ جديد، بل كـ دفتر ملاحظات ذكي ومدرب صارم يجلس بجانب الذكاء الاصطناعي.
إليك كيف يعمل:
- اللعبة: يلعب الذكاء الاصطناعي لعبة ضد خصم.
- التأمل: بعد انتهاء اللعبة، لا يكتفي الذكاء الاصطناعي بالنظر إلى النتيجة النهائية (فوز/خسارة). بدلاً من ذلك، يجبره نظام REAPER على النظر في كل حركة قام بها. يسأله: "هل كانت هذه الحركة جيدة للوحة في ذلك الوقت؟ هل ساعدتني على الفوز، أم أضرتني؟"
- تحديد المسؤولية (Credit Assignment): هذا هو الجزء السحري. في اللعبة العادية، إذا خسرت، قد تعتقد أن كل حركة كانت سيئة. لكن REAPER يقول: "انتظر، لقد قمت بحركة رائعة في المنتصف، رغم أنك خسرت في النهاية". إنه يمنح الفضل للحركات الجيدة واللوم للحركات السيئة، حتى لو كانت النتيجة النهائية هي الخسارة.
- كتاب القواعد: كل بضع ألعاب، يأخذ REAPER كل هذه التأملات ويكتبها في شكل قواعد بسيطة بلغة طبيعية. بدلاً من مجرد تذكر "الحركة X كانت جيدة في هذا الموضع المحدد"، فإنه يتعلم "إذا هدد الخصم زاوية، فقم بسدها".
- الحلقة: يلعب الذكاء الاصطناعي مرة أخرى، ولكن هذه المرة يقرأ دفتر ملاحظاته الخاص بالقواعد والأخطاء السابقة قبل اتخاذ أي حركة.
النتائج: أذكى، وليس أقوى
اختبر الباحثون هذا على لعبة "إكس أو" باستخدام نموذج ذكاء اصطناعي أصغر وأكثر كفاءة (GPT-5 nano). كانت النتائج واضحة:
- الأساس (Baseline): بدون دفتر الملاحظات، لعب الذكاء الاصطناعي بشكل سيء، وارتكب العديد من الأخطاء.
- المحاولة "الأصلية": جربوا نسخة بسيطة من دفتر الملاحظات، لكنها كانت فوضوية للغاية واستمر الذكاء الاصطناعي في ارتكاب أخطاء في التنسيق.
- نجاح REAPER: مع النظام الكامل للتأمل واستخراج القواعد، قفز أداء الذكاء الاصطناعي. بدأ في تحقيق التعادل (وهو أفضل نتيجة ممكنة ضد خصم مثالي) بنسبة 86.8% تقرياً، مقارنة بـ 81.8% للنموذج الأساسي المحسن.
الأمر الجوهري هو أن الذكاء الاصطناعي لم يحتاج إلى إعادة تدريب. لقد تعلم من تجربته الخاصة، تماماً مثل اللاعب البشري الذي يدرس مبارياته السابقة ليصبح أفضل. وجد الباحثون أن هذه الطريقة لم تجعل الذكاء الاصطناعي يلعب بشكل أفضل فحسب، بل جعلته أيضاً أكثر كفاءة، حيث استخدم كلمات أقل (tokens) لاتخاذ قراراته لأن لديه استراتيجية واضحة يتبعها.
ماذا يعني هذا؟
تشير هذه الورقة البحثية إلى أن مشكلة الذكاء الاصطناي في الألعاب ليست في عدم ذكائه في فهم القواعد؛ بل في صعوبة ربط سلسلة طويلة من الأفعال بنتيجة نهائية. من خلال منحهم وسيلة للتأمل في أخطائهم واستخراج قواعد عامة من ألعاب محددة، يمكننا تحويل لاعب متعثر إلى لاعب استراتيجي دون لمس سطر واحد من الكود الخاص بهم.
يؤكد الباحثون بحذر أن هذا مجرد محاكاة لألعاب بسيطة. هم لا يدّعون أن هذا يحل جميع مشاكل الذكاء الاصطناعي أو أنه سيعمل بشكل مثالي في السيناريوهات المعقدة في العالم الحقيقي بعد. لكنه يثبت نقطة حيوية: ذاكرة الخبرة والتأمل الذاتي هما أداتان قويتان. إذا استطعنا تعليم الذكاء الاصطناعي كيف ينظر إلى ما فعله، ويتعلم منه، ويدون الدروس، فقد نتمكن من بناء وكلاء لا "يفكرون" في فراغ فحسب، بل يتعلمون حقاً من العالم من حولهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.