Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks

تخيل أنك تعلم روبوتًا فائق الذكاء كيف يلعب لعبة لوحية معقدة للغاية تستغرق عدة أيام. هذه ليست مجرد لعبة تقوم فيها برمي النرد وتحريك قطعة؛ بل هي لعبة يتعين على الروبوت فيها التحدث إلى لاعبين آخرين، واستخدام صندوق أدوات يحتوي على أجهزة خاصة، واتباع كتاب قواعد صارم، والانتظار لأيام ليعرف ما إذا كان قد فاز بالفعل. هذا هو عالم "الذكاء الاصطناعي الوكيل" (Agentic AI)، حيث تعمل برامج الكمبيوتر كوكلاء صغار يمكنهم اتخاذ إجراءات في عالم رقمي. المشكلة الكبرى هي أن هذه الألعاب تصبح طويلة ومعقدة لدرجة أن عقل الروبوت (ذاكرته) يبدأ في الامتلاء الزائد. الأمر يشبه محاولة تذكر كل كلمة في محادثة مدتها 10 ساعات مع القيام بالرياضيات في نفس الوقت؛ في النهاية، ستنفد المساحة المتاحة لك للتفكير. يحاول العلماء اكتشاف كيفية تدريب هذه الروبوتات لتصبح أفضل في هذه الألعاب الطويلة دون أن "تذوب" أدمغتها من شدة كمية المعلومات التي يجب عليها الاحتفاظ بها.

يقدم هذا البحث نظام تدريب جديدًا يسمى SINKFLEX-RL، وهو بمثابة خدعة ذكية لمساعدة الروبوت على تذكر الأجزاء الأكثر أهمية من اللعبة دون الحاجة إلى عقل أكبر. لقد بنى الباحثون نظامًا يجمع بين واجهة لعبة قياسية، وطريقة ذكية للتعلم من الأخطاء (تسمى "تحسين السياسة النسبي للمجموعات" أو GRPO)، وتقنية خاصة لتوفير الذاكرة لآلية "الانتباه" لدى الروبوت. بدلًا من محاولة تذكر كل تفصيل من التفاصيل الـ 8,000 خطوة الماضية في المحادثة، يستخدم النظام آلية "المصب" (sink). فكر في هذا الأمر كإسفنجة سحرية في عقل الروبوت: فهي تمتص الضجيج الهائل للمعلومات القديمة ولكنها تحتفظ بـ "المصابع" الأساسية (نقاط البداية) التي تساعد الروبوت على البقاء مستقرًا. باستخدام هذه الإسفنجة، يمكن للروبوت التركيز على الحركة الحالية دون أن يسحقه ثقل الماضي.

اختبر الفريق هذا النظام في بيئة متجر تجزئة محاكية حيث يتعين على الروبوت مساعدة عميل، واستخدام الأدوات للتحقق من المخزون، واتباء سياسات المتجر. في هذه الاختبارات الأولية، ارتفعت درجة أداء الروبوت، حيث زادت من 0.25 إلى 0.44 أثناء تعلمه. لكن السحر الحقيقي حدث عندما اختبروا مقدار ذاكرة الكمبيوتر (VRAM) التي يحتاجها النظام. عندما أصبحت المحادثة طويلة جدًا (8,192 توكن)، نفدت ذاكرة الطريقة التقليدية القياسية وانهارت. ومع ذلك، استمر نظام SINKFLEX-RL في العمل، مستخدمًا 25.53 جيجابايت فقط من الذاكرة. وحتى عند طول أقصر قليلاً يبلغ 4,096 توكن، وفر النظام الجديد نسبة هائلة قدرها 19.7% من الذاكرة مقارنة بالطريقة القديمة. ويشير المؤلفون إلى أن هذا يثبت أنه من الممكن تدريب هؤلاء الوكلاء ذوي الأفق الطويل دون الحاجة إلى أجهزة باهظة الثمن، رغم أنهم يشيرون إلى أن هذه مجرد نظرة أولية وليست حلاً نهائيًا مثاليًا.

المشكلة: تسرب ذاكرة الروبوت

تخيل أنك أنت الروبوت في هذه القصة. أنت تلعب لعبة حيث يتعين عليك مساعدة عميل في شراء قميص. تسأل عن مقاسه، فيخبرك، فتقوم بالتحقق من المخزون، ثم يطلب هو لونًا مختلفًا، فتقوم بالتحقق مرة أخرى، وهكذا. بعد 50 دورة، يتعين عليك تذكر أول شيء قاله لضمان أنك لم تنسَ مقاسه.

في عالم الذكاء الاصطناعي، يسمى هذا "مهمة ذات أفق طويل". المشكلة هي أنه كلما طالت المحادثة، نمت كمية الذاكرة التي يحتاجها الكمبيوتر لحمل كل تلك الكلمات بشكل هائل. الأمر يشبه محاولة حمل حقيبة ظهر تزداد ثقلاً في كل مرة تخطو فيها خطوة. إذا أصبحت المحادثة طويلة جدًا (مثل 8,000 كلمة)، ستصبح حقيبة الظهر ثقيلة جدًا لدرجة أن الروبوت سينهار. وهذا ما يسمى بنفاد "VRAM" (ذاكرة الوصول العشوائي للفيديو)، وهي الذاكرة عالية السرعة التي يستخدمها الكمبيوتر للتفكير.

لاحظ الباحثون أن الطرق القياسية لتدريب هذه الروبوتات كانت تصطدم بـ "جدار الذاكرة". كانت الروبوتات تتعثر لأنها كانت تحاول تذكر كل شيء بشكل صريح، وهو أمر مكلف للغاية. كانوا بحاجة إلى طريقة لتكون فعالة دون فقدان القدرة على التفكير المنطقي.

الحل: الإسفنجة السحرية وتجمع الفريق

يقترح البحث حلاً من ثلاثة أجزاء لإصلاح تسرب الذاكرة هذا، والذي يسمونه SINKFLEX-RL.

1. غلاف الجيمينيوم (جهاز التحكم الشامل)
أولاً، بنوا واجهة قياسية، تشبه جهاز التحكم عن بعد الشامل، تتيح للروبوت التحدث مع بيئات ألعاب مختلفة. سواء كان الروبوت في متجر، أو بنك، أو وكالة سفر، فإن هذا الغلاف يضمن أن الروبوت يعرف كيفية طلب المساعدة، واستخدام الأدوات، وتلقي الملاحظات. إنه يشبه إعطاء الروبوت مجموعة قواعد قياسية حتى لا يضطر لتعلم لغة جديدة لكل لعبة يلعبها.

2. تجمع المجموعة (GRPO)
بعد ذلك، قاموا بتغيير طريقة تعلم الروبوت. عادةً، لكي يتعلم الروبوت، قد يحتاج إلى "مدرب" منفصل (نموذج قيمة) ليخبره بمدى جودة حركة معينة. لكن هذا المدرب يستهلك ذاكرة إضافية. بدلاً من ذلك، يستخدم هذا النظام طريقة تسمى تحسين السياسة النسبي للمجموعات (GRPO).

تخيل أن الروبوت يلعب نفس اللعبة 10 مرات متتالية، ولكن بخيارات مختلفة قليلاً في كل مرة. بدلاً من سؤال مدرب، ينظر الروبوت إلى جميع النسخ العشر من نفسه. يقول: "مهلاً، النسخة رقم 3 حصلت على درجة أفضل من النسخة رقم 1، لذا سأنسخ حركات النسخة رقم 3". إنه يقارن نفسه بمجموعته ليعرف ما الذي نجح بشكل أفضل. هذا يشبه مجموعة دراسية يقارن فيها الطلاب إجاباتهم لمعرفة من أصاب، دون الحاجة إلى معلم يصحح كل ورقة. هذا يوفر قدرًا هائلاً من الذاكرة لأنهم لا يحتاجون لتدريب مدرب منفصل.

3. الإسفنجة السحرية (الانتباه المرن الواعي بالمصب - Sink-Aware FlexAttention)
هذا هو الجزء الأكثر إبداعًا. "انتباه" الروبوت هو الطريقة التي يقرر بها أي الكلمات في المحادثة مهمة. في المحادثات الطويلة، يحاول الروبوت عادةً النظر إلى كل كلمة، وهو أمر بطيء ويستهلك الكثير من الذاكرة.

أدرك الباحثون أنه في المحادثات الطويلة، تعمل بداية الدردشة كـ "مصب" (sink)—مكان يتجمع فيه انتباه الروبوت بشكل طبيعي للحفاظ على استقراره. لقد ابتكروا خدعة رياضية خاصة (باستخدام ما يسمى FlexAttention) تسمح للروبوت بمعاملة كلمات "المصب" هذه بشكل مختلف.

فكر في الأمر كالتالي: إذا كنت تقرأ كتابًا من 100 صفحة، فأنت لست بحاجة لحمل الكتاب بأكمله في يديك في وقت واحد. يمكنك الإمساك بالصفحة الأولى (المصب) والصفحة الحالية التي تقرأها، وترك الصفحات الوسطى تتلاشى حتى تحتاج إليها. "المصب" يشبه علامة مرجعية تبقي سياق القصة حيًا دون أن تضطر لحمل الكتاب بأكمله. يستخدم النظام "مصب القيمة الصفرية" (zero-value sink)، وهي طريقة رياضية تعني: "لا نحتاج لتخزين البيانات الفعلية للكلمات القديمة، نحتاج فقط لمعرفة أنها كانت موجودة للحفاظ على توازننا". هذا يسمح للروبوت بالتعامل مع محادثات طويلة (تصل إلى 8,192 توكن) دون نفاد الذاكرة.

النتائج: هل نجح الأمر؟

اختبر الفريق هذا النظام الجديد في بيئة متجر تجزئة محاكية. راقبوا الروبوت وهو يتعلم على مدار فترة من الزمن.

• تقدم التعلم: في بداية التدريب، كانت درجة الروبوت لمساعدة العملاء هي 0.25. وبحلول نهاية نافذة التدريب المرصودة، ارتفعت الدرجة إلى 0.44. كما لاحظ الفريق أن "درجة التدريب" و"مكافأة المسار" (وهي بمثابة علامات تحقق داخلية لمدى جودة أدائه) ارتفعت من 0.18 إلى 0.40 ومن 0.39 على التوالي. يشير هذا إلى أن الروبوت يتعلم ويتحسن بالفعل، رغم أن المؤلفين حذرون في قولهم إن هذه مجرد نظرة أولية وليست إثباتًا نهائيًا بأن الطريقة مثالية.

• توفير الذاكرة: كانت النتيجة الأكثر إثارة هي المتعلقة بالذاكرة. اختبروا النظام مع أطوال محادثة مختلفة:

  • عند 4,096 توكن، احتاجت الطريقة القديمة إلى 28.06 جيجابايت من الذاكرة. بينما احتاج نظام SINKFLEX-RL الجديد إلى 22.52 جيجابايت فقط. هذا يعني توفيرًا قدره 5.54 جيجابايت، أو 19.7%.
  • عند 8,192 توكن، انهارت الطريقة القديمة تمامًا (نفدت الذاكرة، أو "OOM"). ومع ذلك، استمر النظام الجديد في العمل واستخدم 25.53 جيجابايت فقط من الذاكرة.

ماذا يعني هذا (وماذا لا يعني)

يظهر البحث أنه من خلال الجمع بين واجهة لعبة قياسية، وطريقة تعلم جماعية ذكية، وخدعة انتباه موفرة للذاكرة، من الممكن تدريب الروبوتات لمهام طويلة ومعقدة للغاية دون الحاجة إلى حاسوب خارق. تعمل خدعة "المصب" كإسفنجة، تمتص ضغط الذاكرة حتى يتمكن الروبوت من الاستمرار.

ومع ذلك، فإن المؤلفين صادقون جدًا بشأن ما لم يثبتوه بعد. لم يختبروا ما إذا كانت هذه هي أفضل طريقة للتعلم، أو ما إذا كانت تعمل مع كل نوع من أنواع الروبوتات. كما لم يقيسوا مدى سرعة تعلم الروبوت، بل قاسوا فقط أنه يمكنه التعلم دون الانهيار. كما أشاروا إلى أن هذا "إثبات مفهوم"—تجربة ناجحة تظهر أن الفكرة تعمل، لكنها ليست منتجًا نهائيًا جاهزًا للعالم الحقيقي.

باختصار، يعد SINKFLEX-RL أداة واعدة تساعد وكلاء الذكاء الاصطناعي على تذكر المحادثات الطويلة دون انفجار أدمغتهم. إنه يشير إلى أنه مع الخدع الصحيحة، يمكننا بناء روبوتات ذكية بما يكفي للتعامل مع المهام المعقدة التي تستغرق عدة أيام، طالما منحناهم وسيلة لإدارة ذاكرتهم.