When Do Prompt-Side Agent Playbooks Transfer? Accuracy, Cost, and Runtime Shift in Agent Deployment
تُظهر هذه الورقة أنه في حين أن أدلة عمل الوكلاء الجانبية المعتمدة على المطالبات المجمدة يمكن أن تقدم فوائد مشروطة كخيار للبدء البارد دون إعادة تدريب، إلا أن فعاليتها حساسة للغاية تجاه تحولات النطاق، واستراتيجيات فك الترميز، وسياقات وقت التشغيل، مما يستلزم تحققاً صارماً من جانب الهدف فيما يتعلق بالدقة، والتكلفة، والتوافق مع البروتوكول قبل النشر.
المؤلفون الأصليون:Weihong Lin, Lin Sun, Xiangzheng Zhang
تخيل أنك تعلم روبوتًا يعمل كخادم كيف ينظف منزلك. أنت لا تريد إعادة تدريب الروبوت من الصفر في كل مرة تنتقل فيها إلى حي جديد أو تشتري مكنسة كهربائية جديدة. بدلاً من ذلك، تقوم بكتابة "ورقة مرجعية" أو دليل عمل: قائمة من القواعد مثل "تحقق دائمًا من الأرضية قبل الطاولة" أو "إذا أسقطت كوبًا، اكنسه فورًا". هذا هو عالم "الوكلاء الذكيين" (AI agents)—وهي برامج حاسوبية ذكية يمكنها استخدام الأدوات لحل المشكلات. غالبًا ما يتعلم هؤلاء الوكلاء من خلال التجربة، والفشل، ثم تلخيص تلك الدروس في مجموعة مدمجة من التعليمات تسمى "دليل العمل" (playbook). السؤال الكبير الذي يطرحه الباحثون هو: هل يمكنك أخذ دليل عمل كُتب لروبوت محدد في منزل محدد، ثم مجرد لصقه في روبوت مختلف وفي منزل مختلف؟ هل سيظل يعمل، أم سيؤدي بالروبوت الجديد إلى التعثر في قدميه؟ هذا البحث يتعمق في هذا السؤال تحديدًا، مختبرًا ما إذا كانت هذه التعليمات "المجمدة" (التعليمات التي لا تتغير بعد كتابتها) هي اختصار سحري أم مقامرة محفوفة بالمخاطر.
قرر الباحثون، بقيادة "وي هونغ لين" و"لين سون"، اختبار هذه الفكرة من خلال التصرف كعلماء حذرين بدلاً من كونهم حالمين متفائلين. لقد أخذوا أدلة عمل تم إنشاؤها من تجارب ذكاء اصطناعي محددة وحاولوا "نقلها" إلى نماذج ذكاء اصطناي مختلفة ومهام مختلفة تمامًا، دون تعديل التعليمات لتناسب الوضع الجديد. أجروا هذه التجارب على ثلاثة "ملاعب" مختلفة ليروا ما سيحدث.
أولاً، اختبروا ذلك على ALFWorld، وهي بيئة محاكاة حيث يتصرف الوكلاء كبشر ينقلون الأشياء حول المنزل. هنا، كانت النتائج جيدة بشكل مفاجئ، ولكن مع وجود تحفظ. عندما أُجبر الذكاء الاصطناعي على أن يكون حذرًا ومنطقيًا للغاية (باستخدام طريقة تسمى "فك التشفيد الجشع" أو greedy decoding)، عمل دليل العمل المنقول كمرشد سياحي مفيد؛ فقد ساعد الذكاء الاصطناعي على حل المشكلات بشكل أسرع وتجنب العلوق، خاصة إذا كان النموذج الجديد "أذكى" أو أكبر حجمًا. في اختبار محدد، تفوق دليل عمل "مُقطّر" (distilled playbook) في الواقع على مجموعة قياسية مكونة من خمسة أمثلة توضيحية، مما أثبت أن ورقة غش مكتوبة جيدًا يمكن أن تكون أفضل من مجرد عرض بعض الأمثلة. ومع ذلك، في اللحظة التي جعلوا فيها الذكاء الاصطناعي أكثر "إبداعًا" أو عشوائية (عن طريق تغيير إعداد درجة الحرارة/temperature)، انقلب مفعول دليل العمل أحيانًا، مما جعل الذكاء الاصطناعي يسلك مسارات أطول وأكثر إرباكًا.
بعد ذلك، انتقلوا إلى TAU2-Bench، والذي يحاكي وظائف خدمة العملاء في العالم الحقيقي مثل التعامل مع تذاكر الطيران، أو مرتجعات التجزئة، أو شكاوى الاتصالات. هنا، أصبحت الأمور فوضوية. وجد الباحثون أن دليل العمل الذي يعمل بشكل مثالي لوكيل تجزئة قد يربك تمامًا وكيل طيران. وبينما كان هناك فائدة متوسطة صغيرة عند استخدام دليل العمل في نفس نوع الوظيفة التي كُتب من أجلها، إلا أن النتائج كانت غير متسقة. وعندما فحصوا كل سيناريو محدد، اختفت معظم "الانتصارات" بمجرد أخذ حقيقة أنهم كانوا يختبرون الكثير من التوليفات المختلفة في الاعتبار. في الواقع، في كثير من الحالات، لم يساعد دليل العمل على الإطلاق، بل أضر بالأداء أحيانًا. تشير الدراسة إلى أن أدلة العمل هذه حساسة للغاية تجاه "نكهة" الوظيفة والنموذج؛ فهي ليست حلاً عالميًا.
أخيرًا، اختبروا XBench-DeepSearch، والذي يتضمن بحثًا معقدًا عبر الإنترنت مع حد صارم لكمية المعلومات التي يمكن للذكاء الاصطناعي استيعابها في ذاكرته في وقت واحد. لقد أخذوا دليل عمل مصممًا لحد ذاكرة أصغر (32K) وحاولوا استخدامه في بيئة ذات ذاكرة أكبر بكثير (128K). كانت هذه كارثة. لم يفشل دليل العمل في المساعدة فحسب، بل جعل الذكاء الاصطناعي يتصرف بغرابة. فبدلاً من التوقف عند العثور على إجابة، بدأ الذكاء الاصطناي بطرح نفس الأسئلة مرارًا وتكرارًا، مما أدى إلى إضاعة الوقت والمال. كان الأمر يشبه إعطاء سائق خريطة لبلدة صغيرة وإخباره بأن يقود شاحنة ضخمة عبر مدينة هائلة؛ ظل السائق يدور حول نفس المربع السكني، مرتبكًا بسبب المساحة الإضافية، حتى نفد منه الوقود.
الخلاصة الرئيسية من هذا البحث هي تحذير شديد اللهجة ضد النشر القائم على "النسخ واللصق". خلص المؤلفون إلى أنه بينما يمكن لأدلة العمل هذه أن تعمل، إلا أنها ليست حلاً من نوع "اضبطه وانسه". إنها أدوات مشروطة. إذا حاولت استخدام دليل عمل دون التحقق مما إذا كان يناسب الروبوت الجديد، والوظيفة الجديدة، وقواعد الطريق الجديدة، فقد ينتهي بك الأمر بوكيل أبطأ، وأكثر تكلفة، وأقل دقة مما لو بدأت من الصفر. يجادل البحث بأنه قبل إعادة استخدام دليل عمل، يجب عليك اختباره بصرامة في البيئة الجديدة لترى ما إذا كان يساعد حقًا، بدلاً من افتراض أنه سيعمل لمجرد أنه نجح في مكان آخر. إنه تذكير بأنه في عالم الذكاء الاصطناعي، ما ينجح في سياق معين لا ينجح تلقائيًا في سياق آخر، وأن إعادة الاستخدام الأعمى قد تكون أكثر ضررًا من نفعها.
ملخص تقني: متى تنتقل أدلة عمل الوكلاء من جانب المطالبة (Prompt-side)؟
بيان المشكلة
تُستخدم أدلة العمل من جانب المطالبة (Prompt-side playbooks) — وهي تعليمات مكثفة ومجمدة مستخلصة من إخفاقات ونجاحات الوكلاء السابقة — بشكل متزايد لتحسين الوكلاء اللغويين الذين يستخدمون الأدوات دون الحاجة لإعادة التدريب. ورغم جاذبيتها للنشر الفوري وإعادة الاستخدام عبر الأنظمة المختلفة، إلا أن قابلية نقلها خارج الإعداد المصدر يظل أمراً غير واضح. المشكلة المركزية التي تعالجها هذه الورقة هي تحديد متى يظل دليل العمل الذي تم تعلمه في إعداد معين مفيداً بعد نقله إلى إعداد آخر. وتحديداً، يبحث المؤلفون فيما إذا كانت أدلة العمل المجمدة يمكن أن تنتقل بنجاح عبر النطاقات المختلفة، وأحجام النماذج، وعائلات النماذج، وأنظمة وقت التشغيل، أو ما إذا كانت تخاطر بحقن أنماط إجراء خاطئة، أو إضاعة جولات، أو زعزعة استقرار سلوك التوقف.
المنهجية
تستخدم الدراسة بروتوكول "التقطير–التحقق–النقل" (distill–validate–transfer) المشترك عبر ثلاثة اختبارات مرجعية متميزة، يعمل كل منها دوراً محدداً في الحجة:
البروتوكول:
التقطير (Distillation): تقوم الوكلاء المصدرية (مثل Qwen2.5-7B/14B/32B، وTongyi-DeepResearch-30B) بتنفيذ مسارات العمل. ثم يقوم مُقطّر (Distiller) أقوى من المصادر المغلقة (مثل Claude Opus 4.6 أو GPT-5.4 عبر Codex) باستخراج حزم الإخفاقات الكلية والنتائج المختلطة لتجريد القواعد المتكررة، وأولويات البحث، وهياكل التعافي إلى دليل عمل مكثف.
التحقق (Validation): يتم التحقق من دليل العمل الناتج على تقسيم المصدر ثم يتم تجميده.
النقل (Transfer): يتم إدراج الأثر المجمد في مطالبات الوكيل المستهدف دون أي إعادة ضبط أو ضبط دقيق من جانب الهدف.
الاختبارات المرجعية (Benchmarks):
ALFWorld: يعمل كاختبار وجودي محكوم للنقل تحت ظروف فك الترميز المتطابقة (الجشع مقابل أخذ العينات) عبر تغيرات المشهد (OOD)، وأحجام الأهداف، وعائلات النماذج.
TAU2-Bench: هو الاختبار المرجعي الأساسي لوكلاء الخدمة الذي يقيم النقل عبر مجالات الأعمال (الطيران، التجزئة، الاتصالات). ويستخدم تصحيحات إحصائية صارمة (Holm، Benjamini-Hochberg) عبر 135 فرضية على مستوى المسار للتمييز بين الإشارة والضجيج.
XBench-DeepSearch: اختبار جهد لانزياح وقت التشغيل (Runtime-shift) يقيم أثراً واحداً تحت ميزانيات سياق مختلفة (32K مقابل 128K) لتقييم الاستقرار التشغيلي.
المقاييس:
النجاح: معدل النجاح المعياري (ALFWorld)، وPass@1/Pass@3 (TAU2، XBench).
التكلفة/العمليات: طول المسار، عدد الرموز (Tokens)، استدعاءات الأدوات، وسلوك التوقف (مثل التأخر في الإنهاء، أو الاستعلامات المتكررة).
الضوابط (Controls): تتضمن خطوط الأساس التي لا تستخدم أدلة عمل، و"أدلة وهمية" (Placebos) بنفس الطول (نصائح سير عمل عامة)، ومقارنات مع نماذج قليلة التثبيت (Few-shot demonstrations).
المساهمات الرئيسية
بروتوكول موجه للنشر: تحدد الورقة بروتوكولاً مخصصاً لتقييم نقل أدلة العمل المجمدة من جانب المطالبة، وهو متميز عن إعادة ضبط المطالبة من جانب الهدف أو خوارزميات التعلم الجديدة.
واقعية النقل المشروط: يوضح المؤلفون أن النقل حقيقي ولكنه غير موحد للغاية. توجد حالات إيجابية تحت ظروف محكومة (مثل ALFWorld مع فك الترميز الجشع)، ولكن في إعدادات وكلاء الخدمة غير المتجانسة (TAU2)، فإن الأدلة متواضعة وحساسة للغاية للتوافق.
التوجيه المستخلص مقابل النماذج الثابتة: في مقارنة متقاربة في الميزانية على ALFWorld، تفوق التوجيه المستخلص على خمس نماذج ثابتة، مما أثبت قيمة إضافية في الإعدادات المتوافقة.
التكلفة التشغيلية كمقياس حاسم: تسلط الدراسة الضوء على أن تقييم النشر يجب أن يتضمن التكلفة التشغيلية وسلوك الإنهاء. يمكن لدليل العمل أن يحافظ على قواعد استدلالية مفيدة بينما يزعزع استقرار سلوك التوقف، مما يؤدي إلى تضخم التكلفة (كما لوحظ في XBench).
النتائج
ALFWorld: نجاح محكوم
تحت ظروف فك الترميز الجشع (t=0)، حسنت أدلة العمل المنقولة باستمرار معدلات النجاح عبر تغيرات المشهد، وأحجام النماذج، والعائلات. كانت المكاسب أقوى في الأهداف الأكبر (تصل إلى +23.6 نقطة مئوية في Qwen3-32B) وصاحبها مسارات تفاعل أقصر. ومع ذلك، كانت المتانة تعتمد على فك الترميز؛ ففي النماذج الأصغر مع درجة حرارة أعلى (t=0.3)، أصبحت بعض الآثار (مثل X7D) ضارة، مما أدى لزيادة أطوال المسارات ومعدلات الفشل.
TAU2-Bench: عدم تجانس حساس للتوافق
في إعداد وكيل الخدمة الواقعي، كانت نتائج النقل مختلطة:
الميزة الإجمالية: لوحظت ميزة متواضدة متوسطة في النطاق المتطابق (+1.72 pp)، لكن هذا لم يعمم على معظم المسارات الفردية.
الأهمية الإحصائية: بعد تطبيق تصحيح Holm العالمي عبر 135 فرضية للمسارات، نجا مسار واحد فقط كإيجابي. كما احتفظ مساران سلبيان عبر العائلات بالتصحيحات الخاصة بكل عائلة ولكن ليس بالتصحيحات العالمية.
ملف التكلفة: عندما كان النقل مفيداً، كان غالباً محايداً من حيث التكلفة. ومع ذلك، أظهرت التكوينات السلبية انخفاضاً في الأداء مقترناً بارتفاع في التكاليف.
الضبط الوهمي (Placebo Control): فشلت الأدلة الوهمية العامة ذات الطول نفسه في تكرار تأثيرات أدلة العمل الخاصة بالنطاق، مما يشير إلى أن "المحتوى الإجرائي" المستورد هو المهم، وليس مجرد طول المطالبة أو هيكلها.
XBench-DeepSearch: زعزعة استقرار انزياح وقت التشغيل
أظهر دليل عمل واحد تم استخلاصه من مسارات سياق 32K دقة مختلطة، ولكنه أظهر عدم استقرار تشغيلي كبير عند نقله إلى سياقات 128K:
التحول السلوكي: تحت سياق 128K، حافظ دليل العمل على البحث الهجومي ولكنه تسبب في استعلامات متكررة وتأخر في التوقف.
تضخم التكلفة: ارتفلت استدعاءات البحث من 5.9 إلى 15.7، وقفزت معدلات المسارات الطويلة جداً (>30 دورة) من 8% إلى 25%.
الاستنتاج: أصبح الأثر "أقل انضباطاً"، مما أنتج تضخماً كبيراً في التكلفة دون مكاسب مقابلة في الدقة.
الأهمية والدروس العملية المستفادة
تخلص الورقة إلى أن نقل دليل العمل المجمد هو خيار "بداية باردة" مشروط، وليس استراتيجية "إعادة استخدام افتراضية".
ليس مفضلاً بشكل عالمي: الآثار المنقولة ليست متفوقة تلقائياً على عملية إعادة التقطير من جانب الهدف. بمجرد توفر مسارات الفشل من جانب الهدف، يكون من الأفضل إعادة التقطير أو إصلاح الأثر.
التحقق إلزامي: يجب على الفرق التحقق من النقل على شرائح من جانب الهدف، مع فحص النجاح، والإنهاء، والتوافق مع البروتوكول، والتكلفة.
التوافق التشغيلي: يعمل النقل عندما تظل الافتراضات المشفرة في دليل العمل (سير العمل، قدرة الهدف، نظام فك الترميز، ميزانية وقت التشغيل) متوافقة مع النشر المستهدف. عندما لا تتوافق هذه الافتراضات، يمكن لدليل العمل نفسه أن يحقن أنماط إجراء خاطئة أو يزعزع استقرار الوكيل.
لا تقترح الدراسة خوارزمية تعلم جديدة، بل تقدم إطاراً تشخيصياً: أدلة العمل من جانب المطالبة هي آثار نشر تتطلب فحصاً دقيقاً قبل الإطلاق، خاصة في البيئات غير المتجانسة أو بيئات انزياح وقت التشغيل.