CAPO: Constraint-Aware Prompt Optimization for LLM Agents
تقدم هذه الورقة البحثية طريقة CAPO، وهي طريقة لتحسين الأوامر البرمجية (prompt optimization) تراعي القيود وتستخدم نهجاً ثنائياً أولياً (primal-dual approach) مع أوزان قيود تكيفية لتحسين الأوامر البرمجية لأنظمة وكلاء النماذج اللغوية الكبيرة (LLM agent systems) بفعالية من أجل أداء المهام مع الالتزام بالقيود التشغيلية مثل السلامة والتنسيق، إلى جانب نسخة ديناميكية (DCAPO) تقوم بتدريب مُعيد صياغة متخصص لتحقيق أوامر برمجية قابلة للتنفيذ وعالية الأداء عبر مجالات متنوعة دون تعديل وكيل المهمة الأساسي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يتم نشر النماذج اللغوية الكبيرة بشكل متزايد ليس فقط للدردشة، بل للعمل والقيام بالأفعال. تُمنح هذه الوكلاء الرقميون مجموعة من التعليمات، المعروفة باسم "المطالبة النظامية" (system prompt)، والتي تخبرهم بكيفية استخدام الأدوات، وحل المشكلات، والتفاعل مع المستخدمين. تخيل وكيل سفر يمكنه حجز الرحلات الجوية، والتحقق من التأمين، وإلغاء الحجوزات، ولكن فقط إذا اتبع مجموعة صارمة من قواعد الشركة. يكمن التحدي الذي يواجه المطورين في أن النموذج قد يكون بارعاً للغاية في حل مهمة ما، بينما يفشل في تلبية المتطلبات التشغيلية المحددة لوظيفة في العالم الحقيقي. فقد يستخدم الكثير من الأدوات، أو يطلب المساعدة البشرية عندما لا ينبغي له ذلك، أو يكتب استجابات طويلة جداً، أو ينتهك سياسات السلامة عن غير قصد. ولكي تتمكن شركة ما من نشر مثل هذا الوكيل، لا يمكنها ببساً قبول نموذج "جيد في الغالب"؛ بل يجب عليها ضمان بقاء الوكيل ضمن حدود صارمة لكل مطلب على حدٍ سواء مع الاستمرار في إنجاز العمل.
تكمن الصعوبة الجوهرية في أن هذه المتطلبات غالباً ما تتجه في اتجاهات متعارضة. فالمطالبة التي تجعل الوكيل دقيقاً جداً قد تجعله أيضاً مسهباً أو عرضة لاستخدام الكثير من الأدوات. تقليدياً، حاول المطورون حل ذلك من خلال الضبط اليدوي لأهمية كل قاعدة، وهو ما يشبه التخمين حول أي القيود هي الأكثر أهمية. ومع ذلك، فإن هذا النهج يتسم بالهشاشة؛ فالإعداد الذي يعمل لنوع معين من المهام أو لنموذج محدد غالباً ما يفشل عندما يتغير الموقف. وإذا كانت القواعد ثابتة مسبقاً، فقد يلبي النظام مطلباً واحداً عبر كسر مطلب آخر، مما يجعل الوكيل غير قابل للاستخدام للنشر. وكان السؤال الذي واجهه الباحثون هو ما إذا كان بإمكانهم بناء نظام يجد تلقائياً التوازن المثالي، ويعدل وزن كل قاعدة في الوقت الفعلي أثناء تعلم ما ينجح وما لا ينجح.
قدم فريق من الباحثين طريقة جديدة تسمى CAPO، وهي اختصار لـ "تحسين المطالبات المدرك للقيود" (Constraint-Aware Prompt Optimization)، لمعالجة هذه المشكلة. بدلاً من التخمين بشأن التوازن الصحيح للقواعد، يعامل CAPO عملية التحسين كأنها عملية تفاوض حيث تتحدث القواعد نفسها. يبدأ النظام بمجموعة من المطالبات المرشحة ويختبرها مقابل مجموعة من المهام. وبينما يعمل الوكلاء، فإنهم يولدون بيانات حول مدى جودة أدائهم، والأهم من ذلك، مدى انتهاكهم لقيود محددة، مثل عدد استدعاءات الأدوات أو طول الاستجابة. إذا انتهكت مطالبة ما قاعدةً ما، يقوم النظام تلقائياً بزيادة "العقوبة" لتلك القاعدة المحددة في جولة الاختبار التالية. وإذا كان لدى المطالبة مساحة إضافية تحت قاعدة معينة، تنخفض العقوبة لتلك القاعدة. يسمح هذا التعديل الديناميكي للنظام بالتركيز في بحثه على المشكلات المحددة التي تعيق حالياً نشر الوكيل، بدلاً من معاملة جميع القواعد على أنها متساوية الأهمية منذ البداية.
اختبر الباحثون هذا النهج عبر عدة مجالات مختلفة، بما في ذلك خدمة عملاء شركات الطيران، ودعم التجزئة، والاتصالات. وفي هذه الاختبارات، كان على الوكلاء إكمال المهام مع الالتزام بحدود صارمة على عدد المرات التي يمكنهم فيها استدعاء وكيل بشري، وعدد الأدوات التي يمكنهم استخدامها، وطول تعليمات النظام الخاصة بهم. كانت النتائج واضحة: وجد CAPO باستمرار مطالبات تستوفي كل قيد على حد سواء مع الحفاظ على أداء عالٍ للمهام. في المقابل، فشلت الأساليب الأخرى التي استخدمت أوزاناً ثابتة أو قواعد استاتيكية في إيجاد حل يعمل لجميع المتطلبات في آن واحد. فعلى سبيل المثال، في مجال الطيران، بينما تمكنت الأساليب الأخرى من تلبية القواعد في سيناريو واحد فقط من أصل ستة سيناريوهات اختبار مختلفة، وجد CAPO حلاً قابلاً للتنفيذ في كل سيناريو منها. وقد أثبتت الطريقة أنها قوية بما يكفي للعمل مع أحجام مختلفة من النماذج اللغوية، بل وامتدت إلى ما وراء الوكلاء مستخدمي الأدوات لتتعامل مع قيود السلامة والتنسيق في سيناريوهات الدردشة الآلية.
ولجعل العملية أكثر كفاءة، طور الباحثون نسخة ثانية تسمى DCAPO. وبينما تستخدم النسخة الأولى نموذجاً لغوياً منفصلاً ومجمداً لإعادة كتابة المطالبات، يقوم DCAPO بتدريب "معيد كتابة" متخصص ليتعلم من العملية نفسها. يراقب هذا المعيد سلوك الوكيل والتغذية الراجعة من القيود، ويتعلم توليد مطالبات أفضل بمرور الوقت دون تغيير وكيل المهمة الأساسي. وفي تجاربهم، تمكن معيد الكتابة المتعلم هذا من إنتاج مطالبات قابلة للتنفيذ عبر جميع المجالات المختبرة، محققاً أو محسناً دقة أفضل الأساليب المرجعية. كما تضمنت الدراسة تحليلاً رياضياً لإظهار كيف يتعامل النظام مع حقيقة عمله مع عدد محدود من الأمثلة وتغييرات نصية منفصلة، مؤكدة أن الأخطاء الناتجة عن هذه القيود لا تمنع النظام من التقارب نحو حل جيد.
تكم تكمن أهمية هذا العمل في قدرته على تحويل متطلبات النشر إلى قوة توجيهية لعملية البحث. فمن خلال السماح للانتهاكات المقاسة للقواعد بتحديد الانتهاكات التي تستحق الاهتمام، يتجنب النظام فخ إصلاح مشكلة واحدة فقط لخلق مشكلة أخرى. وجد الباحثون أن هذا النهج التكيفي ضروري لأن القيد الأكثر أهمية يتغير اعتماداً على المهمة المحددة والنموذج المستخدم. فما يهم أكثر في سيناريو الطيران قد لا يكون ذا صلة في سيناريو التجزئة، والنموذج الذي قد يكون كافياً لحل مشكلة ما قد يحتاج إلى توجيه مختلف للبقاء ضمن الميزانية. وتوضح الدراسة أنه من خلال التعديل المستمر للتركيز في التحسين بناءً على التغذية الراجعة في الوقت الفعلي، فمن الممكن إيجاد نقاط تشغيل فعالة ومتوافقة في آن واحد. وهذا يشير إلى تحول في كيفية تفكيرنا في هندسة المطالبات: فبدلاً من كونها إعداداً ثابتاً، يمكن أن تكون عملية ديناميكية حيث تساعد المتطلبات نفسها في توجيه النظام نحو حل جاهز للعالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.