💬 NLP

PolicyBank: Evolving Policy Understanding for LLM Agents

تقدم الورقة البحثية PolicyBank، وهو آلية ذاكرة تمكن وكلاء النماذج اللغوية الكبيرة من صقل فهمهم للسياسات التنظيمية الغامضة ذاتياً من خلال التفاعل التكراري والتغذية الراجعة التصحيحية، مما يقلص بشكل كبير الفجوة بين سلوك الوكيل والمتطلبات الحقيقية حيث تفشل الأساليب الحالية.

المؤلفون الأصليون: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

نُشر 2026-04-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت مساعداً شخصياً ذكياً للغاية ومدرباً تدريباً عالياً (وكيل ذكاء اصطناعي - LLM Agent) لإدارة خدمة العملاء في شركتك. لقد أعطيته كتاب قواعد مكتوباً باللغة الإنجليزية البسيطة (السياسة).

المشكلة هي أن كتاب القواعد ليس مثالياً؛ فهو يحتوي على أخطاء مطبعية، وصياغات غامضة، وتفاصيل ناقصة. على سبيل المثال، قد يقول كتاب القواعد: "إذا اشتكى العميل من تأخير، فامنحه بطاقة هدايا بقيمة 50 دولاراً فقط إذا أراد أيضاً تغيير رحلته".

في الواقع، تريد شركتك في الحقيقة منح بطاقة الهدايا لأي شخص عانى من تأخير سيء، حتى لو أراد فقط الاحتفاظ برحلته كما هي. ولكن لأن المساعد مطيع جداً، فإنه يتبع كتاب القواعد حرفياً. وبذلك، يرفض منح بطاقة الهدايا للعميل الوفي الذي يريد فقط الحفاظ على مقعده. المساعد يفعل بالضبط ما أُمر به، لكنه يفشل في تحقيق هدف الشركة الفعلي.

هذه هي المشكلة الجوهرية التي يحلها بحث PolicyBank.

الطريقة القديمة: "الأسطوانة المشروخة"

حالياً، تتعامل معظم مساعدات الذكاء الاصطناعي مع كتاب القواعد كأنه حقيقة مطلقة لا تقبل التغيير. إذا قال الكتاب "لا"، فإن الذكاء الاصطناعي يقول "لا"، حتى لو كان الكتاب خاطئاً.

فكر في الأمر كجهاز تحديد مواقع (GPS) عالق على خريطة قديمة. إذا كان الطريق مغلقاً، سيستمر جهاز الـ GPS في إخبارك بأن تقود نحو جدار لأن الخريطة تقول إن الطريق مفتوح. حتى لو قلت للجهاز: "مهلاً، هناك جدار هنا!"، سيتجاهلك جهاز الـ GPS ويحاول القيادة عبره مرة أخرى، لأنه يثق في الخريطة أكثر مما يثق في عينيك.

أنظمة ذاكرة الذكاء الاصطناعي الحالية تشبه هذا النظام. فهي تتذكر كيفية أداء المهام (مثل "كيفية حجز رحلة طيران")، لكنها لا تتذكر لماذا قد تكون قاعدة ما خاطئة. إنها فقط تعزز الخطأ.

الطريقة الجديدة: PolicyBank (كتاب القواعد الحي)

يقترح المؤلفون نظام PolicyBank، وهو نظام يسمح للذكاء الاصطناعي بتطوير فهمه للقواعد.

تخيل بدلاً من كتاب قواعد ثابت، أن لدى الذكاء الاصطناعي دفتر ملاحظات حياً ومتجدداً يقوم بتحديثه في الوقت الفعلي.

تجربة القيادة (ما قبل النشر): قبل أن يبدأ الذكاء الاصطناعي العمل فعلياً، يقوم مختبر بشري ("مهندس ضمان الجودة") بتجربة سيناريوهات مختلفة.
- السيناريو: عضو ذهبي يشتكي من تأخير ولكنه لا يريد تغيير رحلته.
- إجراء الذكاء الاصطناعي: يرفض منح بطاقة الهدايا (اتباعاً لكتاب القواعد المعيب).
- تعليق البشر: "توقف! هذا خطأ. الأعضاء الذهبيون يحصلون على بطاقة الهدايا حتى لو لم يغيروا رحلاتهم. كتاب القواعد مضلل".
التحديث (عمل PolicyBank في الواقع):
- بدلاً من مجرد قول "حسناً، سأحاول مجدداً"، يأخذ PolicyBank الخاص بالذكاء الاصطناعي هذا التعليق ويعيد كتابة منطقه الداخلي.
- ينشئ ملاحظة جديدة ودقيقة: "بالنسبة للأعضاء الذهبيين، قاعدة 'تغيير الرحلة' هي مجرد تفصيل غير ذي صلة. تجاهلها. فقط تحقق مما إذا كان العضو ذهبياً وما إذا كانت الرحلة قد تأخرت".
- تُخزن هذه الملاحظة في "بنك" مهيكل من الرؤى، جاهز للاستدعاء فوراً في المرة القادمة.
النتيجة:
- في المرة الق próxima التي يشتكي فيها عضو ذهبي، لا يقوم الذكاء الاصطناعي بمجرد "التخمين" بشكل أفضل، بل يسترجع بنشاط الرؤية المحددة من PolicyBank الخاص به: "آه، أتذكر هذا! شرط 'تغيير الرحلة' لا ينطبق هنا".
- يمنح بطاقة الهدايا بشكل صحيح.

الأنواع الثلاثة لـ "أخطاء كتاب القواعد"

حدد البحث ثلاثة طرق شائعة تفشل بها كتب القواعد، والتي يعالجها PolicyBank:

فخ "النطاق الضيق جداً" (غموض النطاق): يقول كتاب القواعد: "نحن نعيد الأموال لأسباب صحية أو جوية فقط". لكن في الواقع، يجب أن نعيد الأموال لأي سبب صالح إذا كان لديك تأمين. يتعلم الذكال الاصطناعي تجاهل القائمة الضيقة والنظر إلى الصورة الأكبر.
فخ "الاستثناء المفقود" (نقص التحديد): يقول كتاب القواعد: "لا يمكنك تغيير وجهتك". لكنه ينسى ذكر أن التغيير من مطار نيويورك (JFK) إلى مطار آخر (LGA) هو أمر مسموح به. يتعلم PolicyBank هذا الاستثناء.
فخ "الرابط الزائف" (التناقض المنطقي): يقول كتاب القواعد: "إذا كنت تريد استرداد الأموال، فيجب أن ترغب أيضاً في إلغاء الحجز". لكن في بعض الأحيان تريد استرداد الأموال دون الحاجة للإلغاء. يتعلم PolicyBank كسر الرابط بين هاتين الفكرتين غير المرتبطتين.

لماذا هذا مهم؟

في العالم الحقيقي، القواعد فوضوية. يكتبها البشر للبشر، وغالباً ما تحتوي على ثغرات.

بدون PolicyBank: يكون الذكاء الاصطناعي روبوتاً جامداً يتبع تعليمات سيئة، مما يثير إحباط العملاء ويضر بالعلامة التجارية. إنه يفشل مراراً وتكراراً لأنه يحاول حل لغز بقطعة مكسورة.
بوجود PolicyBank: يصبح الذكاء الاصطناعي متدرباً ذكياً. يرتكب خطأً، فيتم تصحيحه، فيقوم بتحديث "ورقة الغش" الداخلية الخاصة به، ويصيب الهدف مباشرة في المرة التالية. إنه لا يتعلم فقط كيف يؤدي الوظيفة؛ بل يتعلم ما هي الوظيفة في الحقيقة.

الخلا الخلاصة

PolicyBank يشبه منح وكيل الذكاء الاصطناعي الخاص بك جهاز GPS ذاتي التحديث. عندما تكون الخريطة خاطئة، لا يصطدم الوكيل بالحائط؛ بل يستمع للراكب، ويحدث الخريطة، ويجد الطريق الصحيح. إنه يحول الروبوت "المطيع ولكن المخطئ" إلى مساعد متعاون وقابل للتكيف حقاً.

1. بيان المشكلة: الفجوة بين المواصفات والمتطلبات

تتناول الورقة البحثية نمط فشل حرج في الوكلاء القائمين على النماذج اللغوية الكبيرة (LLM agents) الذين يعملون ضمن قيود تنظيمية. فبينما يركز البحث الحالي على ضمان اتباع الوكلاء للسياسات المكتوبة، إلا أنه غالباً ما يفترض أن نص السياسة ( $\pi_{spec}$ ) هو وكيل كامل وغير غامض للمتطلبات الحقيقية ( $\pi_{req}$ ).

في الواقع، تميل مواصفات السياسة المكتوبة باللغة الطبيعية (NL) إلى:

الغموض: استخدام محددات كمية أو قوائم غير دقيقة.
نقص التخصيص: إغفال الاستثناءات الصالحة أو الحالات الحدية.
التناقضات المنطقية: وجود تبعيات خاطئة بين متغيرات غير مترابطة.

يؤدي هذا إلى فشل من النوع الثاني (فشل المحاذاة): حيث ينفذ الوكيل السياسة المكتوبة بأمانة، لكنه يفشل في تحقيق المتطلب الحقيقي لأن السياسة نفسها معيبة. إن آليات الذاكرة الحالية (مثل Synapse وAWM وReasoningBank) تعامل السياسة كحقيقة مطلقة غير قابلة للتغيير، مما يعزز السلوكيات "الممتثلة ولكن الخاطئة" عبر التعلم من مسارات ناجحة تتبع بدقة السياسة المعيبة، بدلاً من تصحيح تفسير السياسة نفسه.

السؤال الجوهري: هل يمكن للوكيل أن يطور ذاتياً تفسيره لمواصفات السياسة غير المكتملة من خلال التفاعل والتغذية الراجعة التصحيحية لسد الفجوة بين $\pi_{spec}$ و $\pi_{req}$ ؟

2. المنهجية: PolicyBank

يقترح المؤلفون PolicyBank، وهو آلية ذاكرة مصممة لأتمتة تحديثات السياسة عن طريق الحفاظ على رؤى مهيكلة على مستوى الأدوات بدلاً من مسارات المهام الخام.

أ. البنية الأساسية

يعمل PolicyBank في سير عمل ما قبل النشر أو التدفق المستمر، حيث يقوم "وكيل السياسة" (نموذج لغوي كبير يعمل في وضع عدم الاتصال) بتنقيح بنك الذاكرة ( $M$ ) بشكل متكرر بناءً على مسارات المهام ( $\tau$ ) وتغذية المطورين الراجعة ( $\Phi$ ).

مخطط الذاكرة المهيكل:
على عكس الطرق السابقة التي تخزن النصوص الخام أو المسارات، يقوم PolicyBank بتخزين المدخلات على مستوى قدرة الأداة. يتكون كل مدخل من زوج (tuple) يحتوي على:
- المعرف (ID) والأداة/القدرة: أداة ووظيفة محددة (مثلاً: send_certificate).
- مواصفات اللغة الطبيعية (Spec_NL): حقل لغة طبيعية شبه مهيكل يفكك السياسة إلى:
  - المُشغّل (TRIGGER): متى تنطبق القدرة.
  - الشروط المسبقة (PRECONDITIONS): خطوات التحقق.
  - الأهلية (ELIGIBILITY): شروط الإذن (باستخدام معاملات منطقية مثل ANY/ALL).
  - الإجراء (ACTION): الإجراء الواجب اتباعه.
  - الرؤية الرئيسية (KEY INSIGHT): الفرق المتعلم الذي يحل الفجوة بين السياسة المكتوبة والمتطلبات الحقيقية.
الاسترجاع بتحفيز الوكيل:
بدلاً من حقن السياسة بأكملها في نافذة السياق (مما يسبب تضخم السياق)، يستخدم الوكيل أداة retrieve_policy(). يقوم باستعلام بنك الذاكرة ديناميكياً عن القواعد ذات الصلة بناءً على حالة المحادثة الحالية، مما يضمن القابلية للتوسع والدقة.
حلقة التغذية الراجعة (وكيل السياسة):
بعد المهمة، يقوم "وكيل سياسة" مخصص بتحليل المسار وتغذية المطور الراجعة (نجاح/فشل ثنائي + شرح باللغة الطبيعية). ويقوم بإجراء واحد من ثلاثة عمليات:
- إضافة (Add): إنشاء مدخل جديد للقدرات غير المغطاة.
- مراجعة (Revise): تحديث مدخل موجود لتصحيح المنطق غير المتوافق (مثل إزالة تبعية خاطئة).
- حذف (Omit): لا تغيير إذا كان المنطق الحالي كافياً.
- الأهم من ذلك، يتم توجيه وكيل السياسة للتمييز بين النوع الأول (أخطاء التنفيذ/الاستدلال) والنوع الثاني (فجوات المواصفات)، مع تركيز تحديثاته على النوع الأخير.

3. إطار التقييم: توسعة $\tau$ -Bench

لاختبار تطور السياسة بصرامة، قام المؤلفون بتوسيع $\tau$ -Bench الشهير (مجالات الطيران والتجزئة) عبر إدخال "فجوات السياسة".

تحديد الفجوة: قاموا بتحليل المهام التي فشلت فيها النماذج اللغوية الرائدة بسبب فجوات في المواصفات، وصنفوها إلى ثلاث فئات هيكلية:
1. نطاق غامض: التعامل مع القوائم التوضيحية كقوائم شاملة.
2. استثناءات ناقصة التخصيص: إغفال الحالات الحدية الصالحة (مثل استبدال السلع المعيبة بنفس الصنف).
3. تناقض منطقي: تبعيات خاطئة (مثل اشتراط إلغاء الرحلة للحصول على تعويض عن التأخير).
المهام الشقيقة (Sister Tasks): لكل مهمة "أصلية" تحتوي على فجوة، قاموا بتوليد ثلاث مهام "شقيقة" لاختبار التعميم:
- مبسطة: تعزل الفجوة.
- نموذج مختلف: يختبر الانتقال إلى مستخدمين/سياقات جديدة.
- متغير معقد: يختبر المتانة تحت عبء معرفي/تشتت.
المقياس: $pass^k$ (احتمالية النجاح في $k$ من التجارب المتتالية)، مع التركيز على الاستمرارية بدلاً من النجاح لمرة واحدة.

4. النتائج الرئيسية

قارنت التجارب PolicyBank بالنماذج المرجعية بما في ذلك "لا ذاكرة"، وSynapse، وAWM، وReasoningBank، باستخدام Gemini-3.0-Pro وClaude-4.5-Opus.

فشل الطرق الحالية: حققت آليات الذاكرة القياسية نجاحاً يقترب من الصفر ( $<0.02$ $pass^1$ ) في المهام الشقيقة (سيناريوهات فجوة السياسة). لقد عززت منطق السياسة المعيب، ولم تكن قادرة على التمييز بين "أداء المهمة بشكل صحيح" وبين "اتباع القاعدة الخاطئة".
أداء PolicyBank:
- سد الفجوة: سد PolicyBank ما يصل إلى 82% من فجوة الأداء نحو النموذج البشري المثالي (الإدراك الكامل للسياسة).
- الاستمرارية: حسن بشكل كبير مقاييس $pass^k$ . على سبيل المثال، في مجال التجزئة مع Claude-4.5-Opus، حقق PolicyBank قيمة $pass^4$ بلغت 0.67 في المهام الشقيقة، بينما كان أفضل نموذج مرجعي هو 0.28.
- التعميم: طبق الوكيل الرؤى المنقحة بنجاح على مهام "النموذج المختلف" و"المتغير المعقد" فور إجراء التصحيح الأول (تعلم من مرة واحدة).
دقة التغذية الراجعة: وجدت الدراسة أن المكافآت الثنائية وحدها لم تكن كافية لتطور السياسة. كانت التفسيرات باللغة الطبيعية (مثل "يجب تقديم التعويض بغض النظر عن نية التعديل") حاسمة لتمكين وكيل السياسة من استنتاج الهيكل المنطقي الصحيح.

5. الأهمية والمساهمات

صياغة مشكلة جديدة: تصيغ الورقة "تطور فهم السياسة"، وتميز بين فشل التنفيذ وفشل المحاذاة الناتج عن فجوات المواصفات.
آلية مبتكرة: يعد PolicyBank أول إطار عمل يعامل تفسير السياسة كمتغير قابل للتعلم والتطور وليس كقيد ثابت. إنه ينقل العبء من إعادة كتابة القواعد يدوياً إلى صقل الرؤى المهيكلة والمؤتمتة.
مساهمة في المعيار المرجعي: توفر $\tau$ -Bench الموسعة اختباراً معيارياً لتقييم قدرة الوكيل على التكيف مع المواصفات غير الكاملة، وهو سيناريو واقعي حرج يتم تجاهله غالباً لصالح المعايوهات الاصطناعية "المثالية".
الأثر العملي: يقدم هذا النهج مساراً لنشر الوكلاء القائمين على النماذج اللغوية الكبيرة في البيئات عالية المخاطر (التمويل، الرعاية الصحية، خدمة العملاء) حيث تكون السياسات معقدة وغامضة وخاضعة للتغيير، مما يسمح للوكلاء بالتصحيح الذاتي قبل النشر الكامل للنظام.

في الختام، يوضح PolicyBank أن الوكلاء القائمين على النماذج اللغوية الكبيرة يمكنهم تطوير فهمهم للقواعد التنظيمية ذاتياً، متحولين من مجرد متبعين جامدين للقواعد إلى وكلاء متكيفين قادرين على حل حالات الغموض المتأصلة في مواصفات السياسة باللغة الطبيعية.