💬 NLP

PABU: Progress-Aware Belief Update for Efficient LLM Agents

إن PABU هو إطار عمل لحالة الاعتقاد يعمل على تحسين كفاءة وأداء وكلاء النماذج اللغوية الكبيرة (LLM agents) من خلال نمذجة تقدم المهمة بشكل صريح والاحتفاظ انتقائياً فقط بالتفاعلات الماضية ذات الصلة لتقليل الإجراءات المتكررة وتكاليف الاستدلال.

المؤلفون الأصليون: Haitao Jiang, Lin Ge, Hengrui Cai, Rui Song

نُشر 2026-02-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haitao Jiang, Lin Ge, Hengrui Cai, Rui Song

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول خبز كعكة زفاف معقدة مكونة من خمس طبقات.

تعمل معظم "الوكلاء" البرمجية للذكاء الاصطناعي (البرامج التي يمكنها استخدام الأدوات وأداء المهام) مثل خباز يعاني من فقدان ذاكرة حاد. في كل مرة يكسر فيها بيضة، يكتب تدوينة يومية ضخمة من 50 صفحة تصف البيضة، والوعاء، ودرجة حرارة المطبخ، ولون الأرضية، وصوت الثلاجة. وبحلول الوقت الذي يصل فيه إلى مرحوة التزيين، يصبح "يومياته" سميكة جدًا لدرجة أنه لا يستطيع رفعها، ويصاب بالارتباك بسبب التفاصيل غير المفيدة، وينسى في النهاية ما إذا كان قد أضاف السكر أم لا.

تقدم هذه الورقة البحثية PABU، وهو بمث قائمة مرجعية ذكية ومختصرة بدلاً من تلك المذكرات الثقيلة.

المشكلة: فخ "التخمة المعلوماتية"

تحاول وكلاء الذاء الاصطناعي الحالية تذكر كل شيء حدث منذ بدأت المهمة. وهذا ما يسمى بـ "الاشتراط بكامل التاريخ" (Full-history conditioning).

الضجيج: إذا كان الوكيل يبحث عن مفك براغي في مرآب فوضوي، فقد يسجل كل شيء غير ذي صلة يراه: "رأيت دلوًا أحمر. رأيت عنكبوتًا. رأيت مطرقة زرقاء."
التكلفة: مع استمرار المهمة، يصبح "الذاكرة" أطول وأطول. وهذا يجعل الذكاء الاصطناعي أبطأ، وأكثر تكلفة في التشغيل، والأهم من ذلك، أكثر عرضة لـ "التشتت" بسبب الدلو الأحمر بينما ينبغي له أن يبحث عن مفك البراغي.

الحل: PABU (القائمة المرجعية الذكية)

بدلاً من المذكرات الضخمة، يستخدم PABU حيلتين ذكيتين لإبقاء الذكاء الاصطناعي مركزًا:

1. "شريط التقدم" (الوعي بالتقدم)
بدلاً من الهوس بكل حركة صغيرة، يسأل PABU: "كم اقتربت من خط النهاية؟"
فكر في الأمر مثل نظام GPS. نظام الـ GPS الخاص بك لا يخبرك بكل شجرة مررت بها على الطريق السريع؛ بل يخبرك فقط: "أنت على بعد 5 أميال من وجهتك، وأنت حاليًا على الطريق السريع I-95." يتتبع PABU "تقدم المهمة" (مثل: "الخطوة 2 من 5: ابحث عن الحليب") بدلاً من جبل من البيانات الخام.

2. "الذاكرة الانتقائية" (تحديث الاعتقاد)
لا يحفظ PABU كل شيء. فهو يستخدم "سياسة احتفاظ" لتقرير ما يستحق الاحتفاظ به.

احتفظ بـ: "لقد جربت الدرج الأزرق وكان فارغًا." (هذا يمنع الذكاء الاصطناعي من تكرار نفس الخطأ).
تخلص من: "كانت الشمس تشرق من النافذة في الساعة 2:00 مساءً." (هذا ليس له علاقة بالعثور على مفك البراغي).

من خلال الاحتفاظ فقط بـ المكونات الأساسية (التقدم الحالي، الإجراءات التي فشلت، والملاحظات الأكثر أهمية)، يظل "عقل" الذكاء الاصطناعي خفيفًا، سريعًا، وحادًا.

النتائج: أسرع، أذكى، وأكثر رشاقة

اختبر الباحثون PABU في مجموعة متنوعة من بيئات "الصالة الرياضية الرقمية" (مهام مثل التنقل في المتاهات أو استخدام الأدوات). وكانت النتائج مبهرة:

نجاح أعلى: أكمل المهام بنسبة 23.9% أكثر من طرق "المذكرات الثقيلة" القديمة.
أكثر كفاءة: أنهى المهام في خطوات أقل (بسرعة تقارب 27%). لم يتجول بلا هدف؛ بل تحرك مباشرة نحو الهدف.
قابل للتوسع: عمل بشكل جيد حتى على نماذج الذكاء الاصطناعي الأصغر والأرخص، مما يثبت أنك لست بحاجة دائمًا إلى "عقل عملاق" إذا منحت النموذج "قائمة مرجعية ذكية".

ملخص موجز

الطريقة القديمة: دفتر ملاحظات فوضوي ولا متناهٍ لكل شيء حدث.
طريقة PABU: قائمة مرجعية نظيفة وعالية المستوى تتبع التقدم وتتذكر فقط التفاصيل "الضرورية لمعرفة الأمر".

ملخص تقني: PABU (تحديث الاعتقاد المدرك للتقدم)

PABU: تحديث الاعتقاد المدرك للتقدم من أجل وكلاء النماذج اللغوية الكبيرة (LLM) الأكثر كفاءة يعالج خللاً جوهرياً في كفاءة الوكلاء الحاليين المعتمدين على النماذج اللغوية الكبيرة: وهو الاعتماد على سجلات كاملة من الأفعال والملاحظات لإدارة حالة عدم اليقين في الرؤية (partial observability).

1. المشكلة: عنق زجاجة "السجل الكامل"

في معظم المهام الوكيلية (التي تُنمذج كعمليات ماركوف لاتخاذ القرار ذات الرؤية الجزئية أو POMDPs)، لا يستطيع الوكيل رؤية الحالة الحقيقية للبيئة، ويجب عليه الاعتماد على سجل تفاعلاته كبديل عنها. تعتمد الطرق الحالية المتطورة (SoTA) عادةً على ربط الأفعال بكامل تاريخ الأفعال والملاحظات. يؤدي هذا إلى ثلاث مشكلات رئيسية:

ضجيج المعلومات: غالباً ما تحتوي السجلات على معلومات غير ذات صلة بالمهمة أو معلومات مكررة (مثل المحاولات الفاشلة)، مما قد يؤدي إلى "انهيار التمثيل" واتخاذ قرارات غير مثالية.
الأعباء الحسابية: مع تقدم الحلقة (episode)، تتوسع نافذة السياق، مما يزيد من زمن الاستجابة (latency) وتكاليف الرموز (tokens).
عدم الكفاءة: غالباً ما يكرر الوكلاء الأفعال الفاشلة لأن "إشارة" التقدم تكون مدفونة تحت "ضجيج" المسار الكامل.

2. المنهجية: إطار عمل PABU

يقترح المؤلفون إطار عمل حالة الاعتقاد (belief-state framework) الذي يستبدل السجل الضخم بتمثيل هيكلي وموجز. بدلاً من تلخيص النصوص (الذي قد يفقد تفاصيل حاسمة)، يقوم PABU بنمذجة التقدم في المهمة بشكل صريح ويستخدم سياسة استبقاء انتقائية.

أ. تكوين حالة الاعتقاد
تتكون حالة الاعتقاد $b_n$ من تمثيل نصي موجز يتألف من:

التقدم في المهمة ( $p_n$ ): تقدير دلالي رفيع المستوى لمدى إنجاز المهمة (مثلاً: "ابحث عن السكين" $\leftarrow$ "خذ السكين"). يعمل هذا كمرساة مستقلة عن نوع المهمة.
ذاكرة الأفعال المشروطة بالتقدم ( $A_{att}$ ): سجل للأفعال التي تمت محاولتها ضمن مرحلة التقدم الحالية لمنع تكرار المحاولات غير المجدية.
الأفعال المتاحة ( $A_{available}$ ): مجموعة الأفعال المسموح بها والمستخرجة من الملاحظة الحالية.
ذاكرة الملاحظات الانتقائية ( $O_{saved}$ ): مجموعة متفرقة من الملاحظات الماضية التي تُعتبر حاسمة للخطوات المستقبلية، ويتم تحديدها بواسطة سياسة متعلمة.
استعلام المستخدم ( $q$ ): التعليمات الأصلية غير القابلة للتغيير.

ب. هدف التدريب (التعلم المدرك للتقدم)
يتم تدريب النموذج بشكل كامل (end-to-end) لأداء ثلاث مهام في استدعاء واحد: تحديث الاستبقاء $\leftarrow$ تقدير التقدم $\leftarrow$ اختيار الفعل.
قدم المؤلفون دالة خسارة فريدة ( $L_{PABU}$ ) تستخدم تعزيز المسار (Trajectory Augmentation). حيث يحددون "الأفعال الحاسمة" (تلك الضرورية للنجاح) ويدربون النموذج على:

التنبؤ بالفعل الحاسم التالي.
التنبؤ بـ "الأفعال المعززة" ( $\tilde{a}_i$ ) — أي الفعل التالي المتسق مع التقدم — للخطوات غير الحاسمة. هذا يعلم النموذج كيفية "تخطي" الخطوات المكررة أو غير المتقدمة أثناء التدريب.

3. المساهمات الرئيسية

صياغة تجريد حالة الاعتقاد: الانتقال من السجل الخام نحو حالة اعتقاد هيكلية وموجهة بالتقدم.
سياسة استبقاء متعلمة: آلية شاملة (end-to-end) تقرر أي الملاحظات تستحق الاحتفاظ بها، مما يتجنب فقدان المعلومات الشائع في التلخيص العام.
التدريب المدرك للتقدم: هدف مبتكر يقسم الأفعال إلى مجموعات متسقة مع التقدم وغير متسقة معه لتشجيع السلوك الفعال الموجه نحو الهدف.

4. النتائج والأدلة التجريبية

تم تقييم إطار العمل على معيار AgentGym عبر ثماني بيئات متنوعة.

أداء متفوق: حقق نموذج PABU-8B معدل إنجاز مهمة بنسبة 81.0%، متفوقاً على النماذج السابقة المتطورة (SoTA) بنسبة 23.9%.
زيادة الكفاءة: انخفض متوسط خطوات التفاعل إلى 9.5، وهو انخفاض بنسبة 26.9% مقارنة بالنماذج المرجعية.
المتانة: أظهرت دراسات الاستئصال (ablation studies) أن PABU يعمم عبر عائلات نماذج مختلفة (Llama, Qwen) ومقاييس مختلفة، مما يثبت أن نمذجة التقدم الصريحة هي مبدأ تصميم متين.
أهمية المكونات: كشفت دراسات الاستئصال أن ضرورة مكونات معينة (تاريخ الأفعال مقابل تاريخ الملاحظات) تعتمد على هيكل المهمة (على سبيل المثال، تتطلب لعبة Wordle تاريخ الملاحظات، بينما تتطلب ALFWorld تاريخ الأفعال).

5. الأهمية

يمثل PABU تحولاً في تصميم وكلاء النماذج اللغوية الكبيرة من "القائم على الذاكرة" (تخزين كل شيء) إلى "القائم على الاعتقاد" (تخزين ما يهم). من خلال معاملة التقدم في المهمة كعمود فقري لتتبع الحالة، أثبت المؤلفون أن الوكلاء يمكن أن يكونوا أكثر دقة وأكثر كفاءة بشكل كبير. يوفر هذا النهج مساراً قابلاً للتوسع لنشر وكلاء النماذج اللغوية الكبيرة في مهام العالم الحقيقي طويلة المدى، حيث تشكل حدود نافذة السياق والتكاليف الحسابية قيوداً أساسية.