ملخص تقني: الاستفادة من الرسوم البيانية للمسارات للتشخيص المسبق للأخطاء في أنظمة الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

أظهرت الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) كفاءة في المهام التفاعلية المعقدة، لا سيما في مجالات مثل الذكاء الاصط�ي المتجسد (Embodied AI). ومع ذلك، غالباً ما تعاني هذه الوكلاء في المهام طويلة الأمد بسبب الأخطاء التراكمية. في مثل هذه الإعدادات، يمكن لفعل واحد غير مثالي أن يؤدي إلى انحراف المسار بأكمله، مما يتسبب في استنفاد الوكيل لميزانية خطواته المحدودة في مسارات غير فعالة أو غير قابلة للاسترداد.

تعتمد الاستراتيجيات الحالية للتخفيف من حدة ذلك غالباً على التعلم اللاحق (Post-hoc learning) (مثل استكشاف البيئة أو تعلم التحسين). وتتشارك هذه النهج في قصور جوهري: فهي تتعلم بشكل أساسي من النتائج النهائية للمسارات الكاملة. وبناءً على ذلك، فإنها تجد صعوبة في تحديد الأفعال المحددة على مستوى الخطوة التي تؤدي إلى الفشل. وبدون تغذية راجعة سببية دقيقة تشرح لماذا كان فعل معين خاطئاً (على سبيل المثال، استهداف كائن غير موجود)، يتعلم الوكلاء بشكل غير فعال من الإشارات الشحيحة ويكونون عرضة لتكرار أخطاء مماثلة.

المنهجية: مساعد الرسم البياني للمسار (Trajectory Graph Copilot)

لمعالجة هذه القيود، يقترح المؤلفون مساعد الرسم البياني للمسار (Trajectory Graph Copilot)، وهو إطار عمل ينقل النموذج من التحليل اللاحق إلى التشخيص الاستباقي للأخطاء على مستوى الخطوة. وبالاستلهام من عملية تصحيح أخطاء البرمجيات (Software Debugging)، يعمل النظام كـ "مساعد" (Copilot) يحلل الأفعال المقصودة قبل تنفيذها لتحديد الأخطاء المحتملة.

المكون الأساسي لهذا الإطار هو مصحح الأخطاء الرسومي (Graph Debugger)، الذي يعمل من خلال المراحل التالية:

1. بناء الرسم البياني (القائم على PGM)

تنمذج الطريقة تفاعل الوكيل كعملية قرار ماركوف جزئية الملاحظة (POMDP). وبدلاً من معاملة المسارات كسلاسل نصية بسيطة، يقوم إطار العمل بتحويل المسارات التاريخية إلى رسم بياني احتمالي:

• العقد (Nodes): تمثل الأفعال ($A$).
• الحواف (Edges): تشفر الملاحظات ($O$) التي تربط الأفعال المتتالية.
• التمثيل: يشكل هذا بنية رسم بياني غير متجانس متمحور حول الفعل ($G = (V, E)$) حيث $V \subseteq A$ و $E \subseteq O$. تلتقط هذه البنية التبعيات الأساسية بين الأفعال والملاحظات، مما يكيف مخطط انتقال الحالة الكلاسيكي بفعالية للتعامل مع الملاحظة الجزئية عبر معاملة الملاحظات كسمات للحواف.

2. تشخيص الخطأ المحتمل

تُصاغ مهمة تشخيص الخطأ كمسألة تصنيف عقد (Node classification) على الرسم البياني المنشأ.

• التضمين (Embedding): تقوم نماذج BERT المدربة مسبقاً بتهيئة تضمينات الأفعال والملاحظات.
• آلية الكشف: يتم استخدام شبكة عصبية رسومية (GNN)، وتحديداً نسخة معدلة من TextGCN. تقوم الشبكة بـ $K$ من جولات تمرير الرسائل لتجميع المعلومات من العقد المجاورة.
• المخرجات: تخرج النماذج بتوزيع احتمالي على مجموعة من فئات الأخطاء الدقيقة (مثل: الشرط المسبق لم يتحقق، فعل غير قانوني، فعل مكرر، الشرط تحقق ولكن الفعل لم يُتخذ).
• الميزة النظرية: يجادل المؤلفون بأن الطرق القائمة على الرسوم البيانية تمتلك مخاطر بايز (Bayes risk) وتعقيد عينة أقل مقارنة بالطرق القائمة على التسلسل (مثل تصنيف النصوص القياسي أو الاسترجاع)، لأن التمثيل البياني يعمل كإحصائية كافية (غلاف ماركوف/Markov blanket)، مما يلتقط التبعيات الهيكلية بكفاءة أكبر.

3. التعلم داخل السياق (ICL) للتغذية الراجعة

بدلاً من ضبط النموذج اللغوي الكبير (LLM) بدقة (Fine-tuning)، يدمج إطار العمل الإشارات التشخيصية في حلقة الاستدلال الخاصة بالوكيل عبر التعلم داخل السياق.

• عندما يحدد مصحح الأخطاء الرسومي خطأً محتملاً في فعل مقترح، فإنه يولد إشارة تغذية راجعة (نوع الخطأ وشرحه).
• يتم إلحاق هذه التغذية الراجعة بمطالبة (Prompt) الوكيل، مما يهيئ النموذج لإعادة توليد الفعل بناءً على التوزيع المعدل: $P(A'_{i+1} | \text{History}, \text{Proposed Action}, \text{Feedback})$.
• يسمح هذا للوكيل بالتصحيح الذاتي في الوقت الفعلي دون تعديل معلماته.

المساهمات الرئيسية

1. مصحح الأخطاء الرسومي (Graph Debugger): طريقة مبتكرة تعتمد على نموذج رسم بياني احتمالي مصمم خصيصاً للكشف عن أخطاء الأفعال على مستوى الخطوة في وكلاء LLM.
2. إطار عمل مساعد الرسم البياني للمسار (Trajectory Graph Copilot): دمج وحدة الكشف كـ "بيئة تشخيصية معزولة" (Diagnostic Sandbox) متميزة توفر تحذيرات من الأخطاء في الوقت الفعلي، مما يعزز أداء الوكيل دون الحاجة لضبط دقيق مكلف.
3. التحقق التجريبي: تجارب واسعة النطاق تثبت تفوق النهج القائم على الرسوم البيانية على طرق تصنيف النصوص التقليدية، والطرق القائمة على الاسترجاع، ونماذج LLM-as-a-judge.

النتائج التجريبية

تم تقييم إطار العمل على أربعة معايير مرجعية: AlfWorld، و TextWorld، و ScienceWorld، و TravelPlanner، باستخدام ثلاثة وكلاء مختلفين من LLM (وهي GPT-4o-mini، و Qwen2.5، و Gemma3).

• أداء كشف الخطأ: تفوق مصحح الأخطاء الرسومي باستمرار على النماذج المرجعية. وفي المتوسط، حقق تحسناً بنسبة تزيد عن 5% في الدقة مقارنة بطرق تصنيف النصوص. وكان التفوق أكثر وضوحاً في AlfWorld، حيث تفوق على ثاني أفضل نهج بنسبة 10.23%.
• إكمال المهام (نسبة النجاح/Pass Ratio): عند استخدامه كآلية تغذية راجعة، حسن إطار العمل نسبة نجاح الوكلاء بمتوسط 14.69% عبر جميع المعايير والوكلاء.
• المقارنة مع استراتيجيات المطالبة (Prompting): تفوقت الطريقة على الوكلاء القائمين على المطالبات المستقرة مثل ReAct و Reflexion، الذين يعتمدون بشدة على قدرات الاستدلال المتأصلة في الـ LLM وغالباً ما يعانون من تراكم الأخطاء.
• كفاءة العينة: تشير التحليلات النظرية والنتائج التجريبية إلى أن النهج القائم على الرسوم البيانية يتطلب عينات أقل لتحقيق نفس معدل كشف الخطأ مقارنة بالطرق القائمة على التسلسل.

الأهمية والادعاءات

يزعم البحث أن مساعد الرسم البياني للمسار (Trajectory Graph Copilot) يقدم تقدماً كبيراً في جعل وكلاء LLM أكثر موثوقية للمهام طويلة الأمد. ومن خلال محاكاة عملية تصحيح أخطاء البرمجيات — أي تحليل سجلات التنفيذ لمنع الأخطاء استباقياً — يمنع النظام تراكم الأخطاء المكلفة التي قد تؤدي إلى فشل المهمة.

وتشمل الادعاءات الرئيسية المتعلقة بالأهمية ما يلي:

• استباقي مقابل تفاعلي: على عكس التعلم اللاحق، تمنع هذه الطة الأخطاء قبل تنفيذها، مما يحافظ على ميزانية خطوات الوكيل.
• التعميم: من خلال العمل كبيئة تشخيصية معزولة بدلاً من نموذج خاضع للضبط الدقيق، يقلل النهج من الانحياز الناتج عن مجموعات البيانات الثابتة، مما يؤدي إلى تعميم أفضل في المهام الجديدة.
• الكفاءة: يلتقط التمثيل القائم على الرسوم البيانية التبعيات التسلسلية بشكل أكثر فعالية من سلاسل النصوص الخام، مما يوفر أداءً أعلى مع تعقيد بيانات أقل.

يخلص المؤلفون إلى أن هذا العمل يوفر إطار عمل عام لتحسين اتخاذ القرار في وكلاء LLM، مشيرين إلى أن دمج وحدات تشخيص هيكلية قائمة على الرسوم البيانية يمكن أن يكون مساراً قابلاً للتطبيق نحو أنظمة ذكاء اصطناعي أكثر قوة وموثوقية.