Real-Time Detection and Repair of LLM Agent Failures

تخيل عالماً لا تكتفي فيه الحواسيب بالإجابة على الأسئلة، بل تقوم بالفعل بالأشياء. إنها تشبه المتدربين الرقميين، أو "الوكلاء" (agents)، الذين يمكنهم تصفح الويب، ومعالجة الأرقام، واستخدام الأدوات لحل المشكلات المعقدة. ولكن تماماً مثل المتدرب البشري، يمكن لهؤلاء الوكلاء من الذكاء الاصطناعي أن يتشتتوا، أو يعلقوا في حلقة مفرغة من تكرار نفس الخطأ، أو يختلقوا حقائق غير صحيحة بكل ثقة. هذا هو عالم وكلاء النماذج اللغوية الكبيرة (LLM Agents).

لإبقاء هؤلاء الوكلاء على المسار الصحيح، نحتاج عادةً إلى مشرف. الطريقة التقليدية للإشراف عليهم هي توظيف ذكاء اصطنا dernier مكلف لقراءة كل خطوة يتخذها الذكاء الاصطنا الأول وقول: "عمل جيد" أو "توقف، هذا خطأ". لكن هذا يشبه توظيف مدير بدوام كامل لمراقبة عامل وهو يكتب حرفاً واحداً في كل مرة؛ فهذا يكلف الكثير من الوقت والمال. السؤال الكبير الذي يطرحه العلماء هو: هل يمكننا بناء "كلب حراسة" صغير وسريع للغاية، يرصد المشاكل بمجرد النظر إلى سلوك الوكيل، دون الحاجة إلى ذكاء اصطناعي ثانٍ للقيام بالعمل الشاق؟ تغوص هذه الورقة البحثية في هذا المشكلة تحديداً، محاولةً إيجاد طريقة للإمساك بأخطاء الذكاء الاصطناعي مبكراً، وبأقل تكلفة، وبشكل تلقائي.

---

قصة الورقة البحثية: كلب حراسة في الميكروثانية

تقدم هذه الورقة نظاماً ذكياً صُمم ليعمل كـ كلب حراسة في الوقت الفعلي لوكلاء الذكاء الاصطناعي. فبدلاً من توظيف ذكاء اصطناعي ثانٍ للحكم على كل حركة، بنى المؤلف مراقباً خفيف الوزن يراقب "البيانات عن بُعد" (telemetry) الخاصة بالوكيل—وهي الآثار الرقمية التي يتركها خلفه، مثل ما قاله، ومدى ثقته، والأدوات التي استخدمها.

فكر في وكيل الذكاء الاصطناعي كمتنزه يسير في غابة. الطريقة القياسية هي وجود طيار مروحية (الذكاء الاصطناعي الثاني) يحلق فوقه للتحقق مما إذا كان المتنزه على المسار الصحيح. تقترح هذه الورقة نهجاً مختلفاً: طائرة بدون طيار (درون) صغيرة وفائقة السرعة تحلق على بعد أقدام قليلة فوق رأس المتنزه. لا تحتاج هذه الطائرة لفهم الغابة بأكملها؛ بل تراقب فقط علامات معينة للمتاعب، مثل سير المتنزه في دوائر، أو تعثره في نفس الصخرة، أو انحرافه المفاجئ عن المسار.

كيف يعمل كلب الحراسة

بنى المؤلف نظاماً يعمل في زمن الميكروثانية (حوالي 200 ميكروثانية لكل خطوة، وهو أسرع من طرفة العين). وهو يستخدم تقنية تسمى شبكة الحالة الصدوية (Echo-State Network - ESN). تخيل هذا كطبل يهتز عندما تنقر عليه. أفعال وكيل الذكاء الاصطناعي هي تلك النقرات. إذا كان الوكيل يعمل بشكل صحيح، فإن الطبل يهتز بنمط إيقاعي يمكن التنبؤ به. وإذا بدأ الوكيل في الفشل—ربما بسبب الدوران في حلقات أو الارتباك—يصبح الإيقاع فوضوياً. يستمع كلب الحراسة إلى هذا الإيقاع ويطلق الإنذار في اللحظة التي يختل فيها الوزن.

اختبرت الورقة هذا النظام على 2,823 حلقة حقيقية لمحاولات وكلاء الذكاء الاصطناعي لحل المهام. ووجدوا أن طريقة "الطبل" هذه بارعة للغاية في رصد أنواع معينة من الأخطاء:

• الحلقات (Loops): عندما يعلق الوكيل في تكرار نفسه، يرصده كلب الحراسة في كل مرة تقريباً.
• أخطاء الأدوات (Tool Errors): عندما يخطئ الوكيل في استدعاء أداة ما، يتم رصده بشكل متكرر.
• الانحراف عن الهدف (Goal Drift): عندما ينسى الوكيل ما يفترض به القيام به، يرصده كلب الحراسة.

ومع ذلك، فإن الورقة صادقة جداً بشأن ما لا يستطيع كلب الحراسة فعله. لديه "نقطة عمياء" تجاه فساد المحتوى (content corruption). تخيل أن الوكيل يقرأ وثيقة، لكن النص داخل الوثيقة قد تم استبداله سراً بكلمات غير مفهومة. إذا لم يتفاعل الوكيل بشكل غريب مع هذه الكلمات غير المفهومة (لأن سلوكه—ما يقوله ويفعله—ظل دون تغيير)، فإن كلب الحراسة سيكون أعمى عن هذا الخطأ. تظهر الورقة أنه بدون مساعدة إضافية، يفتقد كلب الحراسة لهذه الأخطاء في المحتوى بنسبة 72% من المرات (مما يخفض نسبة الرصد من درجة مثالية إلى 0.28 فقط في الاختبارات المجمعة).

إصلاح "النقطة العمياء"

لإصلاح ذلك، أضاف المؤلف طبقة ثانية تسمى قناة الربط بالمحتوى (content-grounding channel). هذا يشبه إعطاء كلب الحراسة عدسة مكبرة للتحقق من النص الفعلي الذي يقرأه الوكيل. مع هذه الإضافة، قفز اكتشاف أخطاء المحتوى من 0.28 إلى 0.59 في الاختبارات المجمعة (ووصل إلى 1.00 في حالات بحثية محددة حيث كان الفساد مرئياً في النص).

لكن هناك عقبة: وجدت الورقة أن كلب الحراسة هذا متخصص جداً في "شخصية" الذكاء الاصطناعي الذي يراقبه. إذا دربتَه على نوع واحد من الذكاء الاصطناعي (مثل نموذج qwen2.5) ثم حاولت استخدامه على نوع آخر (مثل llama3.1)، فإنه يتوقف عن العمل ولا يؤدي أفضل من التخمين العشوائي. يجادل المؤلف بأنه يجب عليك "إعادة معايرة" كلب الحراسة لكل نموذج ذكاء اصطناعي جديد تستخدمه، تماماً كما يجب عليك ضبط منظم الحرارة (الترموستات) لمنزل مختلف.

القيود "الصادقة"

تتوخى الورقة الحذر في عدم تقديم وعود مبالغ فيها. فقد اعترفوا بأنه بالنسبة لبعض الأخطاء شديدة الدقة، مثل عندما يقوم الذكاء الاصطناعي بـ الهلوسة (اختلاق رقم أو حقيقة تبدو حقيقية لكنها مزيفة)، فإن كلب الحراسة الإحصائي يكون عديم الفائدة. في دراسة مسجلة مسبقاً، وجدوا أن هذه النماذج نادراً ما تخترع حقائق من تلقاء نفسها، وعندما تفعل ذلك، لا يستطيع كلب الحراسة رؤيتها.

بدلاً من محاولة إجبار كلب الحراسة على رصد هذه الأخطاء، يقترح المؤلف أداة مختلفة: المتحقق الحتمي (deterministic verifier). هذا ليس ذكاءً اصطناعياً ذكياً؛ بل هو مجرد مدقق رياضي بسيط. إذا قال الوكيل: "التكلفة الإجمالية هي 50 دولاراً"، فإن المتحقق يتحقق ببساطة من الحساب: "هل قام الوكيل فعلاً بجمع الإيصالات للحصول على 50 دولاراً؟". إذا لم يتطابق الحساب، فإنه يرفع علامة. هذا الأسلوب رصد 100% من الأرقام المختلقة في اختباراتهم المستفزة (26 من أصل 26)، مع صفر إنذارات خاطئة. (ملاحظة: في البيئات الطبيعية غير المستفزة، كانت الدراسة صغيرة جداً لجعل ادعاء نهائي، لكن الطريقة مصممة لرصد هذه الأخطاء عند حدوثها).

آلية "الإصلاح"

الجزء الأفضل من الورقة ليس مجرد رصد الخطأ؛ بل إصلاحه. فعندما يطلق كلب الحراسة إنذاراً، لا يكتفي النظام بإيقاف الوكيل، بل يقوم بـ الرجوع (roll back) بالوكيل إلى آخر خطوة كان فيها كل شيء صحيحاً ويسمح له بالمحاولة مرة أخرى.

فكر في الأمر كـ "نقطة حفظ" (checkpoint) في لعبة فيديو. إذا سقطت في حفرة، فأنت لا تعيد المستوى بأكمله؛ بل تعود إلى آخر مكان آمن وتجرب مساراً مختلفاً.

• مع وجود كلب الحراسة والإصلاح: ينجح الوكيل بنسبة 73%.
• بدون الإصلاح (مجرد إعادة المحاولة): ينجح الوكيل بنسبة 52% فقط.

وجد المؤلف أن الطريقة الأكثر فعالية لإصلاح الوكيل هي إخباره بالضبط أي فحص قد فشل (على سبيل المثال: "لقد نسيت استدعاء أداة ما") بدلاً من مجرد قول "حاول مجدداً". ساعدت هذه التعليمات المحددة في استعادة 45% من حالات الفشل، مقارنة بـ 16% فقط إذا تركت الأمر للمحاولة العشوائية مجدداً.

الخلاصة

تثبت هذه الورقة أننا لسنا بحاجة إلى ذكاء اصطناعي ثانٍ ومكلف لمراقبة وكلائنا. يمكننا استخدام مراقب صغير وسريع يعمل بسرعة الميكروثانية يستمع إلى إيقاع الوكيل لرصد معظم الأخطاء. إنه ليس مثالياً—فهو يحتاج إلى إعادة معايرة لكل نموذج ذكاء اصطناعي جديد، ولا يمكنه رصد كل أنواع الأكاذيب—ولكن عندما يعمل، فإنه يوفر الكثير من الوقت والمال. وعندما يرصد خطأً ما، يمكنه إعادة الوكيل إلى نقطة آمنة ومساعدته على النجاح، محولاً نسبة النجاح من 52% إلى 73%.

يخلص المؤلف إلى أنه بينما يعد كلب الحراسة هذا خط دفاع أول قوي، فإنه يعمل بشكل أفضل عند اقترانه بالتحققات البسيطة غير القائمة على الذكاء الاصطناعي (مثل مدققات الرياضيات) لأنواع الأكاذيب المحددة التي لا يستطيع رؤيتها. إنه عمل جماعي: كلب الحراسة السريع يتعامل مع السلوك، والمدقق الرياضي البسيط يتعامل مع الحقائق.