Iterative Audit Convergence in LLM-Managed Multi-Agent Systems: A Case Study in Prompt Engineering Quality Assurance

ملخص تقني: التقارب التدقيقي التكراري في الأنظمة متعددة الوكلاء المدارة بواسطة النماذج اللغوية الكبيرة (LLM)

بيان المشكلة
تعمل مواصفات الأوامر (Prompt specifications) لأنظمة الوكلاء المتعددة المدارة بالنماذج اللغوية الكبيرة (LLM) بمثابة مصدر الحقيقة للنظام، حيث تحتوي على عقود البيانات، ومنطق التكامل، والقواعد السلوكية عبر ملفات مترابطة. وخلافاً للشيفرات البرمجية التقليدية، نادراً ما تخضع هذه المواصفات المكتوبة بلغة طبيعية لتدقيق هيكلي صارم. وفي خطوط المعالجة (orchestration pipelines) المعقدة ومتعددة المسارات، غالباً ما تؤدي التغييرات التصميمية في مستند واحد إلى آثار متتابعة (مثل المراجع القديمة، أو عدم تطابق المخططات/Schemas، أو عقود واجهة برمجة التطبيقات غير الصالحة) في المستندات الأخرى. إن المراجعات التقليدية أحادية الملف غير كافية بطبيعتها، لأنها لا تستطيع اكتشاف التناقضات عبر المستندات. تتناول هذه الورقة نقص البيانات التجريبية حول كثافة العيوب وسلوك التقارب للتدقيق التكراري المطبق على مواصفات الأوامر ذات الحجم الإنتاجي.

المنهجية
تقدم الدراسة حالة دراسية تجريبية لنظام واحد وهو نظام AEGIS (نظام الذكاء والحوكمة الهندسية المستقل)، وهو خط معالجة إنتاجي مكون من سبعة مسارات. تألف سطح المواصفات من حوالي 7,150 سطراً موزعة على ثمانية ملفات: سبعة ملفات PROMPT.md خاصة بكل مسار، وملف واحد مشترك TICKET_CONTRACT.md.

اتبعت منهجية التدقيق نهجاً هيكلياً تكرارياً مقتبساً من تقاليد فحص البرمجيات (تحديداً جولات المراجعة "walkthroughs" الخاصة بـ Weinberg وFreedman بدلاً من عمليات فحص Fagan الكاملة):

• المدقق: عملت الوكلاء الفرعية لنموذج Claude (وهي من نفس عائلة النماذج اللغوية التي صاغت المواصفات) كمفتشين.
• البروتوكول: أُجريت تسع جولات تدقيق متتالية على مدار خمسة أسابيع. تطور البروتوكول خلال الدراسة: ركزت الجولات المبكرة على الفحوصات الهيكلية لكل ملف، بينما قامت الجولات اللاحقة بتحميل مواصفات المنتج والمستهلك معاً لإجراء مقارنات بين المسارات.
• قائمة التحقق: وجهت قائمة تحقق ذات سبعة أبعاد الوكلاء، غطت اتساق الإصدارات، وتوافق عقود البيانات بين المسارات، وحدود أذونات Jira، واتفاقيات التسمية، وانتشار عدد المسارات، وتوافق وتيرة العمل (cadence)، والتناقضات الداخلية.
• معيار التقارب: انتهت الحلقة عندما سجل تدقيق النطاق الكامل (جميع الملفات الثمانية) صفر من النتائج (findings). تشير الدراسة إلى أن بروتوكول التدقيق تطور بالتوازي مع اكتشاف العيوب، مما يعني أن "وظيفة التدقيق" تغيرت عبر الجولات.

المساهمات الرئيسية
تقدم الورقة ثلاث مساهمات محدودة مستمدة حصرياً من الحالة الدراسية:

1. تصنيف العيوب (C1): تصنيف لاحق لسبع فئات من 51 عيباً تم اكتشافها، بما في ذلك قواعد برمجية صريحة وأمثلة نموذجية. الفئات هي: انحراف الإصدار (Version Drift)، مراجع Jira القديمة، عدم تطابق مخطط البيانات بين المسارات، تغطية التوسعات الحديثة المفقودة (المسار 7)، فجوات التسمية/العقد، النصوص المضللة دلالياً، وانحراف الصيغة/التوقيت.
2. سلوك التقارب الملحوظ (C2): بيانات تجريبية تظهر تقارباً غير رتيب (non-monotonic). كانت أعداد العيوب في كل جولة هي: 15، 8، 12، 2، 8، 1، 4، 1، و0. تفسر الورقة الزيادات في الجولتين 3 و5 ليس كحالات تراجع، بل كنتيجة لتوسيع نطاق التدقيق (على سبيل المثال، الانتقال من فحص الملف الواحد إلى فحص المسارات المتعددة) مما كشف عن تناقضات كانت محجوبة سابقاً.
3. بروتوكول التدقيق المستخلص (C3): بروتوكول قابل للتكرار، يتضمن قائمة تحقق مغلقة، وقالب أوامر (prompt template)، ومخطط للنتائج، ومعيار تقارب موصى به (مرور جولات نظيفة متتالية مرتين، وهو أكثر صرامة من قاعدة المرور الواحد المستخدمة في الدراسة).

النتائج

• اكتشاف العيوب: كشفت العملية التكرارية عن 51 عيباً متميزاً في اتساق مواصفات الأوامر. هذا يختلف عن الـ 51 نتيجة من نوع STRIDE المصنفة للعيوب البرمجية العدائية الواردة في ورقة بحثية مرافقة؛ حيث تركز الدراسة الحالية على اتساق المواصفات (مثل انحراف الإصدار والمراجع القديمة) بدلاً من الثغرات الأمنية وقت التشغيل.
• توزيع العيوب: كانت الفئة الأكثر انتشاراً هي مراجع Jira القديمة (12 عيباً، 23.5%)، مما يعكس تغييرات معمارية حيث تم إلغاء إنشاء تذاكر Jira من مسار معين. تم ترميز عدم تطابق مخطط البيانات بين المسارات (5 عيوب، 9.8%) كعيوب عالية الخطورة لأنها قد تسبب فشلاً صامتاً عند التشغيل (على سبيل المثال، قيام "المنتج" بإرسال priority_score بينما يتوقع "المستهلك" fix_priority).
• كثافة العيوب: حسبت الدراسة كثافة تبلغ حوالي 7.1 عيباً لكل ألف سطر من المواصفات.
• ديناميكيات التقارب: فات المراجعة أحادية الملف تماماً حالات عدم تطابق المخططات بين المسارات. لم تظهر هذه العيوب إلا في الجولات المتأخرة (4-8) عندما توسع نطاق التدقيق ليشمل الرؤية متعددة الملفات. لاحظت الدراسة أن إصلاح المشكلات الهيكلية في الجولات المبكرة أدى أحياناً إلى كشف تناقضات دلالية كانت محجوبة سابقاً.

الأهمية والادعاءات
تقدم الورقة ثلاثة ادعاءات متواضعة ومحدودة بالحالة الدراسية:

1. قصور مراجعة الملف الواحد: في هذا النظام، فاتت مراجعة الملف الواحد فئات من عيوب المستندات المتقاطعة بحكم البناء.
2. التقارب غير الرتيب: كان مسار التقارب الملحوظ غير رتيب، وهو ما يتوافق مع الفرضية القائلة بأن التعديلات المتتالية وتوسيع نطاق التدقيق يكشفان العيوب في موجات بدلاً من الانخفاض الخطي.
3. التطور المشترك للبروتوكول: تطور بروتوكول التدقيق نفسه مع الإصلاحات؛ والنسخة "المغلقة" المقدمة في الملحق هي الحالة الموصى بها للتكرار.

يصرح المؤلفون صراحةً بأن التعميم يتطلب التكرار باستخدام نماذج لغوية كبيرة مختلفة ومراجعين بشريين لاستبعاد نقاط العمى المشتركة (بما أن نفس عائلة النماذج اللغوية هي التي ألفت ودققت المواصفات). هم لا يدعون أن المراجعة شاملة النطاق من مرور واحد غير كافية عالمياً، بل يقولون إنها لم تُجرَ كعينة ضابطة في هذه الدراسة، وأن إنهاء العمل بمرور واحد كان سيترك العيوب المكتشفة لاحقاً دون حل بموجب البروتوكول المحدد لديهم. تضع الدراسة مواصفات الأوامر كقطع برمجية (artifacts) تتطلب أساليب دورة حياة وتدقيقاً تكرارياً، متميزة عن الاختبار التقليدي أو التحسين الذاتي أحادي السياق.