Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence
تُثبت هذه الورقة أن الافتراض القياسي للاستقلالية في موثوقية الوكلاء المتعددين معيب بشكل خطير بسبب معدلات الفشل المشترك العالية الخاصة بالنماذج، وتقترح طريقة اعتماد صالحة ذات عينة محدودة باستخدام البرمجة الخطية على العزوم المشتركة تتجنب عثرات كل من افتراضات الاستقلالية ونماذج التبعية الملائمة غير الموثوقة.
تخيل عالماً نبني فيه فرقاً من المساعدين الرقميين، أو "الوكلاء"، للقيام بمهام معقدة مثل إدارة الشؤون المالية، أو تشخيص الأمراض، أو كتابة الأكواد البرمجية. هؤلاء الوكلاء يشبهون روبوتات ذكية ولكنها معرضة للخطأ نوعاً ما. وللحفاظ على سلامتهم، نمنحهم كتب قواعد صارمة تسمى "العقود". إذا خرق الوكيل قاعدة ما، يحصل على بطاقة حمراء. الآن، تخيل أن لديك فريقاً من وكيلين يعملان معاً: أحدهما يكتب تقريراً، والآخر يراجعه. إذا ارتكب الكاتب خطأً، يجب على المراجع اكتشافه. وإذا ارتكب المراجع خطأً أيضاً، يفشل الفريق بأكمله.
لسنوات، قام المهندسون بحساب مدى موثوقية هذه الفرق باستخدام خدعة رياضية بسيطة: يأخذون موثوقية الكاتب، ويضربونها في موثوقية المراجع، وفجأة—لديهم درجة موثوقية الفريق. هذه الخدعة لا تعمل إلا إذا ارتكب الوكيلان أخطاءً بشكل مستقل تماماً عن بعضهما البعض، مثل شخصين يقلبان عملات معدنية. إذا استقرت عملة واحدة على الوجه، فلا ينبغي أن يغير ذلك احتمالية استقرار العملة الأخرى على الوجه. ولكن ماذا لو لم يكونا يقلبان عملات معدنية؟ ماذا لو كان كلاهما يستخدم نفس "الدماغ" (نفس النموذج الحاسوبي) للتفكير؟ إذا كان لدى هذا الدماغ نقطة عمياء، فمن المرجح أن يتعثر كلا الوكيلين في نفس الصخرة في الوقت نفسه. تسأل هذه الورقة سؤالاً كبيساً: هل هذه الخدعة الرياضية البسيطة تكذب علينا في الواقع؟
قرر مؤلفو هذه الورقة اختبار هذه الفكرة من خلال تجربة ضخمة تتضمن 18,000 مهمة رقمية. لقد أنشأوا فرقاً من الوكلاء وراقبوا ليروا ما إذا كانوا سيفشلون معاً. وجدوا شيئاً مفاجئاً ومخيفاً بعض الشيء: عندما يستخدم وكيلان نفس "الدماغ"، فإنهما يفشلان معاً بنسبة 90% تقريباً في كل مرة يفشل فيها أحدهما. الأمر يشبه إذا نسيت أنت وتوأمك إحضار غدائكما؛ إذا نسيته أنت، فمن المؤكد تقريباً أن توأمك قد نسيه أيضاً. ولأن لديهما نفس النقاط العمياء، فإن الخدعة الرياضية البسيطة المتمثلة في ضرب درجات موثوقيتهما تعطي رقماً مرتفعاً جداً ومتفائلاً للغاية. الفريق في الواقع أكثر عرضة للفشل مما يقوله الحساب.
تحاول الورقة أيضاً حل هذه المشكلة. إنهم يظهرون أن مجرد تخمين صيغة رياضية جديدة لإصلاح مشكلة "الدماغ المشترك" لا يعمل جيداً، خاصة كلما حصلت على المزيد من البيانات؛ بل في الواقع، كلما زادت البيانات التي تملكها، زاد تأكدك من الإجابة الخاطئة. بدلاً من ذلك، يقترحون طريقة جديدة وأكثر أماناً لحساب الموثوقية. إنها تشبه "شبكة الأمان" التي لا تفترض استقلالية الوكلاء. لقد أثبتوا أنه من خلال النظر في عدد المرات التي يفشلون فيها الوكلاء معاً في الاختبارات الحقيقية، يمكنك بناء تصنيف سلامة أكثر صدقاً ودقة. كما أظهروا أنه إذا قمت بتغيير "دماغ" أحد الوكلاء فقط (حتى لو كان من نفس الشركة)، يصبح الفريق أكثر موثوقية لأن الوكيلين يتوقفان عن مشاركة نفس النقاط العمياء تماماً.
باختاً، هذه الورقة هي بمثابة جرس إنذار لأي شخص يبني فرقاً من وكلاء الذكاء الاصطناعي. إنها تثبت أنه إذا استخدمت نفس النموذج مرتين، فأنت لا تحصل حقاً على ضعف الأمان؛ بل تحصل فقط على ضعف خطر الوقوع في نفس الخطأ. يقدم المؤلفون طريقة أكثر صدقاً لقياس السلامة لا تعتمد على التمني، مما يضمن أنه عندما نثق في هذه الفرق الرقمية، فإننا نعرف بالضبط مدى احتمالية تعثرها.
ملخص تقني: عقود سلوك الوكلاء II
بيان المشكلة تعتمد الأطر الحالية لتوثيق موثوقية الأنظمة متعددة الوكلاء على نهج تركيبي: وضع حدود لموثوقية المكونات الفردية وضرب هذه الحدود لاستخلاص ضمان على مستوى النظام. هذه الخطوة مرخصة بموجب فرضية الاستقلال الشرطي (C5)، التي تفترض أن تلبية عقد الوكيل اللاحق مستقلة عن تنفيذ الوكيل السابق في حال وجود تسليم متوافق. يجادل المؤلفون بأن هذه الفرضية تُذكر بشكل روتيني ولكن نادراً ما تُختبر، وهي غير منطقية بشكل خاص عندما تتشارك الوكلاء المتكررة (مثل الكاتب والمراجع) في نفس أوزان النموذج الأساسي. إذا تشاركت المكونات نموذجاً واحداً، فإنها تتشارك في "نقاط العمى"، مما يؤدي إلى اعتماد إيجابي في الإخفاقات. يوضح البحث أن تجاهل هذا الاعتماد يؤدي إلى "خطأ مُوقع" (signed error) يعمل ضد المشغل: فالاعتماد الإيجابي يضخم احتمالات الفشل المشترك فوق حاصل ضرب الاستقلال، مما يجعل التصاميم المتكررة تُمنح ائتماناً مبالغاً فيه في اللحظات التي تكون فيها في أمس الحاجة إليها.
علاوة على ذلك، يحدد البحث أن "الإصلاحات" القياسية غير كافية:
إسقاط الفرضية تماماً يؤدي إلى حدود "فريهيت-هوفرينج" (Fréchet–Hoeffding)، والتي غالباً ما تكون فارغة (أرضية معتمدة عند الصفر) عندما تنخفض موثوقية المكون المتوسطة عن 1−1/m.
ملاءمة نموذج اعتماد معلمي (مثل كوبولا غاوسية أحادية العامل) هو أمر أسوأ؛ حيث يثبت المؤلفون أنه مع زيادة حجم العينة n→∞، فإن تغطية الحد الأدنى لـ "بوتستراب" (bootstrap) لنموذج مغلوط وظيفياً تنهار إلى الصفر. تظل فجوة التحديد من رتبة O(1) بينما تتقلص حالة عدم اليقين في البوتستراب كـ O(n−1/2)، مما يعني أن المزيد من البيانات تجعل الشهادة خاطئة بثقة دون أي عرض مرئي.
المنهجية يستخدم البحث تصميماً تجريبياً صارماً ومسجلاً مسبقاً مع إطار عمل جديد للتوثيق في العينات المحدودة.
التصميم التجريبي: أجرى المؤلفون حملة تضم 30,820 مهمة عبر 12 ذراعاً، مع نواة تأكيدية مكونة من 18,000 مهمة في طوبولوجيا تسليم بين وكيلين. قاموا بالتلاعب بـ "شرط المشاركة" عند ثلاثة مستويات:
نفس النموذج: كلا الوكيلين يشغلان mistral-small-24b.
نفس المورد: الوكيلان يشغلان نماذج مختلفة من نفس المورد (mistral-small-24b مقابل ministral-8b).
مورد مختلف: الوكيلان يشغلان نماذج من موردين مختلفين. كان التقييم حتمياً (كود ذهبي) دون وجود نموذج لغوي كبير (LLM) في حلقة التحكيم لمنع الارتباط المستحث.
إطار التوثيق (نهج متعدد المستويات):
المستوى 0 (الملاحظ): حد "كلوبر-بيرسون" السفلي المباشر لنتيجة الرسم البياني الملاحظة (يتطلب تنفيذاً كاملاً من البداية للنهاية).
المستوى 1 (المستقل عن الكوبولا): شهادة عينة محدودة تفترض عدم وجود هيكل اعتماد. وهي تصيغ برنامجاً خطياً (LP) على التوزيع المشترك لنتائج الوكلاء، مقيداً بصندوق "بونفيروني-كلوبر-بيرسون" حول لحظات التنفيذ المشترك المقاسة (الهوامش، والاقتران الثنائي، ولحظات النجاح المشترك من رتب أعلى). هذا النهج سليم، وحاد للمعلومات المقدمة، ورتيب في عائلة اللحظات تحت تخصيص معين.
المستوى 2 (القائم على النموذج): أرضية تشخيصية فقط بناءً على كوبولا غاوسية ملائمة، وهي ليست مستخدمة للتوثيق صراحةً بسبب انهيار التغطية المثبت.
التوثيق الصالح في أي وقت: لمعالجة واقع المراقبة المستمرة (التوقف الاختياري)، يقدم البحث عملية "e-process" قائمة على الاحتمالية نظرية الألعاب. تقيد هذه الشهادة فقط المتوسط الشرطي لنتيجة الرسم البياني، ولا تتطلب فرضية استقلال عبر المهام أو المكونات. وهي تستعيد اختبار نسبة الاحتمال المتتالي (SPRT) تماماً عند كسر المراهنة الأمثل.
النتائج الرئيسية
الفشل المرتبط: في حالة نفس_النموذج، يفشل نموذجان من نفس النموذج معاً في 90.0% من المهام التي يفشل فيها أي منهما (logOR=6.66، فاصل ثقة 95% [6.38, 7.00]). وهذا يؤكد أن مشاركة النموذج تسبب اعتماداً إيجابياً هائلاً.
النموذج مقابل المورد: استبدال نموذج مختلف يقلل بشكل كبير من الارتباط (6/6 تباينات عبر الطوبولوجيا كانت ذات دلالة إحصائية). ومع ذلك، فإن استبدال مورد مختلف (مع بقاء النماذج مختلفة) لم يقلل بشكل كبير من الارتباط. لم يكن متغير "المورد" متنبئاً موثوقاً لارتباط الفشل بمجرد اختلاف هوية النموذج.
حساسية الهامش: أظهرت إحصاءات الاعتماد الشائعة مثل تداخل "جاكارد"، وϕ، و"كندال τa" أنها محدودة بمعدلات فشل الهامش. في ظروف معينة، قلبت هذه الإحصاءات الترتيب الظاهري للظروف تماماً بسبب الاختلافات في معدلات فشل الهامش، بينما ظلت الإحصاءات الخالية من الهامش (مثل نسبة الأرجحية اللوغاريتمية، وYule's Q) متسقة.
تحسين التوثيق: إثراء مجموعة اللحظات من 10 دالات (الهوامش + الأزواج) إلى 14 (بإضافة الثلاثيات) على بيانات حقيقية ضيق الفترة المحددة بنسبة 85.7% ورفع الأرضية المعتمدة من 0.2455 إلى 0.4116.
انهيار النموذج: في تجربة محكومة، انخفضت تغطية الأرضية القائمة على النموذج من 0.36 إلى 0.01 مع زيادة حجم العينة من 250 إلى 2000 تحت حالة خطأ في التوصيف غير متمايز في اللحظات، بينما حافظت أرضية المستوى الأول المستقلة عن الكوبولا على تغطية بنسبة 100%.
الصلاحية في أي وقت: حافظ تنفيذ الـ "e-process" على معدل خطأ من النوع الأول قدره 0.0471 أو أقل عبر جميع كسور المراهنة المختبرة، حتى تحت التوقف التعسفي.
الأهمية والادعاءات يدعي البحث تقديم أول شهادة موثوقية في عينة محدودة ومستقلة عن الكوبولا لخطوط أنابيب الوكلاء المركبة التي لا تفترض الاستقلال. مساهمته الأساسية ليست مجرد اكتشاف أن النماذج المشتركة تفشل معاً (وهو ما فعلته أعمال متزامنة)، بل توفير حد سليم، حاد، وقابل للتنفيذ يتدهور بأمان عندما يكون الاعتماد غير مقاس، بدلاً من إنتاج رقم خاطئ بثقة صامتة.
يصرح المؤلفون صراحة بما لا يدعونه:
لا يدعون أنهم اكتشفوا أن النماذج المشتركة تفشل معاً لأول مرة.
لا يدعون وجود ترتيب ثلاثي المستويات للمشاركة (نفس النموذج > نفس المورد > مورد مختلف)، حيث فشل تباين مستوى المورد في التكرار.
لا يدعون أن الشهادة تتوسع مع عدد كبير من الوكلاء (m) دون تكلفة أسية، ولا أنها تنطبق على المجمّعات (aggregators) التي هي نفسها نماذج لغوية كبيرة.
لا يدعون أن النتائج تعمم على النماذج الرائدة (frontier models) أو مهام الحوار المفتوح، حيث اقتصر التقييم على نماذج متوسطة الحجم ومهام تجزئة مالية وتجزئة محددة.
يُقدم العمل كإجراء تصحيحي لـ "الفشل الصامت" لفرضيات الاستقلال في موثوقية الوكلاء المتعددين، وهو منهجية تجعل الفشل المرتبط قابلاً للقياس وتضمن أن الضمانات تتدهور بشفافية بدلاً من التدهور الصامت. تم إصدار جميع الأكواد، العقود، المولدات، والتسجيلات المسبقة تحت رخصة AGPL-3.0.