Delegation-Aware Runtime Contracts for Open LLM Multi-Agent Systems: Constraint Preservation, Capability Revocation, and State Recovery

تخيل عالماً لا تتحدث فيه مع روبوت ذكي واحد فحسب، بل مع فريق كامل من الروبوتات تعمل معاً. في هذا العالم، قد يقول روبوت "مدير": "مهلاً، اذهب أنت وابحث عن أفضل سعر لجهاز كمبيوتر محمول جديد"، ثم قد يقول ذلك الروبوت لروبوت ثالث: "اذهب أنت وتحقق من المواقع الإلكترونية". يُسمى هذا نظام الوكلاء المتعددين (multi-agent system). إنه يشبه سباق تتابع رقمي حيث يكون "العصا" التي تُمرر هي المهمة. ولكن الجزء الصعب هنا هو أنه عندما يسلم الروبوت الأول المهمة للروبوت الثاني، فإنه عادة ما يهمس بالتعليمات باللغة الإنجليزية العادية فقط. فإذا قال الروبوت الأول: "لا تنفق أكثر من 500 دولار"، فقد يسمع الروبوت الثاني: "ابحث عن كمبيوتر محمول" وينسى تماماً حد السعر. يحدث هذا لأن الحواسيب بارعة في اتباع القواعد، لكنها ليست بارعة دائماً في تذكر "التفاصيل الدقيقة" عند تمرير المحادثة. ويشعر العلماء بالقلق من أننا إذا تركنا فرق الروبوتات هذه تعمل بحرية دون قواعد أفضل، فقد ينفقون أموالنا بالخطأ، أو يسربون أسرارنا، أو يفعلون أشياء لم نطلبها منهم أبداً.

يقدم هذا البحث طريقة جديدة للتعامل مع عمليات تسليم المهام بين الروبوتات، تسمى DARC (العقود زمن التشغيل المدركة للتفويض). فكر في الأمر كأنك تعطي الروبوتات حقيبة ظهر خاصة غير قابلة للكسر بدلاً من مجرد همسة. في كل مرة يمرر فيها روبوت مهمة لروبوت آخر، فإنه لا يكتفي بقول "اذهب" فحسب، بل يسلمه عقداً رقمياً داخل تلك الحقيبة. هذا العقد يسرد بالضبط ما يُسمح للروبوت الجديد بفعله، وما لا يمكنه فعله، وكم من المال يمكنه إنفاقه، ومتى تنتهي صلاحية مهمته. يوضح البحث أنه إذا استخدمت هذه العقود، يمكنك إثبات رياضياً أن الروبوت الجديد لا يمكنه فجأة الحصول على قوة أكبر مما كان يمتلكه الروبوت السابق، ولا يمكنه نسيان حدود الميزانية. لقد بنى المؤلف نظاماً للتحقق من هذه الحقائب تلقائياً. ووجدوا أنه بدون هذه العقود، غالباً ما تختفي القواعد أثناء تمرير المهام، ولكن مع وجودها، تظل القواعد محصنة. ومع ذلك، يوضح البحث بحذر أنه بينما الأجزاء "الرياضية" (مثل حدود المال أو الحدود الزمنية) آمنة تماماً، فإن الأجزاء التي تتطلب فهم معاني اللغة البشرية (مثل "كن مهذباً") لا تزال صعبة وتحتاج إلى مزيد من الاختبار.

المشكلة: لعبة "الهاتف" لفرق الروبوتات

تخيل أنك تلعب لعبة "الهاتف" (الهمس) مع مجموعة من الأصدقاء. تهمس بسر لأول شخص، الذي يهمس به للشخص التالي، وهكذا. وبحلول الوقت الذي يصل فيه السر إلى الشخص الأخير، يكون قد تغير عادةً. ربما تتحول جملة "لا تأكل الكعكة" إلى "كل الكعكة!".

في عالم الذكاء الاصطناعي، هذا هو بالضبط ما يحدث عندما يعمل فريق من وكلاء النماذج اللغوية الكبيرة (LLMs) معاً. يقوم وكيل واحد (المدير) بإعطاء مهمة لوكيل آخر (العامل). قد يقول المدير: "ابحث عن مورد، ولكن لا تنفق أكثر من 1,000 دولار ولا تظهر قائمة موظفينا لأي أحد". يسمع العامل هذا ويمرر المهمة لوكيل ثالث (متصفح الويب). ولكن لأن الرسالة هي مجرد نص عادي، فقد يسمع الوكيل الثالث فقط: "ابحث عن مورد". وهكذا، يختفي حد الميزانية وقاعدة الخصوصية في الهواء!

هذا أمر خطير. إذا كانت فرق الروبوتات تدير ميزانية شركة أو تتعامل مع بيانات خاصة، فإن فقدان هذه القواعد يعني أن الروبوتات قد تنفق الملايين بالخطأ أو تسرب الأسرار. المشكلة ليست في أن الروبوتات "سيئة"؛ بل في أن الطريقة التي يتواصلون بها مع بعضهم البعض تعامل قواعد السلامة المهمة كأنها اقتراحات اختيارية بدلاً من كونها قوانين صارمة.

الحل: الحقيبة غير القابلة للكسر (DARC)

يقترح مؤلف هذا البحث، بقيادة فيناي باميل، حلاً يسمى DARC. بدلاً من مجرد تمرير رسالة نصية، يجب على كل وكيل عند تفويض مهمة أن يسلم عقداً للتفويض.

فكر في هذا العقد كحقيبة ظهر خاصة وغير قابلة للكسر تأتي مع المهمة. داخل هذه الحقيبة، توجد ملصقات واضحة يمكن للآلة قراءتها تقول:

• ما يمكنك فعله: (مثلاً: "يمكنك التحقق من الأسعار، ولكن لا يمكنك شراء أي شيء.")
• ما لا يمكنك فعله: (مثلاً: "لا يمكنك الاطلاع على سجلات الموظفين.")
• الميزانية: (مثلاً: "لديك بالضبط 500 دولار متبقية للإنفاق.")
• الصلاحية: (مثلاً: "هذه المهمة صالحة لمدة ساعة واحدة فقط.")
• السجل: (مثلاً: "هذه المهمة جاءت من الوكيل (أ)، الذي حصل عليها من المدير.")

سحر نظام DARC يكمن في أنه يعامل هذه القواعد كـ رياضيات، وليس مجرد كلمات. عندما يحاول روبوت تمرير مهمة لروبوت جديد، يقوم "الوسيط" (حارس السلامة) بفحص الحقيبة. إذا حاول الروبوت الجديد أخذ قاعدة لم تكن موجودة، أو إذا حاول إضافة قوة جديدة لم تكن لديه، يقول الحارس: "لا!" ويوقف عملية التسليم.

كيف يعمل الأمر: حارس السلامة والحقيبة

يعمل النظام في ثلاث مراحل رئيسية، مثل نقطة تفتيش في المطار:

1. التسليم (الوسيط): عندما يريد الوكيل (أ) إعطاء مهمة للوكيل (ب)، يتحقق الوسيط من الحقيبة. ويتأكد من أن الوكيل (ب) لا يطلب قوة أكثر مما كان يمتلكه الوكيل (أ). إذا كان لدى الوكيل (أ) ميزانية قدرها 500 دولار، فلا يمكن للوكيل (ب) الحصول على ميزانية قدرها 600 دولار. وإذا كان لدى الوكيل (أ) قاعدة بشأن "عدم الاطلاع على بيانات الموظفين"، فيجب على الوكيل (ب) الحفاظ على تلك القاعدة. يتم بناء الحقيبة قبل تمرير المهمة، لذا فمن المستحيل نسيان القواعد.
2. الإجراء (البوابة): عندما يحاول الوكيل (ب) القيام بشيء ما بالفعل (مثل شراء كمبيوتر محمول أو قراءة ملف)، تتحقق البوابة من الحقيبة مرة أخرى. وتسأل: "هل لديك إذن للقيام بهذا؟ هل لديك ميزانية كافية متبقية؟ هل البيانات التي تحاول قراءتها مسموح بها؟" إذا كانت الإجابة لا، يتم حظر الإجراء فوراً.
3. التنظيف (متحكم الحوادث): ماذا لو تعرض روبوت للاختراق أو فقد السيطرة؟ يمكن للنظام "إلغاء" الحقيبة. إذا قال المدير: "أوقف الوكيل (ب)!"، فإن النظام لا يكتفي بإيقاف الوكيل (ب) فحسب؛ بل يتتبع تاريخ الحقيبة. ويجد كل روبوت أعطى الوكيل (ب) مهمة ويوقفه هو أيضاً. كما يقوم بوضع أي بيانات لمسها هؤلاء الروبوتات في الحجر الصحي، لضمان عدم انتشار "العدوى".

ما وجده المؤلف (وما لم يجده)

بنى المؤلف نموذجاً أولياً لهذا النظام واختبره بصرامة. وإليك ما اكتشفه:

• الرياضيات تعمل: لقد أثبتوا أنه إذا استخدمتم هذه العقود، فلا يمكن إسقاط القواعد بالخطأ. إذا تم تحديد الميزانية بـ 500 دولار، فستبقى 500 دولار (أو أقل) بغض النظر عن عدد مرات تمرير المهمة. وقد وجدوا أنه بدون هذا النظام، غالباً ما تختفي القواعد بعد بضع عمليات تمرير فقط.
• ثغرة "الإغفال": أثناء اختباراتهم، اكتشفوا ثغرة خفية. أدركوا أنه إذا نسي الروبوت "الأب" تدوين حد معين (مثل رقم الميزانية)، فقد يعتقد الروبوت "الابن" أن لديه مالاً غير محدود. قاموا بإصلاح ذلك بجعل قاعدة جديدة: إذا كان الحد مفقوداً، يجب على النظام افتراض أشد حد ممكن (مثل 0 دولار) ليكون آمناً. هذا درس كبير في بناء ذكاء اصطناعي آمن.
• مشكلة "المعنى": النظام مثالي في التحقق من الأرقام والتواريخ والقواعد الواضحة. لكنه ليس مثالياً في فهم الفروق الدقيقة في اللغة البشرية. على سبيل المثال، إذا كانت القاعدة تقول "كن مهذباً"، فلا يمكن للنظام إثبات رياضياً ما إذا كان الروبوت مهذباً أم لا. يعترف المؤلف بأنه بالنسبة لهذه القواعد "القائمة على المعنى"، فإن نظامهم هو مجرد مراقب "بأفضل الجهود الممكنة"، وليس ضماناً مثالياً. إنهم صادقون بشأن هذا: يمكنهم إثبات أن الرياضيات تعمل، لكن لا يمكنهم بعد إثبات أن "اللباقة" تعمل.
• الاختبار: أجروا دراسة تجريبية لمعرفة مدى قدرة القاضي الآلي على رصد هذه الأخطاء. ومع ذلك، لم يجتز القاضي اختبار الاتفاق الصارم الخاص بهم بعد. لذا، فهم لا يدعون أنهم حلوا مشكلة "اللباقة" بعد؛ بل يظهرون فقط أن نظامهم يمكنه تتبع هذه المشكلات وأن هناك حاجة لمزيد من الاختبارات.

لماذا يهم هذا الأمر

هذا البحث هو جسر بين عالمين: العالم القديم للأمن الحاسوبي الصارم (حيث القواعد صلبة وغير قابلة للكسر) والعالم الجديد لفرق الذكاء الاصطناعي المرنة (حيث تتحدث الروبوتات بلغة طبيعية).

يوضح المؤلف أنه لا يمكننا ترك روبوتات الذكاء الاصطناعي تتحدث مع بعضها البعض بحرية إذا أردنا لها أن تكون آمنة. نحن بحاجة إلى منحها "عقداً" يسافر مع المهمة. وهذا يضمن أنه حتى لو كانت الروبوتات ثرثارة ومبدعة، فلا يمكنها كسر القواعد التي وضعناها لها.

وعلى الرغم من أن النظام ليس مثالياً بعد (خاصة فيما يتعلق بفهم المعاني البشرية المعقدة)، إلا أنه يوفر أساساً متيناً. فهو يثبت أنه يمكننا بناء فرق ذكاء اصطناعي قوية ولكن آمنة أيضاً، تحافظ على أموالنا وأسرارنا، من خلال التعامل مع كل عملية تسليم كعقد جدي ومُدقق بدلاً من مجرد همسة في الظلام.