Governance by Construction for Generalist Agents
تقدم هذه الورقة نظام CUGA، وهو نظام معياري "للسياسة ككود" (policy-as-code) يدمج الحوكمة مباشرة في مسار تنفيذ وكلاء النماذج اللغوية الكبيرة (LLM) العامين من خلال خمس نقاط تفتيش هيكلية، مما يتيح عمليات ذاتية القيادة آمنة وقابلة للتدقيق ومتوافقة في بيئات المؤسسات دون الحاجة إلى ضبط دقيق للنماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مساعداً شخصياً عبقرياً، فائق السرعة، ولكنه فوضوي قليلاً ليدير عملك. هذا المساعد (الذي يسمى "الوكيل العام") ذكي للغاية ويمكنه تعلم استخدام أي أداة في مكتبك، من بريدك الإلكتروني إلى قاعدة بيانات البنك الخاصة بك. ومع ذلك، نظرًا لحماسه الشديد للمساعدة، قد يحذف ملفات خاطئة عن طريق الخطأ، أو يشارك كلمات مرور سرية، أو يحاول القيام بأشياء تنتهك قواعد الشركة.
تقدم ورقة بحثية بعنوان "الحوكمة عبر البناء للوكلاء العامين" (Governance by Construction for Generalist Agents) حلاً يسمى CUGA. فكر في CUGA ليس كوسيلة لإعادة تدريب المساعد ليكون "أفضل"، بل كـ حزام أمان ذكي وغير مرئي تقوم بتثبيته عليه قبل أن يبدأ العمل. هذا الحزام لا يغير كيفية تفكير المساعد؛ بل يضمن فقط أنه يتبع القواعد أثناء تفكيره وتصرفه.
إليك كيف يعمل "حزام الأمان" هذا، مقسماً إلى خمس نقاط تفتيش بسيطة:
1. الحارس عند الباب (حارس النوايا - Intent Guard)
قبل أن يمسك المساعد بأي أداة، يقوم حارس النوايا بالتحقق مما يحاول القيام به.
- التشبيه: تخيل حارساً عند مدخل ملهى ليلي. إذا حاولت الدخول بسلاح أو هوية مزورة، سيوقفك الحارس فوراً.
- في الورقة البحثية: إذا طلب المستخدم من الوكيل "حذف جميع جهات الاتصال في قاعدة البيانات"، سيرى الحارس هذا الطلب الخطير ويغلق الباب فوراً. لن تُتاح للوكيل حتى الفرصة للتفكير في كيفية القيام بذلك.
2. الوصفة خطوة بخطوة (كتيب التعليمات - Playbook)
بمجرد دخول الوكيل، يمنحه كتيب التعليمات وصفة محددة لاتباعها في المهام المعقدة.
- التشبيه: بدلاً من ترك الطاهي يخمن كيفية صنع "السوفليه"، تقدم له بطاقة وصفة صارمة تقول: "أولاً، اخلط البيض. ثانياً، سخّن الفرن. ثالثاً، تحقق من درجة الحرارة".
- في الورقة البحثية: إذا طلب مستخدم "البحث عن طبيب"، فإن كتيب التعليمات يجبر الوكيل على اتباع تسلسل صارم: تحقق من التأمين أولاً، ثم ابحث عن رمز الطبيب، ثم ابحث في القائمة. هذا يمنع الوكيل من تخطي الخطوات أو اختلاق حقائق.
3. دليل الأداة (دليل الأداة - Tool Guide)
عندما يمسك الوكيل بأداة (مثل قاعدة بيانات أو محرك بحث)، يقوم دليل الأداة بتحديث الدليل الذي يقرأه.
- التشبيه: تخيل أنك تستخدم مثقاباً كهربائياً. دليل الأداة يشبه ملاحظة لاصقة على المثقاب تقول: "تحذير: لا تستخدمه على الخشب المبلل، وارتدِ دائماً نظارات السلامة".
- في الورقة البحثية: يقوم بإضافة تعليمات إضافية للأدوات التي يستخدمها الوكيل، لتذكيره بقواعد السلامة أو بطرق محددة لاستخدام الأداة بشكل صحيح، مما يضمن عدم إساءة استخدامه لها.
4. زر التوقف البشري (الموافقة على الأداة - Tool Approval)
بالنسبة للإجراءات الخطيرة، يضغط النظام على زر التوقف وينتظر من المدير البشري قول "انطلق".
- التشبيه: يشبه الأمر لعبة فيديو حيث، إذا حاولت تفجير جسر، تتوقف اللعبة وتسأل: "هل أنت متأكد أنك تريد القيام بذلك؟ اضغط 'نعم' للاستمرار".
- في الورقة البحثية: إذا حاول الوكيل حذف قاعدة بيانات أو إرسال بريد إلكتروني حساس، يتوقف النظام. يجب على الإنسان النقر صراحةً على "موافقة" قبل تنفيذ الإجراء. هذا يمنع الدمار العرضي.
5. المحرر (منسق المخرجات - Output Formatter)
أخيراً، قبل أن يرسل الوكيل الإجابة إليك، يقوم منسق المخرجات بفحص الرسالة النهائية.
- التشبيه: يشبه الأمر محرراً يأخذ مسودة أولية ويتأكد من تنسيقها بشكل صحيح، ويزيل أي أخطاء مطبعية عرضية، ويضمن أنها تبدو احترافية.
- في الورقة البحثية: يضمن أن الإجابة النهائية مهيكلة بشكل جيد (مثل جدول أو قائمة واضحة) ويقوم بتصفية أي معلومات لا ينبغي مشاركتها.
لماذا هذا مهم (النتائج)
اختبر المؤلفون هذا النظام في سيناريوهين واقعيين للأعمال:
- الرعاية الصحية: البحث عن الأطباء والتحقق من التأمين.
- العمليات التجارية: التعامل مع المهام المكتبية الخلفية المعقدة.
وجدوا أنه عندما أضافوا "حزام الأمان" هذا إلى نماذج ذكاء اصطناعي مختلفة (بما في ذلك النماذج مفتوحة المصدر)، أصبح الوكلاء أفضل بكثير في أداء مهامهم.
- بدون النظام، ارتكب الوكلاء أخطاءً، أو تخطوا خطوات، أو أصيبوا بالارتباك.
- مع النظام، اتبع الوكلاء القواعد بدقة. في أحد الاختبارات، قفزت نسبة النجاح من 75% إلى 100%.
الخلاصة الكبرى
الفكرة الرئيسية لهذه الورقة هي أنك لست بحاجة لبناء ذكاء اصطناعي "مثالي" من الصفر لجعله آمناً. بدلاً من ذلك، يمكنك بناء نظام حوكمة يحيط بالذكاء الاصطناعي، ليمسك بالأخطاء ويفرض القواعد في كل خطوة من خطوات العملية. هذا يجعل من السهل استخدام وكلاء الذكاء الاصطناعي القويين في الشركات الحقيقية دون القلق من أنهم قد يكسرون شيئاً ما بالخطأ أو يسربون الأسرار. هذا يحول المساعد "المتقلب" إلى موظف موثوق به وملتزم بالقواعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.