Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

ملخص تقني: بنية احتمالية ثلاثية الطبقات قائمة على مبدأ "الافتراض والضمان" لنشر وكلاء النماذج اللغوية الكبيرة (LLM) بأمان

1. بيان المشكلة

يمثل نشر وكلاء النماذج اللغوية الكبيرة (LLM) في البيئات الحرجة للسلامة تحديًا هيكليًا لضمان التشغيل وقت التنفيذ (runtime assurance)، وهو تحدٍ لا يمكن حله عبر آليات إنفاذ أحادية الطبقة. فخلافًا لتوليد النصوص الثابت، ينخرط وكلاء الـ LLM في تنفيذ حلقي مغلق حيث تؤثر الخطط المولدة على العالم المادي والملاحظات المستقبلية. وتجادل الورقة بأن التشغيل الآمن يتطلب تلبية ثلاثة أبعاد متميزة في آن واحد:

1. النية الدلالية والامتثال للسياسات: التوافق مع تعليمات المستخدم، والقيود الأخلاقية، وقواعد المجال.
2. صلاحية البيئة: التحقق من أن حالة العالم الحالية تقع ضمن نطاق التصميم التشغيلي (ODD).
3. الجدوى الديناميكية: ضمان أن مسار التنفيذ يستوفي قيود السلامة الفيزيائية (مثل تجنب الاصطدام، أو حدود القوة).

تكمن المشكلة الجوهرية في أن هذه الأبعاد الثلاثة تعتمد على مجموعات معلومات متباينة تمامًا تصبح متاحة في مراحل مختلفة من التنفيذ. فالنية الدلالية تُعرف مسبقًا (a priori)؛ وصلاحية البيئة تتطلب بيانات استشعار وقت التنفيذ؛ أما الجدوى الدينامية فتعتد بمسار حلقة التحكم أثناء التنفيذ. وتفترض الورقة أن أي بنية تدمج هذه الأبعاد في طبقة تجريد واحدة ستؤدي بالضرورة إلى ترك بُعد واحد على الأقل دون تصديق، حيث لا يمكن لأي حاجز حماية واحد الوصول إلى المعلومات اللازمة لجميع هذه الأبعاد في وقت واحد. وتدعم الأدلة التجريبية من الاختبارات المعيارية (مثل AgentSafetyBench) هذا الطرح، حيث تُظهر أن إخفاقات السلامة تتركز في الأبعاد البيئية والفيزيائية التي تقع خارج نطاق الضوابط الدلالية البحتة.

2. المنهجية: بنية العقود ثلاثية الطبقات

لمعالجة هذا القصور الهيكلي، تقترح الورقة بنية احتمالية ثلاثية الطبوات قائمة على "الافتراض والضمان" (Assume–Guarantee - A/G). يعامل هذا الإطار السلامة ليس كإثبات حتمي، بل كتركيب لعقود احتمالية، حيث تفرض كل طبقة بُعدًا محددًا من أبعاد السلامة بناءً على المعلومات المتاحة في تلك المرحلة.

تتكون البنية من ثلاث طبقات متتالية، تُعرف كل منها بعقد $\Sigma_i = (A_i, \Gamma_i)$، حيث $A_i$ هو افتراض بشأن المدخلات و$\Gamma_i$ هو ضمان احتمالي بشأن المخرجات:

• الطبقة الأولى: طبقة ضمان المستخدم ($\Sigma_U$)

  • مجموعة المعلومات ($I_U$): نية المستخدم، السياسة، البيانات الوصفية للدور، والقواعد الأخلاقية. لا تتوفر أي ملاحظات عن العالم هنا.
  • الوظيفة: التحقق من توافق الخطة المولدة $p$ دلاليًا (مع الإدراك، واللوائح، والأخلاقيات) ومع تفويض المستخدم.
  • العقد: إذا كان الطلب مصرحًا به ($A_U$)، تضمن الطبقة أن الخطة تستهدف فقط المواقع المصرح بها ولا تحتوي على انتهاكات للسياسة ($\Gamma_U$). ويعمل هذا الضمان كافتراض للطبقة التالية.
  • الآلية: تستخدم أساليب عصبية-رمزية (neural-symbolic) لصياغة المقاصد والسياسات غير الرسمية في قوالب رسمية.

• الطبقة الثانية: طبقة الضمان التشغيلي ($\Sigma_O$)

  • مجموعة المعلومات ($I_O$): الحالة التقديرية للعالم $\hat{w}$، بيانات الاستشعار $\xi$، ومواصفات نطاق التصميم التشغيلي (ODD).
  • الوظيفة: تحديد ما إذا كان الوكيل معتمدًا للعمل في حالة العالم الحالية وتحديد نطاق الاستقلالية (مثل حدود السرعة، أو الأفعال المسموح بها).
  • العقد: بافتراض أن الخطة قد اجتازت طبقة المستخدم ($A_O \equiv \Gamma_U$)، تضمن الطبقة بقاء التنفيذ ضمن نطاق التصميم التشغيلي ($W_{ODD}$) وأن الخطط الفرعية التي تنتهك قيود الـ ODD سيتم حظرها ($\Gamma_O$).
  • الآلية: توظف فحوصات صلاحية حتمية لتقديرات حالة العالم لضمان القابلية للتدقيق، مع معالجة عدم اليقين الاحتمالي في المراحل السابقة.

• الطبقة الثالثة: طبقة الضمان الوظيفي ($\Sigma_F$)

  • مجموعة المعلومات ($I_F$): مسارات الحالة الكاملة $x(t)$، مدخلات التحكم $u(t)$، وديناميكيات النظام.
  • الوظيفة: فرض السلامة عند تردد حلقة التحكم أثناء عملية التفعيل.
  • العقد: بافتراض صلاحية الطبقة التشغيلية ($A_F \equiv \Gamma_O$)، تضمن الطبقة عدم حدوث اصطدامات والالتزام بالقيود الفيزيائية (مثل حدود القوة) ($\Gamma_F$).
  • الآلية: تجمع بين المراقبة وقت التنفيذ القائمة على المواصفات (Signal Temporal Logic)، ودوال الحاجز التحكمي (Control Barrier Functions - CBFs) للتدخل الأدنى، والتخليق القائم على المحاكاة.

حدود السلامة التركيبية:
يتم اشتقاق احتمالية سلامة النظام عبر قاعدة السلسلة في الاحتمالات. وبما أن $\Gamma_U \implies A_O$ و $\Gamma_O \implies A_F$، فإن احتمال سلامة النظام هو:
$$Pr(\text{safe}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
حيث تمثل $p_{O|U}$ و $p_{F|OU}$ الاحتمالات الشرطية التي تعكس فعالية التصفية في الطبقات السابقة. تقدم الورقة أربعة توصيفات لهذا الحد (B1–B4)، تتراوح من حدود Fréchet–Bonferroni الدنيا المتحفظة (باستخدام الهوامش فقط) إلى تفكيك قاعدة السلسلة الدقيق (B4)، مما يسمح بتصديق معياري وطبقي.

3. المساهمات الرئيسية

• الحجة الهيكلية للطبقات الثلاث: تقدم الورقة برهانًا رسميًا (الملحق B) يثبت أن وجود ثلاث مراحل مصدق عليها بشكل مستقل هو أمر ضروري هيكليًا. وتوضح أن أي بنية تحتوي على أقل من ثلاث طبقات يجب أن إما تنتهك التسلسل الزمني السببي لتوافر المعلومات (مثل التصديق على السلامة التشغيلية قبل وجود بيانات الاستشعار) أو تعيد بناء الهيكل ثلاثي المراحل ضمن مكون واحد، مما يؤدي لفقدان القدرة على التحقق التركيبي.
• التفكيك القائم على المعلومات: بخلاف التصنيفات السابقة القائمة على نواتج خط الإنتاج (مثل الأهداف، الخطط، الأدوات)، فإن هذه البنية مدفوعة بـ الترتيب الزمني لتوافر المعلومات ($I_U \subset I_O \subset I_F$). يضمن هذا التمييز اعتماد عمليات التصديق على النطاق المعلوماتي الصحيح في كل مرحلة.
• إطار الافتراض والضمان الاحتمالي: تكيف الورقة عقود A/G مع الطبيعة غير المستقرة وغير المتماثلة (non-i.i.d.) لوكلاء الـ LLM. فهي تنتقل من الضمانات الثنائية إلى الحدود الاحتمالية، مدركة أن مخرجات الـ LLM هي بطبيعتها عشوائية والبيئات غير يقينية.
• حلقة الضمان ثنائية الاتجاه: صُممت البنية كحلقة حية حيث تنتقل إشارات السلامة ($s_F, s_O$) من الأسفل إلى الأعلى. فإذا اكتشفت طبقة دنيا انتهاكًا (مثل خطر اصطدام)، فإنها تحفز إعادة حساب الخطة في طبقة المستخدم، بدلًا من مجرد إيقاف التنفيذ.

4. النتائج والتحليل

باعتبارها ورقة وضع (position paper)، لا تقدم العمل نتائج تجريبية جديدة بل تجمع الأدبيات الموجودة لدعم ادعاءاتها الهيكلية:

• اتساق الاختبارات المعيارية: تشير الورقة إلى أن الوكلاء الحاليين (على سبيل المثال، في AgentSafetyBench) يفشلون بشكل كبير في السلامة السلوكية والبيئية (30.4%) مقارنة بسلامة المحتوى (68.4%)، مما يتوافق مع الحجة القائلة بأن الضوابب الدلالية أحادية الطبقة غير كافية.
• الحدود النظرية: تشتق الورقة الحدود الرياضية (B1–B4) لسلامة النظام. وتوضح عبر مثال مستمر (روبوت رعاية) أن حد قاعدة السلسلة (B4) يمكن أن يعطي احتمالات سلامة أعلى بكثير (مثل 0.857) مقارنة بضرب الهوامش الساذج (0.787) إذا كانت التصفية في الطبقات السابقة فعالة.
• تحليل الحساسية: يُظهر التحليل أن النظام حساس لأضعف طبقة؛ حيث يؤدي تدهور الاحتمالية في طبقة واحدة إلى تدهور حد النظام بأكمله بشكل ضربي، ولا يمكن لأي تقوية في الطبقات الأخرى تعويض الفجوة في إحدى الطبقات.

5. الأهمية والمشكلات المفتوحة

تزعم الورقة أن بنية الطبقات الثلاث المقترحة هي الحد الأدنى من هيكل التصديق الضروري لنشر وكلاء الـ LLM بأمان. وتجادل بأن المجال ينتج حاليًا آليات سلامة بسرعة أكبر من البنية التحتية النظرية اللازمة لتركيبها وتصديقها.

تحدد الورقة صراحةً ثلاث مشكلات مفتوحة يجب حلها للانتقال من هذا الإطار النظري إلى معيار قابل للنشر:

1. تقدير الحد من المسارات غير المتماثلة (Non-I.I.D.): تفشل الطرق الإحصائية القياسية (مثل حدود PAC) لأن مسارات الـ LLM غير مستقرة وتعتمد على بعضها البعض. هناك حاجة إلى طرق جديدة (مثل حدود Martingale، أو التنبؤ التوافقي للبيانات غير المتبادلة) لتقدير الاحتمالات الشرطية $p_{O|U}$ و $p_{F|OU}$.
2. التدهور التدريجي تحت تأثير انحراف النشر: العقود الحالية هشة؛ فإذا انتُهكت الافتراضات، تصبح الضمانات فارغة المعنى. تقترح الورقة "عقودًا قوية" تسم تسمح بتدهور تناسبي في الضمانات عند انتهاك الافتراضات طفيفًا، مما يسمح بالتشغيل المنضبط أثناء التحولات التوزيعية.
3. التوسع في بيئات متعددة الوكلاء: يعالج الإطار الحالي وكيلًا واحدًا. أما أنظمة الوكلاء المتعددين فتطرح أنماط فشل جديدة (مثل التلاعب بالاعتقادات بين الوكلاء) تتطلب مجال معلومات رابعًا (مصدر الرسائل بين الوكلاء) وهيكل تصديق معدل.

ختامًا، تؤكد الورقة أن النشر الآمن لوكلاء الـ LLM ليس مجرد تحدٍ هندسي لبناء ضوابط أقوى، بل هو مطلب هيكلي لبنية مرحلية قائمة على العقود تحترم الترتيب السببي للمعلومات. يوفر الإطار المقترح الأساس النظري اللازم للتصديق على السلامة التركيبية والمجزأة في البيئات الديناميكية وغير اليقينية.