💻 computer science

Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents

تقترح هذه الورقة "مبدأ الحيوية المعلوماتية" وإطار عمل "RiskGate"، المرتكزين على نظرية الحيوية لأوبن، لتمكين الحوكمة التكيفية في وقت التشغيل للوكلاء المستقلين للذكاء الاصطناعي عبر تقدير حدود المخاطر غير المرصودة وفرض قيود رتيبة لضمان السلامة رغم انحراف السلوك والتكيف العدائي.

المؤلفون الأصليون: German Marin, Jatin Chaudhary

نُشر 2026-04-28

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: German Marin, Jatin Chaudhary

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك استأجرت مساعداً آلياً (روبوت) ذكياً للغاية ومستقلاً لإدارة حسابك البنكي، وجدولة مواعيدك، وطلب البقالة الخاصة بك. لقد منحته الإذن الكامل للتصرف. ولكن تكمن المشكلة هنا في أنه حتى لو لم تقم بتغيير الكود البرمجي أبداً، فقد يبدأ الروبوت ببطء في اتخاذ قرارات سيئة. قد يرتبك أمام أنواع جديدة من الطلبات، أو يبدأ في تفضيل مجموعات معينة من الناس على غيرهم، أو قد يجمع عن طريق الخطأ سلسلة من الإجراءات الصغيرة غير الضارة التي تتحول في النهاية إلى عملية احتيال ضخمة.

تقترح هذه الورقة البحثية، بعنوان "حكم ما لا يمكنك مراقبته" (Governing What You Cannot Observe)، طريقة جديدة للحفاظ على سلامة وكلاء الذكاء الاصطناعي هؤلاء. وبدلاً من مجرد التحقق مما إذا كان إجراء واحد مسموحاً به، تقترح الورقة مراقبة "العلامات الحيوية" للوكيل للتنبؤ بما إذا كان على وشك "المرض" قبل أن ينهار فعلياً.

إليك تفصيل لأفكارهم باستخدام تشبيهات بسيطة:

1. المشكلة الجوهرية: "الانجراف الصامت" (The Silent Drift)

فكر في وكيل الذكاء الاصطناعي مثل سيارة تسير على طريق سريع.

الطريقة القديمة: أنت تتحقق من السيارة قبل كل منعطف. "هل هذا المنعطف قانوني؟" إذا كان نعم، تتركها تذهب.
المشكلة: قد تتآكل إطارات السيارة ببطء، أو قد يصبح مزيج الوقود غير دقيق قليلاً، أو قد يتعب السائق. حتى لو كان كل منعطف بمفرده قانونياً، فقد تنتهي السيارة بالتحطم في النهاية بسبب هذه التغييرات البطيئة وغير المرئية.
رؤية الورقة: لا يمكنك فقط النظر إلى المنعطف الحالي؛ بل يجب عليك تقدير "المخاطر غير المرئية" (Unobserved Risk). وهي الخطر الذي لا يمكنك رؤيته الآن، ولكنه سيكون موجوداً بعد بضع دقائق.

2. القاعدة الجديدة: "هامش الأمان" (The Safety Margin)

يقترح المؤلفون قاعدة بسيطة تسمى "مبدأ الصلاحية المعلوماتية" (Informational Viability Principle). تخيل أن لدى الذكاء الاصطناعي "ميزانية أمان".

القدرة (S): مدى جودة أداء الذكاء الاصطناعي الآن (على سبيل المثال، مدى إجابته على الأسئلة بشكل صحيح).
حد المخاطر (B): الخطر المقدر للأشياء التي لا يمكنك رؤيتها بعد (على سبيل المثال، بدأ الذكاء الاصطناعي ببطء في الهلوسة أو التحيز).
القاعدة: يُسمح للذكاء الاصطناعي بالعمل فقط إذا كانت قدرته أكبر من مخاطره بهامش آمن.
- تشبيه: أنت لا تقود السيارة إلا إذا كان خزان الوقود (القدرة) ممتلئاً بشكل كبير مقارنة بالمسافة إلى محطة الوقود التالية (المخاطر). إذا أصبحت الفجوة صغيرة جداً، تتوقف عن القيادة، حتى لو بدت السيارة جيدة في هذه اللحظة تحديداً.

3. المخاطر الثلاثة الخفية (حد المخاطر)

تقسم الورقة هذا الخطر غير المرئي إلى ثلاثة أنواع محددة من "الأمراض" التي قد يصاب بها الذكاء الاصطناعي:

U(x) - "الارتباك" (عدم اليقين/Uncertainty): الذكاء الاصطناعي ينسى ببطء ما كان يعرفه. ربما تغير العالم، أو حصل الذكاء الاصطناعي على تحديث برمجي جعله يتصرف بشكل مختلف.
- تشبيه: طباخ كان يصنع حساءً مثالياً، لكنه بدأ ببطء ينسى الوصفة، ويضيف رشة ملح زائدة كل يوم.
SB(x) - "عدم الإنصاف" (التحيز الهيكلي/Structural Bias): يعامل الذكاء الاصطناعي مجموعات مختلفة من الناس بشكل مختلف، حتى لو لم يكن ذلك عن قصد.
- تشبيه: حارس أمن عند ملهى ليلي يبدأ في السماح لـ 90% من الأشخاص من حي معين بالدخول، بينما يسمح لـ 10% فقط من حي آخر، رغم أن أحداً لم يخبره بذلك.
RG(x) - "الخدعة" (فجوة الواقع/Reality Gap): يقوم الذكاء الاصطناعي بأفعال تبدو آمنة إذا أُخذت منفردة، ولكنها خطيرة إذا وُضعت معاً.
- تشبيه: لص يسحب 4,900 دولار من صراف آلي خمس مرات متتالية. كل عملية سحب هي أقل من حد الـ 5,000 دولار الذي يطلق إنذاراً، لكن الإجمالي البالغ 24,500 دولار هو بوضوح عملية سرقة. يحتاج الذكاء الاصطناعي لرؤية القصة كاملة، وليس مجرد عملية السحب الواحدة.

4. الحل: "الطيار الآلي" و"مؤشر الصلاحية" (The Viability Index)

بنى المؤلفون نظاماً يسمى RiskGate لإدارة هذا الأمر. وهو يعمل كجهاز مراقبة صحي للذكاء الاصطناعي.

مؤشر الصلاحية (VI): هو رقم واحد (من -1 إلى +1) يخبرك بمدى صحة الذكاء الاصطناعي.
- +1: الذكاء الاصطناعي آمن للغاية.
- 0: الذكاء الاصطناعي يقف على الحافة.
- -1: الذكاء الاصطناعي في ورطة.
التنبؤ بالمستقبل (الاستباق/Anticipation): النظام لا ينتظر وقوع العطل في الذكاء الاصطناعي. بل يرسم خطاً عبر التاريخ الأخير لـ "مؤشر الصحة". إذا كان الخط يتجه للأسفل، فإنه يتنبأ متى سيصل الذكتم الاصطناعي إلى الصفر.
- تشبيه: طبيب ينظر إلى اتجاه درجة حرارة المريض. حتى لو كان المريض يشعر بخير الآن، إذا كانت درجة الحرارة ترتفع درجة واحدة كل ساعة، فإن الطبيب يعلم أن المريض سيصاب بالحمى خلال ساعتين ويتصرف قبل أن تصيبه الحمى فعلياً.
قاعدة "التضييق فقط" (التقييد الرتيب/Monotonic Restriction): هذه ميزة سلامة حاسمة. إذا بدأ الذكاء الاصطناعي في المرض، يمكن للنظام فقط تضييق القواعد (جعله أكثر حذراً). لا يمكنه أبداً تخفيف القواعد تلقائياً.
- تشبيه: إذا بدأت السفينة في استقبال المياه، يمكن للقبطان فقط إغلاق المزيد من الفتحات. لا يمكنه فتح المزيد من الفتحات "لإصلاح" المشكلة. إذا كانت السفينة تغرق بسرعة كبيرة، فإن الخيار الوحيد هو الضغط على "مفتاح الإيقاف" (إيقاف الذكاء الاصطناعي تماماً) وطلب المساعدة البشرية.

5. كيف يعمل في الحياة الواقعية (الأمثلة)

اختبرت الورقة ذلك في سيناريوهين:

عملية الاحتيال بـ "الهيكلة": يحاول شخص سيء سرقة المال عن طريق إجراء تحويلات صغيرة متعددة.
- النتيجة: لم ترَ كواشف "الارتباك" و"عدم الإنصاف" أي خطأ لأن كل تحويل بدا طبيعياً. لكن كاشف "الخدعة" (الذي ينظر إلى التسلسل الكامل) رأى النمط وأوقف السرقة.
عملية "التحيز الصامت": يبدأ ذكاء اصطناعي في رفض طلبات القروض من مجموعة أقلية معينة بشكل أكبر قليلاً، ببطء بمرور الوقت.
- النتيجة: لاحظ النظام أن "مؤشر الصحة" ينخفض ببطء. وتنبأ بأن الذكاء الاصطناعي سيصبح غير عادل في غضون 100 معاملة أخرى. فقام تلقائياً بتضييق القواعد قبل أن يتحول عدم الإنصاف إلى انتهاك قانوني.

ملخص

تجادل هذه الورقة بأن حوكمة الذكاء الاصطناعي لا تتعلق بالتحقق من قائمة "الأفعال والممنوعات" لكل إجراء على حدة. بل تتعلق بـ تقدير المخاطر غير المرئية التي تتراكم بمرور الوقت. ومن خلال الفصل بين ما يمكننا رؤيته (أفعال الذكاء الاصطناعي الحالية) وما لا يمكننا رؤيته (الانجراف البطيء نحو الخطر)، وباستخدام نظام لا يمكنه إلا أن يصبح أكثر صرامة (وليس أقل صرامة) عندما تبدو الأمور خطيرة، يمكننا الحفاظ على سلامة الوكلاء المستقلين قبل أن يتسببوا في ضرر حقيقي.

ما لا تدعيه الورقة:

لا تدعي أنها اختبرت هذا على ملايين وكلاء الذكاء الاصطناعي في العالم الحقيقي بعد (هذا مخطط له في أعمال مستقبلية).
لا تدعي أنها تحل كل مشاكل الذكاء الاصطناعي الممكنة (مثل "عدم توافق الأهداف" أو "الخداع")، ولكنها توفر إطاراً للإمساك بأكثر أنواع الانجراف والتحيز شيوعاً.
لا تقول إن الذكاء الاصطناعي يمكنه إصلاح نفسه؛ إذا انخفض "مؤشر الصحة" كثيراً، يتوقف النظام وينتظر مساعدة بشرية.

إليك ملخص تقني مفصل لورقة البحث المعنونة: "حكم ما لا يمكنك مراقبته: الحوكمة التكيفية لوقت التشغيل للوكلاء الذكيين المستقلين."

1. بيان المشكلة

تتناول الورقة فجوة حرجة في حوكمة الوكلاء الذكيين المستقلين (خاصة وكلاء النماذج اللغوية الكبيرة - LLM agents). فبينما توفر المنصات الحالية (مثل AWS، وMicrosoft، وGoogle) تفويضاً استاتيكياً (ثابتاً) يرتكز على الهوية (على سبيل المثال: "هل هذا الإجراء مسموح به؟")، إلا أنها تفشل في اكتشاف الانحراف السلوكي والمخاطر الناشئة التي تتطور بمرور الوقت دون تغيير في الكود البرمجي.

حدد المؤلفون ثلاثة أنماط فشل محددة تغفلها السياسات الثابتة:

عدم الاستقرار السلوكي (Behavioral Non-Stationarity): حيث تنزاح توزيعات سلوك الوكلاء بصمت نتيجة لتحديثات النماذج أو انحراف الأوامر (Prompt Drift).
المخاطر التركيبية (Compositional Risk): حيث تجتمع الإجراءات الحميدة الفردية (مثل التحويلات الصغيرة) لتشكل عملية احتيال (مثل هيكلة العمليات الاحتيالية - Structuring).
التمييز الناشئ (Emergent Discrimination): حيث يؤدي التعلم التكيفي إلى تضخيم عدم التوازن الأولي في البيانات ليصبح تحيزاً نظامياً.

الحلول الحالية (مثل الحواجز القائمة على القواعد، أو المقيمين المعتمدين على النماذج اللغوية الكبيرة، أو محركات السياسات الثاتبة) هي إما قابلة للالتفاف عليها، أو تسبب تأخراً في الاستجابة (Latency)، أو تفتقر إلى الذاكرة المتعلقة بالسلوك السابق. المشكلة الجوهرية هي أن الوكلاء يمكن أن يظلوا مفوضين بالكامل ومع ذلك يصبحون غير آمنين مع تراكم المخاطر غير المرصودة.

2. المنهجية الجوهرية: مبدأ الصلاحية المعلوماتية

تقترح الورقة إعادة صياغة نظرية للحوكمة بناءً على نظرية الصلاحية (Viability Theory) لأوبن (Aubin). والرؤية المركزية هي مبدأ الصلاحية المعلوماتية:

إن حوكمة وكيل مستقل تختزل في التقدير المستمر لحد المخاطر غير المرصودة ( $\hat{B}(x)$ ) والسماح بالإجراء فقط عندما تتجاوز القدرة المرصودة ( $S(x)$ ) هذا الحد بهامش أمان ( $\epsilon$ ).

قاعدة القرار:
$\text{Allow } x \iff S(x) \ge \hat{B}(x) + \epsilon$

تفكيك المخاطر غير المرصودة ( $\hat{B}(x)$ )

تفكك الورقة $\hat{B}(x)$ إلى ثلاثة حدود إحصائية متمايزة، يتطلب كل منها مقدِّرات (Estimators) محددة:

$U(x)$ (عدم اليقين/الانحراف التوزيعي): المخاطر الناتجة عن انحراف سلوك الوكيل بعيداً عن توزيعه المرجعي. ويُقدر عبر تباعد KL (KL Divergence) على نوافذ منزلقة من نتائج المعاملات واستدعاءات الأدوات.
$SB(x)$ (التحيز الهيكلي): المخاطر الناتجة عن التفاوتات النظامية في كيفية معاملة شرائح سكانية مختلفة. ويُقدر عبر اختبارات Z (Z-tests) للمقارنة بين شريحة معينة وبقية المجتمع (Two-proportion tests).
$RG(x)$ (فجوة الواقع/السياق التسلسلي): المخاطر الناتجة عن الأنماط التي تظهر فقط في التسلسلات (مثل هيكلة الاحتيال). ويُقدر عبر PlanGovernor (مطابقة الأنماط على سجلات الإجراءات).

إطار صلاحية الوكيل (AVF)

لتحويل هذا المبدأ إلى واقع تشغيلي، يحدد المؤلفون ثلاث خصائص ضرورية وكافية لنظام الحوكمة:

P1 (المراقبة): التقدير المستمر لـ $\hat{B}(x)$ عبر جميع القيود (يتطلب تاريخاً حالةً - Stateful History).
P2 (الاستباق): التنبؤ بالوقت المتبقي لتجاوز الحدود ( $t^*$ ) من خلال مراقبة معدل التغير ( $d\hat{B}/dt$ ) قبل وقوع الانتهاك.
P3 (التقييد الأحادي الاتجاه): يمكن للتدخلات فقط أن تُشدد القيود، ولا يمكنها أبداً تخفيفها. وهذا يحافظ على سلامة تقديرات المخاطر ضد التلاعب العدائي.

3. تنفيذ النظام: RiskGate

يقدم المؤلفون RiskGate، وهو نموذج مرجعي لإطار عمل AVF.

البنية الهيكلية: رسم بياني موجه غير حلقي (DAG) مكون من ثلاث طبقات: طبقة الحوكمة (المقدرات الإحصائية)، طبقة المجال (قواعد العمل)، وطبقة التجريد (واجهة برمجة تطبيقات السياسة).
المقدرات الإحصائية:
- تباعد KL ثنائي القناة: يراقب نتائج المعاملات واستدعاءات الأدوات بشكل منفصل مع تصحيح Bonferroni للتحكم في معدل الخطأ الإيجابي الكاذب (FPR) المشترك.
- العتبات التكيفية (D-UCB1): يستخدم خوارزمية الحد العلوي المخصوم (Discounted Upper Confidence Bound) لتحسين عتبات الكشف ديناميكياً، موازناً بين الإيجابيات الكاذبة والأنماط المفقودة.
- كشف التحيز: ينفذ اختبار Z (Segment-vs-rest) مع تصحيح التحيز الذاتي.
الطيار الآلي (خريطة التنظيم):
- تمت صياغته كنسخة من خريطة التنظيم (Regulation Map) الخاصة بأوبن ( $R_A$ ).
- يعمل على أساس "التشديد فقط". إذا اقترب النظام من حد الصلاحية، فإنه يقوم تلقائياً بتشديد العتبات.
- يتضمن مفتاح إيقاف (Kill Switch) كأداة تحكم مقبولة كملجأ أخير لضمان عدم تعثر النظام دون إجراء صالح.
الحوكمة التنبؤية:
- يحسب مؤشر الصلاحية (VI) حيث $VI(t) \in [-1, +1]$ .
- يستخدم انحدار المربعات الصغرى العادية (OLS regression) على قيم $VI$ الأخيرة للتنبؤ بـ $t^*$ (الوقت حتى تجاوز الحدود)، مما يحول الحوكمة من رد فعل إلى استباق.

4. المساهمات الرئيسية

الإطار النظري: يوحد مبدأ الصلاحية المعلوماتية المقدرات الإحصائية وخصائص الحوكمة تحت بنية رياضية واحدة، مما يشرح لماذا تعد المراقبة والاستباق والاتجاه الأحادي أموراً ضرورية.
إطار صلاحية الوكيل (AVF): تعريف رسمي لتدهور الوكيل (Senescence) والخصائص الثلاث (P1-P3) المطلوبة لمنع ذلك.
تنفيذ RiskGate: مكتبة بايثون كاملة تتميز بـ:
- كشف انحراف متعدد القنوات مع معايرة مونت كارلو.
- تحسين العتبات التكيفي عبر المخططات متعددة الأذرع (Multi-Armed Bandits).
- مسار أحادي الاتجاه حيث تكون القرارات تراكمية حصراً ( $D_{final} = \bigwedge D_i$ ).
- طيار آلي مغلق الحلقة مع ضمان رسمي لعدم خلو نوى الصلاحية (Non-empty viability kernels).
التحقق التحليلي:
- رسم خرائط التغطية: تم ربط الإطار بتصنيف فشل "وكلاء الفوضى" (11 حالة دراسية)، مما يظهر كيف تغطي الحدود الثلاثة لـ $\hat{B}(x)$ مختلف أنماط الفشل.
- نماذج تطبيقية:
  - هجوم الهيكلة: يوضح كيف يقوم $RG(x)$ (PlanGovernor) بحظر عمليات الاحتيال التي قد تغفل عنها $U(x)$ والقواعد الثابتة.
  - التحيز الناشئ: يوضح كيف يكتشف $P2$ (الاستباق) انحراف التحيز قبل 108 عمليات من اكتشافه عبر اختبار Z التفاعلي.

5. النتائج والتقييم

ملاحظة: تنص الورقة صراحة على أن التقييم التجريبي الكمي (مقاسات معدلات الكشف، زمن التأخير، العائد على الاستثمار) مدرج كعمل مستقبلي. النتائج الحالية هي تحليلية ونظرية.
التغطية التحليلية: نجح الإطار في الربط مع 11 حالة فشل موثقة من Shapira et al. [23]، مما يثبت أنه لا يوجد مقدر واحد يغطي جميع المخاطر؛ بل يتطلب الأمر تركيب $U(x)$ و $SB(x)$ و $RG(x)$ .
التقارب: تتوافق استراتيجيات تقليل الانحراف في RiskGate مع نتائج Rath [21]، مما يشير إلى أن الاستراتيجيات المشتركة (الذاكرة، التوجيه، الارتكاز) يمكن أن تقلل الانحراف بنسبة تصل إلى 81.5%.
القدرة التنبؤية: تُظهر آلية التنبؤ بـ $t^*$ توفير "وقت مهلة" للتدخل، مما يسمح للنظام بالتحرك قبل انتهاك القيد.

6. الأهمية والأثر

تحول في النموذج: ينقل حوكمة الذكاء الاصطناعي من التفويض الثابت وعديم الحالة (التحقق مما إذا كان الإجراء مسموحاً به الآن) إلى الصلاحية الديناميكية والحالة (التحقق مما إذا كان مسار الوكيل آمناً).
التوافق التنظيمي: يعالج الإطار مباشرة متطلبات قانون الذكاء الاصطناعي الأوروبي (إدارة المخاطر، الدقة، الإشراف البشري) من خلال توفير تقدير مستمر وقابل للقياس للمخاطر ومسارات تدقيق.
الصرامة الشكلية: من خلال ترسيخ النظام في نظرية الصلاحية، تقدم الورقة ضماناً رياضياً بأن النظام لن "يتعثر" (المبرهنة 3.1) وأن التدخلات سليمة بنيوياً (P3).
المقاومة ضد الهجمات: يتم تسليط الضوء على خاصية التقييد أحادي الاتجاه (P3) كدفاع حاسم ضد "التآكل العدائي"، حيث يحاول المهاجمون خداع النظام لتخفيف دفاعاته ذاتياً.

باختصار، توفر هذه الورقة أساساً نظرياً رصيناً وتنفيذاً مرجعياً ملموساً لحوكمة الوكلاء المستقلين الذين يمكنهم التكيف مع الانحراف السلوكي، والمخاطر التركيبية، والتحيز الناشئ، مما يضمن السلامة حتى عندما يكون سلوك الوكيل غير قابل للمراقبة في الوقت الفعلي.