🤖 AI

CIVeX: Causal Intervention Verification for Language Agents

تقدم الورقة البحثية CIVeX، وهو مُتحقق من التدخل السببي يضمن الاستخدام الموثوق للأدوات في الوكلاء اللغويين عبر رسم خرائط للإجراءات المقترحة إلى استعلامات سببية هيكلية لضمان آثار سببية قابلة للتحديد، مما يمنع التنفيذات الخاطئة في تدفقات العمل المختلطة حيث تفشل ضمانات التحقق القياسية.

المؤلفون الأصليون: Fabio Rovai

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Fabio Rovai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قبطان سفينة فضائية. تتحكم في سفينتك مساعدة ذكاء اصطناعي متطورة يمكنها الضغط على الأزرار لتغيير مسار السفينة، أو فتح الفتحات، أو تشغيل المحركات. الذكاء الاصطناعي ذكي للغاية، لكن لديه نقطة عمياء خطيرة: فهو ينظر فقط إلى التاريخ.

إذا رأى الذكاء الاصطناعي أنه في كل مرة انعطفت فيها السفينة يسارًا، انخفضت درجة الحرارة، فقد يقرر: "الانعطاف يسارًا يبرد السفينة!"، ومن ثم يضغط على زر "الانعطاف يسارًا" لتبريد الأجواء.

ولكن ماذا لو كان السبب الحقيقي وراء انخفاض درجة الحرارة هو دخول السفينة في سديم مظلم في نفس الوقت؟ لم يكن الذكاء الاصطناعي يعرف شيئًا عن السديم، لقد رأى نمطًا فحسب. إذا انعطف الذكاء الاصطناعي يسارًا دون وجود السديم، فقد ترتفع درجة حرارة السفينة بالفعل. في عالم البيانات، يُسمى هذا الارتباط المربك (Confounding): وهو عامل خفي يخدعك ويجعلك تعتقد أن شيئين مرتبطان ببعضهما بينما لا علاقة لهما ببعض في الواقع.

تقدم هذه الورقة البحثية حارس أمان جديدًا يسمى CIVeX (التحقق من التدخل السببي) لمنع الذكاء الاصطناعي من اتخاذ هذه التخمينات الخطيرة.

المشكلة: "الصلاحية" لا تعني "الأمان"

حالياً، عندما يريد الذكاء الاصطناعي الضغط على زر، فإنه يمر عبر قائمة مراجعة:

فحص القواعد (Grammar Check): هل الأمر مكتوب بشكل صحيح؟
فحص الإذن (Permission Check): هل يُسمح للذكاء الاصطناعي بالقيام بهذا؟
فحص التنبؤ (Prediction Check): هل يعتقد الذكاء الاصطناعي أن هذا سينجح؟

تجادل الورقة بأن اجتياز هذه الفحوصات يشبه امتلاك سائق لرخصة صالحة، وسيارة سليمة، ونظام تحديد مواقع (GPS) جيد. لكن هذا لا يعني أن السائق يعرف أن تدوير المقود هو ما يتسبب فعليًا في دوران السيارة، خاصة إذا كانت هناك قوى غير مرئية (مثل رياح قوية أو طريق زلق) تعبث بالنتيجة.

الحل: "الشهادة السببية"

يعمل CIV eX كـ مفتش سلامة صارم يرفض السماح للذكاء الاصطناعي بالضغط على الزر ما لم يتمكن من إثبات، رياضيًا، أن هذا الإجراء سيؤدي بالفعل إلى النتيجة المرجوة.

بدلاً من مجرد السؤال: "هل حدث هذا من قبل؟"، يسأل CIVeX: "إذا أجبرنا هذا الشيء على الحدوث، فهل سيتسبب في النتيجة؟"

للحصول على إذن بالعمل، يجب على الذكاء الاصطناعي تقديم شهادة سببية (Causal Certificate). فكر في هذه الشهادة كـ "جواز سفر للسلامة" يجب أن يحتوي على أربعة أشياء محددة:

الخريطة (الرسم البياني - The Graph): رسم يوضح كيفية اتصال الإجراء، والنتيجة، والعوامل الخفية.
البرهان (التعريف - Identification): حجة رياضية توضح أنه يمكننا بالفعل حساب التأثير، حتى مع وجود العوامل الخفية.
هامش الأمان (الحد الأدنى للثقة - Lower Confidence Bound): ضمان بأنه حتى في أسوأ السيناريوهات، لن يؤذينا هذا الإجراء.
المصدر (المنشأ - Provenance): دليل على مصدر البيانات، لضمان عدم تزييف الأرق الأرقام.

الأحكام الأربعة

عندما يقترح الذكاء الاصطناعي إجراءً ما، يقوم CIVeX بمراجعة الشهادة ويعطي أحد أربعة ردود:

التنفيذ (EXECUTE): "الخريطة واضتدحة، والرياضيات تعمل، وهامش الأمان مرتفع. انطلق."
الرفض (REJECT): "تظهر الرياضيات أن هذا سيؤذينا على الأرجح، أو أن هامش الأمان منخفض جدًا. لا تفعل ذلك."
التجربة (EXPERIMENT): "لا يمكننا التأكد بعد بسبب وجود عامل خفي. ولكن، إذا استطعت إجراء اختبار صغير وآمن (مثل تجربة عشوائية) لإثبات نجاح الأمر، فسنسمح لك بالمحاولة."
الامتناع (ABSTAIN): "ليس لدينا أدنى فكرة عما سيحدث، والأمر ينطوي على مخاطرة كبيرة للتخمين. لا تفعل شيئًا."

كيف كان الأداء (السباق)

اختبر المؤلفون CIVeX مقابل طرق أخرى باستخدام "Causal-ToolBench" (بيئة محاكاة تحتوي على 1,890 سيناريو مختلفًا).

ذكاء اصطناعي "يخمن دائمًا": في المواقف الصعبة حيث خدعت العوامل الخفية الذكاء الاصطناعي، ارتكب هذا الأسلوب أخطاء بنسبة 45% من المرات، مما تسبب في حدوث ضرر في كثير من الأحيان.
ذكاء اصطناعي "لا يفعل أي شيء أبدًا": كان هذا الأسلوب آمنًا ولكنه عديم الفائدة؛ فقد رفض التحرك حتى عندما كان من الآمن القيام بذلك، مما أدى إلى ضياع الكثير من الفرص والمزايا.
ذكاء اصطناعي "نموذج لغوي كبير": حتى عند إعطائه أمراً ذكيًا بـ "التفكير خطوة بخطوة"، ظل الذكاء الاصطناعي يرتكب أخطاء. لقد كان جيدًا في الاستنتاج لكنه لم يستطع ضمان السلامة. ظل يضغط على "الزر الخطير" بنسبة تتراوح بين 1% إلى 10% في المواقف المعقدة.
CIVeX: لم يرتكب أي خطأ في الاختبارات. لم يضغط أبدًا على زر قد يسبب ضررًا. والأهم من ذلك، لم يكن مجرد "يلعب دور الآمن" عبر عدم فعل أي شيء؛ بل نجح في تحديد متى يكون من الآمن التحرك ومتى يحتاج إلى إجراء اختبار أولاً.

العقبة (القيود)

الورقة البحثية صادقة جدًا بشأن ما لا يفعله CIVeX:

يحتاج إلى خريطة جيدة: يفترض CIVeX أن "الخريطة" (الرسم البياني السببي) المقدمة إليه صحيحة. إذا كانت الخريطة خاطئة، فإن ضمان السلامة ينهار. تقترح الورقة أنه في العالم الحقيقي، يجب على البشر أو أنظمة أخرى المصادقة على هذه الخرائط لضمان دقتها.
هو حارس بوابة وليس سائقًا: لا يقرر CIVeX "ماذا يفعل"، بل يقرر فقط "ما إذا كان مسموحًا" للذكاء الاصطناعي بالقيام بما يريد.
ليس سحرًا: هو يعتمد على توفر بيانات تسمح بإجراء "اختبار آمن" (تجربة) عندما تكون الأمور غير واضحة.

الخلاصة

تخلص الورقة إلى أنه لكي يتمكن وكلاء الذكاء الاصطناعي من تغيير العالم بأمان (مثل حذف الملفات، أو تداول الأسهم، أو إصلاح الكود البرمجي)، نحتاج إلى التوقف عن سؤال "هل هذا الإجراء صالح؟" والبدء في سؤال "هل هذا الإجراء مثبت سببيًا؟"

CIVeX هو أول نظام يقول: "لن أسمح لك بالضغط على الزر ما لم تتمكن من إثبات، من خلال شهادة رياضية، أن الضغط عليه سيؤدي بالفعل إلى الشيء الجيد الذي تريده، وليس الشيء السيئ الذي تخشاه."

ملخص تقني: CIVeX – التحقق من التدخل السببي للوكلاء اللغويين

1. بيان المشكلة

تضمن آليات السلامة الحالية للوكلاء اللغويين مستخدمي الأدوات (مثل أدوات التحقق من المخططات، وفلاتر السياسات، ومتنبئات الحالة، والتحقق الذاتي من صحة المطالبات) أن يكون الإجراء متوافقًا مع الهيكل، ومسموحًا به، ومتسقًا منطقيًا. ومع ذلك، تفشل هذه الضمانات في معالجة نمط فشل حرج في البيئات المختلطة (confounded environments): استدعاء الأداة الصحيح ليس بالضرورة تدخلاً صحيحًا.

في السجلات الرصدية، قد يرتبط إجراء ما بارتفاع المنفعة نتيجة لعوامل خفية مربكة (latent confounding factors) غير معروفة للوكيل. وعند التنفيذ، قد ينتج عن هذا الإجراء منفعة منخفضة أو يسبب ضررًا لأن الارتباط التاريخي لا يعكس الأثر السببي الحقيقي. لا تتحقق أنظمة السلامة الحالية مما إذا كان الإجراء المقترح لتغيير الحالة يمتلك أثرًا سببيًا قابلًا للتحديد (identifiable causal effect) على النتيجة المستهدفة. تجادل الورقة بأنه بدون التحقق من قابلية التحديد، يخاطر الوكلاء بتنفيذ إجراءات هي بمثابة "فخاخ ضارة" — وهي حالات يشير فيها المؤشر الرصدي إلى الفائدة، بينما الأثر السببي الحقيقي يكون ضارًا.

2. المنهجية: CIVeX

يقدم المؤلفون CIVeX (التحقق من التدخل السببي)، وهو متحقق يعمل في وقت التشغيل (runtime verifier) يعامل تنفيذ الأداة كمسألة استدلال سببي. بدلًا من التنبؤ بالإجراءات، يقوم CIVeX بضبطها عبر اشتراط شهادة سببية محددة بنطاق الافتراضات قبل التنفيذ.

2.1 الشهادة السببية

يتطلب التنفيذ الصحيح شهادة $C = (G, A, \pi, \hat{\theta}, LCB_\alpha, prov, risk)$ ، وتتكون من:

$G$ : رسم بياني سببي ملتزم به فوق متغيرات الفعل والحالة (بما في ذلك التداخل الخفي عبر الحواف ثنائية الاتجاه).
$A$ : مجموعة من الافتراضات الصريحة (مثل SUTVA، وصحة الرسم البياني).
$\pi$ : برهان تحديد قابل للتحقق آليًا (مثل تعديل الباب الخلفي، أو تفكيك الباب الأمامي، أو المتغيرات الآلية).
$\hat{\theta}$ : التقدير النقطي للأثر السببي $E[Y \mid do(T=t^*)]$ .
$LCB_\alpha$ : حد ثقة سفلي أحادي الجانب لـ $\hat{\theta}$ عند المستوى $1-\alpha$ .
$prov$: بيانات وصفية للمصدر (hash) للبيانات المستخدمة.
$risk$: حد أعلى للضرر المحتمل.

2.2 خوارزمية الفرز (Triage Algorithm)

يقوم CIVeX بربط الإجراء المقترح باستعلام سببي هيكلي ويوجهه إلى واحدة من أربع أحكام قابلة للتدقيق:

التنفيذ (EXECUTE): يُصدر فقط إذا كان الاستعلام قابلًا للتحديد تحت الرسم البياني الملتزم به، وإذا تجاوز $LCB_\alpha$ عتبة المنفعة ( $\tau_u$ )، وكانت التكلفة ضمن حد المخاطر ( $\tau_r$ ).
الرفض (REJECT): يُصدر إذا كان الاستعلام قابلًا للتحديد ولكن $LCB_\alpha$ غير كافٍ أو إذا تجاوزت التكلفة حد المخاطر.
التجربة (EXPERIMENT): يُصدر إذا كان الأثر غير قابل للتحديد (على سبيل المثال، بسبب مسارات تداخل غير محظورة) ولكن الإجراء قابل للعكس ومنخفض التكلفة. وهذا يستدعي طلب بيانات تجريبية (مثل مجموعة بيانات بنمط RCT) لحل مشكلة الرسم البياني.
الامتناع (ABSTAIN): يُصدر إذا كان الأثر غير قابل للتحديد وكان الإجراء غير قابل للعكس أو مرتفع التكلفة.

2.3 الضمانات النظرية

تقدم الورقة قضيتين رئيسيتين:

القضية 1: المتحققات غير السببية (التي تعتمد فقط على العلامات الرصدية) تتسبب في معدل تنفيذ خاطئ يساوي على الأقل "كسر الفخاخ الضارة" في البيئات المختلطة.
القضية 2: تحت الالتزام بالرسم البياني الصحيح والمقدرات الصالحة، يتم تقييد احتمال تنفيذ CIVeK لإجراء ضار بمستوى الثقة الأحادي الجانب $\alpha$ . هذا القيد يسري لكل حالة على حدة، وليس فقط بشكل تقاربي.

3. المساهمات الرئيسية

صياغة الشهادة السببية: تحدد الورقة كائنًا صارمًا وقابلًا للتدقيق يربط الإجراء المقترح باستعلام سببي هيكلي، وحجة تحديد، وحد عدم يقين.
متحقق CIVeX: خوارزمية فرز تفرض قابلية التحديد وقيود المخاطر، وتميز بين استدعاءات الأدوات الصالحة والتدخلات الصالحة.
Causal-ToolBench: معيار جديد يضم 1,890 حالة عبر ست عائلات من سير عمل الأدوات (مثل فهرسة قواعد البيانات، وإعادة تشغيل الخدمات). ويتميز بـ:
- نماذج سببية هيكلية (SCMs) محددة المعالم صراحةً.
- نظامين: تداخل متوسط و تداخل عدائي (حيث تمت معايرة المتداخلات الخفية لقلب العلامة الرصدية بالنسبة للأثر السببي الحقيقي).
- بيانات مزدوجة بنمط RCT لتقييم فرع "التجربة".
التوصيف النظري: براهين تثبت أن التحقق الرصدي غير آمن بطبيعته في البيئات المختلطة، وأن CIVeX يوفر معدل تنفيذ خاطئ محدود مشروط بصحة الرسم البياني.

4. النتائج التجريبية

تقارن التقييمات بين CIVeX وبين "الأوراكل" (Oracle)، و12 خط أساس (بما في ذلك بوابات السياسة، والمصنفات الاستدلالية، والمتحققات القائمة على LLM)، ودراسات الاستبعاد (ablation studies).

4.1 الأداء في أنظمة التداخل

التداخل العدائي: حقق CIVeX نسبة 0% من التنفيذات الخاطئة ودقة بلغت 84.9%، مما حقق منفعة قدرها +2.23. في المقابل، حقق خط الأساس "الامتناع الدائم" (AlwaysAbstain) منفعة قدرها +0.99، بينما انخفضت أفضل نتيجة لخط الأساس من LLM (سلسلة الأفكب - Claude Opus) إلى +1.65 (أي 74% من منفعة CIVeX) مع 0% من التنفيذات الخاطئة ولكن مع كثرة الامتناع.
التداخل المتوسط: حقق CIVeX منفعة قدرها +2.29 مع 0% من التنفيذات الخاطئة.
المتانة: تحت قيد صارم بـ "صفر تنفيذ خاطئ"، كان CIVeX هو الطريقة الوحيدة غير "الأوراكل" التي تجاوزت أرضية "الامتناع الدائم" (+0.99).

4.2 خطوط الأساس من LLM

اختبرت الورقة نماذج (CoT) مثل Claude Opus وSonnet كمتحققات.

بينما قللت سلسلة الأفكب (CoT) من التنفيذات الخاطئة مقارنة بالمطالبات الموجزة، إلا أنها فشلت في توفير الضمان لكل حالة الذي يقدمه CIVeX.
في ظل التداخل العدائي، انخفضت منفعة CoT-Opus بشكل كبير بسبب الإفراط في الامتناع، بينما احتفظ CoT-Sonnet بمعدل تنفيذ خاطئ متبقٍ (1.0%)، مما أدى للفشل في تحقيق قيد السلامة الصارم.
الاستنتاج: تحسين الاستدلال عبر المطالبات القوية لا يحل محل عمليات التحقق من التحديد الخوارزمية لضمانات السلامة الصارمة.

4.3 دراسات الاستبعاد (Ablation Studies)

فرع التجربة (EXPERIMENT): أدى حذف القدرة على طلب بيانات تجريبية (تحويل التجربة إلى امتناع) إلى انهيار منفعة CIVeX في الإعدادات العدائية إلى أرضية "الامتناع الدائم" (+0.99)، مما يثبت أن هذا الفرع ضروري لالتقاط المنفعة عندما يكون التحديد محظورًا في البداية.
خطأ توصيف الرسم البياني: عندما تم إعادة تسمية المتداخلات المرصودة كمتداخلات خفية (مما أدى لظهور مسارات لا يمكن حظرها)، فشل CIVeX في تحديد الهوية بشكل صحيح ووجه الحالات إلى "تجربة" أو "امتناع"، محافظًا على 0% من التنفيذات الخاطئة مع تقليل التنفيذات الصحيحة (كما هو متوقع).

5. الأهمية والادعاءات

تدعي الورقة أن قابلية تحديد التدخل، وليس صلاحية الإجراء، هي العنصر الأساسي المفقود للتشغيل الموثوق للأدوات.

ضمان السلامة: يقدم CIVeX ضمان سلامة مشروط: إذا كان الرسم البيسي الملتزم به صحيحًا والبنية التحتية تدعم ذلك، فإن احتمال التنفيذ الخاطئ يكون محدودًا بـ $\alpha$ .
القابلية للتدقيق: كل قرار مصحوب بشهادة أو رفض يشرح الافتراض المفقود، مما يسمح بالتدقيق اللاحق.
النطاق المتواضع: يذكر المؤلفون صراحة أن CIVeX لا يضمن السلامة بمفرده؛ فالضمان مشروط بوجود بنية تحتية للالتزام بالرسم البياني (الإصدار، التوقيع، مراقبة الانحراف) وهي خارج نطاق الورقة ولكنها ضرورية للنشر في بيئة الإنتاج.
القيود: تستند النتائج إلى نماذج SCM اصطناعية (Causal-ToolBench) ولا تدعي حدود الندم التقاربي. معدلات التنفيذ الخاطئة هي ملاحظات تجريبية على المعيار، ومحدودة نظريًا بمستوى الثقة $\alpha$ .

باختصار، يقترح CIVeX تحولًا من "التحقق من صحة استدعاء الأداة" إلى "التحقق من صحة التدخل"، باستخدام آليات الاستدلال السببي لمنع الوكلاء من تنفيذ إجراءات قد تكون مرتبطة رصديًا بالنجاح ولكنها ضارة سببيًا.