💻 computer science

Agentproof: Static Verification of Agent Workflow Graphs

يُعد Agentproof نظام تحقق استاتيكي يقوم تلقائياً باستخراج نماذج رسوم بيانية موحدة من أطر عمل الوكلاء الرئيسية للكشف عن العيوب الهيكلية وفرض سياسات السلامة الزمنية عبر لغة وصفية متخصصة وتحليل قائم على الأوتوماتات المحدودة الحتمية (DFA)، مما يكمل حواجز الحماية أثناء التشغيل من خلال تحديد المشكلات على مستوى الطوبولوجيا قبل النشر.

المؤلفون الأصليون: Melwin Xavier, Vaisakh M A, Melveena Jolly, Midhun Xavier

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Melwin Xavier, Vaisakh M A, Melveena Jolly, Midhun Xavier

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم ببناء خادم آلي (روبوت) معقد. أنت لا تكتفي بقول "نظف المنزل" فحسب، بل تكتب مخططاً انسيابياً مفصلاً: التقط المكنسة ← اذهب إلى المطبخ ← إذا كانت الأرضية متسخة، اكنس ← إذا كانت الأرضية نظيفة، اذهب إلى غرفة المعيشة ← أعد المكنسة إلى مكانها.

في عالم الذكاء الاصطناعي، تُسمى هذه "الروبوتات" وكلاء (Agents). وهي تستخدم أدوات (مثل البحث في الويب أو إرسال رسائل البريد الإلكتروني) بناءً على هذه المخططات الانسيابية، والتي تُسمى مخططات سير العمل (Workflow Graphs).

المشكلة هي أنه عندما يبني المطورون هذه المخططات، غالباً ما يرتكبون أخطاءً سخيفة. قد يرسمون مساراً يؤدي إلى طريق مسدود (حيث يعلق الروبوت)، أو قد ينسون وضع خطوة "موافقة بشرية" قبل أن يقوم الروبوت بحذف قاعدة بيانات.

حالياً، نحن نتحقق من هذه الأخطاء أثناء تشغيل الروبوت فقط. إذا علق الروبوت، لا نعرف ذلك إلا عندما يحاول فعلياً سلوك ذلك المسار المحدد. الأمر يشبه انتظار وقوع حادث سيارة قبل أن تدرك أن المكابح لم تكن موصلة أصلاً.

Agentproof هي أداة جديدة تعمل مثل مهندس معماري فائق الذكاء، يقوم بفحص المخططات قبل أن تبدأ حتى في بناء المنزل.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المترجم العالمي (المستخرج - The Extractor)

يستخدم بناة الروبوتات لغات مختلفة. البعض يستخدم "LangGraph"، والبعض الآخر يستخدم "CrewAI" أو "AutoGen". الأمر يشبه وجود باني يتحدث الفرنسية، وآخر يتحدث اليابانية، وثالث يتحدث الألمانية.

مهمة Agentproof: لديه مترجم لكل هذه اللغات. فهو يقرأ المخطط بأي من هذه اللغات ويحوله فوراً إلى "مخطط عالمي موحد" يمكنه فهمه. ليس عليك إعادة كتابة الكود الخاص بك؛ Agentproof يقرأه فحسب.

2. مفتش "اكتشاف الخلل" (الفحوصات الهيكلية)

بمجرد حصوله على المخطط العالمي الموحد، يقوم Agentproof بإجراء ست فحوصات سريعة للعثور على الأخطاء المنطقية. فكر في الأمر كأنه لعبة "أين والدو؟" (Where's Waldo) للبحث عن الأخطاء المنطقية:

الطريق المسدود: "مهلاً، هذا المسار يؤدي إلى حائط. سيعلق الروبوت هنا للأبد."
المخرج الشبح: "لديك زر 'النهاية'، ولكن لا يوجد مسار يؤدي إليه. لن يعرف الروبوت متى يتوقف أبداً."
البوابة المفقودة: "أنت على وشك السماح للروبوت بحذف ملف، لكنك نسيت وضع نقطة تفتيش 'موافقة بشرية' أمامها!"
الخدعة السحرية: إذا وجد خطأ ما، فهو لا يكتفي بقول "خطأ". بل يعطيك أثر شاهد (Witness Trace). هذا يشبه مسار نظام تحديد المواقع (GPS) الذي يوضح لك بالضبط: ابدأ ← اتجه يساراً ← اذهب مستقيماً ← اصطدام! إنه يظهر لك المسار الدقيق الذي سيسلكه الروبوت ليقع في الفخ.

3. مُنفذ كتاب القواعد (السياسات الزمنية)

أحياناً لا تكون المشكلة في الطريق المسدود، بل في ترتيب الأشياء.

القاعدة: "يجب ألا تحذف جدولاً أبداً دون عمل نسخة احتياطية منه أولاً."
القاعدة: "إذا أرسلت بريداً إلكترونياً، يجب على البشر مراجعته أولاً."

يقوم Agentproof بترجمة هذه القواعد إلى نظام "إشارات مرور" بسيط (يُسمى DFA). وهو يفحص المخطط ليرى ما إذا كان أي مسار محتمل قد يسلكه الروبوت يكسر هذه القواعد.

الفحص الساكن (Static Check): يقوم بمحاكاة كل رحلة ممكنة يمكن للروبوت القيام بها في المخطط. إذا كسر أي مسار القواعد، فإنه يوقفك قبل أن تبدأ التشغيل.
الفحص أثناء التشغيل (Runtime Check): يمكنه أيضاً مراقبة الروبوت أثناء عمله، ليعمل كحارس أمن يصرخ "توقف!" إذا حاول الروبوت القيام بشيء سيء في الوقت الفعلي.

لماذا يعد هذا أمراً مهماً؟

لا عمل يدوي: تتطلب الأدوات القديمة منك إعادة كتابة كود الروبوت الخاص بك إلى "لغة تحقق" خاصة (مثل ترجمة رواية إلى معادلة رياضية). يقوم Agentproof بذلك تلقائياً.
السرعة: يمكنه فحص مخططات ضخمة (تصل إلى 5,000 خطوة) في أقل من ثانية.
الأمان: في اختبار لـ 18 مخططاً مختلفاً للروبوتات، وجد Agentproof أن 27% منها تحتوي على خلل هيكلي (طرق مسدودة) و 55% تفتقر إلى بوابات السلامة البشرية. هذه أخطاء كان من الصعب جداً اكتشافها بمجرد اختبار الروبوت بضع مرات.

الخلاصة

فكر في Agentproof كـ مفتش سلامة للروبوتات الذكية.

حواجز الحماية أثناء التشغيل (Runtime Guardrails) (الطريقة القديمة) تشبه حزام الأمان: فهي تمسك بك إذا وقعت في حادث، لكنها لا تمنع وقوع الحادث من الأساس.
Agentproof يشبه فحص محرك السيارة والمكابح قبل أن تقودها. إنه يضمن أن الخريطة التي أعطيتها للروبوت تؤدي بالفعل إلى وجهة ولا توجد بها ثقوب في الطريق.

هو لا يتحقق مما إذا كان الروبوت "ذكياً" أو يقول الحقيقة (فهذه مشكلة أخرى)؛ هو فقط يتأكد من أن خطة الروبوت سليمة منطقياً وآمنة للتنفيذ.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Agentproof: التحقق الساكن من رسوم مخططات سير عمل الوكلاء (Agent Workflow Graphs)".

1. بيان المشكلة

مع تزايد تفاعل وكلاء النماذج اللغوية الكبيرة (LLM agents) مع الأدوات وواجهات برمجة التطبيقات الخارجية عبر أطر عمل التنسيق (مثل LangGraph، وCrewAI، وAutoGen، وGoogle ADK)، يتم ترميز سلوكها كرسوم بيانية لمسارات العمل (workflow graphs) صريحة. ومع ذلك، يعتمد إنفاذ السلامة الحالي بشكل حصري تقريبًا على حواجز الحماية أثناء التشغيل (runtime guardrails) (مثل Neemo Guardrails وLlamaGuard). وتواجه هذه الأدوات أثناء التشغيل ثلاث قيود أساسية:

العبء الزمني (Latency Overhead): تفرض تأخيرًا في كل استدعاء.
الكشف التفاعلي (Reactive Detection): لا تكتشف الانتهاكات إلا عند تفعيل مسار التنفيذ المخالف فعليًا.
عدم وجود ضمانات للتغطية (No Coverage Guarantees): لا يمكنها التحقق من المسارات التي تظل غير مفعلة أثناء الاختبار.

وبناءً على ذلك، غالبًا ما تمر العيوب الطوبولوجية (الأخطاء الهيكلية في رسم مسار العمل) دون ملاحظة حتى تتسبب في حالات فشل صامتة أو خروقات أمنية في بيئة الإنتاج. ومن الأمثلة على ذلك:

العقد المسدودة (Dead-end nodes): مسارات تنفيذ تتوقف دون الوصول إلى مخرج.
المخارج غير القابلة للوصول (Unreachable exits): حلقات أو فروع تمنع انتهاء مسار العمل.
غياب بوابات العنصر البشري (Missing human gates): إجراءات حساسة (مثل حذف البيانات) تتجاوز خطوات الموافقة البشرية المطلوبة.

يمكن لأدوات التحقق من النماذج العامة (مثل SPIN وNuSMV) أن تكتشف هذه المشكلات نظريًا، لكنها تتطلب نمذجة يدوية لمسار العمل في لغة محددة (مثل Promela)، وهو أمر يشكل عبئًا كبيرًا على المطورين الذين يعملون على تطوير تصميمات الوكلاء.

2. المنهجية: نظام Agentproof

نظام Agentproof هو نظام مصمم للتحقق الساكن قبل النشر (pre-deployment static verification) لمسارات عمل الوكلاء. ويعمل بناءً على فرضية أن أطر عمل الوكلاء الحديثة تكشف عن هيكل مسار العمل الخاص بها عبر واجهات برمجة التطبيقات (APIs)، مما يسمح بالاستخراج والتحليل الآلي دون الحاجة لنمذجة يدوية.

أ. خط أنابيب الاستخراج عبر أطر العمل (Cross-Framework Extraction Pipeline)

يتضمن النظام مستخرجات لأربعة أطر عمل رئيسية: LangGraph، وCrewAI، وAutoGen، وGoogle ADK.

نموذج تجريدي موحد (Unified Abstract Model): تقوم المستخرجات بتوحيد تمثيلات أطر العمل المتباينة (مثل الرسوم البيانية للحالة، قوائم المهام، والمحادثات الجماعية) في نموذج واحد يسمى AgentGraph يكون مستقلاً عن إطار العمل.
‌* هيكل محدد النوع (Typed Structure): يتكون النموذج من عقد محددة النوع (دخول، خروج، أداة، نموذج لغوي كبير، موجه، بشري، رسم فرعي) وحواف محددة النوع (مباشرة، شرطية، متوازية، حلقة).
الأتمتة: يلغي هذا الحاجة للمطورين لترجمة مسارات العمل يدويًا إلى لغات نمذجة رسمية.

ب. طبقات التحقق (Verification Layers)

يستخدم Agentproof طبقتين متكاملتين من التحقق:

الفحوصات الهيكلية (التحقق الطوبولوجي):
تحلل هذه الفحوصات طوبولوجيا الرسم البياني باستخدام خوارزميات الرسم البياني القياسية (BFS/DFS) بتعقيد زمني خطي $O(|V| + |E|)$ . وتشمل:

إمكانية الوصول للمخرج (Exit Reachability): التأكد من إمكانية الوصول لجميع عقد الخروج من نقطة البداية.
الوصول العكسي (كشف الحلقات اللانهائية - Livelock Detection): التأكد من أن كل عقدة يمكن الوصول إليها يمكنها في النهاية الوصول إلى مخرج (لاكتشاف الحلقات اللانهائية).
كشف العقد المسدودة (Dead-end Detection): تحديد العقد التي ليس لها حواف خارجة (باستثناء المخارج).
التحقق من شكل الموجه (Router Shape Validation): التأكد من أن عقد الموجه تحتوي فقط على حواف خارجة شرطية.
تغطية العنصر البشري (Human-in-the-Loop Coverage): التحقق من أن المسارات المؤدية إلى الأدوات الحساسة تمر عبر عقدة "بشرية".
إعلان الأداة (Tool Declaration): التأكد من أن عقد الأدوات لديها ارتباطات أدوات صريحة.
توليد الشاهد (Witness Generation): upon failure: عند حدوث فشل، يقوم النظام بإنشاء أثر شاهد (witness trace) ملموس (مسار يوضح العيب) للمساعدة في تصحيح الأخطاء.

التحقق من السياسات الزمنية (Temporal Policy Verification):

لغة وصفية (DSL): تُستخدم لغة وصفية تغطي جزئية السلامة من المنطق الزمني الخطي (LTL) لتحديد السياسات (مثال: "إذا حدث draft_email ، يجب أن يتبعه human_review").
الترجمة (Compilation): يتم ترجمة السياسات إلى آلات حتمية محدودة (DFA).
أوضاع التقييم المزدوجة:
- الساكن (Static): يقوم بناء (الرسم البياني × DFA) باستكشاف جميع المسارات الممكنة في الرسم البياني لاكتشاف الانتهاكات دون تشغيل الوكيل.
- أثناء التشغيل (Runtime): يقوم الـ DFA بمراقبة تدفقات الأحداث الحية أو المحاكية لاكتشاف الانتهاكات.

3. المساهمات الرئيسية

الاستخراج الآلي: أول نظام يستخرج تلقائيًا نماذج مسارات عمل مجردة وموحدة من أربعة أطر عمل مختلفة للوكلاء، مما يسد الفجوة بين واجهات برمجة التطبيقات البرمجية والتحقق الرسمي.
خط أنابيب التحقق قبل النشر: خط أنابيب كامل يجمع بين ستة فحوصات هيكلية ولغة وصفية للسياسات الزمنية، قادرة على توليد آثار شاهد للعيوب.
المعيار التجريبي (Empirical Benchmark): مجموعة منسقة من 18 مسار عمل تمثل الأنماط الشائعة والأنماط المضادة عبر أطر العمل المدعومة، والتي تعمل كمعيار قابل لإعادة الإنتاج للمجتمع العلمي.
الأداء: أظهر زمن تحقق أقل من ثانية واحدة للرسوم البيانية التي تصل إلى 5,000 عقدة، مما يثبت القدرة على التوسع للأنظمة المعقدة.

4. النتائج التجريبية

تم تقييم النظام على معيار الـ 18 مسار عمل:

كشف العيوب:
- احتوت 27% من مسارات العمل على عيوب هيكلية (عقد مسدودة، مخارج غير قابلة للوصول، انتهاكات شكل الموجه).
- انتهكت 55% من مسارات العمل سياسة بوابة بشرية (غياب الموافقة البشرية المطلوبة للإجراءات الحساسة).
- نجح النظام في اكتشاف جميع العيوب الهيكلية المحقونة وأنتج آثار شاهد دقيقة.
تغطية السياسة الزمنية:
- تم تحديد 15 سياسة سلامة واقعية (تغطي مجالات مثل الخصوصية، والامتثال، وDevOps).
- جميع السياسات الـ 15 تندرج ضمن الجزء المكون من 7 أشكال للغة الوصفية (Safety LTL).
- نجح التحقق الساكن في تحديد الانتهاكات التي فاتتها عملية تقييم تتبع التشغيل (مثل الانتهاكات في المسارات التي لم يتم اختبارها في التتبعات العشوائية).
القابلية للتوسع:
- اكتملت الفحوصات الهيكلية في حوالي 105 مللي ثانية للرسوم البيانية التي تحتوي على 5,000 عقدة.
- تقييم مراقب التشغيل مستقل عن حجم الرسم البياني، حيث يعالج الأحداث بسرعة ~247,000 حدث في الثانية.
دقة الاستخراج:
- حقق النظام دقة واستدعاء بنسبة 100% في اكتشاف العقد والحواف في مجموعات الاختبار، وكان القيد الأساسي هو الكشف القائم على الاستدلال لعقد "البشر" (الذي يعتمد على اصطلاحات التسمية).

5. الأهمية والأثر

التكامل مع حواجز الحماية أثناء التشغيل: لا يحل Agentproof محل أدوات التشغيل (التي تتعامل مع سمية المحتوى وحقن الأوامر)، بل يكملها من خلال اكتشاف العيوب على مستوى الطوبولوجيا التي لا تستطيع أدوات التشغيل رؤيتها ما لم يتم تفعيل المسار السيئ المحدد.
نقل السلامة إلى مرحلة مبكرة (Shift-Left Safety): يتيح للمطورين اكتشاف عيوب التصميم الحرجة (مثل الحلقات اللانهائية أو غياب الموافقات) قبل النشر، مما يقلل من مساحة سطح السلامة التي يجب أن تغطيها أنظمة التشغيل.
سهولة الوصول: من خلال أتمتة عملية الاستخراج، فإنه يجعل تقنيات التحقق الرسمي متاحة لمطوري الوكلاء الذين يفتقرون إلى الخبرة اللازمة لاستخدام أدوات التحقق اليدوية مثل SPIN.
أساس للأبحاث المستقبلية: تضع ورقة البحث مجالًا جديدًا لتطبيق الأساليب الرسمية على تنسيق الذكاء الاصطناعي وتوفر معيارًا وأدوات للأبحاث المستقبلية في سلامة وموثوقية الوكلاء.

في الختلص، يثبت Agentproof أن التحليل الساكن لرسوم مسارات عمل الوكلاء هو أمر ممكن، وقابل للتوسع، وفعال في اكتشاف الانتهاكات الهيكلية والسياسات الحرجة التي تظل غير مرئية لآليات السلامة القياسية أثناء التشغيل.