Runtime Continuation after Faults in Partially Executed Agent Workflows
تقترح هذه الورقة آلية استئناف وقت التشغيل لسير عمل وكلاء النماذج اللغوية المنفذة جزئياً، والتي تضمن التعافي الآمن من الأخطاء عبر إعادة بناء جبهة موثوقة، واستخلاص الالتزامات المتبقية من عقد معياري، والمضي قدماً في الحالة فقط من خلال آثار مصرح بها مدعومة بأدلة صالحة وحديثة ومتطابقة بشكل فريد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الرقمي الحديث، تطور الذكاء الاصطناعي من مجرد نظام يكتب النصوص إلى نظام ينفذ المهام بنشاط. يمكن لهذه الوكلاء الأذكياء البحث في الويب، وتحرير الملفات، وإرسال الرسائل، وتحديث قواعد البيانات نيابة عن المستخدم. وهي تعمل من خلال اتباع تسلسل من الخطوات، يُطلق عليه غالباً اسم "سير العمل" (workflow)، حيث يغير كل إجراء حالة العالم الحقيقي. ومع ذلك، فإن هذه القدرة على الفعل تخلق ثغرة أمنية فريدة؛ فإذا ارتكب الوكيل خطأً، أو ارتبك بسبب خدعة، أو واجه خطأً في النظام بعد أن قام بالفعل بتغيير ملف أو إرسال رسالة، فإن مجرد المحاولة مرة أخرى أو البدء من جديد قد يكون أمراً خطيراً. إن إعادة تشغيل تسلسل فاشل قد يؤدي إلى تكرار إجراء ضار، بينما الاستمرار من حالة مرتبكة قد يبني على افتراض خاطئ. ويتمثل التحدي الجوهري في تحديد أي جزء من السجل هو الموثوق تماماً، وما هي الأعمال التي لا تزال غير مكتملة، وما هو الإثبات المطلوب للمضي قدماً بأمان دون تكرار الأخطاء أو الوقوع في فخ الخداع.
لقد طور الباحث لي تشنغ وفريقه في معهد تكنولوجيا المعلومات التابع للإدارة الوطنية للهجرة وجامعة هونج كونج للعلوم والتكنولوجيا طريقة جديدة لحل هذه المشكلة، وأطلقوا على نظامهم اسم "AgentMirror". بدلاً من معاملة سير العمل المكسور كخطأ بسيط يتم إصلاحه عبر تخمين جديد، يعامل AgentMirror عملية التعافي كعملية تحقق صارمة وخطوة بخضوة من الواقع. يعمل النظام على مبدأ أنه بمجرد قيام الوكيل بفعل ما، يصبح تاريخ هذا الفعل نقطة ثابتة من الحقيقة. إذا تعطل الوكيل أو تعرض للخداع بعد تلك النقطة، فإن النظام لا يطلب من الذكاء الاصطناعي تقرير ما حدث، بل ينظر إلى سجل موثق لما حدث بالفعل، ويحدد بالضبط المهام التي لا تزال متبقية للقيام بها، ويطالب بإثبات ملموس قبل السماح لأي إجراء جديد بتغيير حالة العالم مرة أخرى.
بنى الباحثون هذا النظام حول مفهوم يسمونه "الحدود الموثوقة" (trusted frontier). تخيل خطاً مرسوماً في الرمل يحدد اللحظة الدقة التي يكون فيها تاريخ الوكيل مؤكداً بأنه آمن وصحيح؛ كل ما يسبق هذا الخط مقبول كحقيقة، وكل ما يليه غير موثق. عندما يحدث خلل، لا يسمح النظام للذكاء الاصطناعي بإعادة كتابة هذا الخط أو التظاهر بأن خطأ ما لم يحدث، بل يعيد بناء حالة الوكيل بناءً على التاريخ الموثق حتى ذلك الخط فقط. ومن هذه النقطة، يقوم النظام بحساب قائمة من "الالتزامات المتبقية" (residual obligations) – وهي مهام محددة وإلزامية لا يزال يتعين على الوكيل إكمالها لإنهاء المهمة. ثم يعرض هذه القائمة على الذكاء الاصطناعي كدليل، ليخبره بما تبقى من عمل، ولكن دون منحه القدرة على تنفيذه فحسب.
يكمن الابتكار الحاسم في كيفية تعامل النظام مع الخطوة التالية. فعندما يقترح الذكاء الاصطناعي إجراءً جديداً، يُعامل هذا الاقتراح كأمر غير موثوق. يجبر النظام الإجراء على المرور عبر فحص أمني قياسي، يُعرف باسم "القبول العادي" (ordinary admission)، لضمان السماح بتشغيله. وإذا نُفذ الإجراء، لا يقبل النظام فوراً أن المهمة قد اكتملت، بل ينتظر "إيصال وقت التشغيل" (runtime receipt)، وهو شهادة رقمية تصدرها سلطة موثوقة تؤكد أن الإجراء قد حدث بالفعل وتمت ملاحظته بشكل صحيح. يجب أن يكون هذا الإيصال حديثاً، بمعنى أنه أُنشئ للتو، ويجب أن يكون مرتبطاً بالحد الموثوق الحالي، مما يعني أنه لا يمكن أن يكون إعادة تشغيل لإجراء قديم أو زيفاً من جلسة أخرى. وفقط عندما يتم التحقق من هذا الإيصال ويتطابق تماماً مع واحد من المهام المتبقية، يسمح النظام للسجل الرسمي لتقدم الوكيل بالتحرك للأمام.
لاختبار فكرتهم، استخدم الباحثون معياراً يسمى "AgentDojo"، والذي يحاكي مهام متنوعة ويدخل الأعطال والهجمات عمداً لمعرفة كيفية سلوك الوكلاء. وقارنوا نظام AgentMirror بطرق التعافي الأخرى، مثل مجرد إعادة محاولة الخطوة الأخيرة أو ترك الوكيل يخمن طريقه للخروج من المأزق. أظهرت النتائج أن AgentMirror كان أفضل بكثير في إكمال المهام بأمان؛ فقد نجح في التعافي من الأعطال دون السماح بمرور إجراءات غير مصرح بها، ومنع الوكيل من الوقوع في فخ التعليمات الخادعة التي تحاول جعله يكرر عمليات ضارة. أثبتت الدراسة أنه من خلال فصل التوجيه المقدم للذكاء الاصطناعي عن سلطة تنفيذ الإجراءات، ومن خلال طلب دليل جديد لكل خطوة، يمكن للنظام الحفاظ على مسار آمن حتى عندما يكون الوكيل نفسه مخترقاً.
استكشف الباحثون أيضاً ما سيحدث إذا أزالوا أجزاءً معينة من قواعد السلامة الخاصة بهم. ووجدوا أنه إذا تخطوا خطوة التحقق من الإيصال، فإن النظام سيقبل أدلة مزيفة أو قديمة، مما يؤدي إلى تقدم غير صحيح. وإذا سمحوا لدليل التعافي بأن يعمل كإذن تنفيذ، فإن النظام سيسمح بإجراءات غير موثوقة بالعمل. وإذا لم يتحققوا من مطابقة الإجراء بدقة مع مهمة واحدة محددة، فقد يغلق النظام المهمة الخطأ أو يترك العمل غير مكتمل. أكدت هذه الاختبارات أن كل جزء من عمليتهم ضروري؛ فلا يمكن لأي فحص بمفرده أن يحل محل الآخرين. يعمل النظام لأنه يفرض سلسلة من الثقة حيث يمكن للذكاء الاصطناعي أن يقترح، ولكن النظام هو من يقرر، وفقط الواقع الذي تم التحقق منه يمكنه تغيير السجل.
لا يدعي هذا العمل جعل الذكاء الاصطناعي مثالياً أو حل كل مشكلة ممكنة. يعتمد النظام على كون العقد الأولي أو مجموعة القواعد صحيحة؛ فإذا كانت القواعد نفسها خاطئة، فسوف يتبع النظام المسار الخاطئ بأمانة. كما أنه لا يستطيع التراجع عن الإجراءات التي تم تنفيذها بالفعل في العالم الحقيقي إذا فُقد إثبات تلك الإجراءات. ومع ذلك، فإنه يوفر إطاراً قوياً لإدارة اللحظة التي تسوء فيها الأمور. ومن خلال معاملة عملية التعافي كتحول صارم من حالة معروفة وآمنة إلى حالة جديدة ومحققة، يوفر AgentMirror وسيلة لإبقاء الوكلاء الأذكياء يعملون بأمان حتى عندما يواجهون أخطاءً أو تداخلاً ضاراً. وتخلص الدراسة إلى أن مفتاح الاستمرار الآمن ليس في التخمين الأفضل، بل في التحقق الأفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.