← أحدث الأبحاث
🤖 AI

Towards Risk-free AI Agent Deployment

تجادل هذه الورقة بأن تحقيق النشر الخالي من المخاطر للوكلاء القائمين على النماذج اللغوية الكبيرة يتطلب تركيزاً منهجياً على اختبار وتصحيح مسارات تنفيذهم لمعالجة تحديات مثل عدم الحتمية ومشكلة المرجع (the oracle problem)، مما يوفر في النهاية قائمة مرجعية عملية ويحدد المشكلات المفتوحة الرئيسية لدمج الوكلاء الموثوقين.

المؤلفون الأصليون: Yintong Huo, Rangeet Pan, Abhik Roychoudhury

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Yintong Huo, Rangeet Pan, Abhik Roychoudhury

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نوعاً جديداً من العمال لا يكتفي فقط باتباع قائمة صارمة من التعليمات، بل يفكر ويخطط ويعمل من تلقاء نفسه. هؤلاء العمال الرقميون، الذين يُطلق عليهم غالباً اسم "الوكلاء" (agents)، مبنيون على نماذج لغوية قوية يمكنها قراءة الطلب، وتحديد الأدوات التي ستستخدمها، ثم تنفيذ سلسلة من الإجراءات لحل مشكلة ما. إنهم يُستخدمون بالفعل في كتابة الأكواد البرمجية، والموافقة على القروض، وإدارة تدفقات العمل المعقدة في البنوك. وخلافاً للبرامج الحاسوبية التقليدية التي تتصرف مثل الآلة الحاسبة — حيث تعطي دائماً نفس الإجابة الدقيقة لنفس المدخلات — فإن هؤلاء الوكلاء يتسمون بالاستجابة؛ فهم يراقبون محيطهم، ويتخذون القرارات بناءً على ما يرونه، ثم يتصرفون، مما يخلق سلسلة من الأحداث يمكن أن تمتد لعشرات أو حتى مئات الخطوات. هذه المرونة تجعلهم مفيدين للغاية، لكنها تجعلهم أيضاً غير قابلين للتنبؤ. فعندما يتعطل برنامج قياسي، فإنه عادة ما يتوقف فوراً مع رسالة خطأ واضحة، أما عندما يفشل الوكيل، فقد يهيم في المسار الخاطئ بصمت لفترة طويلة قبل أن ينتج في النهاية نتيجة خاطئة أو غير آمنة أو ضارة. ولأن هذه الأخطاء قد تكون مخفية في أعماق سلسلة القرارات الطويلة، فإن المؤسسات تتردد في السماح لهؤلاء الوكلاء بإدارة أهم عملياتها التجارية دون وجود وسيلة لضمان عدم تسببهم في المشاكل.

اقترح فريق من الباحثين من سنغافورة والولايات المتحدة طريقة جديدة لجعل هؤلاء الوكلاء آمنين بما يكفي للاستخدام في العالم الحقيقي. ويرى الفريق أن المفتاح لفهم هؤلاء العمال الرقميين وإصلاحهم يكمن في تسجيل عملية تفكيرهم بأكملها، خطوة بخوة. ويطلقون على هذا السجل اسم "المسار" (trajectory). تماماً كما قد يحتفظ الإنسان بمذكرات يومه لفهم سبب ارتكابه لخطأ ما، فإن مسار الوكيل هو سجل كامل لكل ما فكر فيه، وكل أداة حاول استخدامها، وكل ملاحظة كونها من العالم الخارجي. وقد وجد الباحثون أن العديد من الإخفاقات تكون غير مرئية إذا نظرت فقط إلى الإجابة النهائية؛ فخطأ ما قد يُرتكب في الخطوة الأولى من المهمة قد لا يظهر حتى الخطوة الخمسين، وبحلول ذلك الوقت، يكون الضرر قد وقع بالفعل. ومن خلال التركيز على هذا السجل الكامل للأحداث، طور الفريق نهجاً منهجياً لاختبار وتصحيح أخطاء الوكلاء، يعامل "المسار" باعتباره المصدر الأساسي للحقيقة.

حدد الباحثون عدة عقبات رئيسية حالت دون نشر هؤلاء الوكلاء بشكل آمن. إحدى أكبر المشكلات هي أنه غالباً ما يكون من الصعب معرفة ما إذا كانت إجابة الوكيل صحيحة حقاً. ففي البرمجيات العادية، يمكنك التحقق مما إذا كانت المخرجات تطابق نتيجة متوقعة محددة، ولكن مع هؤلاء الوكلاء، قد تكون هناك طرق مختلفة عديدة لحل المشكلة، ويمكن أن تتغير "الإجابة الصحيحة" بناءً على السياق أو بناءً على من يسأل. وهذا يجعل من الصعب وضع اختبار يقول: "هذا نجاح، وذاك فشل". علاوة على ذلك، ولأن هؤلاء الوكلاء يستخدمون نماذج تولد إجابات بنوع من العشوائية، فإن تشغيل الاختبار نفسه مرتين قد يؤدي إلى نتيجتين مختلفتين. هذا التنبؤ يجعل من الصعب إعادة إنتاج الأخطاء وإصلاحها. كما لاحظ الباحثون أن أدوات الاختبار الحالية مصممة للبرامج البسيطة ولا يمكنها بسهولة فحص الرحلات المعقدة متعددة الخطوات التي يسلكها هؤلاء الوكلاء. ووجدوا أن معظم الاختبارات الحالية تركز فقط على النتيجة النهائية، متجاهلة الانعطافات الخطيرة التي قد يسلكها الوكيل للوصول إليها.

ولحل هذه المشكلات، رسم الفريق إطار عمل جديد يعامل رحلة الوكيل ككائن الدراسة الرئيسي. ويقترحون أنه بدلاً من مجرد التحقق من النتيجة النهائية، يجب على المطورين بناء اختبارات تنظر إلى المسار الكامل الذي اتخذه الوكيل. ويتضمن ذلك التحقق مما إذا كان الوكيل قد اختار الأدوات الصحيحة، وما إذا كان منطقه منطقياً في كل خطوة، وما إذا كان قد استجاب بشكل صحيح للبيئة. كما وصفوا كيفية تصحيح أخطاء هذه الأنظمة عن طريق تتبع الفشل وصولاً إلى سببه الجذري ضمن سلسلة الأحداث الطويلة. فإذا فشل الوكيل، يجب أن يكون النظام قادراً على النظر في المسار المسجل، والعثور على اللحظة الدقيقة التي ساء فيها القرار، وإما إصلاح المحاولة الحالية أو التعلم من الخطأ حتى لا يتكرر. وأظهر الباحثون أن هذا النهج يسمح للوكلاء بالتعافي من الأخطاء في الوقت الفعلي، وحتى تحسين مهاراتهم بمرور الوقت من خلال تذكر ما نجح وما لم ينجح.

يختتم البحث بقائمة مراجعة عملية للمؤسسات التي ترغب في استخدام هؤلاء الوكلاء. فقبل أن يُسمح للوكيل بالعمل على مهمة تجارية حقيقية، يجب على المؤسسة التأكد من امتلاكها نظاماً لتسجيل كل خطوة يتخذها الوكيل. ويجب عليهم تحديد قواعد واضحة لما تبدو عليه "الرحلة الناجحة"، وليس فقط "النتيجة النهائية الناجحة". كما يتعين عليهم اختبار الوكيل في بيئة آمنة تحاكي العالم الحقيقي، ومراقبة أي إخفاقات خفية في منتصف العملية. وبمجرد تشغيل الوكيل، يجب مراقبته باستمرار، مع جاهزية البشر للتدخل إذا بدأ الوكيل في الانحراف عن المسار. وأخيراً، يجب على المؤسسة استخدام الدروس المستفادة من كل فشل لتحديث ذاكرة الوكيل، مما يجعله أكثر ذكاءً وأماناً مع كل مهمة يكملها. ويؤكد الباحثون أنه رغم الوعود الكبيرة التي يحملها هؤلاء الوكلاء، إلا أنهم ليسوا مستعدين بعد للثقة العمياء بهم. ومن خلال التركيز على السجل الكامل لأفعالهم، يمكننا بناء أساس من الثقة يسمح لهذه الأدوات القوية بالعمل جنباً إلى جنب معنا دون المخاطرة بسلامة واستقرار أنظمتنا الحيوية.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →