Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses
تُظهر هذه الدراسة الاستطلاعية النوعية أن نماذج الذكاء الاصطناعي الوكيل تُظهر بصمات متميزة خاصة بكل قناة في احتمالاتها اللوغاريتمية عند مواجهة استجابات أدوات غير متسقة مقابل غير مكتملة، مما يكشف أن المتانة تجاه أنواع الخطأ المختلفة هذه غير متماثلة وتتطلب آليات كشف مخصصة بدلاً من نهج عالمي موحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الحديث للذكاء الاصطناعي، ظهر نوع جديد من العمال الرقميين: الوكيل اللغوي. فخلافاً للبرامج السابقة التي كانت تكتفي بالإجابة على الأسئلة بناءً على قاعدة بيانات ثابتة، صُممت هذه الوكلاء للقيام بالأفعال. يمكنهم تصفح الويب، والاستعلام من قواعد البيانات، واستخدام الأدوات البرمجية لحل المشكلات المعقدة، تماماً مثل المساعد البشري الذي يرفع سماعة الهاتف لإجراء حجز أو يتحقق من جدول بيانات لمعرفة المخزون. ومع ذلك، فإن هؤلاء العمال الرقميين ليسوا معصومين من الخطأ. فعندما يتواصلون مع أداة ما، يتوقعون استجابة نظيفة ودقيقة. وفي العالم الحقيقي، تفشل الأدوات أحياناً، فتعيد رسائل خطأ، أو تعيد بيانات تبدو مثالية في ظاهرها ولكنها تحتوي على كذبة خفية. التحدي المركزي للباحثين لا يقتصر فقط على بناء وكلاء يعملون عندما يسير كل شيء على ما يرام، بل بناء وكلاء يمكنهم إدراك متى ساءت الأمور والاستجابة بشكل مناسب. فإذا لم يستطع الوكيل التمييز بين أداة معطلة وأخرى مضللة، فسيطبق الإصلاح الخاطئ، مما قد يؤدي إلى إضاعة الوقت أو جعل الموقف أسوأ.
وضع فريق من الباحثين في جامعة آلبورج وجامعة تشجيانغ هدفهم لاستقصاء هذه اللحظة من اتخاذ القرار تحديداً. أرادوا معرفة ما إذا كان بإمكان الذكاء الاصطناعي التمييز فوراً بين أداة فشلت في إرجاع أي بيانات وأداة أعادت إجابة صحيحة الشكل ولكنها كاذبة. ولاختبار ذلك، أنشأوا بيئة محكومة تحاكي سيناريو خدمة عملاء التجزئة. في هذا العالم الرقمي، يعمل الوكيل كممثل دعم، مستخدماً مجموعة من ستة عشر أداة مختلفة للبحث عن تفاصيل الطلبات، والتحقق من طرق الدفع، وتحديث معلومات المستخدم. أخذ الباحثون تسلسلاً قياسياً وناجحاً من الإجراءات، وعند نقطة محددة، استبدلوا استجابة الأداة الطبيعية باستجابة معيبة. لقد أنشأوا ثلاثة أنواع من الأعطال: فشل كامل حيث أعادت الأداة رسالة خطأ، وحالة طلب مزورة غيرت القواعد التي يُسمح للوكيل بالقيفها بعد ذلك، ومعرف دفع مزور بدا صحيحاً ولكنه لا ينتمي للعميل.
لم يكتفِ الباحثون بمراقبة الوكيل وهو يحاول إكمال المهمة ليروا ما إذا كان سينجح أم لا. بدلاً من ذلك، أوقفوا العملية في اللحظة التي وصلت فيها البيانات المعيبة. وفحصوا "عملية التفكير" الداخلية للنموذج، وتحديداً كيفية احتمالية توليد الكلمة التالية في استجابته. وقاسوا شيئين متميزين؛ أولاً، تحققوا من مدى ملاءمة البيانات المستردة للتنسيق المتوقع للأداة نفسها. ثانياً، تحققوا من مدى ملاءمة تلك البيانات مع كل ما رآه الوكيل بالفعل في المحادثة، بما في ذلك طلب المستخدم الأصلي ونتائج الأدوات السابقة. كما نظروا في خطة الوكيل للخطوة التالية مباشرة، حيث قاسوا مدى ثقته في الإجراء الذي سيتخذه وما إذا كان هذا الإجراء يتضمن إعادة التحقق من حالة النظام مرة أخرى أو المضي قدماً في إجراء تغيير.
كشفت النتائج عن فرق حاد وفوري في كيفية رد فعل الوكيل تجاه هذه الأنواع المختلفة من الأخطاء. فعندما أعادت الأداة رسالة خطأ معطلة، أدرك الوكيل على الفور أن البيانات لا تتناسب مع التنسيق الأساسي للأداة. كانت هذه إشارة واضحة على أن الأداة قد فشلت. وبناءً على ذلك، تغيرت خطة الوكيل بشكل جذري؛ حيث أصبح من المرجح جداً أن يختار إجراءً يعيد قراءة حالة النظام، أي أنه قرر جوهرياً المحاولة مرة أخرى أو التحقق من الحقائق. في المقابل، عندما أعادت الأداة إجابة صحيحة الشكل ولكنها كاذبة، لم يرَ الوكيل أي مشكلة في التنسيق؛ فالبيانات بدت مثالية. ومع ذلك، كشف التقييم الداخلي للوكيل للبيانات الجديدة مقابل تاريخ المحادثة عن وجود تعارض. فقد تعارضت البيانات الكاذبة مع ما ذكره المستخدم سابقاً أو مع ما تمليه سياسة النظام.
وعلى نحو حاسم، وجد الباحثون أن رد فعل الوكيل تجاه هذه الإجابات الكاذبة يعتمد كلياً على طبيعة الكذبة. فعندما كانت المعلومات المزورة عبارة عن عدم تطابق بسيط، مثل معرف دفع لا ينتمي للمستخدم، ظل مخطط الوكيل دون تغيير كبير؛ فلم يصبح مرتبكاً أو غير متيقن، بل قبل ببساطة البيانات الكاذبة ومضى قدماً، لأن الكذبة لم تغير القواعد الأساسية للتفاعل. ولكن عندما كانت المعلومات المزورة عبارة عن حالة طلب تغير القواعد المسموح بها لاتخاذ الإجراءات، تغير سلوك الوكيل. فقد أصبح غير متيقن بشأن ما يجب فعله بعد ذلك، وتغيرت خطته لتعكس الواقع الجديد والخاطئ. أظهر هذا أن الوكيل يمكنه التمييز بين أداة معطلة وأداة كاذبة، لكنه لا يستطيع دائماً التمييز بين كذبة غير ضارة وكذبة ذات عواقب تغير مسار المهمة.
كما بحثت الدراسة فيما يحدث بعد الخطأ الأولي. ووجد الباحثون أن نوع الخطأ ترك أثراً باقياً في سلوك الوكيل المستقبلي. فقد تسبب الأداة المعطلة في جعل الوكيل يستمر في محاولة إعادة قراءة حالة النظام في الخطوات اللاحقة، وهي علامة على أنه عالق في حلقة من التحقق. أما حالة الطلب المزورة، فقد دفعت الوكيل إلى مسار مختلف تماماً، مما أدى به إلى اتخاذ إجراءات تغير حالة النظام بناءً على المعلومات الكاذبة. أما معرف الدفع المزيف، الذي قبله الوكيل في البداية دون مشكلة، فقد استمر قبوله في الخطوات اللاحقة، دون أي بادرة من أن الوكيل قد أدرك أنه قد تم تضليله. أثبت هذا أن قدرة الوكيل على التعرف على الخطأ ليست إنذاراً واحداً عالمياً، بل هي مجموعة من الإشارات المختلفة. إحدى الإشارات أخبرت الوكيل أن الأداة معطلة، وأخرى أخبرته أن البيانات غير متسقة مع الماضي، وثالثة أخبرته أن البيانات غير متسقة مع القواعد. لم تستطع إشارة واحدة رصد جميع أنواع الأخطاء.
خلص الباحثون إلى أن المتانة في هذه الوكلاء لا تتعلق بامتلاك مقياس واحد يحدد جميع البيانات السيئة، بل تتطلب قراءة قنوات متعددة من المعلومات في آن واحد. يجب أن يكون الوكيل قادراً على رؤية متى تفشل البيانات في مطابقة شكل الأداة، ومتى تتعارض مع تاريخ المحادثة، ومتى تتعارض مع قواعد المجال. أظهرت الدراسة أن هذه الأنواع المختلفة من الأخطاء تنتج بصمات متميزة في حسابات الوكيل الداخلية. فالأداة المعطلة واضحة فوراً لأنها تكسر التنسيق. أما الأداة الكاذبة فهي أصعب في الكشف لأنها تناسب التنسيق ولكنها تكسر سياق القصة. أما الأكاذيب الأكثر خطورة فهي تلك التي تغير قواعد اللعبة، حيث يمكنها توجيه الوكيل نحو مسار خاطئ تماماً دون إثارة أي ارتباك. ومن خلال فهم هذه البصمات المحددة، يمكن للمطورين بناء وكلاء مجهزين بشكل أفضل لتشخيص أخطائهم واختيار العلاج الصحيح، سواء كان ذلك يعني إعادة محاولة استخدام أداة، أو التحقق من حقيقة ما، أو التوقف لطلب التوضيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.