From Understanding to Action: A Survey on Closed-Loop Multimodal Agents
تقترح هذه الدراسة المسحية إطاراً قائماً على الأدلة للوكلاء متعددي الوسائط ذوي الحلقة المغلقة، حيث تنظم 105 ورقة بحثية حول خمس عمليات للأدلة وتستحدث عدسة تقييم (O-P-G-C) لمعالجة أوجه القصور في معايير القياس الحالية التي تقتصر على النتائج فقط، وذلك من خلال التأكيد على تحليل العملية، والتجذر، والتكلفة والمخاطر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل حاسوباً لا يكتفي فقط بالنظر إلى صورة ووصفها، بل يستخدم فعلياً ما يراه للقيام بشيء ما في العالم الحقيقي. لسنوات، أصبحت أنظمة الذكاء الاصطناعي جيدة جداً في فهم الصور والنصوص والأصوات، حيث كانت تعمل كأمين مكتبة بارع يمكنه العثور على الكتاب المناسب ولكنه لا يستطيع استعارته. أما الآن، فإن هذه الأنظمة تتطور لتصبح "وكلاء" (agents) يمكنهم فتح متصفح ويب، أو النقر على الأزرار، أو تحريك ذراع روبوت، أو البحث عن معلومات، كل ذلك مع مراقبة نتائج أفعالهم. هذا التحول يحول النظام من مراقب ساكن إلى مشارك يمكنه تغيير بيئته. ومع ذلك، عندما يرتكب هؤلاء الوكلاء خطأً، فمن الصعب غالباً معرفة السبب. هل نظر الحاسوب إلى الجزء الخطأ من الشاشة؟ هل أساء فهم أداة كان يستخدمها؟ أم أنه ببساطة خمن الإجابة الصحيحة لأسباب خاطئة؟
تقدم دراسة مسحية جديدة من باحثين في جامعة أوكلاند، وجامعة كامبريدج، وجامعة أديليد نظرة جديدة لكيفية عمل هؤلاء الوكلاء متعددي الوسائط. فبدلاً من مجرد سرد ما يمكن لهذه الأنظمة القيام به، يقترح المؤلفون طريقة جديدة لفهمهم: من خلال تتبع "أثر الأدلة". ويجادلون بأنه لكي يكون الوكيل موثوقاً حقاً، يجب أن تكون كل خطوة يتخذها مدعومة بدليل واضح وقابل للفحص. راجع الباحثون 105 دراسة حديثة لرسم خريطة لكيفية جمع هؤلاء الوكلاء للمعلومات، وتنظيمها، واستخدام الأدوات الخارجية، والتفاعل مع العالم، والتعلم من أخطائهم. ووجدوا أنه بينما تتحسن الأنظمة الحالية في إنجاز المهام، إلا أننا لا نزال نفتقر إلى الأدوات التي تمكننا من رؤية كيفية قيامها بذلك بوضوح، مما يتركنا غالباً أمام إجابة صحيحة تم الوصول إليها عبر مسار مهزوز أو خطير.
الفكرة الجوهرية لهذا العمل هي أن نجاح الوكيل لا ينبغي أن يُقاس فقط بما إذا كان قد أنهى المهمة. يقترح المؤلفون أنه يجب علينا النظر في "الأدلة" التي يستخدمها الوكيل في كل مرحلة. فكر في الدليل كملحوظة مرئية أو قسم محدد يربط ما يراه الوكيل بما يقرر فعله بعد ذلك. إذا نقر الوكيل على زر لشراء تذكرة، فإن الدليل هو جزء الشاشة المحدد الذي نظر إليه للعثور على ذلك الزر. إذا كان هذا الدليل مفقوداً، أو ضبابياً، أو تم تفسيره بشكل خاطئ، فإن الإجراء يصبح محفوفاً بالمخاطر، حتى لو تم شراء التذكرة في النهاية. وقد نظم الباحثون مجال الدراسة بأكمله حول خمس طرق رئيسية تتعامل بها الوكلاء مع هذه الأدلة: أولاً، يجب عليهم اختيار ما ينظرون إليه بنشاط، بدلاً من مجرد التحديق في كل شيء في وقت واحد. ثانياً، يحتاجون إلى مساحة عمل ذهنية للاحتفاظ بتلك الملاحظات وتنظيمها أثناء التفكير. ثالثاً، يجب أن يعرفوا متى يلجؤون إلى مصادر خارجية، مثل محرك بحث أو آلة حاسبة، لسد الفجوات. رابعاً، يتعين عليهم اتخاذ إجراءات تغير العالم، مثل تحريك مؤشر الفأرة أو روبوت، ومراقبة كيفية تغير العالم استجابة لذلك. وأخيراً، يجب عليهم استخدام نتائج تلك الأفعال لتحسين سلوكهم المستقبلي.
تكشف المسح المكتبي عن فجوة كبيرة في كيفية اختبار هذه الأنظمة حالياً. فمعظم الاختبارات المعيارية الحالية، والتي تشبه الاختبارات الموحدة للذكاء الاصطناعي، تركز بشكل شبه كامل على النتيجة النهائية: هل نجح الوكيل أم فشل؟ ووجد الباحثون أن هذه الاختبارات نادراً ما تفحص العملية نفسها. فقد يكمل الوكيل مهمة معقدة، لكنه قد يكون فعل ذلك عن طريق التخمين، أو تجاهل التفاصيل الحاسمة، أو اتخاذ مخاطر غير ضرورية قد تسبب أضراراً. قدم المؤلفون إطاراً جديداً للتقييم ينظر إلى أربعة أشياء متميزة: النتيجة، والعملية، والتأسيد (grounding)، والتكلفة أو المخاطر. تسأل "النتيجة" عما إذا كانت المهمة قد أُنجزت. وتسأل "العملية" عما إذا كانت الخطوات المتخذة منطقية وضرورية. ويتحقق "التأسيد" مما إذا كان الوكيل قد نظر بالفعل إلى الشيء الصحيح قبل التصرف. أما "التكلفة والمخاطر" فتقيس مقدار الوقت أو المال أو الخطر الذي انطوى عليه الوصول إلى النتيجة.
عندما طبق الباحثون هذا الإطار على الـ 105 ورقة بحثية التي راجعوها، ظهر نمط واضح. فالمجال جيد جداً في قياس ما إذا كان الوكيل ينهي المهمة، لكنه أضعف بكثير في التحقق مما إذا كان الوكيل قد استخدم الأدلة الصحيحة للوصيد إلى هناك. على سبيل المثال، في المهام المتعلقة بشاشات الكمبيوتر أو الروبوتات، يمكن للعديد من الأنظمة إكمال هدف ما، لكن الاختبارات لا تظهر دائماً ما إذا كان الوكيل قد نقر على الزر الصحيح أو ما إذا كان قد حرك الروبوت بأمان. ويشير المؤلفون إلى أنه بدون التحقق من أثر الأدلة، لا يمكننا معرفة ما إذا كان الوكيل ذكياً حقاً أم أنه مجرد محظوظ. كما وجدوا أنه عندما يفشل الوكلاء، فغالباً ما يكون من الصعب تحديد أين بدأ الخطأ. فخطأ في النظر إلى الشاشة يمكن أن يؤدي إلى خطة سيئة، مما يؤدي إلى إجراء خاطئ، والذي بدوره يغير البيئة بطريقة تجعل الخطوة التالية مستحيلة.
يخلص البحث إلى أنه لكي يتم الوثوق بهؤلاء الوكلاء في مواقف العالم الحقيقي، نحتاج إلى طرق أفضل لتسجيل وفحص عملية اتخاذ القرار لديهم. ويقترح الباحثون أن الاختبارات المستقبلية يجب أن تتطلب من الوكلاء "إظهار خطوات عملهم"، تماماً كما يظهر الطالب خطوات حل المسألة الرياضية. وهذا يعني تسجيل أي أجزاء من الصورة تم النظر إليها بالضبط، وما هي الأدوات المستخدمة، وكيف تغيرت البيئة بعد كل إجراء. كما يحذرون من أنه مع زيادة قوة هذه الأنظمة، تزداد مخاطر ارتكاب الأخطاء. فالوكيل الذي يرتكب خطأ في لعبة فيديو لا يشكل خطراً، ولكن الوكيل الذي يرتكب خطأً أثناء إدارة حساب بنكي أو التحكم في روبوت مادي يمكن أن يسبب ضرراً حقيقياً. لذلك، فإن القدرة على تتبع الأدلة وفهم تكلفة كل إجراء ليست مجرد تفصيل تقني، بل هي متطلب للسلامة.
لا تدعي هذه الدراسة المسحية حل مشكلة صنع وكلاء مثاليين. بدلاً من ذلك، هي تقدم خريطة جديدة للرحلة القادمة. فمن خلال نقل التركيز من الإجابة النهائية إلى الأدلة التي تدعمها، يأمل الباحثون في توجيه تطوير أنظمة ليست قادرة فحسب، بل أيضاً شفافة وآمنة. ويجادلون بأن الجيل القادم من الذكاء الاصطناعي يجب أن يُحكم عليه ليس فقط بناءً على ما يحققه، بل على كيفية تحقيقه لذلك. فإذا تمكنا من بناء أنظمة تترك أثراً واضحاً وصادقاً من الأدلة لكل قرار تتخذه، فسنكون مجهزين بشكل أفضل لفهم نقاط قوتها، وإصلاح نقاط ضعفها، ونشرها في البيئات المعقدة وعالية المخاطر حيث تشتد الحاجة إليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.