Automata from Agent Traces: Failure and Next-Step Prediction
تقترح هذه الورقة طريقة لطي مسارات تنفيذ وكلاء النماذج اللغوية الكبيرة إلى آلات حالات محدودة مدمجة وغير مرتبطة بنموذج معين، تلتقط بفعالية الطوبولوجيا السلوكية المشتركة، مما يتيح تنبؤاً فائقاً بالخطوة التالية وكشفاً مبكراً للفشل لأغراض تدقيق السلامة والمراقبة أثناء التشغيل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لم تعد فيه وكلاء الذكاء الاصطناعي مجرد برامج دردشة تجيب على الأسئلة، بل موظفين مستقلين قادرين على حل المشكلات المعقدة بمفردهم. يمكن لهؤلاء الموظفين الرقميين تصفح الويب، وكتابة وتصحيح الأكواد البرمجية، وإدارة استفسارات خدمة العملاء، وحتى التحكم في برامج سطح المكتب. إنهم يعملون من خلال تقسيم هدف كبير إلى سلسلة طويلة من الخطوات الصغيرة، والتفكير في كل خطوة منها واتخاذ إجراء بشأنها. ومع ذلك، كلما زادت قدرات هؤلاء الوكلاء، أصبح من الصعب فهمهم. فعمليات اتخاذ القرار الداخلية لديهم غالباً ما تكون "صندوقاً أسود"، وعندما يفشلون، يصعب معرفة ما إذا كانوا عالقين في حلقة مفرغة، أو يرتكبون خطأً بسيطاً، أو يتيهون في مسار فوضوي لا يؤدي إلى شيء. بالنسبة للشركات والباحثين الذين ينشرون هذه الأنظمة، فإن هذا الغموض يشكل خطراً كبيراً على السلامة؛ فبدون خريطة واضحة لكيفية سلوك هؤلاء الوكلاء، يكاد يكون من المستحيل رصد الأخطاء قبل أن تسبب ضرراً أو التنبؤ بمتى أوشك الوكيل على الفشل.
لقد طور فريق من الباحثين طريقة جديدة لرسم خريطة لسلوك هؤلاء الوكلاء المستقلين، محولين أفعالهم الفوضوية وغير المنظمة إلى مخطط واضح وموجز. وبدلاً من محاولة فهم الاستدلال المعقد داخل عقل الوكيل، ركز الباحثون على الأثر الخارجي للأفعال الذي يتركه وراءه. لقد تعاملوا مع آلاف مسارات الأفعال هذه كبيانات واحدة، وطرحوا سؤالاً بسيطاً: هل يمكننا إيجاد هيكل خفي يفسر كيفية انتقال الوكلاء من خطوة إلى أخرى؟ ومن خلال تحليل تسلسل الأفعال — مثل البحث عن معلومات، أو تحرير ملف، أو التحدث إلى مستخدم — اكتشفوا أنه رغم العشوائية الظاهرية لخيارات الوكلاء، إلا أن سلوكهم يتبع نمطاً صارماً ومتوقعاً بشكل مدهش. وقد بنى الباحثون "آلة حالة محدودة" (finite-state machine)، وهي في الأساس مخطط انسيابي يلتقط كل مسار يمكن أن يسلكه الوكيل. وهذا المخطط ليس مجرد تخمين؛ بل هو إعادة بناء رياضية لسلوك الوكيل الفعلي، مستخلصة من بيانات واقعية.
إن الاكتشاف الأكثر إثارة هو مدى صغر وكفاءة هذه المخططات الانسيابية. فحتى بالنسبة للوكلاء الذين يؤدون آلاف المهام المختلفة، وجد الباحثون أن سلوكهم يمكن ضغطه في خريطة تحتوي على عدد قليل فقط من الحالات، تتراوح بين سبع و43 خطوة متميزة. وهذا يمثل اختزالاً هائلاً في التعقيد. ولتوضيح ذلك، تخيل أنك تحاول وصف التخطيط الكامل لمدينة مترامية الأطراف عبر سرد كل شارع ومبنى؛ بدلاً من ذلك، وجد الباحثون طريقة لوصف حركة المرور في المدينة باستخدام عدد قليل فقط من التقاطعات الرئيسية والقواعد التي تحكم حركة السيارات بينها. وفي اختباراتهم، تمكنت هذه الخرائط الموجزة من إعادة تشغيل أفعال الوكلاء السابقة بدقة (AUC) بلغت 0.997. وتشير هذه الدقة العالية إلى أن هيكل عمل الوكيل يتحدد بدرجة أقل من خلال نموذج اللغة الذي يشغله، وبدرجة أكبر من خلال الأدوات المتاحة له والمهام الموكلة إليه.
هذه الخريطة الهيكلية لا تكتفي بوصف الماضي فحسب، بل تعمل أيضاً كأداة قوية للتنبؤ بالمستقبل. ولأن الخريطة تلتقط التدفق المنطقي لعمل الوكيل، يمكن استخدامها لرصد اللحظة التي يخرج فيها الوكيل عن المسار الصحيح. وقد أظهر الباحثون أنه من خلال مراقبة حركة الوكيل عبر هذه الخريطة، استطاعوا التنبؤ بما إذا كانت المهمة ستنجح أم ستفشل قبل انتهاء المهمة بفترة طويلة. وفي بعض الحالات، استطاع النظام تحديد عملية فاشلة عندما كان الوكيل قد أنجز ربع عمله فقط، مما سمح بالتدخل المبكر. ويمثل هذا تحسناً كبيراً مقارنة بالطرق السابقة التي كانت تنتظر غالباً حتى النهاية للحكم على النجاح أو الفشل. كما أثبتت الخريطة أنها أفضل في التنبؤ بالخطوة التالية التي سيتخذها الوكيل مقارنة بالتقنيات الأخرى الموجودة، مما يوفر صورة أوضح لما من المحتمل أن يفعله الوكيل بناءً على موقعه الحالي في سير العمل.
اختبر الباحثون طريقتهم على اثني عشر مجموعة بيانات تغطي نطاقاً واسعاً من الأنشطة، من البرمجة وتصفح الويب إلى خدمة العملاء وإدارة سطح المكتب. وفي كل حالة، أنتجت الطريقة خريطة موجزة وموثوقة تفوقت على النهج الأخرى. وخلافاً للتقنيات القديمة التي كانت غالباً ما تنشئ نماذج معقدة للغاية تحتوي على آلاف الحالات غير الضرورية، أو نماذج بسيطة جداً لدرجة تجعلها غير مفيدة، وجدت هذه الطريقة "النقطة المثالية"؛ فقد أنشأت نموذجاً صغيراً بما يكفي ليكون سريعاً وسهل التحليل، وفي الوقت نفسه مفصلاً بما يكفي لالتقاط تفاصيل سلوك الوكيل. كما كان بناء هذه الخرائط سريعاً للغاية، حيث يستغرق أجزاء من الثانية فقط، مما يعني إمكانية استخدامها في الوقت الفعلي لمراقبة الوكلاء أثناء عملهم.
إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد جعل الوكلاء أكثر أماناً. فمن خلال الكشف عن أن سلوك هذه الأنظمة المعقدة محكوم بهيكل بسيط وكامن، قدم الباحثون طريقة جديدة لمراجعة وفهم الذكاء الاصطناعي. وهذا الهيكل لا يعتمد على نوع نموذج الذكاء الاصطناعي المستخدم؛ فهو يظل ثابتاً عبر مختلف النماذج وأنواع المهام المختلفة. وهذا يشير إلى أن قيود البيئة والأدوات المتاحة للوكيل هي المحركات الأساسية لسلوكه، وليس المنطق الداخلي للذكاء الاصطناعي نفسه. وبالنسبة للمطورين ومدققي السلامة، يوفر هذا وسيلة عملية ومستقلة عن النموذج لمراقبة الوكلاء، ورصد حالات الفشل مبكراً، وضمان عمل هذه الأنظمة المستقلة ضمن حدود آمنة ومتوقعة. إن هذا العمل يثبت أنه حتى أكثر سلوكيات الذكاء الاصطناعي الحديث تعقيداً وظاهرياً من الفوضى يمكن اختزالها في مجموعة واضحة ومفهومة وقابلة للإدارة من القواعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.