SkillSentry: Reliable Skill Execution for LLM Agents via Runtime Assurance
تُعد SkillSentry إطار عمل لضمان وقت التشغيل يعزز موثوقية واتساق وكلاء النماذج اللغوية الكبيرة (LLM) أثناء تنفيذ المهارات، وذلك من خلال استخدام لغة متخصصة في مجال معين لمراقبة التنفيذ وتوجيهه وتحسينه بشكل تكراري بناءً على مواصفات المهارة وآثار التنفيذ التاريخية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك سلمت للتو روبوتًا فائق الذكاء مجموعة من التعليمات لخبز الكعكة المثالية. لقد أعطيته وصفة (مهارة) نجحت في المرة الماضية بشكل مثالي. لكن هذه المرة، نسي الروبوت تسخين الفرن، أو أضاف الملح بدلًا من السكر، أو قرر تخطي عملية تزيين الكعكة بالكامل. على الرغم من أن الروبوت "يعرف" كيفية الخبز، إلا أنه يستمر في إفساد التفاصيل. هذا هو الواقع الحالي لـ "وكلاء نماذج اللغات الكبيرة" (LLM agents) — وهي برامج حاسوبية مدعومة بنماذج لغوية ضخمة يمكنها التخطيط، واستخدام الأدوات، وحل المشكلات المعقدة. إنهم موهوبون للغاية، لكنهم أيضًا متقلبون بعض الشيء. نظرًا لأنهم يولدون أفعالهم كلمة بكلمة بناءً على ما فكروا فيه للتو، فإن التغييرات الطفيفة في المحادثة يمكن أن تقودهم إلى المسار الخاطئ، مما يتسبب في فشلهم في مهام قاموا بها من قبل. يريد العلماء لهذه الوكلاء أن يكونوا موثوقين مثل ساعة سويسرية، وليسوا غير متوقعين مثل توقعات الطقس.
إليك SKILLSENTRY، وهو نظام جديد مصمم ليكون "الحارس" و"المدرب" لهؤلاء الوكلاء الرقميين. فكر فيه كأنه مساعد شيف شديد الانتباه يقف بجانب خباز الروبوت مباشرة. بدلاً من محاولة تعليم الروبوت طريقة جديدة تمامًا للخبز (والذي سيكون أمرًا صعبًا وبطيئًا)، يقوم SKILLSENTRY بمراقبة كل حركة يقوم بها الروبوت في الوقت الفعلي. لديه قائمة مرجعية خاصة (توجيه وقت التشغيل) بناها من خلال دراسة الوصفة الأصلية وسجل لكل مرة نجح أو فشل فيها الروبوت في الماضي. إذا حاول الروبوت وضع الكعكة في الفرن قبل تسخينه، يقوم SKILLSENTRY بإيقافه بلطف، ويقول: "مهلًا، لقد تخطيت خطوة! دعنا نصلح ذلك"، ويوجهه للعودة إلى المسار الصحيح. تُظهر الورقة البحثية أنه من خلال القيام بذلك، يصبح الوكلاء أكثر اتساقًا، حيث ينجحون في مهامهم بمعدل أعلى بنسبة 24.1% في المتوسط، ويتوقفون عن ارتكاب الأخطاء العشوائية عندما تطلب منهم القيام بنفس الشيء مرتين.
المشكلة: العبقري "المتقلب"
تخيل أن لديك صديقًا عبقريًا يمكنه حل أي لغز، لكنه يتشتت بسهء. إذا طلبت منه حل مسألة رياضية، فقد يحلها بشكل مثالي. ولكن إذا سألته نفس السؤال تمامًا بعد خمس دقائق، فقد يرتبك بسبب اختلاف بسيط في كيفية صياغتك للسؤال ويعطيك إجابة خاطئة. هذا ما يحدث مع وكلاء نماذج اللغات الكبيرة. لديهم "مهارات" — أدلة مكتوبة مسبقًا حول كيفية أداء وظائف محددة، مثل تحليل البيانات المالية أو إصلاح كود برمجي. ولكن حتى مع هذه الأدلة، غالبًا ما ينحرف الوكلاء عن المسار. قد يتخطون خطوة حاسمة، أو يستخدمون إعدادًا خاطئًا للأداة، أو يرتبكون بسبب تغيير صغير في التعليمات. وجد الباحثون أنه حتى عندما يكون الوكيل قادرًا على أداء المهمة، فإنه غالبًا ما يفشل في القيام بها باستمرار.
الحل: "الحارس الذكي"
بنى مؤلفو هذه الورقة نظام SKILLSENTRY لإصلاح ذلك. لم يحاولوا إعادة برمجة دماغ الروبوت (وهو دماغ ضخم ومعقد)، بل بنوا شبكة أمان تحيط بالروبوت أثناء عمله.
إليك كيف يعمل، خطوة بخطوة:
- كتاب القواعد (DSL): أولاً، يقرأ SKILLSENTRY "وثيقة المهارة" الخاصة بالوكيل (الوصفة) ويحولها إلى قائمة مرجعية صارمة قابلة للقراءة حاسوبيًا. إنه يقسم المهمة إلى خطوات صغيرة، مثل "الخطوة 1: تحميل البيانات"، "الخطوة 2: تنظيف البيانات"، "الخطوة 3: تطبيق الفلتر".
- خطة الدرس (تنقيب الخبرة): بعد ذلك، ينظر في تاريخ محاولات الروبوت السابقة. يدرس المرات التي أصاب فيها الروبوت والمرات التي أخطأ فيها. يتعلم أشياء مثل: "أوه، الروبوت غالبًا ما ينسى تنظيف البيانات قبل عملية الفلترة"، أو "إنه يميل إلى استخدام رقم خاطئ للفلتر". يحول هذه الدروس إلى تحذيرات ونصائح محددة.
- المراقبة في الوقت الفعلي: الآن، يبدأ الروبوت بالعمل. يراقب SKILLSENTRY كل حركة يقوم بها.
- فحص "الدخول": عندما يوشك الروبوت على بدء خطوة جديدة، يهمس SKILSENTRY بنصيحة: "تذكر أن تتحقق من ترتيب البيانات قبل البدء!"
- علامة "التوقف": إذا حاول الروبوت تخطي خطوة أو القيام بشيء يشبه خطأً سابقًا، يضغط SKILLSENTRY على زر الإيقاف المؤقت. لا يسمح للروبوت بالمضي قدمًا، بل يقول: "انتظر، لقد تخطيت الخطوة 2! عد وقم بها".
- فحص "الإنهاء": قبل أن يقول الروبوت: "لقد انتهيت!"، يتحقق SKILLSENTRY من القائمة المرجعية للمرة الأخيرة للتأكد من أن كل خطوة مطلوبة قد اكتملت بالفعل.
سحر التحسين الذاتي
الجزء الأكثر روعة هو أن SKILLSENTRY يصبح أكثر ذكاءً كلما عمل أكثر. في كل مرة ينهي فيها الروبوت مهمة (سواء نجح أو فشل)، يقوم SKILSENTRY بحفظ القصة. يستخدم هذه القصص الجديدة لتحديث قائمته المرجعية وتحذيراته. إنه مثل مدرب يشاهد مباراة، ويرى خطأً جديدًا، ويكتب فورًا تدريبًا جديدًا لإصلاحه في الممارسة التالية. تُظهر الورقة أنه مع جمع SKILSENTRY لمزيد من القصص، يتحسن أداء الروبوت أكثر فأكثر، ويستقر بمرور الوقت.
ماذا تقول الأرقام؟
اختبر الباحثون هذا النظام على 15 مهارة مختلفة (مثل تحليل الاتجاهات الاقتصادية، أو إصلاح كود برمجي، أو تصور البيانات) باستخدام اثنين من وكلاء الروبوت الشهيرين وأربعة نماذج "دماغ" مختلفة (تقنية الذكاء الاصطناğı الأساسية).
- معدل النجاح: في المتوسط، رفع SKILSENTRY معدل نجاح هؤلاء الوكلاء بنسبة 24.1%. هذا يعني أنه إذا كان الوكيل ينجح بنسبة 60% من المرات، فقد قفز إلى أكثر من 77%.
- الاتساق: قبل ذلك، كان الوكلاء متذبذبين؛ إذا طلبت منهم القيام بنفس المهمة خمس مرات، فقد ينجحون 3 مرات ويفشلون مرتين. مع SKILSENTRY، أصبحوا أكثر استقرارًا. انخفض "التذبذب" (الانحراف المعياري) في أدائهم بنسبة 41.1%.
- السرعة: النظام خفيف جدًا. فقد أضاف حوالي 8.7% فقط من "وقت التفكير" (تكلفة الرموز/tokens) وأقل من 1% من الوقت الإضافي لمعالجة الكمبيوتر الفعلية. إنه ثمن زهيد مقابل قفزة هائلة في الموثوقية.
ما الذي لا يفعله؟
من المهم معرفة ما لا يفعله SKILSENTRY. إنه لا يعلم الروبوت مهارة جديدة تمامًا من الصفر. إذا كان الروبوت "غبيًا" لدرجة عدم فهم المهمة على الإطلاق، فلا يمكن لـ SKILSENTRY إصلاح ذلك. هو يعمل فقط عندما يمتلك الوكيل القدرة الأساسية للقيام بالمهمة ولكنه يستمر في إفساد التفاصيل. كما أنه لا يصلح قدرة الروبوت على اختيار المهارة الصحيحة للمهمة؛ هو فقط يضمن اتباع الروبوت للتعليمات بمجرد اختياره للمهارة.
الخلاصة
تشير الورقة البحثية إلى أننا لسنا بحاجة دائمًا لبناء أدمغة أكبر وأذكى لوكلاء الذكاء الاصطناعي لدينا. أحيانًا، نحتاج فقط إلى طريقة أفضل لمراقبتهم أثناء عملهم. من خلال الجمع بين قائمة مرجعية صارمة والدروس المستفادة من أخطاء الماضي، ومن خلال التدخل بلطف في الوقت الفعلي، يمكننا تحويل الروبوتات المتقلبة وغير المتسقة إلى شركاء موثوقين ومجتهدين. تُظهر النتائج أن هذا "الضمان أثناء التشغيل" هو وسيلة قوية لجعل وكلاء الذكاء الاصطناعي جديرين بالثقة للاستخدام في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.