Online Monitoring and Corrective Steering of Programming Agents
تقدم هذه الورقة LivePlan، وهو إطار عمل فعال من حيث التكلفة يعزز أداء الوكلاء البرمجيين في معالجة مشكلات GitHub المعقدة عبر توظيف مراقب حتمي للكشف عن الانحرافات السلوكية في الوقت الفعلي واستشارة مستشار يعتمد على النماذج اللغوية الكبيرة بشكل انتقائي لإجراء تصحيحات مستهدفة، محققاً بذلك تحسينات كبيرة في معدل الحل مع حد أدنى من الأعباء الإضافية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب كتابة برمجياتها الخاصة، وإصلاح الأخطاء وبناء ميزات جديدة بمفردها. هذا هو عالم "الوكلاء الذكيّين" (AI agents)، وهم عمال رقميون يستخدمون نماذج اللغات الكبيرة (LLMs) — وهي نفس القدرة العقلية الذكية التي تقف وراء برامج الدردشة الآلية — لقراءة الكود، وفهم الخلل، ومحاولة إصلاحه. لكن هنا تكمن العقبة: هؤلاء العمال الرقميون ليسوا مثاليين. فأحياناً يتشتتون، أو يضلون الطريق، أو يكررون الخطأ نفسه مراراً وتكراراً، أو يستسلمون قبل إنهاء المهمة. الأمر يشبه إرسال روبوت ذكي جداً ولكنه مرتبك بسهولة إلى مكتبة ضخمة للعثور على كتاب محدد؛ فقد يبدأ في قراءة القسم الخاطئ، أو يعلق في حلقة مفرغة من محاولة فتح باب مغلق، أو يقرر المغادرة قبل العثப் على الكتاب. يهتم الباحثون بهذا الأمر بعمق لأننا إذا أردنا من الذكاء الاصطناعي تولي وظائف معقدة في العالم الحقيقي مثل إصلاح المشاريع البرمجية الضخمة، فنحن بحاجة للتأكد من أن هؤلاء الوكلاء لا يبتعدون عن أهدافهم أو يهدرون الوقت والمال في طرق مسدودة.
إليك LIVEPLAN، وهو نظام جديد صُمم ليعمل كمدرب يقظ ومراقب في الوقت الفعلي لهؤلاء الروبوتات المبرمجة. لاحظ الباحث شويانغ ليو وفريقه أن المحاولات السابقة لإصلاح هؤلاء الوكلاء التائهين كانت تعاني من عيب رئيسي: غالباً ما كانت تحاول "تقييم" عمل الروبوت و"تقديم النصيحة" في آن واحد باستخدام عقل اصطناعي واحد. كان هذا يشبه مطالبة حكم واحد بأن يطلق صافرة الخطأ وفي الوقت نفسه يخبر اللاعب بدقة بكيفية لعب بقية المباراة. ما المشكلة؟ قد يرتبك الحكم، ويختلق خطأً لم يحدث، ويعطي تعليمات سيئة تجعل اللاعب يرتكب أخطاءً أكثر.
يحل LIVEPLAN هذه المشكلة عبر تقسيم المهمة إلى دورين متميزين. أولاً، يستخدم مراقباً حتمياً (deterministic monitor) — فكر في هذا كشرطي مرور صارم يتبع القواعد. هذا الشرطي لا يخمن ولا يتوهم؛ بل يراقب ببساطة علامات واضحة ومحددة للمتاعب، مثل قيام الروبوت بنفس الخطوة مرتين متتاليتين، أو تخطي فحص سلامة ضروري، أو التحديق في نفس الجدار لفترة طويلة جداً. إذا رأى شرط المرور مشكلة، فإنه يستدعي حينها مستشاراً ذكياً (ذكاء اصطناعي قوي) لتقديم نصيحة سريعة وعالية المستوى حول كيفية العودة إلى المسار الصحيح. المفتاح هنا هو أن المستشار لا يتحدث إلا عندما يقول شرطي المرور: "مهلاً، لدينا مشكلة هنا"، بدلاً من مقاطعة الروبوت باستمرار بنصائح غير مطلوبة.
اختبر الفريق هذا النظام على مشكلات حقيقية من "GitHub"، وهي تشبه قوائم المهام لإصلاح الأخطاء في المشاريع البرمجية الضخمة. وجدوا أن LIVEPLAN كان بمثابة نقطة تحول جذري. فمقارنة بالوكلاء التقليديين ("vanilla") الذين يعملون ببساطة دون مدرب، ساعد LIVEPLAN في حل عدد أكبر بكثير من المشكلات — حيث رفع معدلات النجاح بنسبة تصل إلى 15.2% في المهام الأكثر صعوبة، مع تحسن متوسط قدره 9.9%. ولعل الأمر الأكثر إثارة للإعجاب هو أنه حقق ذلك بتكلفة ضئيلة جداً بلغت حوالي 0.08 دولار لكل عملية إصلاح.
كما توضح الورقة البحثية ما يحدث عندما لا تستخدم هذا النهج الحذر. فقد اختبروا أساليب أخرى حاولت إعادة تخطيط رحلة الروبوت بالكامل من الصفر أو قامت بالتحقق بشكل متكرر جداً. وغالباً ما أتت هذه الأساليب بنتائج عكسية: فالمدربون الذين اعتمدوا "إعادة التخطيط" اخترعوا أحياناً مشكلات لا وجود لها وأرسلوا الروبوت في مطاردات لأوهام، بينما المدربون الذين اعتمدوا "التحقق المتكرر" غالباً ما قدموا نصائح متأخرة جداً بحيث لا تكون مفيدة. لقد أثبت نهج LIVEPLAN، المعتمد على انتظار إشارات واضحة قبل التدخل، أنه هو "النقطة المثالية". فقد نجح في توجيه الوكلاء خلال المشكلات المتوسطة والصعبة التي عادة ما تعجزهم، دون إفساد المهام التي كانوا بارعين فيها بالفعل. باختصار، من خلال السماح لمراقب بسيط بمراقبة الباب واستدعاء "العقل الكبير" فقط عند الضرورة، وجد الباحثون طريقة لإبقاء هؤلاء العمال الرقميين مركزين، وفعالين، وأكثر قدرة على إنجاز المهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.