Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
تقدم هذه الورقة Risa، وهي طريقة لتوسيع نطاق الاختبار للوكلاء البرمجيين تستفيد من آثار موجه (MoE) الأصلية لتوجيه الاستكشاف المتنوع واختيار الحلول النهائية من خلال الاتفاق عند نقاط القرار الرئيسية، مما يحقق معدلات دقة محسنة على SWE-bench Verified دون الحاجة إلى حكام خارجيين أو مطابقة لسلاسل الإجابات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تبرز فئة متنامية من البرامج المصممة لتعمل كمهندسي برمجيات. هذه الوكلاء لا يكتفون فقط بالإجابة على الأسئلة؛ بل يتنقلون في بيئات رقمية معقدة، ويقرؤون الأكواد، ويجرون الاختبارات، ويكتبون الإصلاحات لإصلاح البرمجيات المعطلة. ولحل مشكلة صعبة، يتعين على الوكيل غالباً اتخاذ سلسلة طويلة من القرارات، وتجربة أدوات وأوامر مختلفة حتى يجد حلاً. ولأن هذه المهام معقدة للغاية، وجد الباحثون أن منح الوكيل قوة حوسبة أكبر لتجربة مسارات عديدة في وقت واحد يؤدي غالباً إلى نتائج أفضل. ومع ذلك، تظهر مشكلة جديدة عندما يحاول الوكيل تجربة مسارات عديدة: كيف تختار الحل الأفضل من بين حشد من المرشحين؟ وخلافاً لمسألة رياضية بسيطة حيث توجد إجابة صحيحة واحدة واضحة، يمكن أن يبدو إصلاح البرمجيات بأشكال مختلفة، مما يجعل من الصعب معرفة أي نسخة هي الأفضل حقاً دون تشغيلها فعلياً في نظام حقيقي، وهو أمر بطيء ومكلف.
لقد طور فريق من الباحثين في جامعة فودان ومعهد شنغهاي للابتكار طريقة جديدة لحل مشكلة الاختيار هذه من خلال الاستماع إلى "عملية التفكير" الداخلية للذكاء الاصطناعي نفسه، بدلاً من انتظار المخرج النهائي. لقد ركزوا على نوع محدد من بنية الذكاء الاصطناعي يُعرف باسم "خليط الخبراء المتناثر" (sparse mixture-of-experts). في هذه النماذج، في كل مرة يولد فيها الذكاء الاصطناعي كلمة، يقرر موجه داخ_ي صغير أي الشبكات الفرعية المتخصصة، أو "الخبراء"، يجب أن تقوم بالعمل. هذا الموجه يترك أثراً، وهو سجل للخبراء الذين تم اختيارهم ومدى مساهمتهم. أدرك الباحثون أن هذا الأثر يعمل كبصمة فريدة لسلوك الذكاء الاصطناعي. فحتى لو بدا حلان مختلفان تماماً على السطح، فإن المسار الداخلي الذي اتخذه الذكاء الاصطناعي لإنشائهما قد يكشف ما إذا كان يستكشف آفاقاً جديدة أم يتقارب نحو إجابة رصينة.
بنى الباحثون نظاماً أطلقوا عليه اسم "ريسا" (Risa)، يستخدم هذه البصمات الداخلية لتوجيه رحلة الوكيل. عندما يكون الوكيل في المراحل الأولى من حل مشكلة ما، يشجع "ريسا" الوكيل على مواصلة الاستكشاف. يفعل ذلك من خلال التحقق من التاريخ الأخير للوكيل؛ فإذا كان الذكاء الاصطناعي على وشك اتخاذ خطوة تبدو مشابهة جداً لما فعله للتو، فإن النظام يوجهه نحو إجراء مختلف وأكثر ابتكاراً. هذا يمنع الوكيل من العلوق في حلقة مفرغة من تكرار نفس الأخطاء. ومع ذلك، بمجرد أن يبدأ الوكيل في كتابة "رقعة" (patch) — وهي مجموعة من التغييرات لإصلاح الكود — تتغير الاستراتيجية. في هذه المرحلة، يبحث النظام عن الاتفاق بين المرشحين المختلفين. فإذا وصلت عدة محاولات مختلفة، والتي بدأت من نقاط مختلفة، إلى بنية داخلية متشابهة لإصلاحها، فإن النظام يعتبر ذلك إشارة قوية على أن الحل صحيح.
لاختبار هذه الفكرة، أجرى الفريق تجارب على معيار قياسي يسمى "SWE-bench Verified"، والذي يحتوي على مئات المهام الحقيقية لإصلاح البرمجيات. استخدموا عدة نماذج ذكاء اصطناعي وتركواهم يحاولون تنفيذ المهام عدة مرات. وفي مجموعة من الاختبارات، قارنوا طريقتهم الموجهة بالتوجيه ضد نهج بسيط يتم فيه اتخاذ القرار النهائي بشكل عشوائي. أظهرت النتائج تحسناً واضحاً؛ فعند استخدام نظام التوجيه، ارتفع معدل نجاح الوكلاء في إصلاح البرمجيات من حوالي 45 بالمائة إلى أكثر من 48 بالمائة. قد يبدو هذا الرقم صغيراً، ولكن في عالم إصلاح البرمجيات الآلي، حيث تمثل كل نسبة مئوية تقدماً كبيراً، يعد هذا مكسباً ذا معنى. لقد عمل النظام بشكل جيد لدرجة أنه طابق أداء الطرق التي تعتمد على مقارنة النص الفعلي للحلول، ولكن دون الحاجة إلى تنفيذ الكود أو استخدام حكم منفصل للتحقق من الإجابة.
كما وجدت الدراسة أن المعلومات الأكثر فائدة لم تكن في تاريخ مخرجات الذكاء الاصطناعي بأكمله، بل في لحظات محددة من اتخاذ القرار. فعندما كان يتعين على الذكاء الاصطناعي الاختيار بين عدة طرق محتملة لكتابة سطر من الكود، تركت تلك الاختيارات المحددة علامة مميزة على أثر التوجيه الداخلي. ومن خلال التركيز فقط على نقاط القرار الحرجة هذه، استطاع النظام التمييز بين التخمين المحظوظ والحل القائم على منطق سليم. وقد نجح هذا النهج عبر أنواع مختلفة من نماذج الذكاء الاصطناعي، مما يشير إلى أن أثر التوجيد الداخلي هو إشارة موثوقة يمكن استخدامها لتنسيق المهام المعقدة. وخلص الباحثون إلى أنه من خلال الانتباه إلى كيفية تخصيص الذكاء الاصطناعي لموارده الداخلية، بدلاً من مجرد ما يقوله، يمكننا بناء وكلاء أفضل في الاستكشاف، وأكثر اتساقاً عند الالتزام بحل ما، وفي نهاية المطاف أكثر نجاحاً في حل المشكلات الصعبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.