Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First

تخيل عالماً تستطيع فيه الحواسيب كتابة أكواد برمجية لإصلاح البرمجيات المعطلة، لكن توظيفها باهظ الثمن للغاية. فكر في هؤلاء "المبرمجين الآليين" (AI coders) مثل فريق من المحققين النخبة: بعضهم عمالقة يستطيعون حل أي لغز تقريباً، لكنهم يتقاضون ثروة مقابل كل ساعة عمل. والبعض الآخر أذكياء ومقتدرون، لكن تكلفتهم تمثل جزءاً بسيطاً من السعر، رغم أنهم قد يغفلون عن بعض الأدلة الأكثر تعقيداً. لفترة طويلة، كان السؤال الجوهي في هذا المجال هو: "كيف نعرف أي محقق نوظف لمهمة معينة؟" حاول معظم الناس التخمين فقط من خلال قراءة وصف المشكلة (نص المشكلة)، آملين التنبؤ ما إذا كان المحقق الرخيص سيكون كافياً أم أنهم بحاجة لاستدعاء النجم الخارق المكلف.

لكن هنا تكمن العقبة: قراءة وصف المشكلة تشبه محاولة حل جريمة عبر النظر فقط إلى تقرير الشرطة دون زيارة مسرح الجريمة أبداً. يستكشف البحث الذي أنت بصدد قراءته فكرة أكثر ذكاءً: ماذا لو أرسلنا كشافاً صغيراً رخيص الثمن إلى مسرح الجريمة أولاً؟ هذا الكشاف لا يحاول حل اللغز بأكمله، بل يكتفي بالبحث حول المكان، والعثور على الأجزاء المعطلة، وكتابة تقرير سريع وموثق. ثم يستخدم مدير هذه المعلومات لاتخاذ القرار بشأن أي محقق سيتم توظيفه. هذا النهج، المسمى "الاستكشاف" (scrouting)، يشير إلى أن معرفة سياق المشكلة أكثر قيمة بكثير من مجرد التخمين بناءً على عنوان المشكلة.

---

قصة SuperScout: المحقق الذي يستكشف أولاً

تعرف على SuperScout، وهو نظام جديد مصمم لإصلاح أخطاء البرمجيات دون استنزاف الميزانية. أدرك الفريق وراءه أن الطريقة القديمة في توظيف المبرمجين الآليين كانت غير فعالة. عادةً، يقوم "الموجه" (router) -وهو صانع القرار- بالنظر إلى تقرير الخطأ ويختار نموذجاً فوراً. لكن المؤلفين وجدوا شيئاً مفاجئاً: إذا نظرت إلى نتائج إصلاحات البرمجيات السابقة، ستجد أن النماذج "الخارقة" تحل كل ما يمكن للنماذج الأرخص حله، بالإضافة إلى بعض الأمور الأخرى. وهذا يعني أن محاولة التوجيه من أجل الدقة (أي اختيار النموذج المثالي للحصول على أكبر عدد من الإصلاحات) هي طريق مسدود؛ فلا يمكنك حقاً التفوق على مجرد توظيف النموذج الأكثر تكلفة دائماً.

لذا، قام الفريق بقلب السيناريو. بدلاً من محاولة الوصول للكمال، قرروا أن يكونوا مراعين للتكلفة. لم يكن هدفهم حل عدد أكبر من المشكلات من أفضل نموذج، بل هدفهم هو حل نفس العدد من المشكلات بجزء ضئيل جداً من التكلفة.

المسرحية ذات الفصول الثلاثة: الكشاف، التحقق، ثم الإرسال

يعمل نظام SuperScout مثل خط تجميع مكون من ثلاث خطوات:

1. الكشاف (SuperScout-7B): أولاً، يتم إرسال نموذج ذكاء اصطناٍ صغير (7 مليارات معلمة - تخيله كمتدرب مبتدئ) إلى مستودع البرمجيات. مهمته ليست إصلاح الخطأ، بل استكشاف الكود، والعثور على الملفات المحددة المعنية، ومحاولة كتابة اختبار يثبت وجود الخطأ. ينتج هذا الكشاف "تسليماً" (handoff) - وهو عبارة عن ملاحظة منظمة تحتوي على الملفات المشتبه بها، واختبار إعادة إنتاج، وبعض الملاحظات التحقيقية.
2. بوابة الأمن (التحقق ثم التجريد - Verify-then-Strip): هنا تكمن الخدعة السحرية. ملاحظات المتدرب لا تُقبل دون تمحيص. قبل أن يرى المحقق الرئيسي تلك الملاحظات، تقوم "بيئة معزولة" (sandbox) -وهي غرفة اختبار آمنة ومنفصلة- بتشغيل اختبار إعادة الإنتاج الخاص بالمتدرب. إذا فشل الاختبار في كسر الكود فعلياً (مما يعني أن المتدرب كان يتوهم أو مخطئاً)، يتم تجريد هذا الادعاء واستبعاده. فقط الحقائق الموثقة والصحيحة هي التي تصل للخطوة التالية.
3. موجه السيرة الذاتية (Résumé Router): أخيراً، ينظر مدير المهمة إلى المهمة وإلى "الأفكار الخفية" للمتدرب (حالات البيانات الداخلية لنماذج الكشاف) ليقرر أي "مصلح" سيوظف. تضم مجموعة المصلحين أربعة نماذج مختلفة من طرازات "الحدود" (frontier AI models)، تتراوح من الرخيصة إلى الغالية. يختار الموجه أرخص نموذج يعتقد أنه قادر على التعامل مع المهمة. إذا لم يجد الكشاف أي شيء، يعمل المصلح من واقع تقرير الخطأ الأصلي فقط.

الكشف الكبير: "التسليم" هو البطل الحقيقي

عندما اختبر الفريق نظام SuperScout على 266 خطأً برمجياً حقيقياً في لغة بايثون (وهو تحدٍ هائل يُعرف باسم SWE-bench Pro)، كانت النتائج صادمة.

• النتيجة: حل SuperScout 159 من أصل 266 مهمة.
• المنافسة: النموذج الوحيد الأفضل والأكثر تكلفة (Claude Opus 4.6) حل 158 من أصل 266 مهمة.
• التكلفة: حقق SuperScout هذه النتيجة بتكلفة تقارب 0.23 دولار لكل عملية حل، بينما كلف النموذج المنفرد الغالي 1.27 دولار لكل عملية حل. هذا يعني حوالي خُمس التكلفة تقريباً!

ومع ذلك، فإن الاكتشاف الأكثر إثارة للدهشة لم يكن يتعلق باتخاذ قرار الموجه. فعندما أزال الباحثون الموجه تماماً وأرسلوا كل مهمة إلى أرخص نموذج (Kimi K2.5) مع "التسليم" المستند إلى ملاحظات الكشاف، نجح النموذج في حل 159 مهمة - وهو نفس عدد المهام التي حلها نظام SuperScout الكامل.

هذا يشير إلى أن "التسليم الموثق" هو البطل الحقيقي. إن عملية استكشاف المستودع وتقديم تقرير موثق رفعت أداء النماذج الأرخص إلى مستوى مكنها من مضاهاة النماذج الأغلى. قرار التوجيه نفسه لم يضف الكثير من السحر؛ بل ضمن فقط وصول "التسليم" إلى النماذج الرخيصة.

لماذا يهم هذا (وما لا يهم)

يوضح البحث صراحةً عدة نقاط:

• التوجيه من أجل الدقة هو محاولة فاشلة: لا يمكنك حقاً تحسين عدد المهام المحلولة عبر تغيير النماذج بناءً على نص المشكلة وحده؛ فالنموذج الأفضل سيفوز في كل الأحوال.
• نص التسليم ليس للموجه: من المثير للاهتمام أن تغذية الموجه بـ النص الخاص بتقرير المتدرب جعلت أداءه أسوأ. يعمل الموجه بشكل أفضل باستخدام "الحالات الخفية" (hidden states) للكشاف (نشاط دماغه الداخلي) بدلاً من الملاحظات المكتوبة. الملاحظات مخصصة للمُصلح، وليس للمدير.
• إنه ليس حلاً سحرياً لكل شيء: تم اختبار النظام على مجموعة محددة من 266 مهمة بلغة بايثون. وبينما أظهر نموذج الكشاف قدرته على العمل على لغات لم يُدرب عليها، إلا أن أداء النظام الكامل على معايير أخرى لا يزال غير مختبر.

يشير المؤلفون بحذر إلى أن هذه ليست مشكلة "حُلّت للأبد". النتائج محددة بهذه المجموعة من المهام وبالنماذج الحالية. ومع ذلك، فإن الآلية قوية: من خلال إرسال كشاف صغير للتحقق من الحقائق قبل توظيف مُصلح، يمكنك إعادة توزيع قوة الحل. إن "التسليم" يرفع من شأن النماذج الأرخص، مما يجعلها تقترب من كفاءة النماذج الأغلى، بينما تكلفة الكشاف ضئيلة جداً (أقل من نصف سنت لكل مهمة).

باختصار، يعلمنا SuperScout أنه في عالم البرمجة بالذكاء الاصطناعي، السياق هو الملك. لا تخمن فقط من ستوظف بناءً على الوصف الوظيفي؛ بل أرسل كشافاً إلى الموقع أولاً، وتحقق مما يجده، ثم اترك المهمة لأرخص عامل قادر على تنفيذها. إنها طريقة أذكى وأرخص لبناء البرمجيات، وتثبت أنه أحياناً، أفضل طريقة لتوفير المال هي القيام بقليل من الواجبات المنزلية أولاً.