💬 NLP

CodeScout: An Effective Recipe for Reinforcement Learning of Code Search Agents

تقدم الورقة البحثية CodeScout، وهو إطار عمل للتعلم التعزيزي يدرب وكلاء البرمجة باستخدام محطة طرفية (Unix terminal) قياسية فقط لتحقيق أداء متفوق أو تنافسي في تحديد موقع الكود عبر عدة معايير، متفوقاً بذلك على نماذج أكبر بكثير دون الاعتماد على أدوات متخصصة معقدة.

المؤلفون الأصليون: Lintang Sutawika, Aditya Bharat Soni, Bharath Sriraam R R, Apurva Gandhi, Taha Yassine, Sanidhya Vijayvargiya, Yuchen Li, Xuhui Zhou, Yilin Zhang, Leander Melroy Maben, Graham Neubig

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lintang Sutawika, Aditya Bharat Soni, Bharath Sriraam R R, Apurva Gandhi, Taha Yassine, Sanidhya Vijayvargiya, Yuchen Li, Xuhui Zhou, Yilin Zhang, Leander Melroy Maben, Graham Neubig

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

CODESCOUT: "شرلوك هولمز" البحث عن الكود

تخيل أنك محقق بارع (وكيل برمجي) تم استئجارك لحل لغز في مكتبة ضخمة ومتربة تحتوي على ملايين الكتب (مستودع برمجيات ضخم). سلمك مديرك ملاحظة تقول: "شخص ما كسر الساعة في المكتبة. أصلحها".

المشكلة؟ المكتبة كبيرة جدًا لدرجة أنك إذا بدأت في قراءة كل كتاب من الغلاف إلى الغلاف، فلن تجد الساعة المكسورة أبدًا. وقد تتسبب حتى في كسر أشياء أخرى بالخطأ أثناء بحثك.

هذه هي المشكلة التي يحلها CODESCOsCOUT. إنها طريقة جديدة لتعليم وكلاء الذكاء الاصطناعي كيفية العثور على الصفحات، والفصول، والجمل الدقيقة في مكتبة الكود التي تحتاج إلى إصلاح، دون الحاجة إلى خريطة معقدة للغاية أو فريق متخصص من أمناء المكتبة.

إليك التقسيم البسيط لكيفية قيامهم بذلك، باستخدام بعض التشبيهات الممتعة.

1. الطريقة القديمة: بناء خريطة عملاقة ومكلفة

قبل CODESCOUT، إذا كنت تريد العثور على ملف معين في مكتبة كود، كان عليك عادةً بناء خريطة متخصصة أولاً.

التشبيه: تخيل أنك تحاول العثور على كتاب في مكتبة، ولكن يتعين عليك أولاً استئجار مهندس معماري لبناء نموذج ثلاثي الأبعاد (هولوغرافي) للمبنى بأكمله، يوضح كل سلك وأنبوب، فقط لتعرف أي غرفة تدخلها.
المشكلة: هذا الأمر بطيء، ومكلف، ولا يعمل إلا لأنواع معينة من المكتبات (مثل كود Python). إذا أردت البحث في مكتبة Java، فعليك بناء خريطة جديدة بالكامل. الأمر يشبه الحاجة إلى جهاز GPS مختلف لكل علامة تجارية من السيارات.

2. طريقة CODESCOUT: فقط استخدم مصباحًا يدويًا ودفتر ملاحظات

يقول CODESCOUT: "لماذا نبني خريطة؟ فقط أعطِ المحقق مصباحًا يدويًا ودفتر ملاحظات".

التشبيه: بدلًا من الخريطة المعقدة ثلاثية الأبعاد، يتم إعطاء الوكيل طرفية Unix (Unix Terminal) قياسية (واجهة سطر أوامر). فكر في هذا كأنه "سكين سويسري" أو مصباح يدوي. يمكنه البحث (grep)، وعرض الملفات (ls)، وقراءة النصوص (cat).
السحر: لم يعلموا الذكاء الاصطناعي ليكون أمين مكتبة؛ بل علموه كيف يكون محققًا باستخدام التعلم التعزيزي (Reinforcement Learning - RL).

3. وصفة التدريب: "التجربة والخطأ" في الصالة الرياضية

كيف تعلم ذكاءً اصطناعيًا ليكون محققًا جيدًا بدون خريطة؟ تضعه في صالة رياضية وتتركه يتدرب.

الإعداد: يُعطى الذكاء الاصطناعي "ساعة مكسورة" (مشكلة من GitHub) ومكتبة. وعليه أن يخمن أي الملفات معطلة.
نظام المكافأة:
- إذا خمن الذكاء الاصطناعي الملف الصحيح، يحصل على نجمة ذهبية (مكافأة إيجابية).
- إذا خمن الملف الخطأ، يحصل على إبهام للأسفل (مكافأة سلبية).
- إذا خمن الملف ولكنه أخطأ في الوظيفة (function) المحددة داخل الملف، يحصل على نجمة جزئية.
لحظة الإدراك: وجد البحث أنه من خلال ضبط "نظام المكافأة" بعناية، تعلم الذكاء الاصطناعي التوقف عن التخمين العشوائي. لقد تعلم أن استخدام بعض الأوامر البسيطة (مثل rg للبحث و sed لقراءة أسطر محددة) كان كافيًا لحل اللغز.

4. النتائج: الكلاب الصغيرة تنبح بصوت أعلى من الدببة الضخمة

الجزء الأكثر إثارة للدهشة في الورقة البحثية هو حجم نماذج الذكاء الاصطناعي التي استخدموها.

التشبيه: عادةً في مجال الذكاء الاصطناعي، "الأكبر هو الأفضل". الأمر يشبه الاعتقاد بأن فيلاً يزن 100 طن أفضل من كلب يزن 5 أرطال في العثور على إبرة في كومة قش.
الواقع: استخدم CODESCOUT ذكاءً اصطناعيًا صغيرًا (يحتوي فقط على 1.7 مليار أو 4 مليارات "خلية عصبية" أو معامل/parameter) ودربه باستخدام "وصفة المحقق" هذه.
النتيجة: استطاع هذا الكلب الصغير والمدرب جيدًا العثور على الكود المعطل بشكل أفضل من نماذج الذكاء الاصطناعي الضخمة والمكلفة (مثل العمالقة التي تمتلك 32 مليار معامل) التي كانت تستخدم "الخرائط ثلاثية الأبعاد" المعقدة المذكورة سابقًا.
الخلاصة: وكيل صغير مدرب جيدًا بمصباح يدوي بسيط هزم وكيلًا ضخمًا غير مدرب يمتلك خريطة معقدة.

5. لماذا هذا مهم؟

البساة: لا تحتاج إلى بناء خريطة مخصصة لكل لغة برمجة. الطرفية القياسية تعمل مع كل شيء.
السرعة: تدريب وكيل صغير أسرع من بناء بنية تحتية ضخمة.
الكفاءة: من خلال العثيد على الملفات الصحيحة بسرعة، لا يضيع الذكاء الاصطناعي وقته في قراءة كود غير ذي صلة، مما يوفر المال وقوة الحوسبة.

الملخص

CODESCOUT يشبه تعليم طفل ذكي كيفية استخدام فهرس البطاقات والمصباح اليدوي في المكتبة. بدلًا من إعطائهم خريطة مرسومة مسبقًا للمكتبة بأكملها (وهي عملية صعبة ولا تعمل إلا لنوع واحد من المكتبات)، أنت تعلمهم كيفية طرح الأسئلة الصحيحة والبحث بكفاءة.

النتيجة؟ ذكاء اصطناعي صغير ورشيق يمكنه العثور على الإبرة في كومة القش بشكل أسرع وأكثر دقة من الروبوتات الضخمة والخرقاء التي كانت تحاول تحريك كومة القش بأكملها. هذا يثبت أن الأقل هو الأكثر أحيانًا، طالما أن لديك وصفة التدريب الصحيحة.

إليك ملخص تقني مفصل لورقة البحث "CODESCOUT: وصفة فعالة لتعلم التعزيز لوكلاء البحث عن الكود".

1. بيان المشكلة

تحديد موقع الكود (Code Localization) هو المتطلب المسبق الحاسم لوكلاء البرمجة على مستوى المستودعات (repository-level): فبناءً على وصف مشكلة من GitHub ومستودع كود، يجب على الوكيل تحديد الملفات، الفئات (classes)، والدوال (functions) المحددة التي تتطلب التعديل لحل المشكلة.

القيود الحالية: تعتمد الأساليب الحالية المتطورة (SoTA) غالبًا على ركائز متخصصة ومرتبطة بلغة معينة. وتشمل هذه الركائز:
- أدوات التحليل الساكن (مثل مُحللات AST، ورسوم التبعية البيانية).
- أدوات خاصة باللغات (مثل خوادم لغة Python، وأدوات "القفز" Jump tools).
- آليات استرجاع معقدة (مثل قواعد بيانات المتجهات، ورسوم الكود البيانية).
- تزيد هذه النهج من التعقيد التشغيلي، وتعيق إمكانية التطبيق عبر اللغات المختلفة، وغالبًا ما تتطلب فهرسة مسبقة مكلفة.
الفجوة: بينما أظهر التعلم التعزيزي (RL) قدرة واعدة على تحسين قدرات الوكلاء، لا توجد "وصفة" عامة وواضحة لتدريب وكيل تحديد موقع الكود يعتمد فقط على أدوات طرفية (Unix terminal) قياسية (مثل grep و find و sed) ومع ذلك يحقق أداءً يضاهي أو يتفوق على الوكلاء الذين يستخدمون أدوات متخصصة.

2. المنهجية

يقترح المؤلفون CODESCOUT، وهو إطار عمل يدرب وكلاء البرمجة باستخدام التعلم التعزيزي (RL) مع ركيزة بسيطة وغير مرتبطة بلغة برمجة معينة.

أ. ركيزة الوكيل (OpenHands-Bash)

بدلاً من بناء أدوات مخصصة، يستخدم CODESCOUT طرفية Unix قياسية كواجهة تفاعل وحيدة.

الأدوات: يمتلك الوكيل إمكانية الوصول إلى أوامر Unix القياسية (تحديداً ripgrep/rg و find و ls و grep و sed) وأداة LocalizationFinish لتقديم التنبؤات.
حيادية اللغة: نظرًا لاعتماده على البحث النصي والتنقل في نظام الملفات بدلاً من مُحللات لغوية، فهو محايد بطبيعته تجاه لغة البرمجة (رغم أن التجارب ركزت على Python).
هيكل المخرجات: يتم تدريب الوكيل على إخراج مخطط مهيكل (الملف، الفئة، الدالة) عبر أداة LocalizationFinish؛ مما يستبدل المعالجة الهشة القائمة على النصوص بآلية استدعاء أدوات قوية.

ب. تنسيق البيانات والبيئة

المصدر: تم اشتقاق بيانات التدريب من مجموعة بيانات SWE-Smith (وصف مشكلات GitHub ورقع الإصلاح الخاصة بها).
استخراج الحقيقة المطلقة (Ground Truth): قام المؤلفون بمعالجة رقع الإصلاح "الذهبية" لاستخراج الأهداف الحقيقية عند ثلاثة مستويات من التفصيل:
1. الملفات ( $F^\star$ )
2. الوحدات/الفئات ( $M^\star$ )
3. الدوال/الأساليب ( $U^\star$ )
التصفية: تم استبعاد الحالات التي يتم فيها إنشاء/حذف ملفات أو تعديل ملفات غير تابعة لـ Python لضمان قابلية استخراج الحقيقة المطلقة.
البيئة: البيئة عبارة عن مستودع نسخة مسبقة من سحب التغييرات (pre-PR). لا يتطلب الأمر أي عزل (sandboxing) أو تثبيت تبعيات لأن المهمة بحثية بحتة.

ج. تصميم المكافأة

دالة المكافأة هي جوهر "الوصفة"، وهي مصممة لتوجيه الوكيل نحو تحديد دقيق للموقع.

المكافأة الأساسية: مجموع درجات F1 scores المحسوبة بشكل مستقل لمستويات الملف، والفئة، والدالة مقابل الحقيقة المطلقة.
$r = r_{F1-file} + r_{F1-module} + r_{F1-func}$
المكافأة المساعدة: لمنع الوكلاء من استنفاد ميزانية الخطوات دون تقديم إجابة (وهي مشكلة شائعة في انهيار التدريب)، تُضاف مكافأة ثنائية ( $r_{turn}$ ) إذا أنهى الوكيل المهمة تمامًا عند حد الخطوات ( $k$ ).
التوازي: يشجع النظام على استدعاء الأدوات بشكل متوازٍ عبر هندسة الأوامر (prompt engineering) بدلاً من تشكيل المكافأة المعقد، والذي وُجد أنه يضر بالأداء.

د. خوارزمية تدريب RL

الخوارزمية: يستخدم المؤلفون تحسين سياسة التسلسل الجماعي (GSPO)، وهو متغير من PPO.
التعديلات:
- لا يوجد تنظيم KL: تمت إزالته للسماح بتحديثات أكثر قوة للسياسة.
- حساب الميزة (Advantage): تمت إزالة تطبيع الانحراف المعياري من حساب الميزة (اتباعاً لـ Dr. GRPO).
- القناع (Masking): يتم حجب الخسارة (Loss) للرموز (tokens) التي لم يتم إنشاؤها بواسطة النموذج (الأوامر النظامية، ملاحظات البيئة).
استراتيجية التدريب:
- CODESCOUT-1.7B: بدأ التدريب عبر "ضبط دقيق بالاستعيان بالرفض" (RFT) على مسارات عالية الجودة من CODESCOUT-14B، متبوعاً بـ RL.
- CODESCOUT-4B & 14B: تم تدريبهما مباشرة من النماذج الأساسية باستخدام GSPO.

3. المساهمات الرئيسية

البساطة فوق التعقيد: يثبت أن وكيل الأداة الواحدة (طرفية Unix) المدرب بالتعلم التعزيزي يمكنه التفوق على الوكلاء الذين يستخدمون 3-5 أدوات متخصصة (مثل التنقل في الرسوم البيانية، والتحليل الساكن).
"الوصفة": يوفر وصفة مفتوحة المصدر وقابلة لإعادة الإنتاج لتدريب وكلاء البحث عن الكود، بما في ذلك تنسيق البيانات، وتصميم المكافأة، ومعلمات RL الفائقة.
كفاءة المعلمات: يوضح أن النماذج الصغيرة (1.7B, 4B) المدربة بهذه الوصفة تتفوق على نماذج أساسية أكبر بكثير (تصل إلى 18 ضعف الحجم، مثل Qwen3-32B).
الإصدار المفتوح: يطلق عائلة نماذج CODESCOUT، وكود التدريب، والبيانات، مما يضع خط أساس جديد للمجتمع.

4. النتائج التجريبية

تم تقييم النماذج على SWE-Bench Verified و Pro و Lite.

الأداء مقابل النماذج الأكبر:
- CODESCOCT-1.7B يتفوق على نموذج Qwen3-14B الأكبر بـ 8 مرات، وينافس نموذج Qwen3-32B (Thinking) الأكبر بـ 18 مرة.
- CODESCOUT-14B يحقق أداءً متفوقاً على RepoNavigator-32B (نموذ_ 32B ذو الركائز المتخصصة) على SWE-Bench Lite و Verified.
الأداء مقابل النماذج مغلقة المصدر:
- نماذج CODESCOUT تضيق الفجوة مع النماذج المغلقة الرائدة (مثل GPT-5، و Claude Sonnet 4.5).
- بشكل ملحوظ، يؤدي Claude Sonnet 4.5 أداءً أفضل بكثير مع ركيزة CODESCOT Bash البسيطة مقارنة بركيزة "RepoNavigator" المتخصصة الخاصة به، مما يشير إلى أن الركائز المتخصصة قد تضعف أداء النماذج الرائدة أحياناً.
مستوى التفصيل: تحقق النماذج درجات F1 قوية عبر المستويات الثلاثة (الملف، الفئة، الدالة)، وغالباً ما تتجاوز النماذج المرجعية بنسبة 10-20% في دقة مستوى الدالة.
التأثير اللاحق: أدى تعزيز وكيل حل المشكلات اللاحق بنتائج تحديد موقع CODESCOUT إلى تحسين معدل الحل بنسبة 3.8% (لـ Qwen3-4B) وقلل من استخدام الرموز (tokens) وعدد الخطوات.

5. الأهمية والتحليل

تقارب الأدوات: يكشف تحليل مسارات التدريب أنه مع تحسن النماذج، فإنها تتقارب نحو استخدام مجموعة فرعية صغيرة جداً من الأدوات. استقر CODESCOUT-14B في النهاية على الاعتماد شبه الحصري على ripgerep (للبحث) و sed (لقراءة نطاقات الأسطر)، مما يثبت أن مجموعات الأدوات المعقدة ليست ضرورية لتحديد الموقع بفعالية.
القابلية للتوسع: هذا النهج قابل للتوسع بدرجة عالية لأنه لا يتطلب فهرسة مسبقة مكلفة أو تحليلاً ساكناً مرتبطاً بلغة معينة، مما يجعله قابلاً للتطبيق على أي لغة يتوفر لها طرفية (terminal).
تحول النموذج الفكري: تتحدى الورقة الافتراض القائل بأن "المزيد من الأدوات = أداء أفضل". فهي تقترح أنه بالنسبة لوكلاء البرمجة، فإن التدريب الفعال بالتعلم التعزيزي (RL) على واجهة بسيطة وعامة الغرض هو محرك أقوى للقدرة من هندسة سلاسل أدوات معقدة ومتخصصة في المجال.

الخاتمة

يثبت CODESCOUT أن التعلم التعزيزي، عندما يقترن بركيزة طرفية بسيطة ومحايدة للغة ووظيفة مكافأة مصممة جيداً، يمكن أن ينتج وكلاء لتحديد موقع الكود أكثر فعالية وكفاءة وقابلية للتعميم من الأساليب الحالية التي تعتمد على بنية تحتية متخصصة. يسايد هذا العمل في دمقرطة البحث عالي الأداء عن الكود من خلال إزالة التبعية لأدوات التحليل الساكن المعقدة وتنسيق البيانات مغلق المصدر.