💬 NLP

SWE-QA-Pro: A Representative Benchmark and Scalable Training Recipe for Repository-Level Code Understanding

تقدم هذه الورقة البحثية SWE-QA-Pro، وهو معيار مرجعي صارم لفهم الأكواد البرمجية على مستوى المستودعات (repository-level) مصمم لمنع حفظ النماذج اللغوية الكبيرة (LLM) من خلال بيانات متنوعة وذات ذيول طويلة ومعايرة للصعوبة، إلى جانب وصفة تدريب قابلة للتوسع تتكون من مرحلتين (SFT وRLAIF) تمكن النماذج المفتوحة الصغيرة من تجاوز GPT-4o في الاستكشاف الوكيل للمجموعات البرمجية (agentic codebase exploration).

المؤلفون الأصليون: Songcheng Cai, Zhiheng Lyu, Yuansheng Ni, Xiangchao Chen, Baichuan Zhou, Shenzhe Zhu, Yi Lu, Haozhe Wang, Chi Ruan, Benjamin Schneider, Weixu Zhang, Xiang Li, Andy Zheng, Yuyu Zhang, Ping Nie, Wenhu C

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Songcheng Cai, Zhiheng Lyu, Yuansheng Ni, Xiangchao Chen, Baichuan Zhou, Shenzhe Zhu, Yi Lu, Haozhe Wang, Chi Ruan, Benjamin Schneider, Weixu Zhang, Xiang Li, Andy Zheng, Yuyu Zhang, Ping Nie, Wenhu Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث SWE-QA-Pro، مترجماً إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة الكبيرة: "الكتاب المدرسي" مقابل "العالم الحقيقي"

تخيل أنك تدرب طالباً ليكون محققاً بارعاً.

الطريقة القديمة (الاختبارات المرجعية الحالية):
كانت معظم الاختبارات السابقة تشبه إعطاء الطالب كتاباً مدرسياً وسؤاله: "من قتل السيد بودي في المكتبة؟". قد يجيب الطالب بشكل صحيح لأنه حفظ الكتاب (المستودعات البرمجية "الشائعة" التي يعرفها الجميع). ولكن في العالم الحقيقي، لا يملك المحقق كتاباً مدرسياً؛ بل عليه الدخول إلى قصر غريب وغير مألوف، يفتح الأدراج، يبحث تحت السجاد، ويتحدث إلى الشهود لحل اللغز.

المشكلة هي أن نماذج الذكاء الاصط�ناটি الحالية بارعة في استرجاع الحقائق من ذاكرتها، لكنها سيئة جداً في "استكشاف" قاعدة بيانات برمجية جديدة ومعقدة للعثور على الإجابة. إنهم "عارفون بكل شيء" لكنهم لا يستطيعون "فعل كل شيء".

الحل: SWE-QA-Pro

بنى المؤلفون ساحة تدريب جديدة تسمى SWE-QA-Pro. فكر في هذا كبرنامج "تلفزيون واقع للبقاء على قيد الحياة" لوكلاء الذكاء الاصطناعي.

1. الحلبة: المستودعات "ذات الذيل الطويل" (غير الشائعة)

بدلاً من اختبار الذكاء الاصطناعي على المشاريع الشهيرة والمعروفة (مثل "المكتبة" في تشبيهنا)، اختاروا 26 مشروعاً برمجياً غريباً، معقداً، وغير مشهور (مثل "القصور الغريبة والمبعثرة").

لماذا؟ لأنه إذا استطاع الذكاء الاصطناعي حل لغز في قصر غريب وغير معروف، فهذا يثبت أنه يعرف حقاً كيف يحقق، وليس فقط كيف يسترجع الحقوق.
اللمسة المميزة: تأكدوا من أن كل "قصر" مبني بالكامل ويعمل وظيفياً. يمكن للذكاء الاصطناعي تشغيل الكود فعلياً، وليس مجرد قراءته.

2. الفلتر: استبعاد الغشاشين

أدرك المؤلفون أن بعض الأسئلة سهلة للغاية. إذا سألت: "ماذا تفعل دالة print؟"، يمكن لذكاء اصطناعي ذكي الإجابة دون النظر إلى الكود. وهذا يعتبر غشاً في اختبار المحقق.

لذا، أنشأوا فلتر الصعوبة:

طلبوا من الذكاء الاصطناعي الإجابة على سؤال دون النظر إلى الكود.
إذا أجاب الذكاء الاصطناعي بشكل صحيح بمجرد التخمين أو التذكر، فإنهم يستبعدون السؤال.
احتفظوا فقط بالأسئلة التي كان على الذكاء الاصطناست فيها فتح الملفات، والبحث عبر المجلدات، وتتبع المنطق للوصول إلى الإجابة. هذا يضمن أن الاختبار يقيس مهارات الاستكشاف، وليس مجرد الذاكرة.

3. وصفة التدريب: من "طالب" إلى "محقق"

تقدم الورقة أيضاً طريقة جديدة لتدريب نماذج الذكاء الاصطناعي الصغيرة لتصبح محققين خبراء. استخدموا روتيناً تدريبياً من خطوتين:

الخطوة 1: الضبط الدقيق تحت الإشراف (SFT) - "الفصل الدراسي"
لقد علموا النموذج قواعد اللعبة. أظهروا له أمثلة حول كيفية استخدام الأدوات (مثل "البحث"، "عرض الملف"، و"تشغيل الأمر") لحل المشكلات. الأمر يشبه تعليم طالب كيفية استخدام العدسة المكبرة ودفتر الملاحظات.
الخطوة 2: التعلم المعزز من التعليقات الراجعة للذكاء الاصطناعي (RLAIF) - "رقيب التدريب"
هذا هو السر الخفي. بعد الفصل الدراسي، تركوا النموذج يحاول حل المشكلات بمفرده.
- إذا خمن النموذج الإجابة دون النظر، يحصل على درجة منخفضة.
- إذا فتح الملفات الصحيحة، ووجد السطر المحدد من الكود، واستشهد بأدلته، يحصل على درجة عالية.
- قام "قاضٍ ذكاء اصطناعي" (ذكاء اصطناعي فائق الذكاء) بتقييم عمل النموذج، ومكافأته على كونه دقيقاً وواقعياً.

النتائج: انتصار الطرف الأضعف

كانت النتائج مفاجئة. لقد أخذوا نموذجاً مفتوح المصدر وصغيراً نسبياً (Qwen3-8B) ودربوه باستخدام طريقة "تلفزيون الواقع" هذه.

النتيجة: تفوق هذا النموذج الصغير المدرب على GPT-4o (نموذج ضخم، باهظ الثمن، ومملوك لجهة خاصة) في اختبارهم الخاص.
الدرس المستفكاد: لا تحتاج إلى عقل عملاق إذا كنت تملك التدريب الصحيح. تعليم الذكاء الاصطناعي كيف يستكشف أهم من مجرد جعل الذكاء الاصطناعي أكبر حجماً.

ملخص التشبيه

المراجع القديمة: سؤال طالب عن حبكة فيلم مشهور شاهده آلاف المرات.
SWE-QA-Pro: وضع الطالب في غرفة مظلمة مع صندوق ألغاز جديد ومعقد، ورؤية ما إذا كان بإمكه معرفة كيفية فتحه عن طريق تحسس الأزرار وتدوير المقابض.
التدريب: بدلاً من إعطاء الطالب مفتاح الإجابة، يتم مكافأته في كل مرة ينجح فيها في تدوير مقبض أو العثور على حجرة مخفية.

باختصار: تقول الورقة: "توقفوا عن اختبار الذكاء الاصطناعي فيما يعرفه بالفعل. ابدأوا باختبار مدى قدرته على التعلم والاستكشاف. وإذا دربتموه على ذلك، يمكن حتى للنماذج الصغيرة أن تهزم العمالقة".

إليك ملخص تقني مفصل لورقة البحث بعنوان "SWE-QA-Pro: معيار تمثيلي ووصفة تدريب قابلة للتوسع لفهم الأكواد على مستوى المستودعات البرمجية (Repository-Level)."

1. بيان المشكلة

يواجه مجال هندسة البرمجيات المدعوم بالنماذج اللغوية الكبيرة (LLM) فجوتين حرجتين في تقييم وتدريب النماذج على فهم الأكواد على مستوى المستودع (Repository-level code understanding):

نقص المعايير الموثوقة: تعتمد المعايير الحالية (مثل SWE-Bench وSWE-QA) غالبًا على مستودعات برمجية مشهورة حيث يمكن للنماذج اللغوية الكبيرة "الغش" عبر استدعاء المعرفة المحفوظة من مرحلة التدريب المسبق بدلاً من الاستكشاف الحقيقي لأساس الكود (Codebase). كما أنها تتجاهل كثيرًا المهام "طويلة الذيل" (Long-tail tasks) (مثل الإعدادات، والربط بين البنى التحتية) وتتضمن أسئلة يمكن حلها دون التفاعل مع الكود.
التدريب غير الفعال للسلوك الوكيل (Agentic Behavior): تعتمد طرق التدريب الحالية للنماذج مفتوحة المصدر بشكل أساسس على الضبط الدقيق تحت الإشراف (SFT) على مسارات ثابتة. وهي تفتقر إلى الآليات التي تحسن الاستكشاف النشط، واستخدام الأدوات، والاستدلال متعدد الخطوات المطلوب للتنقل في قواعد الأكواد المعقدة وغير المألوفة. ونتيجة لذلك، تعاني النماذج المفتوحة الصغيرة في مطابقة النماذج المملوكة (Proprietary models) في مهام مستوى المستودع.

2. المنهجية

يقترح المؤلفون حلاً ذا شقين: خط بناء معيار صارم ووصفة تدريب وكيلية قابلة للتوسع.

أ. بناء معيار SWE-QA-Pro

يتم بناء المعيار عبر خط إنتاج مكون من أربع مراحل مصمم للقضاء على الحفظ وضمان التنوع:

مصدر البيانات والتصنيف (Data Sourcing & Taxonomy):
- تحليل أكثر من 1.6 مليون قضية (Issue) من GitHub من 3,468 مستودعًا (بما في ذلك مشاريع طويلة الذيل).
- استخدام التجميع الهرمي لـ K-Means على تضمينات القضايا (Issue embeddings) لإنشاء تصنيف دلالي يضم 48 فئة فرعية للمهام (مثل "حقن التبعيات - Dependency Injection"، "إعادة هيكلة غير المتزامنة - Async Refactoring"، "خطوط أنابيب CI").
تخليق البيانات (Data Synthesis):
- الاستعانة بـ Claude Code لتوليد أزواج (سؤال/جواب) ذاتية الاحتواء بناءً على التصنيف. يقوم "الوكيل" باستكشاف المستودع لإنشاء مشكلات تتطلب استدلالًا عبر ملفات متعددة.
- استراتيجية أخذ العينات: تغطي مجموعة الاختبار 26 مستودعًا (لضمان تغطية التصنيف بالكامل)، بينما تغطي مجموعة التدريب 1,484 مستودعًا.
معايرة الصعوبة (خطوة حاسمة):
- لاستبعاد الأسئلة القائمة على "المعرفة فقط"، يقارن المؤلفون بين خطوط الأساس لـ الإجابة المباشرة (بدون أدوات، دورة واحدة) مقابل عمليات استخدام الأدوات.
- إذا كان بإمكان نموذج قوي مملوك (مثل GPT-4o أو Claude Sonnet 4.5 أو Gemini 2.5 Pro) الإجابة على سؤال ما بشكل صحيح دون الوصول إلى المستودع، يتم استبعاد السؤال.
- تُعرَّف الصعوبة من خلال درجة الإجماع السلبية للإجابات المباشرة؛ حيث يتم الاحتفاظ فقط بالأسئلة التي تتطلب استكشافًا حقيقيًا لقاعدة الكود.
التحقق (Validation):
- يتم التحقق من الإجابات عبر Claude Code والمراجعين البشريين لضمان الصحة، والاكتمال، والاستناد إلى مسارات ملفات وأرقام أسطر محددة.
- البيانات النهائية: 260 سؤالاً عالي الجودة من 26 مستودعًا طويل الذيل.

ب. وكيل SWE-QA-Pro ووصفة التدريب

يقدم المؤلفون سير عمل لوكيل خفيف الوزن بنمط ReAct، ووصفة تدريب مكونة من مرحلتين للنماذج المفتوحة الصغيرة:

سير عمل الوكيل (Agent Workflow):
- التخلي عن فهارس RAG مسبقة البناء.
- استخدام أدوات صريحة ومتحكم في طولها: SemanticSearch (مطابقة الكلمات المفتاحية)، وView (فحص الملف/المجلد)، وExecuteCommand (التحليل الهيكلي للقراءة فقط).
- يعمل في حلقة تكرارية: استدلال $\leftarrow$ اختيار إجراء $\leftarrow$ ملاحظة $\leftarrow$ تكرار حتى يتم جمع أدلة كافية.
التدريب ذو المرحلتين (SFT $\leftarrow$ RLAIF):
1. الضبط الدقيق تحت الإشراف (SFT): تدريب نموذج أساسي (Qwen3-8B) على 1,000 مسار عالي الجودة متعدد الدورات تم توليده بواسطة Claude Sonnet 4.5. هذا يعلم النموذج بناء الجمل للأدوات وأنماط الاستخدام الأساسية.
2. التعلم التعزيزي من التغذية الراجعة للذكاء الاصطناعي (RLAIF):
  - استخدام 464 زوجًا إضافيًا من (سؤال/جواب) للتعلم التعزيزي.
  - نموذج المكافأة: يقوم نموذج لغوي (LLM-as-a-Judge) بتقييم الإجابات المولدة مقابل الحقيقة الأرضية (Ground Truth) عبر خمسة أبعاد: الصحة (Correctness)، والاكتمال (Completeness)، والصلة (Relevance)، والوضوح (Clarity)، وجودة الاستدلال (Reasoning Quality).
  - التحسين: استخدام خوارزمية GRPO. تركز دالة المكافأة بقوة على "الصحة" لمنع "اختراق المكافأة" (تقديم إجابات بليغة ولكن خاطئة).

3. المساهمات الرئيسية

معيار SWE-QA-Pro: معيار جديد يفرض التنوع الدلالي (عبر التجميع طويل الذيل) وضرورة التفاعل (عبر معايرة الصعوبة). يقوم بتصفية حوالي 90% من الأسئلة التي يمكن حلها بالمعرفة المباشرة، مما يعزل المهام التي تتطلب حقًا استكشافًا وكيلًا.
وصفة تدريب وكيلية: خط إنتاج SFT $\leftarrow$ RLAIF قابل للتوسع يمكّن النماذج المفتوحة الصغيرة (8 مليار معلمة) من تعلم استخدام الأدوات بكفاءة والاستدلال المعقد دون الحاجة إلى مجموعات بيانات ضخمة مملوكة.
إطار عمل الوكيل (Agent Framework): وكيل يعتمد على نمط ReAct وخالٍ من RAG، يتنقل بفعالية في قواعد الأكواد باستخدام البحث بالكلمات المفتاحية وفحص الملفات المحدود، مما يثبت فعاليته حتى مع النماذج الأصغر.

4. النتائج التجريبية

قام المؤلفون بتقييم 11 نموذجًا (بما في ذلك النماذج المملوكة والمفتوحة المصدر) على SWE-QA-Pro.

فجوة الأداء: توجد فجوة هائلة في الأداء بين الإجابة المباشرة وسير العمل القائم على الوكيل. على سبيل المثال، يتحسن Claude Sonnet 4.5 بمقدار 13 نقطة عند استخدام الوكيل، مما يؤكد أن المعيار نجح في عزل المهام التي تتطلب استكشاف الكود.
نجاح النماذج الصغيرة:
- حقق نموذج Qwen3-8B المدرب بوصفة SFT $\leftarrow$ RLAIF درجة 5.96 (إجمالي) مع الوكيل.
- هذا يتفوق على GPT-4o (5.59) بمقدار 2.3 نقطة.
- يقلص الفجوة بشكل كبير مع النماذج المملوكة الرائدة مثل Claude Sonnet 4.5 (7.34) و GPT-4.1 (6.86).
تحليل استراتيجية التدريب:
- زيادة بيانات SFT من 1,000 إلى 1,464 مسارًا لم تؤدِ إلا إلى مكاسب طفيفة.
- أدت إضافة مرحلة RLAIF إلى تحسينات كبيرة في الصحة والاكتمال، مما يثبت أن التعلم التعزيزي (RL) يوفر إشارة تحسين مختلفة نوعيًا تعمل على صقل الدقة الواقعية بما يتجاوز ما يمكن أن يحققه SFT وحده.
استخدام الأدوات: النماذج ذات الدرجات الأعلى (مثل Claude Sonnet 4.5) استخدمت أعلى حجم من استدعاءات الأدوات. أظهرت نماذج ما بعد الـ RL تحسنًا في الحصافة (Judiciousness) في استخدام الأدوات بدلاً من مجرد زيادة التكرار.

5. الأهمية

إعادة تعريف التقييم: يضع SWE-QA-Pro معيارًا جديدًا لأسئلة/أجوبة مستوى المستودع من خلال التصفية الصارمة لآثار الحفظ، مما يجبر النماذج على إظهار قدرات حقيقية في التنقل في الكود والارتباط به.
دمقرطة الذكاء الاصطناائي الوكيلي: تثبت النتائج أن النماذج المفتوحة المصدر الصغيرة (8 مليار معلمة) يمكن أن تتفوق على النماذج الضخمة المملوكة (مثل GPT-4o) في مهام هندسة البرمجيات المعقدة إذا تم تدريبها باستخدام سير عمل وكيلي ووصفة RLAIF مناسبة.
القابلية للتوسع: توفر خطوط إنتاج البيانات الاصطناعية ووصفة التدريب المقترحة مسارًا قابلاً للتوسع لتحسين فهم الكود في النماذج المفتوحة دون الاعتماد على بيانات ضخمة مملوكة أو عدد هائل من المعلمات.

القيود

النطاق: يقتصر المعيار على 260 سؤالًا بسبب التكلفة العالية للتحقق البشري.
اللغة: يقتصر حاليًا على لغة Python بسبب متطلبات بيئات التشغيل المعزولة (Sandboxes)، رغم أن خط الإنتاج مستقل عن اللغة.
اختراق المكافأة (Reward Hacking): ينطوي الاعتماد على "النموذج اللغوي كحكم" (LLM-as-a-Judge) للمكافآت على خطر قيام النماذج بتحسين تفضيلات الحكم بدلاً من الصحة الموضوعية، رغم أن الفحوصات الأولية لم تظهر أي تلاعب كبير.