Recursive Synthesis for Long-Horizon Terminal Tasks
تقدم هذه الورقة البحثية مهام الطرفية الاصطناعية التكرارية (RST)، وهو إطار عمل قابل للتوسع يقوم بتوليد والتحقق من مهام الوكيل النهائية طويلة الأمد بشكل تكراري لإنتاج 37,484 مثالاً عالي الجودة بتكلفة منخفضة، مما يعزز بشكل كبير أداء النماذج الضبطية والوكيلية على الاختبارات المعيارية الصعبة دون إظهار علامات تضاؤل العوائد.
تخيل أنك تعلم روبوتًا ليكون ميكانيكيًا ماهرًا. أنت لا تريد منه فقط أن يعرف شكل المفتاح، بل تريده أن يصلح محرك سيارة لم يسبق له أن تعطل من قبل. هذا هو عالم "الوكلاء الذكيين" (AI agents)—وهي برامج حاسوبية ذكية لا تكتفي بالدردشة معك فحسب، بل تقوم بالفعل بأشياء، مثل كتابة الأوامر، ونقل الملفات، وإصلاح أخطاء البرمجيات. المشكلة الكبرى هي أن هذه الروبوتات سيئة للغاية في المهام الطويلة والمعقدة. إذا طلبت منها بناء منزل، فقد تضع طوبة واحدة ثم تشعر بالارتباك. لتعليمها بشكل أفضل، نحتاج إلى آلاف من مسائل التدريب حيث يحاول الروبوت بناء المنزل، فيفشل، ثم يتم تصحيحه، ثم يحاول مجددًا. لكن صنع مسائل التدريب هذه هو كابوس؛ فإذا قمت بكتابتها يدويًا، فسيكلف ذلك ثروة، وإذا طلبت من الحاسوب كتابتها، فغالبًا ما يبتدع قواعد لا تتوافق مع الأدوات، أو يبتكر لغزًا يستحيل حله. الأمر يشبه طلب وصفة كعكة من طاهٍ، لكن الوصفة تطلب مكونات غير موجودة في المطبخ، أو أن الفرن معطل.
هنا يبرز أسلوب جديد يسمى "مهام الطرفية الاصطناعية المتكررة" (Recursive Synthetic Terminal Tasks - RST). فكر في هذا كـ "آلة تطور رقمية" لإنشاء ألغاز تدريب الروبوتات. بدلاً من قيام البشر بكتابة كل مشكلة، بدأ الباحثون بمجموعة صغيرة مكونة من 639 لغزًا تم التحقق من عملها (وهي "البذور"). ثم استخدموا ذكاءً اصطناعيًا قويًا ليعمل كمصمم ألعاب بارع ولكنه مشاكس. نظر هذا الذكاء الاصطناعي إلى لغز يعمل بالفعل، وأضاف خطوة جديدة أكثر صعوبة إلى الحل (مثل إضافة ترس جديد إلى المحرك)، ثم قام على الفور بتحديث التعليمات و"مفتاح الإجابة" ليتناسب مع النسخة الجديدة الأكثر صعوبة. والأهم من ذلك، قبل حفظ اللغز الجديد، تم إلقاؤه في "صندوق رمال رقمي" (sandbox)—وهو غرفة حاسوب معزولة وآمنة—ليرى ما إذا كان سيعمل بالفعل. إذا فشل الحل، يتم التخلص من اللغز، وإذا نجح، يتم الاحتفاظ به واستخدامه كبذرة للجولات التالية من الألغاز الأكثر صعوبة. قام الباحثون بتشغيل هذه الحلقة 15 مرة. وبحلول النهاية، كانوا قد أنشأوا ما يقرب من 38,000 لغز جديد وموثق. والجزء الأفضل؟ كانت الألغاز تزداد صعوبة حقيقية مع كل جولة. فقد انتقل اللغز المتوسط من الحاجة إلى 67 سطرًا من الكود لحله إلى 374 سطرًا، وقفز عدد الأوامر التي توجب على الروبوت كتابتها من 40 إلى 244 أمرًا.
كانت النتائج دراماتيكية. فعندما اختبروا نموذج حل ذكاء اصطناعي رفيع المستوى على هذه الألغاز، انخفض معدل نجاحه من 90% في الألغاز السهلة للجولة الأولى إلى 2.5% فقط في الجولة الخامسة عشرة. أثبت هذا أن النظام لم يكن يصنع تعليمات أطول فحسب، بل كان يخلق مهامًا تتطلب تفكيرًا أعمق وخطوات أكثر. لكن السحر الحقيقي حدث عندما استخدموا هذه الألغاز لتدريب نموذج ذكاء اصطناعي آخر (Qwen3.5). فبعد التدريب على المسارات (المحاولات خطوة بخطوة) الناتجة عن هذه الألغاز، أصبح النموذج أفضل بشكل ملحوظ في حل مهام الطرفية في العالم الحقيقي. وفي الاختبارات القياسية، قفز أداؤه بنسبة تصل إلى 10 نقاط، ومع المزيد من التعلم المعزز، تحسن بنسبة 20% إلى 41% اعتمادًا على الاختبار. الاكتشاف الأكثر إثارة هو أن النظام لم يظهر أي علامة على التوقف؛ فبعد 15 جولة من زيادة الصعوبة، استمر النظام في إنتاج ألغاز صالحة ومتنوعة دون الانهيار في العبث أو تكرار نفس الحيل. وهذا يشير إلى أننا قد نتمكن من توليد إمداد لا ينتهي من بيانات التدريب عالية الجودة للوكلاء الذكيين، مما يحول عملية تعليم البشر المكلفة والبطيئة إلى عملية تطور سريعة، مؤتمتة، وقابلة للتوسع.
ملخص تقني: التوليف المتكرر للمهام الطرفية طويلة الأمد
بيان المشكلة
يعد إنتاج بيانات تدريب عالية الجودة وطويلة الأمد للوكلاء الطرفيين (terminal agents) مكلفاً للغاية من حيث الإنتاج على نطاق واسه. فبناء مهمة واحدة موثقة يتطلب تكلفة تتراوح بين مئات إلى آلاف الدولارات، نظراً لضرورة الحفاظ على اتساق متبادل صارم بين التعليمات العامة، والبيئة القابلة للتنفيذ، والحل المرجعي، والمُتحقق الخاص (private verifier). إن التأليف البشري لا يمكنه التوسع، كما أن التوليد المباشر بواسطة النماذج اللغوية الكبيرة (LLMs) يؤدي غالباً إلى كسر هذه التبعيات، مما ينتج عنه مهام إما غير قابلة للحل، أو غير قابلة للتحقق، أو تحتوي على معلومات "مسربة" حيث يتحقق المُتحقق من متطلات لم تُذكر في التعليمات. لم توفر المعايير المرجعية (benchmarks) وأنظمة البناء الآلي الموجودة حتى الآن طريقة قابلة للتوسع لتوليد بيانات وكيل طرفي عالية الجودة وموثقة تزداد تعقيداً بمرور الوقت.
يقترح المؤلفون إطار عمل RST، وهو إطار توليف متكرر موثق مصمم لبناء مهام وكيل طرفي طويلة الأمد على نطاق واسع. يعمل الإطار بناءً على مبدأ "الحل أولاً"، مما يضمن أن كل مهمة مقبولة تحمل برهاناً قابلاً للتنفيذ على قابليتها للحل.
سير العمل الأساسي
التهيئة الأولية (Seed Initialization): تبدأ العملية بمجموعة من المهام الموثقة الأولية (639 مهمة من TerminalWorld).
التوسع المتكرر (Recursive Expansion): لكل جولة، تعمل المهام المختارة من الجولة السابقة كبذور (seeds). يتبع الإطار أربع مراحل:
اختيار الهدف (Target Selection): يفحص النظام مهمة البذرة (الملفات، الأدوات، التبعيات) ويختار عامل إعادة كتابة (rewrite operator) من تصنيف يضم 40 عاملاً مقسمة إلى خمس عائلات (الإعدادات، البيانات/المخططات، نظام الملفات، البناء/ذاكرة التخزين المؤقت، وقت التشغيل/التشخيص).
توليد عقد المهمة (Task Contract Generation): يتم وضع خطة لتوسيع سير العمل القابل للتنفيذ. تحدد هذه الخطة متطلبات جديدة، وتحديثات للحل المرجعي، وتأكيدات أكثر صرامة للمُتحقق، مع تحديد ورفض أي طرق مختصرة محتملة بشكل صريح.
إعادة الكتابة (تنمية الحل، ثم المواءمة):
يتم توسيع الحل المرجعي (solve.sh) بعمليات جديدة (مثل فحص الملفات، إدارة الحالة، إنتاج المخرجات).
يتم تعديل البيئة (Dockerfile) لدعم هذه العمليات (تثبيت التبعيات، تهيئة الخدمات).
يتم تحديث المُتحقق الخاص للتحقق من انتقالات الحالة الجديدة والمخرجات، مع رفض القيم النائبة (placeholders) أو المخرجات الثابتة (hard-coded).
تتم مراجعة التعليمات العامة لتوضيح الهدف الجديد دون تسريب تفاصيل المُتحقق الخاص أو مسارات الحل.
التحقق (Validation):
الفلاتر الثابتة (Static Filters): تخضع المرشحات لفحوصات للتأكد من عدم وجود تكرار قريب، أو ملفات مفقودة، واتساق التعليمات مع المُتحقق (لضمان عدم وجود متطلبات خفية).
أوراكل الرمل (Sandbox Oracle): يتم تنفيذ المرشح في بيئة رملية (sandbox) جديدة. يجب أن يجتاز الحل المرجعي المُتحقق الخاص. في حال حدوث إخفاقات، تحاول حلقة إصلاح محدودة إصلاح المهمة باستخدام سجلات التنفيذ. تُقبل فقط المهام "الصحيحة وفقاً للأوراكل" (قابلة للحل بواسطة المرجع) والمهام "الصخرية وفقاً للعقد" (متطلباتها مرئية للوكيل).
إعادة التوزيع (Reseeding): تشكل المهام المقبولة المجموعة للمرحلة التالية من التوليف. يتم تطبيق حدود التنوع لمنع الهيمنة من قبل سلالات أو فئات أو عائلات إعادة كتابة معينة.
التكامل التدريبي
يدعم الإطار في الوقت ذاتกัน نموذجين للتدريب:
الضبط الدقيق تحت الإشراف (SFT): تُستخدم المسارات الناجحة التي جمعها الوكلاء (Qwen3.5) في المهام المولدة لضبط النماذج الأساسية.
التعلم التعزيزي (RL):forcement Learning): تعمل مجموعة المهام الموثقة كبيئة للتعلم التعزيزي القائم على المُتحقق (PPO)، حيث يحصل الوكيل على مكافأة بناءً على مُتحقق المهمة المدمج.
المساهمات الرئيسية والنتائج
1. توليف واسع النطاق ومنخفض التكلفة
النطاق: عبر أكثر من 15 جولة متكررة، أنتج RST ما معدله 37,484 مهمة موثقة لوكيل طرفي من 639 بذرة.
التكلفة: تبلغ تكلفة التوليف حوالي 0.05 دولار لكل مهمة، وهو انخفاض هائل مقارنة بالتكاليف البشرية.
الاستقرار: لم يظهر خط الإنتاج أي علامات على الانهيار أو التشبع. ظل عائد المهام الناجحة لكل 1,000 محاولة مستقراً (498–572) عبر جميع الجولات الـ 15، وظلت معدلات نجاح المرشحين ثابتة (74.5%–81.5%).
2. نمو جوهري في صعوبة المهام
نجح الإطار في زيادة التعقيد التنفيذي للمهام دون مجرد تضخيم طول المطالبة (prompt length):
طول الحل: نما متوسط عدد أسطر الكود من 67 (R1) إلى 374 (R15) (زيادة قدرها 5.6 ضعف).
استخدام الأوامر: نما متوسط عدد الأوامر المنفذة من 40 إلى 244 (زيادة قدرها 6.1 ضعف).
طول التعليمات: نما بشكل طفيف فقط من 85 إلى 122 كلمة (1.4 ضعف)، مما يشير إلى أن الصعوبة تنبع من تعقيد سير العمل وليس من الإطالة.
أداء الحلّال (Solver Performance): نتيجة لهذا النمو، انخفض معدل pass@4 لنموذج DeepSeek-V4-Pro بشكل رتيب من 90% (R1) إلى 2.5% (R15)، وانخفض متوسط الدرجة الجزئية من 0.970 إلى 0.170.
3. الفائدة التدريبية وتحسين الأداء
أظهرت البيانات المولَّفة فائدة كبيرة في تحسين أداء الوكيل:
الضبط الدقيق تحت الإشراف (SFT): أدى الضبط الدقيق لنماذج Qwen3.5-27B و Qwen3.5-122B-A10B باستخدام المسارات من المهام المولَّفة إلى تحسين الأداء في Terminal-Bench 2، و Terminal-Bench Hard، و Long-Horizon Terminal Bench بما يصل إلى 10 نقاط.
التعلم التعزيزي (RL): رفع تدريب PPO الوكيل على مجموعة المهام المولَّفة نموذج Qwen3.5-27B إلى 49.44% في Terminal-Bench 2، و 32.00% في Terminal-Bench Hard، و 22.07% في Long-Horizon Terminal Bench. وتمثل هذه نسب تحسن نسبية قدرها 20.0%، و 41.2%، و 21.9% على التوالي مقارنة بالنموذج الأساسي.
القابلية للنقل: انتقلت التحسينات إلى معايير مستقلة البناء (Terminal-Bench Hard)، مما يشير إلى أن النموذج تعلم سلوكيات طويلة الأمد قابلة للتعميم بدلاً من الإفراط في التخصيص (overfitting) لتوزيعات مهام محددة.
4. التنوع والصلاحية
تنوع المجالات: حافظت مجموعة المهام على تغطية واسعة للمجالات (19 مجالاً) مع استقرار في الإنتروبيا (0.821 إلى 0.817) ودون دليل على انهيار المجالات.
المواءمة بين التعليمات والمُتحقق: أظهرت الجولات المتأخرة مواءمة محسنة، حيث ارتفع "الحماية من الفحص الخفي" من 38.2% إلى 63.5%، وانخفض "خطر التعليمات القصيرة" من 41.6% إلى 7.5%.
عدم وجود تلوث: أكدت عمليات التدقيق عدم وجود تداخل بين المهام المولَّفة ومعايير التقييم (Terminal-Bench 2, Hard, LHTB)، حيث كان أقصى تشابه (Jaccard similarity) لـ 5-grams هو أقل من 0.009.
الأهمية
يزعم البحث أن RST يمثل مساراً قابلاً للتطبيق لتوسيع نطاق البيانات عالية الجودة لوكلاء الطرفي دون تأليف بشري. ومن خلال تطوير حزم مهام كاملة (مساحة العمل، الحل، المُتحقق، التعليمات) بشكل متكرر والتحقق منها في بيئة رملية، ينتج الإطار مجموعة بيانات ذاتية التحسين تزد ت صعوبتها بشكل منهجي. تشير النتائج إلى أن:
التوليف المتكرر لا ينهار: يمكن للعملية الاستمرار لأكثر من 15 جولة مع الحفاظ على العائد والتنوع.
التعقيد التنفيذي يقود الصعوبة: نجح الإطار في إنشاء مهام أكثر صعوبة حقاً للوكلاء، وهو ما ثبت من خلال الانخفاض الحاد في معدلات نجاح الحلّال.
البيانات الاصطناعية فعالة: التدريب على هذه المهام الموثقة والصعبة يحقق مكاسب كبيرة في الأداء على المعايير القياسية، مما يؤكد صحة نهج "الحل أولاً" لتدريب الوكلاء.
يخلص المؤلفون إلى أن هذا المسار لا يعتمد على مجال بذرة معين أو نموذج توليد محدد، مما يشير إلى أن النهج يمكن أن يستمر في التوسع في كل من كمية وجودة البيانات لدعم تطوير وكلاء طرفيين أكثر قدرة وطويلة الأمد.