ملخص تقني: توسيع ذكاء السقالات عبر التطور الفوري للسقالات (Just-in-Time Harness Evolution)

1. بيان المشكلة

لا تتحدد قدرة الوكيل (Agent) المعتمد على النماذج اللغوية الكبيرة (LLM) فقط من خلال أوزان النموذج الأساسي، بل يتم تعريفها بشكل مشترك من خلال سقالة الوكيل (Agent Harness) — وهي الهيكل التشغيلي الذي يتكون من إدارة الذاكرة، واستراتيجيات التخطيط، وبروتوكولات الإجراءات، وتنسيق الأدوات/المهارات. وبينما قد يفشل نموذج قوي تحت سقالة غير مناسبة، فإن السقالة القوية لا يمكنها إلا إطلاق الإمكانات إذا كان النموذج قادراً على تفسيرها واتباعها.

تعتمد المنهجيات الحالية لتحسين السقالات بشكل أساسي على طرق التجهيز المسبق (Ahead-of-Time - AOT). تتعامل هذه الأنظمة مع السقالة كأثر دائم يتم تحسينه عبر تدفق الخبرات للتعميم على المهام المستقبلية. ومع ذلك، تعاني مناهج AOT من مشكلة الارتباط بالنموذذج (Instance-dependency): فالمهام المختلفة (مثل البحث الواسع مقابل المهام النهائية أو البحث العميق) تتطلب مقدمات (Priors) مختلفة تماماً للسقالة. إن تحسين سقالة واحدة بنهج AOT عبر متطلبات متباينة هو أمر مرهق، ويتطلب مساحات تصميم ضخمة وتراكماً للمسارات، وغالباً ما يفشل في مطابقة البنية المحددة لمشكلة جديدة. تفترض الورقة أن تصميم السقالة يجب أن ينتقل من كونه مهمة هندسية يدوية ثابتة إلى قدرة فورية (Just-in-Time - JIT)، حيث يقوم "ميتا-وكيل" (Meta-agent) مدرب بتخليق سقالة مخصصة للمهمة في الوقت الفعلي.

2. المنهجية: وكيل JIT (JIT-Agent)

تقترح الورقة JIT-Agent، وهو "ميتا-وكيل" مدمج مصمم لتخليق، وإصلاح، وتطوير سقالات تكيفية للمهام لأي نماذج لغوية كبيرة جاهزة للاستخدام.

2.1 الصياغة الرسمية: بروتوكول المكونات الأربعة

لجعل توليد السقالة ممكناً ومنظماً، تصيغ الورقة "سقالة الوكيل" كأثر قابل للتكوين والتوليد آلياً، محكوم ببروتوكول ثابت من أربعة وحدات $\Pi = (M, P, A, F)$:

1. الذاكرة ($M$): تضغط التاريخ إلى عرض ($v_t$) للتاريخ المتحقق منه.
2. التخطيط ($P$): يحول العرض إلى توجيه محلي ($d_t$).
3. تنسيق القدرات ($F$): يختار ويسلسل الأدوات/المهارات ذات الصلة ($C_t$) بناءً على التوجيه.
4. الإجراء ($A$): يستهلك السياق المجمع لتحديث حالة المتحكم وإصدار الإجراء التالي ($e_t$).

هذا التفكيك يحول البرامج غير المتجانسة إلى إحداثيات قابلة للمقارنة ضمن فضاء متوافق مع البروتوكول ($H_\Pi$). قدم المؤلفون HarnessFactory، وهو قاعدة كود موحدة تنفذ 13 هيكلاً معاصراً ممثلاً (مثل ReAct، وPlan-and-Execute، والوكلاء المتكررين) تحت هذه الواجهة المشتركة لتعمل كبنك بذور ($B_0$).

2.2 خط أنابيب التدريب

يتم تدريب JIT-Agent عبر خط أنابيب مكون من ثلاث مراحل لتحقيق ذكاء السقالة (التكيف، الموثوقية، والقابلية للتطور):

• المرحلة الأولى: التخصيص المشروط بالمهمة

  • الهدف: تعليم النموذج رسم خريطة من مواصفات المهمة وسياق مرجعي صغير إلى سقالة متوافقة مع البروتوكول.
  • الطريقة: يقوم نموذج معلم (Teacher Model) أقوى ومجمد بتخليق سقالات متكيفة مع المهمة. تتضمن بيانات التدريب كلاً من الضبط الدقيق الخاضع للإشراف (SFT) على التوليدات الصالحة وتعلم التفضيلات. يعمل هدف التفضيل ($L_{pref}$) على تحسين السقالات التي تزيد من مكافأة المهمة دون تقليل الكفاءة (زمن الاستجابة أو التكلفة)، باستخدام قاعدة تفضيل من نوع باريتو (Pareto-style).

• المرحلة الثانية: إصلاح السقالات

  • الهدف: ضمان الموثوقية من خلال تعلم كيفية التعافي من فشل التخليق.
  • الطريقة: يتم تحويل التوليدات الفاشلة (أخطاء المترجم، عدم تطابق الواجهات، استثناءات وقت التشغيل) إلى مسارات إصلاح محدودة. يقترح المعلم مراجعات مهيكلة ($\Delta$) لإصلاح السقالة. يتم تدريب النموذج على محاكاة انتقالات الإصلاح هذه، ليتعلم استخدام تغذية الراجعة التنفيذية لاستعادة التنفيذ الصحيح للبروتوكول ضمن أفق قصير (بحد أقصى جولتان).

• المرحلة الثالثة: تحسين السياسة المتطور غير المنفصل للمجموعات (Evo-GDPO)

  • الهدف: تمكين التطور عبر الإنترنت حيث يتعلم النموذج اقتراح سقالات تتفوق على حدود الأرشيف الحالي.
  • الطريقة: أثناء التدريب، يقترح النموذج مجموعة من السقالات المرشحة. يتم تقييم هذه المرشحات مقابل "المستقر" (أفضل سقالة في البنك الحالي لتلك المهمة). يتم فصل إشارة المكافأة إلى ثلاث قنوات:
    1. المكافأة: الإشارة الأساسية؛ يجب أن تطابق المرشحات مكافأة المستقر أو تتجاوزها.
    2. زمن الاستجونة والتكلفة: إشارات الكفاءة التي يتم تفعيلها فقط إذا تم الحفاظ على المكافأة.
  • يتم تحديث السياسة باستخدام هدف شبيه بـ PPO مدفوع بميزة مجمعة ومعيرة تكافئ تجاوز الحدود مع الحفاظ على الكفاءة. يتم تحديث بنك السقالات ($B_n$) بشكل متحفظ، بحيث يحتفظ فقط بالتصاميم التي تتقدم بالحدود الأمامية.

2.3 بنية الاستدلال

يدعم JIT-Agent نمطي استدلال:

• الاستدلال الثابت (Static Inference): يولد $N$ من السقالات بالتوازي، ويختار واحدة، ثم ينفذها. مفيد لتعظيم تنوع المرشحين دون زيادة عمليات تجربة البيئة.
• الاستدلال المتدفق (Streaming Inference): مصمم لتدفقات المهام. يسترجع النموذج المراجع من بنك متطور، ويولد سقالة، وينفذها، ثم يحدث البنك بناءً على التغذية الراجعة. يسم matter هذا لنقل الخبرة عبر المهام دون تحديث معاملات النموذج أثناء النشر.

3. النتائج الرئيسية

قيمت الورقة JIT-Agent عبر تسعة اختبارات معيارية تغطي البحث العميق، والعمل اليومي، والتخطيط، ومهام مساحة العمل، باستخدام نماذج أساسية تشمل GLM-5.2، وDeepSeek-V4-Flash، وQwen3.6، وMimo-V2.5.

• مكاسب الأداء: يؤدي استبدال الهياكل الافتراضية بسقالات مولدة بواسطة JIT إلى تحسينات مستمرة.

  • GLM-5.2: تحسن متوسط قدره +7.7 نقطة عبر تسعة اختبارات معيارية. تشمل المكاسب الملحوظة +20.2 في DeepPlanning-Travel و +4.3 في OdysseyBench.
  • DeepSeek-V4-Flash: تحسن متوسط قدره +8.8 نقطة. إنه يتفوق على GPT-5.6 في DeepSearchQA بمقدار +9.1.
  • التعميم: يحسن JIT-Agent الأداء عبر جميع عائلات النماذج المختبرة (DeepSeek، Qwen، Mimo) والمتغيرات (Flash/Pro)، مما يشير إلى أن القدرة تنتقل عبر أوزان النماذج.

• التنافسية مع السقالات الثابتة:

  • السقالات المولدة بواسطة JIT تنافس في الأداء بيئات التشغيل الناضجة مثل OpenCode و Claude Code.
  • في DeepSeek-V4-Flash، يتفوق JIT-Agent على أقوى سقالة ثابتة (NanoBot) بمقدار +4.7 نقطة في DeepSearchQA و +4.0 نقطة في xBench-DS.

• كفاءة التكلفة:

  • يحقق JIT-Agent أقل استهلاك للرموز (Tokens) وتكلفة API في جميع الإعدادات المحكومة.
  • مقارنة بأرخص سقالة ثابتة، فإنه يقلل التكاليف لكل حالة بنسبة 14.9–54.1% (بمتوسط 36.0%) مع تحسين الأداء. على سبيل المثال، في DeepSeek-V4-Flash xBench-DS، انخفض استخدام الرموز من 527K إلى 212K بينما ارتفع الأداء من 78.0 إلى 82.0.
  • يظهر تحليل جبهة باريتو (Pareto frontier) أن JIT-Agent ينقل نقاط التشغيل نحو الجزء العلوي الأيسر (أداء أعلى، تكلفة أقل)، مما يثبت أن المكاسب ليست ناتجة عن مسارات أطول ولكن عن تنسيق أفضل.

• التطور في وقت الاختبار:

  • الـ JIT المتدفق (Streaming JIT) (الذي يحدث بنك السقالات عبر تدفق المهام) يتفوق باستمرار على الـ JIT الثابت (Static JIT) (التوليدات المستقلة) في الدقة التراكمية، مما يثبت قيمة التعلم من التغذية الراجعة للتنفيذ.

4. الأهمية والادعاءات

تدعي الورقة ترسيخ ذكاء السقالة كبعد جديد، قابل للتدريب وللنقل، ومستقل عن توسيع النماذج.

• تحول جذري: ينقل هذا العمل هندسة السقالات من "التجهيز المسبق" (تحسين أثر ثابت) إلى "التجهيز الفوري" (تخليق هيكل مخصص للمهمة في الوقت الفعلي).
• النموذج كـسقالة: يوضح العمل أن "ميتا-وكيل" مدرب يمكنه توليد هياكل تشغيلية تسمح للنماذج الأضعف أو الأكثر كفاءة بمنافسة أو حتى تجاوز النماذج الأقوى ذات السقالات الثابتة.
• القابلية للتوسع: من خلال صياغة السقالة كبروتوكول قابل للتركيب وتدريب مولد لتطويرها، تقترح الورقة مساراً لتوسيع قدرة الوكيل من خلال تحسين بيئة التنفيذ نفسها، وليس فقط من خلال توسيع معاملات النموذج.
• الاتجاه المستقبلي: يرى المؤلفون أن هذا خطوة نحو التصميم المشترك بين النموذج والسقالة (Model-Harness Co-Design)، حيث قد تستوعب النماذج الأساسية في النهاية القدرة على بناء، ومراجعة، وتطوير أنظمة التنفيذ الخاصة بها.

تخلص الورقة إلى أن ذكاء السقالة ليس مجرد تفصيل تنفيذي، بل هو محدد من الدرجة الأولى لأداء الوكيل، وقادر على استعادة قدرات كبيرة كان من الممكن أن تتطلب توسيعاً مكلفاً للنماذج الأساسية.