ملخص تقني: HEAVYSKILL – التفكير العميق كمهارة داخلية في الأطر الوكيلة (Agentic Harness)

بيان المشكلة

حققت التطورات الأخيرة في الأطر الوكيلة (agentic harnesses) نجاحاً في مهام الاستدلال المعقدة من خلال تنسيق عدة وكلاء يمتلكون ذاكرة ومهارات واستخداماً للأدوات. ومع ذلك، تظل الآليات الكامنة وراء هذا الأداء غامضة بسبب التصميمات النظامية المعقدة. تعتمد النهج الحالية غالباً على حلقات تنسيق خارجية تقوم بتنشيط الوكلاء الفرعيين بالتوازي وتلخيص النتائج، أو تستخدم تعديلات هيكلية متخصصة ووصفات ما بعد التدريب لاستحضار الاستدلال المتوازي. تجادل الورقة بأن السعي وراء قدرة الاستدلال قد ركز بشكل كبير على استراتيجيات توسيع وقت الاختبار (TTS) التي تضخم الموارد الحسابية، ومع ذلك، فإن المساهمة المحددة لـ "التفكير العميق" (heavy thinking) كمهارة داخلية قابلة للاستيعاب داخل معاملات النموذج لا تزال غير مستكشفة بشكل كافٍ. علاوة على ذلك، تفتقر الطرق الحالية غالباً إلى إطار عمل موحد وقابل للنقل يمكن فصله عن البنية التحتية المحددة ليعمل كقدرة أصلية للنموذج اللغوي الكبير (LLM).

المنهجية

يقترح المؤلفون HEAVYSKILL، وهو منظور وإطار عمل يعامل "التفكير العميق" ليس مجرد وحدة تنفيذ في إطار تنسيق، بل كـ مهارة داخلية مستوعبة داخل النموذج. تُعرف هذه المهارة بأنها خط إنتاج يتكون من مرحلتين: الاستدلال المتوازي يليه التداول المتسلسل.

1. إطار عمل التفكير العميق (The Heavy Thinking Framework)

يتم تفكيك خط أنابيب الاستدلال إلى مرحلتين متميزتين:

• الاستدلال المتوازي (Parallel Reasoning): بالنظر إلى مسألة $q$، يقوم النموذج بتوليد $K$ من مسارات الاستدلال المستقلة ($T_{\pi_\theta}(q, K) = \{y_1, \dots, y_K\}$). يتم توليد هذه المسارات دون الوصول إلى مخرجات بعضها البعض لضمان التنوع.
• التداول المتسلسل (Sequential Deliberation): يقوم نموذج ثانٍ (أو نفس النموذج) بتجميع المسارات المولدة. تتضمن هذه المرحلة عملية "تلخيص" حيث يقوم النموذج بتقييم مسارات الاستدلال بشكل نقدي، وتحديد الأخطاء، وتوليف إجابة نهائية.
• ذاكرة التخزين المؤقت المتسلسلة (Serialized Memory Cache): لسد الفجوة بين هاتين المرحلتين، يقدم الإطار آلية لتخزين الذاكرة المؤقتة. نظرًا لأن المسارات الكاملة غالبًا ما تتجاوز حدود السياق، يتم تقليمها، وإعادة ترتيبها لمنع الانحياز الموضعي، وتسلسلها في سياق ($C(x_c)$) لمرحلة التداول.
• التداول التكراري (اختياري): يدعم الإطار صقلًا تكراريًا حيث يتم تغذية مخرجات مرحلة التداول مرة أخرى في ذاكرة التخزين المؤقت كمدخل جديد لجولات التحليل اللاحقة.

2. HEAVYSKILL كمهارة مقروءة

الابتكار الرئيسي هو تقطير سير العمل هذا في ملف مهارة مقروء (مثل HeavySkill.md). بخلاف سير العمل التقليدية التي تعتمد على خطوط أنابيب Python خارجية لإدارة استدعاءات API والحالة، فإن HEAVYSKILL هو وثيقة قابلة للقراءة من قبل البشر ومفهومة من قبل النماذج.

• الهيكل: يحتوي ملف المهارة على أربعة مكونات:
  1. شروط التنشيط: قواعد إعلانية لتحديد متى يتم تفعيل التفكير العميق (مثل الاستدلال المعقد مقابل الاستعلامات البسيطة).
  2. بروتوكول الاستدلال المتوازي: تعليمات لإنشاء $K$ من الوكلاء المستقلين باستراتيجيات متنوعة.
  3. مطالبة التداول (Deliberation Prompt): قالب أساسي يوجه النموذج لتقييم المسارات نقدياً، وليس مجرد التصويت عليها. هو يمنع صراحةً الدمج السطحي ويطالب بتوليف حقيقي.
  4. قيود المخرجات: قواعد لتنسيق الإجابة النهائية (مثل استخدام \boxed{} للمسائل الرياضية).
• القابلية للنقل: نظرًا لأنه وثيقة نصية بسيطة، يمكن حقنها في أي إطار عمل وكيل (مثل Claude Code، CodeX، Hermes) يدعم تحميل المهارات، مما يسمًح للمنسق بتنفيذ البروتوكول ذاتياً دون تعديل الكود.

3. التحسين عبر RLVR

تستكشف الورقة تكييف التعلم المعزز من المكافآت القابلة للتحقق (RLVR) لتحسين التفكير العميق. الفرضية هي أن RLVR يمكن أن يحسن بالتزامن اتساع الاستدلال (عبر التوليد المتوازي) وعمقه (عبر التداول)، مما قد يدفع النموذج إلى ما وراء قيود المسار الواحد المتأصلة فيه.

المساهمات الرئيسية

1. اقتراح إطار عمل: تقديم إطار عمل بسيط وخالٍ من التدريب لإعادة إنتاج التفكير العميق عبر الاستدلال المتوازي والتداول المتسلسل.
2. دراسة تجريبية شاملة: أول تقييم منهجي للتفكير العميق عبر أحجام نماذج مختلفة (من 7B إلى النماذج الرائدة) ومجالات مهام متنوعة (STEM، البرمجة، الاستدلال العام).
3. تقطير المهارة: التصور المفاهيمي للتفكير العميق كـ "مهارة داخلية" قابلة للنقل، والتي تفصل قدرة الاستدلال عن البنية التحتية لتنسيق العمليات.
4. التحليل المنهجي: رؤى مفصلة حول التفاعل بين مكونات الإطار، بما في ذلك أدوار تنوع المسارات، واختيار النموذج لعملية التداول، وآثار الصقل التكراري.

النتائج التجريبية

الأداء في مهام STEM

تم التقييم باستخدام معايير تشمل AIME25، BeyondAIME، HMMT25-Feb، و GPQA-Diamond:

• تفوق مستمر: يتفوق التفكير العميق (المقاس بـ Heavy-Mean@4 أو HM@4) باستمرار على محاولات المسار الواحد (Mean@K) واستراتيجيات "أفضل من N" التقليدية مثل التصويت بالأغلبية (Vote@K).
• قوانين القياس (Scaling Laws): يؤدي زيادة عدد المسارات المتوازية ($K$) واستخدام التداول المتسلسل إلى تحسن مستمر في الأداء، مما يؤكد التفكير العميق كتحقيق عملي لتوسيع وقت الاختبار (Test-Time Scaling).
• الاقتراب من الحدود النظرية: النماذج الأقوى (مثل DeepSeek V3.2، GPT-5 Thinking) تحت تأثير التفكير العميق تقترب من الحد الأعلى لـ Pass@K. في بعض الحالات، يتجاوز عملية التداول (Heavy-Pass@K) قيمة Pass@K الخام، مما يشير إلى أن النموذج يمكنه توليف حلول صحيحة غير موجودة في أي مسار خام منفرد.
• التسلسل الهرمي: لوحظ تسلسل هرمي ثابت في الأداء: Heavy-Pass@k ≥ Heavy-Mean@K ≥ Vote@K ≥ Mean@K.

الأداء في مهام الاستدلال العام

• الموضوعي مقابل الذاتي: يظهر الإطار مكاسب جوهرية في المهام الموضوعية القابلة للتحقق (مثل LiveCodeBench، IFEval). ومع ذلك، تكون المكاسب هامشية أو سلبية أحياناً في المهام القائمة على التفضيلات والذاتية (مثل Arena-Hard)، مما يشير إلى أن التداول المتسلسل يتفوق في المهام "الموجهة نحو الصحة" ولكنه قد يعاني مع الفروق الدقيقة "الموجهة نحو التفضيل".
• اختيار النموذج: لا تتطلب مرحلة التداول بالضرورة نموذجاً ذا قدرة استدلال ذاتية فائقة. النماذج الأكبر التي تتبع التعليمات (مثل Qwen2.5-32B) المستخدمة كمداولات يمكن أن تعزز الأداء بشكل كبير حتى لو كانت أضعف في حل المشكلات بشكل مستقل، مما يسلط الض الضوء على أهمية قدرات التوليف (synthesis) على قوة الاستدلال الخام في المرحلة الثانية.

التداول التكراري واستخدام الأدوات

• التكرار: بينما تزيد زيادة التكرارات من الدقة بشكل عام، إلا أنها تقدم مقايضة حيث قد تتدهور Heavy-Pass@K بسبب الضوضاء التراكمية أو الانحياز من المراحل المبكرة.
• تكامل الأدوات: يتكامل الإطار بنجاح مع الأدوات الخارجية (مثل مفسرات Python). يتفوق التفكير العميق على خطوط الأساس للتصويت في سيناريوهات التداخل مع الأدوات، مما يستفيد بفعالية من التغذية الراجعة للتنفيذ لصقل المسارات.

تكيف RLVR

تظهر تجارب RLVR الأولية أن تطبيق التعلم المعزز على مسارات التفكير العميق يمكن أن يحسن Heavy-Mean@4 بنسبة تقارب 10%. ومع ذلك، لوحظت مشكلات في الاستقرار مع أعداد المسارات الكبيرة ($K=16$) بسبب قيود طول التسلسل، مما يشير إلى الحاجة إلى تهيئة دقيقة.

الأهمية والادعاءات

تدعي الورقة أن HEAVYSKILL توفر مساراً واعداً نحو النماذج اللغوية الكبيرة ذاتية التطور التي تستوعب الاستدلال المعقد دون الاعتماد على طبقات تنسيق هشة. من خلال تجريد الإطار الوكيل إلى قدرة "تفكير عميق" متأصلة، يوضح المؤلفون أن:

1. الاستدلال مهارة داخلية: يمكن تقطير الاستدلال المعقد إلى مهارة قابلة للنقل تعمل تحت أي إطار تنسيق وكيل.
2. التداول هو المفتاح: التداول المتسلسل أكثر فعالية من الإجماع الإحصائي البسيط (التصويت) لتوليف الإجابات الصحيحة من مسارات استدلال متعددة.
3. القابلية للتوسع: عمق واتساع التفكير العميق هما أمران قابلان للتعلم والتوسع عبر التعلم المعزز، مما يوفر آلية لدفع النماذج اللغوية الكبيرة إلى ما وراء حدود استدلالها الحالية.

يحافظ المؤلفون على موقف متواضع، مشيرين إلى أنه على الرغم من أن التفكير العميق يتفوق بشكل كبير على الاستراتيجيات التقليدية، إلا أنه ليس حلاً شاملاً لجميع أنواع المهام (خاصة التفضيلات الذاتية) وأن ديناميكيات RLVR في هذا السياق تتطلب مزيداً من الاستكشاف. يرسخ العمل في المقام الأول فعالية وقيود التفكير العميق كعنصر أساسي للأنظمة الوكيلية من الجيل القادم.