ملخص تقني: Parason – الكشف عن التوازي في المهام الفرعية والتجارب في استدلال النماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

أظهرت التطورات الأخيرة في استدلال النماذج اللغوية الكبيرة (LLM)، مثل تحفيز "سلسلة الأفكار" (Chain-of-Thought - CoT) وأنظمة مثل OpenAI o1 وDeepSeek-R1، أن زيادة الحوسبة أثناء وقت الاختبار (test-time compute) تحسن الأداء بشكل كبير في المهام الرياضية والمنطقية المعقدة. ومع ذلك، فإن فك التشفير المتوالي (autoregressive decoding) القياسي ينفذ مسارات الاستدلال الطويلة هذه بشكل متسلسل. وهذا يخلق اختناقاً شديداً في زمن الاستجب (latency)، حيث يمكن أن تنمو مسارات الاستدلة إلى مئات الآلاف أو حتى ملايين الرموز (tokens)، مما يجعل استراتيجيات "فكر لفترة أطول" غير عملية للوكلاء التفاعليين والتطبيقات الحساسة لزمن الاستجابة.

بينما يوفر التوازي في الاستدلال علاجاً طبيعياً، تركز الأنظمة الحالية بشكل أساسي على توازي المهام الفرعية (Subtask Parallelism)، حيث يتم تفكيك مهمة عالية المستوى إلى أجزاء مستقلة (مثل حساب أجزاء مختلفة من مجموع ما). ويتجاهل هذا النهج شكلاً واسع الانتشار من التوازي: توازي التجارب (Trial Parallelism). في توازي التجارب، يستكشف النموذج فرضيات متعددة متنافسة ومضاربة في التوازي للتحقق من المسار الذي ينجح، وهو سلوك شائع في الاستدلال الصعب حيث يكون المسار الصحيح غير معروف. غالباً ما تعامل الطرق السابقة جميع الفروع المتوازية كمسارات كاملة مستقلة أو تفشل في التمييز بين المهام الفرعية الضرورية والتجارب المضاربة، مما يؤدي إلى حوسبة زائدة عن الحاجة أو نقص في التحكم في زمن الاستجابة.

2. المنهجية: إطار عمل Parason

يقدم المؤلفون Parason، وهو إطار عمل للتصميم المشترك بين التدريب والاستنتاج (training-and-inference co-design) يكشف ويستغل كلاً من توازي المهام الفرعية وتوازي التجارب. تتكون المنهجية من ثلاثة مكونات أساسية:

أ. التصنيف الدلالي للاستدلال المتوازي

يميز البحث بين شكلين متكاملين من التوازي بناءً على دلالات التنفيذ الخاصة بهما:

• توازي المهام الفرعية (فرع AND): يتم تفكيك المشكلة إلى أهداف فرعية مستقلة ($g_1, \dots, g_k$). جميع الفروع ضرورية، ويجب تجميع نتائجها لتشكيل الإجابة النهائية. هذا هو الشكل المهيمن في أنظمة التوازي التكيفية السابقة.
• توازي التجارب (فرع OR): يواجه النموذج حالة من عدم اليقين بشأن مسار الحل. يقوم بإطلاق محاولات متنافسة ($a_1, \dots, a_k$) لاختبار فرضيات مختلفة. وعلى عكس المهام الفرعية، ليست كل الفروع ضرورية؛ حيث يقوم النظام بتجميع مسارات الاستكشاف في تاريخ الاستدلال للاحتفاظ بالنتائج المفيدة. هذا يحاكي سلوك "التجربة، اكتشاف الطريق المسدود، ثم المراجعة" الذي يميز المستدلّين الأقوياء.

يكشف التحليل التجريبي لمسارات الاستدلال من نماذج مثل DeepSeek-R1 وDeepSeek-V4 على مجموعة بيانات Humanity's Last Exam (HLE) أن توازي التجارب يشكل غالبية (65.5%–73.8%) من خطوات الاستدلال القابلة للتوازي، متجاوزاً توازي المهام الفرعية بشكل كبير في المسائل الصعبة.

ب. تنسيق مسار متوازي مهيكل (CFG)

لجعل هذه الأنماط قابلة للتنفيذ، يعرّف Parason قواعد لغة خالية من السياق (Context-Free Grammar - CFG) تحول مسارات الاستدلال المتسلسلة إلى مسارات متوازية مهيكلة.

• الوسوم (Tags): يستخدم التنسيق وسوماً محددة: <Parallel> لتمييز المنطقة، <Outlines> لوصف غرض المنطقة، <Subtask> و <Trial> لتمييز أنواع الفروع، و <Thread> لتخزين نتائج الفروع.
• التنفيذ: يسم هذا الهيكل لمحرك الاستنتاج تحليل المسار، وتوزيع عمال (workers) مستقلين لكل فرع (مهمة فرعية أو تجربة)، وإعادة النتائج إلى المسار الرئيسي دون تعديل بنية النموذج. يتكامل النظام مع SGLang ويستخدم XGrammar لفرض تداخل الوسوم الصحيح.

ج. التعلم التعزيزي المدرك للتوازي (PA-GRPO)

يقترح المؤلفون PA-GRPO، وهو خوارزمية تعلم تعزيزي متعددة الأهداف تعمل على تحسين الدقة، وزمن الاستجابة، واستخدام التوازي. تُعرف دالة المكافأة ($R_i$) للمسار $i$ كالتالي:
$$R_i = -1 + 2 \times \mathbb{1}(\text{correct}_i) \times \left( 1 - \alpha f\left(\frac{T_i - \mu_T}{\sigma_T}\right) + \beta_{\text{subtask}} f\left(\frac{R^{\text{subtask}}_i - \mu_s}{\sigma_s}\right) + \beta_{\text{trial}} f\left(\frac{R^{\text{trial}}_i - \mu_r}{\sigma_r}\right) + \min(\rho \cdot \eta(s), \rho_{\text{clip}}) \right)$$

• الصحة (Correctness): هي الإشارة الأساسية؛ الإجابات غير الصحيحة تتلقى مكافأة سلبية أساسية.
• عقوبة زمن الاستجابة (Latency Penalty): تعاقب عدد الرموز في المسار الحرج ($T_i$) لتشجيع أوقات تنفيذ (wall-clock times) أقصر.
• حوافز التوازي: تشجع $\beta_{\text{subtask}}$ و $\beta_{\text{trial}}$ النموذج على استخدام أنماط التوازي المعنية. يشير المؤلفون إلى أن هذه الأنماط تستهدف أهدافاً مختلفة: توازي التجارب يقايض إجمالي الرموز بعرض البحث (لتحسين الدقة)، بينما يضغط توازي المهام الفرعية المسار الأطول (لتقليل زمن الاستجابة).
• مكافأة التسريع (Acceleration Reward): حد مقصوص (clipped term) يفضل تقليل المسار الحرج بالنسبة لطول التوليد الإجمالي.

3. المساهمات الرئيسية

1. تصنيف الاستدلال المتوازي: يحدد البحث توازي التجارب كعنصر مفقود في أنظمة الاستدلال المتوازي الحالية، موضحاً أنه يشكل غالبية الحوسبة القابلة للتوازي في مهام الاستدلال الصعبة (أكثر من 50% في مجموعات بيانات HLE وOpenMath).
2. إطار عمل Parason: نظام يحول المسارات المتسلسلة إلى مسارات متوازية مقيدة بالقواعد وقابلة للتنفيذ بواسطة محركات الاستنتاج القياسية عبر استدعاء الأدوات (tool calls)، مما يتجنب الحاجة إلى تعديلات عميقة في وقت التشغيل.
3. خوارزمية PA-GRPO: هدف تعلم تعزيزي يعمل على تحسين دقة الإجابة، وزمن الاستجابة على طول أطول مسار للرموز، والاستخدام المتوازن لتوازي المهام الفرعية وتوازي التجارب بشكل مشترك.
4. التحقق التجريبي: تظهر التجار تج أن Parason يحقق تسريعاً متوسطاً قدره 1.7× في الاختبارات الرياضية (AIME24, AIME25, Math500, AMC) مع الحفاظ على دقة تنافسية. وفي الإعدادات المقيدة بزمن الاستجابة (مثلاً، 2048 رمزاً)، يتفوق Parison بشكل كبير على خطوط الأساس المعتمدة على التعلم الخاضع للإشراف (SFT) فقط.

4. النتائج

• الدقة: يحقق Parason نتائج هي الأفضل حالياً (state-of-the-art) بين الأنظمة المتوازية المدرجة في AIME25 (70.6%) وAMC (97.5%) باستخدام نموذج 8B، متفوقاً على نماذج أكبر بحجم 32B في بعض المقاييس.
• زمن الاستجابة والتسريع:
  • يحقق النظام متوسط نسبة تسريع على مستوى الرمز تبلغ 1.7×.
  • في السيناريوهات المقيدة بزمن الاستجابة (ميزانية 2048 رمزاً)، يصل أفضل نموذج مدرك للمهام الفرعية إلى دقة 34.7% في AIME24، مقارنة بـ 16.8% لخطوط الأساس المعتمدة على SFT فقط.
  • الأسئلة الأكثر صعوبة تولد عملاً أكثر قابلية للتوازي؛ وبينما يزدهاد إجمالي الرموز المولدة مع زيادة الصعوبة، ينمو أطول مسار للرموز ببطء شديد، مما يحافظ على نسبة تسريع مستقرة تتراوح بين 1.70 و1.74× عبر مستويات الصعوبة المختلفة.
• دراسة الاستبعاد (Ablation): توضح الدراسة أن مكافآت التجار ($\beta_{\text{trial}}$) هي الأكثر فعالية لتحسين الدقة، بينما مكافآت المهام الفرعية ($\beta_{\text{subtask}}$) هي الأكثر فعالية لتقليل زمن الاستجابة.

5. الأهمية والادعاءات

يدعي البحث أن Parason يمثل تحولاً من النظر إلى الاستدلال حصرياً كعملية متسلسلة أو مجرد تفكيك بسيط للمهام. من خلال الاعتراف الصريح بـ توازي التجارب واستغلاله، يعالج إطار العمل "القطعة المفقودة" في أنظمة الاستدلال المتوازي الحالية.

يصرح المؤلفون بأن عملهم:

• يجسر الفجوة بين النظرية والتطبيق: على عكس الأعمال السابقة التي تبلغ عن تسريع نظري أو تتطلب تعديلات معقدة في المحرك، يستخدم Parason قواعد لغة خالية من السياق (CFG) وتنفيذاً عبر استدعاء الأدوات يمكن تشغيله مباشرة في محركات الاستنتاج الحديثة مثل SGLang.
• يحسن جبهة باريتو (Pareto frontier) بين زمن الاستجابة والدقة: يثبت أن الاستدلال الصعب لا يتطلب بالضرورة أوقات انتظار متسلسلة أطول؛ إذ يمكن نقل جزء كبير من الحوسبة بعيداً عن المسار الحرج.
• يسلط الضوء على طبيعة الاستدلال الصعب: تشير النتائج إلى أن الاستدلال الصعب لا يتعلق فقط بالتفكيك (المهمة الفرعية) ولكن أيضاً باستكشاف وتكرار المسارات غير المؤكدة (التجربة)، وهو سلوك تجاهلته الأنظمة السابقة إلى حد كبير.

يختتم البحث بالإشارة إلى القيود، وتحديداً أن التقييم الحالي يركز على الاستدلال الرياضي ونماذج بمقياس 8B، وأن هناك حاجة إلى عمل مستقبلي للتحقق من هذه الأنماط عبر مجالات وأحجام نماذج أوسع.