Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching
تقترح هذه الورقة البحثية إطار عمل "خياطة أفكار الانتشار المشوشة" (Stitching Noisy Diffusion Thoughts)، وهو إطار عمل لا يتطلب تدريباً يعمل على تعزيز الاستنتاج في المهام الرياضية والبرمجية المعقدة عبر أخذ عينات لخطوات وسيطة متنوعة باستخدام نموذج انتشار مقنع، وتقييمها عبر نموذج مكافأة للعمليات، ثم إعادة دمج الخطوات الأعلى جودة في مسوغ مركب لتوجيه الحل التكراري الذاتي، مما يحقق مكاسب كبيرة في الدقة وانخفاضاً في زمن الاستجابة مقارنة بالطرق الحالية.
تخيل أنك تحاول حل لغز صعب للغاية، مثل مسألة رياضية معقدة أو كتابة كود برمجي.
الطريقة القديمة: سباق "الكل أو لا شيء" تقليديًا، تحاول نماذج الذكاء الاصطائي حل هذه المشكلات مثل عداء واحد في ماراثون. يبدأ من البداية ويركض مباشرة نحو خط النهاية.
المشكلة: إذا تعثر العداء في الخطوة الأولى (ارتكب خطأً صغيرًا في البداية)، فإن السباق بأكمله يفسد. يتعين عليه البدء من الصفر.
التكلفة: لكي يكون آمنًا، يجب على العداء أن يركض ببطء وحذر شديدين، مما يستغرق وقتًا طويلاً. وإذا حاول الركض بشكل أسرع لتوفير الوقت، فمن المرجح أن يتعثر.
الطريقة الجديدة: "فريق الإنشاءات" (ربط أفكار الانتشار الضجيجي - Stitching Noisy Diffusion Thoughts) يقترح هذا البحث طريقة أذكى وأسرع في التفكير. بدلًا من عداء واحد، تخيل استئجار فريق كامل من عمال البناء (نموذج الانتشار - Diffusion Model) لبناء جسر.
إليك كيف تعمل طريقتهم الجديدة، خطوة بخوة:
1. الاستكشاف "الفوضوي" (نموذج الانتشار)
بدلًا من عداء واحد حذر، نرسل أربعة أو خمسة فرق مختلفة لرسم مخططات الجسر في وقت واحد.
نظرًا لأنهم يعملون بسرعة وبالتوازي، فهم "ضجيجيون" بعض الشيء. بعض الفرق تحقق تقدمًا رائعًا، لكنها تتعثر لاحقًا. وفرق أخرى تعلق في المنتصف.
السحر: على عكس الطريقة القديمة، نحن لا نرمي الفرق التي تعثرت. بل ننظر إلى مخططاتهم وندرك: "مهلًا، الفريق (أ) أتقن الأساس تمامًا! الفريق (ب) توصل إلى الجزء الأوسط! الفريق (ج) أتقن القوس النهائي!"
2. "المفتش" (نموذج مكافأة العملية - PRM)
الآن، نحضر مفتشًا صارمًا (PRM). المفتش لا ينظر إلى الجسر بأكمله؛ بل ينظر إلى كل طوبة وضعتها كل الفرق.
هو يعطي درجة لكل خطوة.
"هذه الطوبة هنا؟ مثالية بنسبة 99%."
"هذه الطوبة هناك؟ مهتزة بنسبة 40%، ربما هي خاطئة."
هذا يسم يسمح لنا بالاحتفاظ بالأجزاء الجيدة من المحاولة الفاشلة وتجاهل الأجزاء السيئة.
3. "الربط" (التجميع)
هذا هو الابتكار الجوهري. بدلًا من اختيار الفريق "الأفضل" وتجاهل البقية، نحن نقوم بـ ربط أفضل الطوبات معًا.
نأخذ الأساس المثالي من الفريق (أ).
نأخذ الجزء الأوسط المثالي من الفريق (ب).
نأخذ الجزء العلوي المثالي من الفريق (ج).
نلصقهم معًا لنصنع "المخطط الخارق" (Super-Blueprint). إنه جسر "فرانكنشتاين" مصنوع من أفضل أجزاء الجميع.
أخيرًا، نسلم هذا "المخطط الخارق" إلى مهندس معماري نهائي (نموذج ذكاء اصطناعي قياسي وحذر).
المهندس المعماري لا يحتاج للتخمين أو البناء من الصفر. هو فقط ينظر إلى المخطط عالي الجودة والمربوط، ويقول: "حسنًا، لقد رأيت الخطة. سأقوم فقط بكتابة الإجابة النهائية."
ولأن العمل الشاق المتمثل في "الاستكشاف" قد تم بواسطة الفرق السريعة والفوضوية، فإن المهندس المعماري لا يضطر إلا للقيام بجزء ضئيل من العمل لإنهاء المهمة.
لماذا يعد هذا أمرًا مهمًا؟
السرعة: الأمر يشبه وجود فريق من الرسامين السريعين والفوضويين يقومون بالتفكير الصعب بالتوازي، بينما يقوم خبير بطيء وحذر فقط بالتوقيع على النتيجة النهائية. هذا أسرع بكثير من محاولة خبير واحد بطيء القيام بالأمر بشكل صحيح من المرة الأولى.
الدقة: حتى لو ارتكب الرسامون أخطاءً، فإن عملية "الربط" تنقذ الأجزاء الجيدة. أنت لا تفقد الجسر بأكمله لمجرد أن فريقًا واحدًا ارتكب خطأً في المنتصف.
الكفاءة: يوضح البحث أن هذه الطريقة أكثر دقة بنسبة 30% من الطرق السريعة القياسية، وهي أسرع بكثير من الطرق القياسية البطيئة والحذرة.
باختًاصر: بدلًا من المراهنة بكل شيء على مسار واحد مثالي، تجمع هذه الطريقة مسارات غير مثالية كثيرة، وتقطع أفضل القطع من كل منها، وتلصقها معًا، وتستخدم خبيرًا نهائيًا لصقل النتيجة. إنها تحول "الضجيج" إلى "مجمع قابل لإعادة الاستخدام من الأفكار الجيدة".
إليك ملخص تقني مفصل لورقة البحث: "التوسع عند وقت الاختبار مع نماذج اللغة الانتشارية عبر الربط الموجه بالمكافأة" (Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching).
١. بيان المشكلة
غالبًا ما تعاني نماذج اللغة الكبيرة (LLMs) في مهام الاستدلال المعقدة حيث يتناسب الدقة مع الجهد الحسابي. تواجه الأساليب الحالية قيودين رئيسيين:
التجميع على مستوى المسار (Trajectory-Level Aggregation): تعمل الأساليب القياسية مثل الاتساق الذاتي (التصويت بالأغلبية) أو الاختيار القائم على التحقق على كامل سلسلة الاستدلال. إذا كانت خطوة وسيطة واحدة غير صحيحة، يتم التخلص من المسار بأكامل، مما يؤدي إلى هدر العمل الجزئي المفيد من المحاولات "شبه الصحيحة".
عدم كفاءة الهجين الموحد (Inefficiency of Unified Hybrids): غالبًا ما تدمج النماذج الحديثة التي تجمع بين الانتشار (Diffusion) والتوليد التلقائي (Autoregressive - AR) بين الاستكشاف، والتقييم، والتوليد النهائي، مما يحد من المرونة ويؤدي غالبًا إلى دقة استدلال أقل مقارنة بنماذج الـ AR النقية القوية.
المقايضة بين زمن الاستجابة والدقة: نماذج الـ AR النقية دقيقة ولكنها بطيئة بسبب فك التشفير المتسلسل. أما نماذج الانتشار النقية فهي سريعة ولكنها متوازية، إلا أنها غالبًا ما تفتقر إلى عمق الاستدلال الذي توفره نماذج الـ AR.
التحدي الجوهري هو كيفية الاستفادة من قدرات الاستكشاف الواسع والمتوازي لنماذج اللغة الانتشارية (dLLMs) مع الحفاظ على دقة الاستدلال العالية لنماذج الـ AR، دون التخلص من الخطوات الوسيطة القيمة من مسارات الانتشار المشوشة.
يقترح المؤلفون إطار عمل معياريًا لا يتطلب تدريبًا يسمى "ربط الأفكوت الانتشارية المشوشة". يقوم خط الإنتاج بفصل الاستكشاف عن التركيب إلى ثلاث مراحل متميزة:
الآلية: يقوم نموذج لغة انتشار ماسك (dLLM) بتوليد N من مسارات الاستدلال المتنوعة بالتوازي.
استراتيجية أخذ العينات: يستخدم النموذج إجراء أخذ عينات قائم على الثقة؛ حيث يقوم بتحسين الرموز (tokens) الممسوحة بشكل متكرر، مع تثبيت التنبؤات عالية الثقة وإعادة مسح الرموز غير المؤكدة. هذا يشجع على التنوع مع الحفاظ على المحتوى عالي الجودة.
المخرجات: مجموعة من مسارات "سلسلة الأفكار" (CoT) المتنوعة، والتي قد تكون مشوشة.
ب. التقييم (التسجيل على مستوى الخطوة - Step-Level Scoring)
الآلية: بدلاً من تقييم الإجابة النهائية، يقوم نموذج مكافأة العمليات (PRM) المدرب مسبقًا بتقييم كل خطوة وسيطة داخل كل مسار.
الدقة (Granularity): يخرج نموذج الـ PRM درجة ثقة عددية r∈[0,1] لكل خطوة st بناءً على سياق المشكلة والتاريخ حتى تلك الخطوة.
الفائدة: يخلق هذا "مجمعًا عالميًا" للخطوات المرشحة. حتى لو فشل مسار كامل لاحقًا، يتم الاحتفاظ بخطواته المبكرة الصحيحة وتقييمها.
الربط (Stitching): يبني الإطار "منطقًا مركبًا" عن طريق اختيار الخطوات الأعلى جودة عبر جميع المسارات بناءً على درجات الـ PRM.
يحتفظ بالخطوات التي تتجاوز عتبة الثقة δ.
يقوم بتثبيت الخطوة النهائية من أفضل مسار واحد (أعلى متوسط هندسي لدرجات الخطوات) لضمان نقطة نهاية صالحة.
يتم دمج الخطوات المختارة بترتيب زمني، مع وسمها بدرجات الثقة الخاصة بها (مثل: [c=0.93] Step...).
إعادة الحساب (المحلل - Solver): يأخذ نموذج تلقائي الترتيب (AR) خفيف الوزن (المسمى بـ "المحلل") المشكلة الأصلية والمنطق المربوط كمدخلات.
يتم توجيه نموذج الـ AR لاعتبار الخطوات المربوطة كأدلة.
يقوم بعملية تمرير أمامي واحدة (forward pass) لمعالجة التناقضات، وملء الفجوات، وتوليد الإجابة النهائية.
يعمل هذا كخطوة تسوية، لتحويل مجموعة مجزأة من الخطوات عالية الجودة إلى حل متماسك.
٣. المساهمات الرئيسية
الاتساق الذاتي على مستوى الخطوة: تقدم الورقة تحولًا في النموذج من اختيار مسارات كاملة إلى اختيار وربط خطوات استدلال فردية بناءً على درجات PRM. هذا يستعيد القيمة من النجاحات الجزئية التي تتجاهلها الطرق التقليدية.
تصميم خط إنتاج معياري: يفصل الإطار بين الاستكشاف (الانتشار)، والتقييم (PRM)، وتركيب الحل (AR). هذا يتجنب جمود النماذج الهجينة الموحدة ويسمح بتحسين مستهدف لكل مكون.
التوسع الفعال عند وقت الاختبار: يحقق الأسلوب أفضل مستويات الدقة وزمن الاستجابة. من خلال استخدام الانتشار المتوازي للاستكشاف واستخدام مرور واحد لنموذج الـ AR للتركيب، فإنه يقلل بشكل كبير من عمليات التمرير المتسلسلة مقارنة بنماذج الـ AR النقية.
المتانة تجاه الضجيج: تم تصميم النظام ليعمل حتى عندما يعمل عينة الانتشار عند ثقة منخفضة (إنتاج مسارات مشوشة)، حيث يقوم نموذج الـ PRM بتصفية الخطوات السيئة ويقوم محلل الـ AR بإصلاح المنطق.
٤. النتائج التجريبية
تم تقييم إطار العمل على معايير الاستدلال الرياضي (GSM8K, MATH500, Countdown) ومعايير توليد الكود (HumanEval, MBPP).
مكاسب الدقة:
يتفوق على فك تشفير الانتشار العادي بما يصل إلى +30.6% في الدقة المطلقة.
يتفوق على النماذج الهجينة الحديثة (مثل TiDAR) بمعدل +7.1%.
في إعداد 8B معلمة، يحقق متوسط دقة قدره 72.38%، متفوقًا على خط الأساس القوي Qwen3-8B بمعدل +4.3%، مدفوعًا بمكاسب كبيرة في GSM8K (+9.7%) و HumanEval (+5.7%).
زمن الاستجابة والكفاءة:
يحقق زمن استجابة نهائي أقل بمقدار يصل إلى 1.8× مقارنة بنماذج الانتشار التقليدية والأنظمة الهجيلة الموحدة عند نفس مستوى الدقة.
يقلل عمليات التمرير الأمامي المتسلسلة بمقدار يصل إلى 9.85× مقارنة بنماذج الـ AR النقية.
يوضح الشكل 1 والشكل 4 أن الطريقة تهيمن على "جبهة باريتو" (Pareto frontier)، حيث تقدم دقة أفضل لميزانية زمن الاستجابة مقارنة بكل من نماذج الـ AR والنماذج الانتشارية النقية.
دراسات الاستبعاد (Ablation Studies):
الربط مقابل التصويت: يتفوق ربط الخطوات عالية الجودة بشكل كبير على التصويت بالأغلبية على الإجابات النهائية.
التنوع: تزيد درجات الحرارة العالية في أخذ العينات (التي تعزز المسارات المتنوعة) من الأداء إلى حد معين، مما يؤكد الحاجة إلى استكشاف واسع.
عتبات الثقة: يظل النظام قويًا حتى مع أخذ عينات انتشار منخفضة الثقة (مثل γ=0.6)، مما يقلل بشكل كبير من خطوات الاستدلال (زمن الاستجابة) مع حد أدنى من الخسارة في الدقة.
٥. الأهمية
يظهر هذا العمل أن تجميع الاستدلال على مستوى الخطوة هو استراتيجية أكثر فعالية للتوسع عند وقت الاختبار من التجميع على مستوى المسار. من خلال معاملة نماذج الانتشار كمستكشفين متوازيين رخيصين ونماذج الـ AR كمصنفين دقيقين، يردم المؤلفون الفجوة بين سرعة الانتشار وقوة الاستدلال لنماذج الـ AR.
هذا النهج ذو أهمية خاصة لأنه:
لا يتطلب تدريبًا، حيث يعتمد على نماذج موجودة ومُدربة مسبقًا (dLLM, PRM, AR).
يقدم حلاً عمليًا للاستدلال منخفض زمن الاستجابة في البيئات ذات الموارد المحدودة.
يوفر مخططًا معماريًا جديدًا لأنظمة الاستدلال المستقبلية، مما يشير إلى أن فصل البحث والتقييم والتوليد يعطي نتائج متفوقة مقارنة بالنماذج الموحدة الضخمة.