💬 NLP

T $^\star$ : Progressive Block Scaling for Masked Diffusion Language Models Through Trajectory Aware Reinforcement Learning

تقدم الورقة البحثية $T^\star$ ، وهو منهج تدريبي قائم على TraceRL يُمكّن نماذج اللغة ذات الانتشار المقنع من التوسع تدريجياً من كتل فك تشفير صغيرة إلى كبيرة، محققاً قدرة فك تشفير عالية التوازي مع أدنى فقد في الأداء في مهام الاستدلال الرياضي.

المؤلفون الأصليون: Hanchen Xia, Baoyou Chen, Yutang Ge, Guojiang Zhao, Siyu Zhu

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hanchen Xia, Baoyou Chen, Yutang Ge, Guojiang Zhao, Siyu Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

🧱 الفكرة الكبرى: بناء "لعبة تخمين" أفضل

تخيل أنك تحاول حل مسألة رياضية معقدة، ولكن بدلاً من كتابة الإجابة كلمة بكلمة (مثل الذكاء الاصطناعي التقليدي)، لديك سبورة بيضاء سحرية حيث يمكنك مسح وإعادة كتابة أجزاء كاملة من الإجابة في وقت واحد.

هكذا تعمل نماذج الانتشار المقنعة (Masked Diffusion Models - MDMs). فهي لا تكتب من اليسار إلى اليمين فحسب؛ بل تنظر إلى الجملة بأكملة، وتخمن الأجزاء الخاطئة، وتمسحها، ثم تملؤها جميعاً دفعة واحدة. هذا يجعل العملية سريعة جداً (متوازية)، ولكنها قد تصبح فوضوية إذا كانت الأجزاء كبيرة جداً.

تقدم الورقة البحثية T⋆، وهي طريقة تدريب ذكية تعلم هذه النماذج كيفية التعامل مع أجزاء أكبر دون ارتباك.

🚗 المشكلة: معضلة "السرعة مقابل التحكم"

فكر في نموذج الذكاء الاصطناعي مثل سائق سيارة.

الأجزاء الصغيرة (حجم الجزء = 4): السائق حذر جداً. يتفحص الطريق، يقوم بتعديل طفيف، يتفحص مرة أخرى، ثم يتقدم للأمام. إنه بطيء ولكنه دقيق جداً.
الأجزاء الكبيرة (حجم الجزء = 32): يحاول السائق القيام بانعطافات واسعة وكبيرة للوصول إلى الوجهة بشكل أسرع. يمكنه قطع مسافات أكبر في وقت واحد (توازي عالٍ)، ولكن إذا انعطف بحدة شديدة، فقد يصطدم أو يفقد السيطرة وينحرف عن المسار.

المشكلة: عندما حاول الباحثون تدريب هذه النماذج على استخدام "الأجزاء الكبيرة" مباشرة، تعثرت النماذج. انخفضت مهاراتها الرياضية لأنها كانت تحاول تخمين كلمات كثيرة جداً في وقت واحد دون ممارسة كافية. الأمر يشبه مطالبة سائق مبتدئ بالسباق في مضمار مفتوح بـ 32 مساراً في آن واحد؛ سيصاب بالذعر ويفشل.

🪜 الحل: T⋆ (تدريب "الدرجات السلمية")

ابتكر المؤلفون منهجاً تدريبياً يسمى T⋆. بدلاً من إلقاء النموذج في العمق مباشرة، قاموا ببناء سلم.

ابدأ صغيراً: يبدأون بتدريب النموذج على أجزاء صغيرة (مثل 4 كلمات في كل مرة). هنا يتعلم النموذج منطق المسائل الرياضية بشكل مثالي.
المدرب "TraceRL": يستخدمون تقنية تعلم تعزيزي خاصة (تسمى TraceRL) تعمل كمدرب. المدرب لا يكتفي بقول "عمل جيد" في النهاية فحسب؛ بل يراقب كل خطوة يتخذها النموذج ويعطيه ملاحظات حول كيفية إزالة القناع (unmasking) عن الكلمات.
صعود السلم: بمجرد أن يصبح النموذج محترفاً في الأجزاء الصغيرة، تزيد عملية التدريب حجم الجزء ببطء (4 ← 8 ← 16 ← 32).
- خطوة حاسمة: قبل الانتقال إلى الحجم التالي، يتدرب النموذج على الحجم الحالي باستخدام ملاحظات المدرب. هذا يضمن أن النموذج لا ينسى كيف يكون دقيقاً قبل أن يحاول أن يكون أسرع.

التشبيه: تخيل تعلم التلاعب بالكرات (الجوغليير).

الطريقة القديمة: حاول التلاعب بـ 10 كرات فوراً. ستسقط جميعها منك.
طريقة T⋆: ابدأ بكرة واحدة. أتقنها. ثم اثنتين. ثم ثلاثاً. بحلول الوقت الذي تصل فيه إلى 10، سيكون عقلك قد بنى ذاكرة عضلية للتعامل مع السرعة دون إسقاط الكرات.

🧠 السر الخفي: "الوعي بالمسار"

لماذا يعمل هذا بشكل جيد؟

في التدريب القياسي، يحصل الذكاء الاصطناعي فقط على إجابة "نعم/لا" في نهاية المسألة الرياضية.

الذكاء الاصطناعي: "إليك الإجابة."
المعلم: "خطأ."
الذكاء الاصطناعي: "حسناً، سأحاول شيئاً آخر." (هذا غير فعال).

T⋆ (باستخدام TraceRL) مختلف. فهو ينظر إلى الرحلة (المسار).

المعلم: "لقدت قمت بالخطوة الأولى بشكل صحيح، لكنك مسحت الكلمة الخطأ في الخطوة رقم 3. لنصحح هذه الحركة المحددة."

من خلال مكافأة النموذج على القيام بحركات متوسطة جيدة، يتعلم النموذج "جدول إزالة قناع" أفضل. إنه يتعلم متى ينهي كتابة كلمة ومتى يستمر في التخمين، حتى عند التعامل مع نصوص ضخمة.

🏆 النتائج: سريع وذكي في آن واحد

اختبرت الورقة البحثية هذا على اختبارات رياضية صعبة (مثل MATH500 و GSM8K).

"النهج المباشر": إذا أخبرت النموذج فقط باستخدام أجزاء كبيرة، فإن دقته تنهار (مثل سيارة تنحرف عن مسارها).
نهج T⋆: يحافظ النموذج على دقته العالية (لا يزال عبقرياً في الرياضيات) ولكنه يكتسب سرعة الأجزاء الكبيرة.

"الاكتشاف السحري":
عادةً، عندما تزيد السرعة، تفقد الدقة. وجد T⋆ "نقطة مثالية" حيث تعلم النموذج طريقة تفكير جديدة. لم يكتفِ بالعودة إلى الكتابة ببطء (من اليسار إلى اليمين)؛ بل وجد طريقة فريدة وغير خطية لحل المشكلات تكون سريعة ودقيقة في نفس الوقت.

🌟 ملخص في جملة واحدة

T⋆ هو "سلم تدريبي" يعلم نماذج الذكاء الاصطناٍ حل المسائل الرياضية المعقدة من خلال البدء بخطوات صغيرة وحذرة، ومن ثم تعليمها تدريجياً كيفية التعامل مع أجزاء ضخمة من النصوص في وقت واحد، دون فقدان دقتها.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "T⋆: التدرج في توسيع الكتل لنماذج اللغة الانتشارية المقنعة عبر التعلم المعزز المدرك للمسارات."

1. بيان المشكلة

تقدم نماذج اللغة الانتشارية المقنعة (MDMs) بديلاً واعداً للنماذج ذات الترتيب الذاتي (AR) من خلال تمكين فك التشفير المتوازي، مما يمكن أن يقلل زمن الاستجابة عند الاستدلال بشكل كبير. ومع ذلك، يبرز تحدٍ حرج عند توسيع حجم الكتلة (عدد الرموز التي يتم إزالة الضجيج عنها بالتوازي):

تدهور الأداء: مع زيادة حجم الكتلة، تتدهور قدرات الاستدلال (خاصة في الرياضيات) بشكل ملحوظ. تتطلب الكتل الأكبر من النموذج حل المزيد من الرموز المقنعة في وقت واحد، مما يزيد من تعقيد مهمة إزالة الضجيج.
عدم استقرار التدريب: يؤدي تطبيق التعلم المعزز (RL) مباشرة على نماذج MDM ذات الكتل الكبيرة غالباً إلى انهيار التدريب. ويعزو المؤلفون ذلك إلى "إزاحة الاحتمالية الكسولة" (Lazy Likelihood Displacement)، حيث يبدأ النموذج من نظام منخفض الثقة في الكتل الكبيرة، مما يؤدي إلى تقديرات ميزة مشوشة وانجراف في الاحتمالية أثناء تحديثات السياسة.
الافتقار إلى الجداول المثلى: يوفر الضبط الدقيق الخاضع للإشراف (SFT) القياسي التسلسل المستهدف النهائي فقط، وليس "جدول إزالة الضجيج" الأمثل (أي أي الرموز يجب إنهاؤها في كل خطوة).

2. المنهجية: T⋆

يقترح المؤلفون T⋆، وهو منهج تدريبي تدريجي مصمم لتوسيع أحجام الكتل مع الحفاظ على أداء الاستدلال. تجمع الطريقة بين التعلم المعزز المدرك للمسار (TraceRL) واستراتيجية توسيع الكتل المرحلية.

أ. العمود الفقري للتعلم المعزز المدرك للمسار (TraceRL)

بدلاً من معاملة المخرج النهائي كإشارة مكافأة وحيدة، تعامل T⋆ عملية إزالة الضجيج كمسار متعدد الخطوات $\tau$ .

فضاء العمليات (Action Space): يُعامل كل رمز يتم إنهاؤه كعملية (action).
تشكيل المكافأة (Reward Shaping): تقوم الطريقة بتجميع مكافآت مستوى الرمز (مثل صحة الإجابة النهائية) في مزايا على مستوى الخطوة باستخدام TD/GAE (تقدير الميزة المعمم). وهذا يسمح بنسب الفضل (credit assignment) بالانتشار عبر مسار إزالة الضجيج بأكر، وليس فقط المخرج النهائي.
الهدف: تعمل دالة الهدف الشبيهة بـ PPO على تحسين السياسة لتعظيم المكافأة المتوقعة عبر المسار مع الحفاظ على عقوبة تباعد KL لمنع الانحراف بعيداً عن النموذج الأساسي.

ب. التوسع التدريجي للكتل (منهج T⋆)

للتغلب على عدم استقرار تدريب الكتل الكبيرة من الصفر، تستخدم T⋆ استراتيجية توسيع مرحلية:

التهيئة: البدء بحجم كتلة صغير (مثلاً $B=4$ ) مهيأ من نموذج مدرب مسبقاً بطريقة الترتيب الذاتي (AR).
الاستقرار: تدريب النموذج عند حجم الكتلة الحالي $B$ $B$ باستخدام TraceRL. ومن المهم أن يتضمن التدريب تحديثين للتقسيم في كل خطوة:
- تقسيم الكتلة القياسي.
- التقسيم المزاح: يتم تطبيق إزاحة $\Delta = B/2$ على حدود الكتل لضمان المتانة ضد آثار الحدود.
التوسع: بمجرد استقرار السياسة عند الحجم $B$ ، يتم مضاعفة حجم الكتلة ( $B \leftarrow 2B$ ). يستمر النموذج في التدريب باستخدام السياسة المتعلمة من الكتلة الأصغر كبداية دافئة (warm start) للكتلة الأكبر.
التكرار: تتكرر هذه العملية حتى الوصول إلى حجم الكتلة المستهدف.

3. المساهمات الرئيسية

خوارزمية T⋆: منهج تدريجي جديد سهل التنفيذ يمكّن نماذج MDM من توسيع أحجام الكتل (من 4 إلى 32+) مع حد أدنى من فقدان الأداء، مما يسد الفجوة بفعالية بين سببية الترتيب الذاتي (AR) والتحديثات المقنعة عالية التوازي.
تحليل الاستقرار: تحدد الورقة أن TraceRL المباشر يفشل في الكتل الكبيرة بسبب مشكلات التهيئة (أنظمة منخفضة الثقة). تعالج T⋆ ذلك من خلال "البداية الدافئة" لسياسة الكتلة الأكبر باستخدام السياسة المنقحة من الكتل الأصغر.
اكتشاف الجدول الزمني: يكشف التحليل أن T⋆ لا يعود ببساطة إلى جدول زمني قياسي من اليسار إلى اليمين (AR)، بل يتعلم جدول إزالة ضجيج غير نمطي يحسن ترتيب إنهاء الرموز لحجم الكتلة المحدد، مما يحسن الاستدلال دون الحاجة إلى هياكل بحث خارجية.
مكاسب الكفاءة: تحافظ الطريقة على فوائد التوازي للكتل الأكبر، مما يزيد بشكل كبير من الرموز لكل تمريرة (TPF) مقارنة بنماذج الترتيب الذاتي (AR).

4. النتائج التجريبية

أُجريت التجارب على نماذج SDAR-1.7B و SDAR-4B باستخدام اختبارات الاستدلال الرياضي (MATH500, GSM8K, AIME24).

استقرار الأداء:
- Direct TraceRL: أظهر انهيارات حادة في الأداء عند تطبيقه مباشرة على الكتل الكبيرة (على سبيل المثال، انخفضت دقة MATH500 من ~56% إلى ~30% لنموذج 1.7B عند $B=16$ ).
- T⋆: حافظ على أداء مستقر عبر جميع أحجام الكتل. بالنسبة لنموذج 1.7B، حققت T⋆ نسبة 63.4% في MATH500 عند $B=8$ و 59.0% عند $B=32$ ، متفوقة بشكل كبير على كل من النموذج الأساسي و Direct TraceRL عند المقاييس الكبيرة.
اتجاهات التوسع:
- أظهرت النماذج الأساسية اتجاهاً تنازلياً في الدقة مع زيادة حجم الكتلة.
- طابقت T⋆ باستمرار أو تجاوزت أداء النماذج الأساسية عند الكتل الصغيرة وحققت أقوى النتائج عند الكتل الكبيرة.
كفاءة فك التشفير:
- مع زيادة حجم الكتلة من 8 إلى 32، زاد TPF بنسبة ~29% (من 2.91 إلى 3.74)، مما يشير إلى انخفاض ملموس في عدد التمريرات الأمامية المطلوبة للتوليد.
- حافظت T⋆ على مكاسب الكفاءة هذه دون التضحية بدقة الاستدلال.
تحليل الجدول الزمني:
- أظهر مقياس LocalStrict (الذي يقيس الالتزام بالترتيب من اليسار إلى اليمين) أنه بينما تظل T⋆ رتيبة إلى حد كبير، فإنها تتعلم جداول مرنة متميزة عن ترتيب AR القياسي، متكيفة مع قيود الكتلة.

5. الأهمية

النشر العملي: توفر T⋆ وصفة عملية لنشر نماذج MDM في سيناريوهات العالم الحقيقي حيث تكون سرعة الاستدلال (التوازي) حرجة، دون التضحية بقدرات الاستدادة العالية التي تحجزها عادةً نماذج الترتيب الذاتي (AR).
تعلم السياسة الداخلية: توضح هذه الدراسة أنه يمكن تحقيق تحسينات الاستدلال المعقدة عن طريق تحسين جدول إزالة الضجيج الداخلي للنموذج عبر التعلم المعزز، بدلاً من الاعتماد على إجراءات البحث الخارجية المكلفة حاسوبياً (مثل Tree-of-Thoughts).
تخفيف انهيار التعلم المعزز: تقدم الورقة حلاً ملموساً لـ "دوامة الموت" لإزاحة الاحتمالية في التعلم المعزز للنماذج الانتشارية، مما يشير إلى أن التعلم المنهجي التدريجي ضروري لتوسيع التعلم المعزز في النماذج التوليدية.

في الختام، نجحت T⋆ في فك الارتباط بين التوازي وجودة الاستدلال في نماذج اللغة الانتشارية المقنعة، مما مكنها من التوسع إلى أحجام كتل أكبر مع الحفاظ على قدرات الاستدلال القوية الموروثة من التهيئة بالترتيب الذاتي.