💬 NLP

Triplet-Block Diffusion RWKV

تقدم الورقة البحثية $B^3D-RWKV$ ، وهي بنية مبتكرة توحد كفاءة الاستدلال $O(L)$ لنماذج RWKV السببية مع الانتشار المنفصل ثنائي الاتجاه المتوازي عبر تخطيط ثلاثي الكتل، محققة دقة مقاربة للنماذج الحالية مع تقديم تسريع قدره 1.6 ضعف في إنتاجية فك التشفير.

المؤلفون الأصليون: Ke Lin, Yiyang Luo, Zhaolong Su, Yunya Song, Anyi Rao

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ke Lin, Yiyang Luo, Zhaolong Su, Yunya Song, Anyi Rao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "Triplet-Block Diffusion RWKV" (B3D-RWKV)، مقسمة إلى مفاهيم بسيطة باستخدام تشبيهات إبداعية.

المشكلة الكبرى: "الشارع ذو الاتجاه الواحد" مقابل "المشروع الجماعي"

تخيل طريقتين مختلفتين لكتابة قصة:

النموذج السببي الصارم (الـ "شارع ذو اتجاه واحد"):
فكر في الذكاء الاصطناعي التقليدي ككاتب لا يمكنه إلا النظر إلى الكلمات التي كتبها بالفعل. هو يكتب كلمة بكلمة، من اليسار إلى اليمين. لا يمكنه رؤية ما سيأتي بعد ذلك.

الجانب الجيد: هو سريع جداً في قراءة المستندات الطويلة لأنه لا يحتاج لإعادة قراءة كل شيء في كل مرة يضيف فيها كلمة جديدة.
الجانب السيئ: هو بطيء في توليد النصوص لأنه لا يستطيع كتابة كلمتين في وقت واحد. يجب عليه إنهاء الكلمة رقم 1 قبل البدء في الكلمة رقم 2.

نموذج الانتشار - Diffusion Model (الـ "مشروع الجماعي"):
فكر في ذكاء اصطناعي مختلف يبدأ بصفحة بيضاء مليئة بـ "الخزعبلات" أو "الأقنعة" (مثل [MASK]). بدلاً من الكتابة كلمة بكلمة، ينظر إلى الصفحة بأكملة دفعة واحدة، ويخمن الكلمات المفقودة، ويصلح بعضها، ويكرر العملية حتى تصبح القصة منطقية.

الجانب الجيد: يمكنه إصلاح العديد من الكلمات في وقت واحد (المعالجة المتوازية)، مما يجعله أسرع بكتمكن.
الجانب السيئ: للقيام بذلك، يحتاج لرؤية السياق بأكمله (ما قبله وما بعده) في آن واحد. وهذا يتطلب عادةً بنية حاسوبية مكلفة وبطيئة.

الصراع: لا يمكنك دمج هذين النوعين بسهولة. كاتب "الشارع ذو الاتجاه الواحد" لا يمكنه النظر للأمام، لكن "المشروع الجماعي" يحتاج للنظر إلى كل شيء في وقت واحد.

الحل: خدعة "الكتلة الثلاثية" (Triplet-Block)

استخدم المؤلفون، كي لين وزملاؤه، خدعة تدريب ذكية تسمى تخطيط الكتلة الثلاثية (Triplet-Block Layout). لقد اكتشفوا كيفية تعليم كاتب "الشارع ذو الاتجاه الواحد" كيف يتصرف كفريق "مشروع جماعي" دون تغيير عقل الكاتب نفسه.

إليك كيف تعمل هذه الخدعة، باستخدام تشبيه البروفة (التمثيل):

تخيل أنك ممثل (الذكاء الاصطناعي) لا يمكنك سوى قراءة نص مسرحي من اليسار إلى اليمين. مطلوب منك تعلم مشهد حيث يتعين عليك تخمين الأسطر المفقودة، لكنك تحتاج لمعرفة الأسطر التي تأتي بعد مكانك الحالي لتخمن بشكل صحيح.

قام المؤلفون بإعداد بروفة ثلاثية الأجزاء لكل مشهد:

الجزء 1 (النسخة المقنعة): تقرأ المشهد، لكن نصف الأسطر مغطاة بشريط أسود ([MASK]). تقرأ هذا من اليسار إلى اليمين.
الجزء 2 (النسخة المقنعة القابلة للفقد): تقرأ نفس المشهد تماماً مرة أخرى، مع نفس الشريط الأسود. هنا يتم اختبارك. عليك تخمين الأسطر المفقودة.
- السحر: لأنك قرأت الجزء 1 للتو، فإن عقلك (ذاكرة الذكاء الاصطناعي الداخلية) قد امتص بالفعل كل الأسطر المرئية من الجزء 1. على الرغم من أنك تقرأ الجزء 2 بصرامة من اليسار إلى اليمين، إلا أن عقلك "يعرف" بالفعل السياق من الجانب الأيمن للمشهد لأنه تم تخزينه في الجزء 1.
- النتيجة: أنت تخمن الأسطر المفقودة بمعرفة "ثنائية الاتجاه زنيفة" (تعرف الماضي والمستقبل) بينما لا تزال تقرأ من اليسار إلى اليمين.
الجزء 3 (النسخة النظيفة): تقرأ المشهد الكامل والمثالي مرة أخيرة. هذا يعيد ضبط عقلك لتكون مستعداً للمشهد التالي.

من خلال تكرار هذا النمط الثلاثي (مقنع -> مقنع/اختبار -> نظيف)، يتعلم الذكاء الاصطناعي التنبؤ بالكلمات المفقودة باستخدام معلومات من "المستقبل" (الذي كان في الواقع مجرد الكتلة السابقة في تسلسل التدريب)، وكل ذلك مع الحفاظ على سرعة "الشارع ذو الاتجاه الواحد" الأصلية.

النتائج: سريع ودقيق

بنى الفريق نموذجاً يسمى B3D-RWKV-7.2B باستخدام هذه الطريقة. وهذا ما وجدوه:

السرعة: لأنهم حافظوا على بنية "الشارع ذو الاتجاه الواحد" (RWKV)، فإن النموذج سريع للغاية في فك التشفيد (decoding). هم يدعون أنه أسرع بـ 1.6 مرة من النسخة القياسية من نفس النموذج.
الذكاء: يؤدي النموذج بشكل جيد مثل النماذج الرفيعة الأخرى في المهام العامة (مثل الإجابة على الأسئلة أو كتابة القصص).
المقايضة: تشير الورقة البحثية إلى أنه بالنسبة للمسائل الرياضية المعقدة جداً التي تتطلب منطقاً مثالياً خطوة بخوتوة، فإن طبيعة "التخمين" في نماذج الانتشار يمكن أن تؤدي أحياناً إلى أخطاء صغيرة. ومع ذلك، في معظم المهام، يصمد النموذج بقوة.

ملخص في إيجاز

تحل الورقة البحثية مفارقة: كيف تجعل كاتباً سريعاً يكتب من اليسار إلى اليمين يتصرف كمحرر ذكي يرى كل شيء؟

لقد فعلوا ذلك بتعليم الكاتب أن يتدرب على المشهد ثلاث مرات متتالية. البروفة الأولى تملأ ذاكرة الكاتب بالسياق، والبروفة الثانية تسمح له بممارسة تخمين الأجزاء المفقودة باستخدام تلك الذاكرة، والثالثة تمسح السجل استعداداً للمشهد التالي. هذا يسمح لهم بالحفاظ على سرعة الكاتب الخطي مع اكتساب القوة المتوازية لنموذج الانتشار.

ما لا يدّعونه:

هم لا يدّعون أن هذا يعمل للتشخيص الطبي أو الاستخدامات السريرية.
هم لا يدّعون أن هذا حل سحري لكل مشاكل الذكاء الاصطناعي؛ بل يعترفون بأنه يعاني قليلاً مع الهياكل الرياضية المعقدة.
هم يذكرون صراحة أنهم لم يغيروا ميزات السلامة في النموذج، لذا فهو يرث أي تحيزات كانت موجودة في النموذج الأصلي.

ملخص تقني: نموذج الانتشار ثلاثي الكتل لـ RWKV (B3D-RWKV)

بيان المشكلة

تواجه نماذج المحولات السببية (Causal Transformer) لغوية مشكلتين هيكليتين أساسيتين: فك التشفير المتسلسل الصارم، الذي يمنع التوازي، وتكلفة الانتباه التربيعية لكل خطوة، مما يجعل الاستدلال في السياقات الطويلة مكلفًا حاسوبيًا. وبينما تعالج النماذج الخطية الزمنية (مثل RWKV) ونماذج الانتشار المنفصلة (Discrete Diffusion) هذه النقاط الضعيفة بشكل مستقل، فإن دمجهم كان غير متسق بطبيعته. تتطلب نماذج الانتشار انتباهًا ثنائي الاتجاه لإزالة الضجيج من كتل الرموز (tokens) بالتوازي، بينما النماذج السببية هي أحادية الاتجاه تمامًا. غالبًا ما تتطلب المحاولات الحالية للجمع بينهما تعديلات معمارية تضر بكفاءة الهيكل الأساسي ذي الزمن الخطي أو تستلزم التدريب من الصفر.

المنهجية

يقترح المؤلفون B3D-RWKV، وهو متغير من نوع الانتشار لنموذج RWKV، يوحد كفاءة الاستدلال $O(L)$ مع الانتشار المنفصل ثنائي الاتجاه والمتوازي دون تغيير الهيكل السببي الأساسي. الابتكار الجوهري هو تخطيط الكتلة الثلاثية (Triplet-Block Layout)، وهو استراتيجية للتدريب والاستدلال مصممة لمحاكاة الوصول ثنائي الاتجاه ضمن بنية سببية صارمة.

1. تخطيط الكتلة الثلاثية (التدريب)

لتمكين الانتشار على نموذج سببي، يتم توسيع كل كتلة توليد منطقية بحجم $B$ إلى ثلاث كتل فيزيائية متتالية ضمن عينة التدريب:

$b_1$ (نسخة مقنعة - Masked Copy): نسخة مقنعة من الكتلة المنطقية.
$b_2$ (نسخة مقنعة قابلة للفقد - Lossable Masked Copy): نسخة مقنعة مطابقة حيث يتم حساب خسارة إزالة الضجيج.
$b_3$ (نسخة الحقائق الأرضية النظيفة - Clean Ground-Truth Copy): نسخة غير مقنعة تعمل على تجديد الحالة المتكررة (recurrent state) للكتلة التالية.

الوصول شبه ثنائي الاتجاه:
بما أن الهيكل السببي يعالج الرموز بدقة من اليسار إلى اليمين، فإن الحالة المخفية (hidden state) التي تصل إلى أي موضع مقنع في $b_2$ قد عالجت بالفعل كامل $b_1$ . وبما أن $b_1$ و $b_2$ يتشاركان نفس نمط القناع، فإن الرموز غير المقنعة في $b_1$ يتم "امتصاصها" فعليًا في الحالة المخفية قبل أن يحاول النموذج التنبؤ بالرموز المقنعة في $b_2$ . هذا يمنح النموذج وصولًا شبه ثنائي الاتجاه إلى سياقه غير المقنع داخل الكتلة المنطقية، مما يلبي المتطلبات ثنائية الاتجاه للانتشار مع الحفاظ على الطبيعة أحادية الاتجاه لهيكل RNN/SSM.

هدف التدريب:
يتم تدريب النموذج باستخدام هدف التنبؤ بالقناع. تتكون الخسارة من:

خسارة الإنتروبيا المتقاطعة ( $L_{CE}$ ): تُحسب على المواضع الخاضعة للإشراف حيث تكون الرموز مقنعة.
الخسارة المتوازية المدركة للثقة ( $L_{CAP}$ ): اتباعًا لـ LLaDA-2.0، تعمل هذه القيمة على شحذ توزيع الاحتمالات في المواضع التي تم التنبؤ بها بشكل صحيح بالفعل، مما يشجع عينة الاستدلال على الالتزام بمزيد من الرموز في كل خطوة.

2. الاستدلال: إزالة الضجيج التكراري القائم على الكتل

أثناء الاستدلال، يولد النموذج كتلة منطقية واحدة في كل مرة. تتضمن العملية:

تهيئة كتلة بجميع الرموز المقنعة.
تشغيل خطوات إزالة الضجيء التكرارية حيث يتنبأ النموذج باحتمالات (top-1) للمواضع المقنعة.
الالتزام (Committing) بالرموز التي تتجاوز احتمالية (top-1) الخاصة بها عتبة $\tau$ .
تضمن آلية الاحتياط (fallback mechanism) التقدم من خلال الالتزام بأكثر $k_{min}$ الرموز ثقة إذا لم يتجاوز عدد أقل من $k_{min}$ العتبة.
بمجرد الالتزام بجميع المواضع، يتم إلحاق الكتلة النظيفة بالبادئة (prefix)، ويبدأ الكتلة المنطقية التالية.

المساهمات الرئيسية

B3D-RWKV-7.2B: أول نموذج لغوي من نوع الانتشار ذي الزمن الخطي (RNN) تم تدريبه بمقياس 7 مليار معلمة باستخدام هدف التنبؤ بالقناع. إنه يدمج اختيار الرمونات المتوازي في هيكل RWKV-7 دون تعديل معاملاته الأصلية.
إطار عمل الكتلة الثلاثية: وصفة تدريب عالمية تحول النماذج السببية الصارمة (التي تحقق السببية الصارمة وخصائص انتشار الحالة للأمام) إلى نماذج انتشار كتلية. يتجنب هذا النهج التعقيد المعماري لتعديل الهيكل الأساسي إلى كتلة ثنائية الاتجاه.
الكفاءة والأداء: يحقق الأسلوب تحسينات كبيرة في معدل الإنتاجية (throughput) مقارنة بفك التشفير السببي القياسي مع الحفاظ على قدرات استدلال تنافسية.

النتائج التجريبية

تم تقييم النموذج على مجموعة من 8 مهام تشمل المعرفة العامة (MMLU, ARC, PIQA, RACE) ومهام الاستدلال/الرياضيات (GSM8K, MATH, GPQA).

الدقة: يحقق B3D-RWKV-7.2B دقة مقاربة لنموذج RWKV-7 المرجعي ونماذج الانتشار الأخرى ذات الحجم المماثل (مثل LLaDA-8B, Dream-7B). ويتفوق بشكل ملحوظ على النماذج المرجعية في مهام الاستدلال مثل ARC-Challenge و RACE، ويُعزى ذلك إلى تعزيز الإدراك شبه ثنائي الاتجاه لعملية الاستدلال.
الإنتاجية (Throughput): يُظهر النموذج تسريعًا متوسطًا بمقدار 1.6× في إنتاجية فك التشفير مقارنة بالنموذج المرجعي RWKV-7 عبر أطوال سياق تتراوح من 1 ألف إلى 512 ألف رمز. ومع ضبط معاملات أخذ العينات، يمكن تحقيق تسريع بمقدار 2.02× مع تضحية طفيفة في الجودة.
الاستداء الرياضي: تشير الورقة إلى انخفاض طفيف في الأداء في المهام الرياضية المعقدة (مثل MATH) مقارنة بالنموذج السببي المرجعي. ويعزو المؤلفون ذلك إلى طبيعة فك التشفير المتوازي، الذي يواجه صعوبة في التحقق الهيكلي خطوة بخطوة المطلوب للمسائل الرياضية الرمزية حيث لا يتم منح درجات جزئية.

الأهمية والادعاءات

تدعي الورقة أنها تقدم مسارًا فعالًا لتحويل النماذج اللغوية السببية المدربة مسبقًا إلى نماذج لغة انتشار دون تغييرات معمارية. من خلال الاستفادة من تخطيط الكتلة الثلاثية، نجح B3D-RWKV في توحيد كفاءة الاستدلال $O(L)$ للنماذج ذات الزمن الخطي مع قدرات التوليد المتوازية للانتشار.

يضع المؤلفون هذا العمل كحل هيكلي لعدم التوافق بين النماذج السببية ونماذج الانتشار. وهم يقرون بالقيود، بما في ذلك التحقق الحالي على هيكل واحد فقط (RWKV-7)، وتكلفة طول التسلسل الفيزيائي البالغة 3 أضعاف أثناء التدريب، واستخدام مجموعة بيانات SFT صغيرة نسبيًا بدون محاذاة RL، مما قد يساهم في تراجع الدقة في مهام معينة. ومع ذلك، تظل المساهمة الجوهرية هي إثبات أن التوليد المنتشر عالي الإنتاجية والمتوازي يمكن تحقيقه على الهياكل السببية الصارمة وخطية الزمن من خلال تخطيط البيانات بدلاً من إعادة هندسة المعمارية.