💬 NLP

Efficient Pre-Training with Token Superposition

تقدم هذه الورقة طريقة "تدريب التراكب الرمزي" (Token-Superposition Training - TST)، وهي طريقة جاهزة للاستخدام تعمل على تحسين إنتاجية بيانات ما قبل التدريب بشكل كبير وتقليل إجمالي وقت التدريب بما يصل إلى 2.5 ضعف دون تعديل بنية النموذج أو التوازي، وذلك من خلال دمج الرموز أولاً في حقائب لتدريب "التقاطع الإنتروبي متعدد السخاء" بكفاءة قبل العودة إلى التدريب القياسي.

المؤلفون الأصليون: Bowen Peng, Théo Gigant, Jeffrey Quesnelle

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bowen Peng, Théo Gigant, Jeffrey Quesnelle

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التدريب الفعال باستخدام تراكب الرموز" (Efficient Pre-Training with Token Superposition) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبيرة: تدريب الذكاء الاصطناعي يشبه الجري في ماراثون وسط الرمال

تخيل أنك تحاول تعليم طالب (نموذج لغوي كبير) القراءة والكتابة. للقيام بذلك، عليك أن تريه ملايين الكتب. ومع ذلك، فإن الطريقة الحالية للتعليم مكلفة للغاية وبطيئة بشكل مذهل. الأمر يشبه مطالبة الطالب بقراءة كل كلمة في الكتاب، واحدة تلو الأخرى، بينما يحمل حقيبة ظهر ثقيلة. سيشعر بالتعب (من الناحية الحسابية) وسيستغرق وقتاً طويلاً جداً لإنهاء المكتبة.

يريد الباحثون جعل هذه العملية أسرع دون تغيير "دماغ" الطالب (بنية النموذج) أو "الكتب" التي يقرأها (البيانات).

الحل: "تدريب تراكب الرموز" (TST)

يقترح المؤلفون طريقة تدريب ذكية مكونة من مرحلتين تسمى "تدريب تراكب الرموز" (Token Superposition Training - TST). فكر فيها كأنها مرحلة "قراءة سريعة" تليها مرحلة "ضبط دقيق".

المرحلة الأولى: مرحلة "العصير" (التراكب)

في التدريب القياسي، يتعلم الذكاء الاصطناعي من خلال النظر إلى كلمة واحدة في كل مرة (على سبيل المثال: "الـ"، ثم "قط"، ثم "جلس").

في مرحلة التراكب (Superposition Phase)، يتم تعليم الذكاء الاصطناعي كيفية النظر إلى "حقيبة" كاملة من الكلمات دفعة واحدة.

التشبيه: تخيل بدلاً من قراءة جملة "القط جلس على الحصيرة"، يقوم المعلم بإعطاء الطالب خلاطاً مليئاً بتلك الكلمات. الطالب لا يرى الكلمات الفردية؛ بل يرى "عصيراً" مكوناً من "الـ + قط + جلس".
كيف يعمل: يقوم الكمبيوتر بأخذ 8 كلمات (حقيبة)، ويمزج معانيها معاً في "كلمة فائقة" واحدة، ثم يطلب من الذكال الاصطناعي التنبؤ بـ "الحقيبة" التالية المكونة من 8 كلمات.
الفائدة: لأن الذكاء الاصطناعي يعالج 8 كلمات وكأنها كلمة واحدة، يمكنه "القراءة" أسرع بـ 8 مرات عبر البيانات دون استخدام أي قدرة حاسوبية إضافية. الأمر يشبه أن الطالب أصبح الآن يقرأ 8 صفحات في الوقت الذي كان يستغرقه لقراءة صفحة واحدة.

المرحلة الثانية: مرحلة "المشط ذو الأسنان الدقيقة" (الاستعادة)

إذا قمت بتدريب الذكاء الاصطناعي على "العصائر" فقط، فسيكون سيئاً جداً في كتابة الجمل العادية. لن يعرف ترتيب الكلمات، وسيكون نتاجه عبارة عن كلام غير مفهوم.

لذلك، بعد مرور فترة زمنية معينة (عادة حوالي 30% من إجمالي التدريب)، يتوقف الباحثون عن "مرحلة العصير".

التشببية: ينتقلون إلى الطريقة القياسية. يأخذون "دماغ" الذكاء الاصطناعي (الذي تعلم الآن هيكل اللغة العام بسرعة كبيرة) ويعيدونه إلى فصل دراسي طبيعي. يتوقفون عن استخدام الخلاط ويبدأون في إظهار الكلمات الفردية له مرة أخرى.
النتيجة: نظرًا لأن الذكاء الاصطناعي تعلم بالفعل "الصورة الكبيرة" بكفاءة عالية في المرحلة الأولى، فإنه يستعيد مستواه بسرعة كبيرة. إنه يلحق بالنماذج التي تدربت بالطريقة "البطيئة" طوال الوقت، بل ويتفوق عليها غالباً.

لماذا يعد هذا أمراً هاماً؟

تدعي الورقة البحثية أن هذه الطريقة هي حل "جاهز للاستخدام" (drop-in solution). فأنت لا تحتاج إلى تغيير دماغ الذكاء الاصطناعي، أو الرقائق الحاسوبية، أو الكتب. أنت فقط تغير طريقة تغذية البيانات خلال الجزء الأول من التدريب.

التسريع: في اختباراتهم على نموذج كبير (10 مليارات بارامتر)، سمحت هذه الطريقة بتحقيق نفس مستوى الذكاء في نصف الوقت (تسريع بمقدار 2.5 ضعف) مقارنة بالتدريب القياسي.
المقايضة: إنهم يستبدلون "استهلاك البيانات" بـ "السرعة". يقرأ الذكاء الاصطناعي المزيد من البيانات في نفس الوقت، ولكن لأنه يقرأها في "حقائب"، فإنه يتعلم الأنماط بشكل أسرع.

ما لا تدعيه الورقة البحثية

من المهم الالتزام بما قاله المؤلفون فعلياً:

لا تغير المنتج النهائي: بمجرد انتهاء التدريب، يكون الذكاء الاصطناعي تماماً مثل أي ذكاء اصطناعي عادي. لا يزال بإمكانه كتابة جمل متماسكة، وأكواد برمجية، وقصص. خدعة "العصير" تُستخدم فقط أثناء عملية التعلم.
الأمر لا يتعلق بـ "التفكير" بشكل أسرع: هذا لا يجعل الذكاء الاصطناعي أكثر ذكاءً في التفكير المنطقي أو حل المسائل الرياضية المعقدة أثناء التدريب؛ بل يجعل عملية التدريب نفسها أكثر كفاءة.
ليس حلاً سحرياً لكل شيء: اختبر المؤلفون هذه الطريقة على نماذج تتراوح من الصغيرة (270 مليون بارامتر) إلى الكبيرة (10 مليارات بارامتر). لقد نجحت بشكل جيد في جميع النطاقات، لكنهم يشيرون إلى أنه إذا كان لديك بيانات ووقت غير محدودين، فقد تبدو الفوائد مختلفة.

الملخص

فكر في TST كـ دورة تدريب على القراءة السريعة للذكاء الاصطناعي.

أولاً، تعلمه كيف يقرأ بتمعن سريع (Skimming): تعرض له قطعاً من النصوص المختلطة معاً حتى يتمكن من امتصاص "جوهر" اللغة بسرعة كبيرة.
ثم، تعلمه كيف يقرأ بشكل طبيعي: تعود إلى القراءة كلمة بكلمة لصقل مهاراته.

النتيجة؟ ينهي الذكاء الاصطناعي "تعليمه" في وقت قياسي، باستخدام نفس القدر من الطاقة، وينتهي به المطاف بذكاء مساوٍ (أو أعلى) من أولئك الذين سلكوا الطريق التقليدي البطيء.

ملخص تقني: التدريب الفعال باستخدام تراكب الرموز (Token Superposition)

بيان المشكلة

أصبح التدريب المسبق للنماذج اللغوية الكبيرة (LLMs) مكلفاً وغير فعال بشكل مفرط عند التوسع في النطاق. تتطلب النماذج الحالية غالباً تعديلات معقدة وتدخلية في استراتيجيات التوازي، أو المحسنات (optimizers)، أو أجهزة الترميز (tokenizers)، أو بنيات النماذج لتحقيق إنتاجية عالية للبيانات. علاوة على ذلك، بينما ركزت الأبحاث الحديثة على تحسين كفاءة الاستنتاج، هناك نقص في الطرق التي تعزز إنتاجية وقت التدريب بشكل كبير دون تغيير بنية النموذج النهائية أو ديناميكيات الاستنتاج. غالباً ما تخلط الأساليب الحالية بين كفاءة التدريب وكفاءة الاستنتاج، أو تعتمد على خسائر مساعدة تضيف معاملات (hyperparameters) وبارامترات دون زيادة معدل معالجة الرموز الخام لكل عملية حسابية (FLOP).

المنهجية: تدريب تراكب الرموز (TST)

يقترح المؤلفون تدريب تراكب الرموز (Token Superposition Training - TST)، وهو طريقة "جاهزة للاستخدام" (drop-in) مصممة لتحسين إنتاجية البيانات لكل عملية حسابية (FLOP) أثناء التدريب المسبق دون تعديل التوازي، أو المحسن، أو جهاز الترميز، أو البيانات، أو بنية النموذج. يعمل TST في مرحلتين متمايزتين:

المرحلة الأولى: مرحلة التراكب (Superposition Phase)

في هذه المرحلة، يعالج النموذج "حقيبة" (bag) من الرموز المتتالية كوحدة كامة واحدة، يُشار إليها باسم "الرمز المتراكب" (s-token).

تراكب المدخلات: يتم تقسيم تسلسل متصل من $s$ من الرموز إلى حقائب غير متداخلة. تُجمع تضمينات (embeddings) هذه الـ $s$ من الرموز عبر المتوسط لإنشاء تضمين رمز متراكب واحد. هذا يقلل طول التسلسل بمقدار عامل $s$ (من $L$ إلى $\lfloor L/s \rfloor$ ).
آلية الإنتاجية: لضمان مقارنة عادلة مع التدريب المرجعي (بمعادلة الـ FLOPs)، يتم زيادة طول تسلسل البيانات $L$ بمقدار عامل $s$ خلال هذه المرحلة. وبناءً على ذلك، يستوعب النموذج رموز بيانات أكثر بمقدار $s$ من المرات لنفس التكلفة الحسابية لكل خطوة.
تراكب المخرجات: بدلاً من التنبؤ برمز واحد تالٍ، يتنبأ النموذج بـ "الحقيبة" التالية المكونة من $s$ من الرموز. يتم استبدال خسارة "الاعتراف المتقاطع" (cross-entropy) القياسية ذات الاتجاه الواحد (one-hot) بـ خسارة الاعتراف المتقاطع متعدد الاتجاهات (Multi-Hot Cross-Entropy - MCE). يعامل هدف MCE الحقيبة المستهدفة كملصق متعدد الاتجاهات (multi-hot label)، مما يدفع احتمالية كل رمز صالح في الحقيبة نحو $1/s$ . تُصاغ الخسارة كمتوسط لخسائر الاعتراف المتقاطع القياسية لكل رمز في الحقيبة، ناقصاً منها مقداراً ثابتاً ( $\log |y|$ ) والذي لا يؤثر على التدرجات (gradients).
السببية (Causality): للحفاظ على السببية، يتم إزاحة تسميات التنبؤ بالرمز التالي القياسية بمقدار $s-1$ جهة اليسار قبل تقسيمها إلى حقائب غير متداخلة.

المرحلة الثانية: مرحلة الاستعادة (Recovery Phase)

النموذج الذي يتم تدريبه حصرياً باستخدام TST ينتج مخرجات غير منطقية لأنه يفقد ترتيب الرموز داخل الحقائب ويفتقر إلى قدرات أخذ العينات التلقائية (autoregressive sampling) القياسية. ولعلاج ذلك:

يعود التدريب إلى هدف التنبؤ السببي بالرمز التالي القياسي.
يستأنف النموذج التدريب من نقطة التحقق (checkpoint) التي تم حفظها في نهاية مرحلة التراكب.
يتم إزالة كود TST بالكامل لضمان أن بنية النموذج النهائية وديناميكيات الاستنتاج مطابقة للنموذج المرجعي.
تُسمى نسبة الخطوات التي تُقضى في مرحلة التراكب بـ $r$ (على سبيل المثال، $r=0.3$ تعني أن 30% من الخطوات هي TST، و70% هي تدريب قياسي).

المساهمات الرئيسية

نموذج تدريب مبتكر: تقديم TST، الذي يزيد من إنتاجية الرموز بمقدار $s$ خلال نظام تدريب محدد دون تغيير بنية النموذج النهائية أو سلوك الاستنتاج.
تصميم ثنائي المراحل: آلية بسيطة تجمع بين تراكب المدخلات (متوسط التضمينات) وتراكب المخرات (التنبؤ متعدد الاتجاهات) متبوعة بمرحلة استعادة لمحاذاة النموذج مجدداً مع السلوك التلقائي القياسي.
الاستقلالية عن الطرق الموجودة: يضع المؤلفون TST كطريقة مستقلة عن طرق الخسارة المساعدة (مثل التنبؤ متعدد الرموز - MTP). فبينما تضيف MTP بارامترات وأهدافاً للرموز المستقبلية دون زيادة عدد الرموز لكل FLOP، فإن TST تزيد الإنتاجية بشكل صارم وتترك البنية دون تغيير.
التحقق التجريبي: تقييم واسع النطاق عبر مقاييس مختلفة (270 مليون، 600 مليون، 3 مليار، و10 مليار بنظام خليط الخبراء - MoE) لإثبات المتانة عبر مختلف إعدادات المعاملات (hyperparameters).

النتائج

تقرير البحث النتائج التالية بناءً على التجارب باستخدام مجموعات بيانات DCLM وFineWeb-Edu:

تقليل الخسارة: يتفوق TST باستمرار على النماذج المرجعية من حيث خسارة التدريب النهائية تحت قيود تساوي الـ FLOPs.
الأداء في المهام اللاحقة (Downstream Performance): تظهر النماذج المدربة باستخدام TST تحسناً في الأداء على الاختبارات المعيارية اللاحقة (HellaSwag, ARC-E/C, MMLU, إلخ) مقارنة بالنماذج المرجعية المدربة لنفس عدد الخطوات أو نفس التكلفة الحسابية.
مكاسب الكفاءة:
- تحت إعدادات تساوي الخسارة، يحقق TST تقليلاً يصل إلى 2.5 ضعف في إجمالي وقت التدريب المسبق عند مقياس 10 مليار بارامتر.
- في تجربة 10B A1B (10 مليار إجمالي، 1 مليار نشط) بنظام MoE، سجل نموذج TST نحو 2 تريليون رمز بيانات مقارنة بـ 1.05 تريليون رمز للنموذج المرجعي، مع تحقيق خسارة نهائية أقل (2.236 مقابل 2.252) في عدد ساعات أقل بكثير من معالجات B200 (4768 مقابل 12311).
الحساسية للمعاملات (Hyperparameter Sensitivity): الطريقة متينة ضمن نطاق معقول من أحجام حقائب التراكب ( $s \in [4, 8]$ ) ونسب الخطوات ( $r \in [0.2, 0.4]$ ).
دراسات الاستبعاد (Ablation Studies):
- المدخلات مقابل المخرجات: كلا النوعين من التراكب (المدخلات فقط أو المخرجات فقط) يحسن الأداء عن النموذج المرجعي، لكن الجمع بينهما يعطي أفضل النتائج، مما يشير إلى أنهما آليتان متعامدتان.
- محاذاة التمثيل: إعادة تهيئة تضمينات المدخلات ورؤوس نموذج اللغة (LM heads) عشوائياً بين مرحلتي التراكب والاستعادة تلغي تماماً مكاسب TST، مما يشير إلى أن الحفاظ على محاذاة التمثيل عبر المراحل أمر بالغ الأهمية.

الأهمية والادعاءات

يدعي البحث أن TST تقدم تحسيناً كبيراً في كفاءة التدريب المسبق من خلال تعظيم إنتاجية وقت التدريب بشكل مستقل عن بنية وقت الاستنتاج للنموذج. ويجادل المؤلفون بأن هذا النهج يتحدى نموذج التدريب المسبق الأحادي عبر إثبات أن جدول "من الخشن إلى الناعم" (coarse-to-fine) هو مكون قابل لإعادة الاستخدام للتدريب الفعال.

تشمل الادعاءات الرئيسية ما يلي:

تقليل التكلفة: تحقيق نفس جودة النموذج (الخسارة) بنحو نصف التكلفة الحسابية تقريباً.
البساطة: لا تتطلب الطريقة تغييرات معقدة في البنية، أو محسنات جديدة، أو بارامترات إضافية، مما يجعلها حلاً عملياً "جاهزاً للاستخدام".
فك الارتباط في الكفاءة: نجحت في فك الارتباط بين كفاءة وقت التدريب وكفاءة وقت الاستنتاج، معالجةً فجوة في الأدبيات الحالية حيث تخلط العديد من الطرق بين الاثنين.
القابلية للتوسع: تتوسع الطريقة بفعالية من النماذج الكثيفة الصغيرة (270 مليون) إلى نماذج خليط الخبراء الكبيرة (10 مليار)، مما يشير إلى قابلية تطبيق واسعة.

يظل المؤلفون متواضعين بشأن الآليات الأساسية، مشيرين إلى أنه بينما يفترضون أن تراكب المدخلات يعمل كنوع من "التدريب المسبق-المسبق" أو تنظيم ضمني لهندسة التضمين، إلا أن هناك حاجة لمزيد من أعمال التفسير (interpretability). كما يقرون بوجود قيود، مثل افتراض أن التدريب المسبق حالياً مقيد بالحوسبة (compute-bound) وليس بالبيانات (data-bound)، ونقص عمليات الاستبعاد واسعة النطاق بسبب قيود الحوسبة.