💬 NLP

TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs

تُعد TokenTiming طريقة عالمية لفك التشفير الاستدلالي تستفيد من تقنية "تحويل الوقت الديناميكي" (Dynamic Time Warping) لمحاذاة نماذج المسودة والنموذج المستهدف المتباينة في مفرداتها، مما يتيح تسريع استنتاج النماذج اللغوية الكبيرة بكفاءة دون الحاجة إلى إعادة تدريب النماذج.

المؤلفون الأصليون: Sibo Xiao, Jinyuan Fu, Zhongle Xie, Lidan Shou

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sibo Xiao, Jinyuan Fu, Zhongle Xie, Lidan Shou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة TokenTiming باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: شخصان يتحدثان لهجات مختلفة

تخيل أن لديك معلماً ذكياً جداً ولكنه بطيء (النموذج المستهدف - Target Model) يكتب مقالات. ولديك أيضاً طالباً نشيطاً وسريعاً (نموذج المسودة - Draft Model) يحاول تخمين ما سيكتبه المعلم تالياً.

في عالم الذكاء الاصطيعي، توجد تقنية تسمى التوليد الاستدلالي (Speculative Decoding). وهي تعمل كالتالي:

يقوم الطالب بتخمين الكلمات القادمة بسرعة.
يقوم المعلم بالتحقق من تلك التخمينات.
إذا وافق المعلم على التخمينات، فإنه يقبل جميع الكلمات دفعة واحدة (بسرعة فائقة!).
إذا اختلف المعلم مع التخمين، فإنه يرفض التخمين ويكتب الكلمة الصحيحة بنفسه.

العقبة: لكي ينجح هذا الأمر، يجب أن يتحدث الطالب والمعلم نفس اللغة تماماً. يجب أن يستخدموا نفس القاموس بالضبط. إذا قال الطالب "Scal-ing" (كلمتان)، بينما يعرف المعلم كلمة "Scaling" (كلمة واحدة)، فإن النظام يتعطل. لا يستطيع المعلم التحقق من عمل الطالب لأن كل منهما ينظر إلى قطع مختلفة من اللغز.

حالياً، لإصلاح ذلك، عليك إعادة تدريب الطالب ليتعلم قاموس المعلم الخاص. هذا يشبه إجبار متحدث بالفرنسية على إعادة تعلم الإنجليزية فقط ليلعب لعبة مع متحدث بالإنجليزية. إنه أمر بطيء، مكلف، ويحد من قدرتك على استخدام الطلاب الذين يتحدثون تلك اللهجة المحددة بالفعل.

الحل: TokenTiming (المترجم العالمي)

يقترح مؤلفو هذه الورقة طريقة جديدة تسمى TokenTiming. بدلاً من إجبار الطالب على إعادة تعلم القاموس، قاموا ببناء "مترجم" ذكي يعمل بشكل فوري.

إليك كيف يعمل، باستخدام تشبيه محاذاة ترجمة فيلمين مختلفين:

1. خدعة "إعادة الترميز" (Re-encoding)

تخيل أن الطالب كتب جملة: "Scal-ing law".
قاموس المعلم يرى هذه الجملة كـ: "Scaling" و "law".
يقوم النظام بأخذ كلمات الطالب، وتحويلها مرة أخرى إلى نص عادي ("Scaling law")، ثم يقوم فوراً بتقطيعها مجدداً باستخدام قاموس المعلم. الآن، كلا الطرفين ينظران إلى نفس النص، لكنهما مقسمان إلى قطع بأحجام مختلفة.

2. "التشويه الزمني الديناميكي" (Dynamic Time Warping - DTW)

هذا هو المكون السحري. استعار المؤلفون خوارزمية من تحليل الموسيقى والكلام تسمى Dynamic Time Warping (DTW).

التشبيه: تخيل أن لديك تسجيلين لنفس الأغنية. أحدهما يعزف بضربات طبل سريعة، والآخر بضربات طبل بطيئة. على الرغم من أن الإيقاعات لا تتطابق تماماً (إيقاع واحد مقابل إيقرعين)، إلا أنه يمكنك لاحقاً مطابقة "اللازمة" (chorus) من الأغنية السريعة مع "اللازمة" من الأغنية البطيئة.
في الورقة البحثية: ترسم الخوارزمية خريطة بين قطع الطالب وقطع المعلم. فهي تدرك أن "Scal" + "ing" الخاصة بالطالب تطابق كلمة "Scaling" الخاصة بالمعلم. إنها تنشئ خريطة مرنة (متعددة إلى متعددة).

3. "نقل الاحتمالية" (Probability Handoff)

بمجرد رسم الخريطة، يأخذ النظام ثقة الطالب (على سبيل المثال: "أنا متأكد بنسبة 90% أن 'Scaling' هي الكلمة التالية") وينقلها إلى نسخة المعلم من الكلمة. ثم يتحقق المعلم: "هل تتفق حساباتي مع هذا؟". إذا كانت الإجابة نعم، يتم قبول الكلمات. إذا لا، يقوم النظام بتصحيح نفسه.

لماذا يعد هذا إنجازاً كبيًراً؟

تدعي الورقة تحقيق ثلاث انتصارات رئيسية:

لا مزيد من إعادة التدريب: يمكنك الآن استخدام أي نموذج صغير وسريع كطالب لـ أي معلم كبير وبطيء، حتى لو كانت قواميسهما مختلفة تماماً. إنه نظام "وصل وشغل" (Plug-and-play).
السرعة: في اختباراتهم، جعلت هذه الطريقة الذكاء الاصطناعي أسرع بمقدار 1.57 مرة من الطريقة القياسية لكتابة النصوص. لقد تفوقوا على الطرق السابقة التي حاولت حل هذه المشكلة (مثل TLI) لأن تلك الطرق كانت جامدة جداً وتتخلص من المعلومات عندما لا تتطابق القواميس تماماً.
تعدد الاستخدامات: اختبروا ذلك في الرياضيات، البرمجة، الترجمة، والتلخيص. لقد نجحت الطريقة في كل مكان، حتى عندما كان "الطالب" صغيراً جداً (68 مليون بارامتر) و"المعلم" ضخماً جداً (70 مليار بارامتر).

الخلا الخلاصة

TokenTiming هو بمثابة محول عالمي للذكاء الاصطناعي. قبل ذلك، كنت بحاجة إلى قابس محدد يناسب مقبساً معيناً. أما الآن، فلديك محول ذكي يعيد تشكيل القابس ليناسب أي مقبس فوراً. هذا يسمح لنا باستخدام أسرع وأصغر نماذج الذكاء الاصطناك لتسريع أكبر وأذكى النماذج دون الحاجة إلى إعادة بنائها من الصفر.

ما لا تدعيه الورقة:

لا تدعي أن هذا يجعل الذكاء الاصطناعي أكثر ذكاءً (جودة الكتابة تظل كما هي وفقاً للمعلم).
لا تدعي أن هذا يصلح للتشخيص الطبي أو الاستخدامات السريرية (الأمر يتعلق فقط بجعل توليد النصوص أسرع).
لا تدعي أن هذا يلغي جميع الأخطاء؛ بل تجعل عملية التحقق من التخمينات أكثر مرونة فقط.

ملخص تقني: TokenTiming

بيان المشكلة

يُعد فك التشفير الاستنباطي (Speculative Decoding - SD) تقنية بارزة لتسريع استنتاج النماذج اللغوية الكبيرة (LLM)، حيث يستخدم نموذج "مسودة" (draft) أصغر لاقتراح الرموز (tokens) التي يتم التحقق منها بواسطة نموذج "هدف" (target) أكبر. ومع ذلك، تواجه طرق فك التشفير الاستنباطي الحالية قيدًا جوهريًا: يجب أن يتشارك نموذج المسودة ونموذج الهدف في مفردات متطابقة ( $V_d = V_t$ ). هذا المتطلب يحد بشدة من اختيار نماذج المسودة المتاحة، مما يستليزم غالبًا تدريب نماذج مسودة جديدة من الصفر أو استخدام عائلات نماذج محددة تظل فيها النسخ الصغيرة كبيرة جدًا لضمان التسريع الفعال.

أظهرت المحاولات الحالية لمعالجة "المفردات غير المتجانسة" (حيث $V_d \neq V_t$ ) نجاحًا محدودًا. فالطرق مثل "تقاطع مستوى الرمز" (Token-Level Intersection - TLI) تعتمد على تقاطع المفردات، مما يؤدي إلى التخلص من الكتلة الاحتمالية للرموز خارج المفردات، وهو ما ينتهك خاصية "عدم الفقدان" (losslessness) في عملية فك التشفير. أما النهج الأخرى، مثل "المطابقة التامة على مستوى السلسلة" (String-level Exact Match - SLEM)، فلا يمكنها إجراء أخذ عينات احتمالية. وبناءً على ذلك، هناك نقص في إطار عمل عالمي لفك التشفير الاستنباطي يتسم بعدم الفقدان، يمكنه استخدام أي نموذج مسودة جاهز دون إعادة تدريب.

المنهجية: TokenTiming

يقترح المؤلفون TokenTiming، وهو طريقة محاذاة ديناميكية تمكن من فك التشفير الاستنباطي غير الفاقد عبر مفردات غير متجانسة دون تعديل نماذج الهدف أو المسودة. الابتكار الجوهري هو خوارزمية التواء الرمز الديناميكي (Dynamic Token Warping - DTW)، المستوحاة من "التواء الوقت الديناميكي" (Dynamic Time Warping) في تحليل السلاسل الزمنية.

تعمل سلسلة عمليات TokenTiming كما يلي:

إعادة التجزئة (جسر مستوى السلسلة النصية):
عند كل خطوة فك تشفير، يولد نموذج المسودة سلسلة من الرموز $D = (d_1, \dots, d_k)$ . بدلاً من مقارنة هذه الرموز مباشرة بمفردات النموذج الهدف، يقوم TokenTiming أولاً بفك تشفير $D$ إلى تمثيل سلسلة نصية وسيطة $S$ باستخدام أداة التجزئة (tokenizer) الخاصة بالمسودة. ثم يتم إعادة ترميز هذه السلسلة باستخدام أداة التجزئة الخاصة بالنموذج الهدف لإنتاج "سلسلة رموز هدف بديلة" $T = (t_1, \dots, t_m)$ . تضمن هذه الخطوة أن تكون تدفقات الحروف الأساسية متطابقة، مما يسد الفجوة بين مستويات تجزئة الرموز المختلفة.
محاذاة التواء الرمز الديناميكي (DTW):
بما أن عدد رموز المسودة ( $k$ ) ورموز الهدف البديلة ( $m$ ) يختلفان غالبًا بسبب تباين أدوات التجزئة، فإن عملية الربط البسيطة (واحد لواحد) تكون مستحيلة. يستخدم TokenTiming خوارزمية DTW لبناء مسار محاذاة أمثل (متعدد إلى متعدد) $\pi^*$ بين $D$ و $T$ .
- مقياس المسافة: تستخدم الخوارزمية مسافة ليفنشتاين (Levenshtein distance/edit distance) لقياس عدم التشابه بين الرموز.
- القيود: لضمان الكفاءة الحسابية، يتم تطبيق قيد "نطاق ساكوي-تشيبا" (Sakoe-Chiba Band)، مما يحد من مساحة البحث في نطاق قطري بعرض $w$ . وهذا يقلل التعقيد من $O(k \cdot m)$ إلى $O(w \cdot \max(k, m))$ .
- المخرجات: النتيجة هي رسم خرائط $\pi^*$ يربط رموز المسودة برموز الهدف البديلة، مع معالجة الحالات التي يترجم فيها رمز مسودة واحد إلى رموز هدف متعددة (مثل: "Scaling" $\to$ "Scale", "ing") أو العكس.
نقل الاحتمالية والتحقق:
باستخدام مسار المحاذاة $\pi^*$ ، يتم نقل التوزيع الاحتمالي لنموذج المسودة إلى مفردات النموذج الهدف.
- متعدد إلى واحد: إذا كانت عدة رموز مسودة ترتبط برمز هدف واحد، يتم تعيين احتمال رمز المسودة النهائي لرمز الهدف.
- واحد إلى متعدد: إذا كان رمز مسودة واحد يرتبط بعدة رموز هدف، يتم نسخ احتمال المسودة إلى جميع رموز الهدف المقابلة.
  بعد ذلك، يقوم نموذج الهدف بالتحقق من السلسلة البديلة $T$ بالتوازي. يتم قبول الرموز بناءً على معيار أخذ العينات الاستنباطي القياسي: $r < \min(1, q(t_j)/p(t_j))$ ، حيث $q$ هو احتمال الهدف و $p$ هو احتمال المسودة المنقول. يضمن هذا أن توزيع المخرجات النهائي يظل مطابقًا لتوزيع نموذج الهدف (غير فاقد/lossless).

المساهمات الرئيسية

التوافق العالمي: يزيل TokenTiming قيد المفردات المشتركة، مما يسمح باستخدام أي نموذج مسودة جاهز (بغض النظر عن البنية أو أداة التجزئة) ودمجه في نموذج هدف دون إعادة تدريب أو تعديل النموذج.
التسريع غير الفاقد (Lossless Acceleration): من خلال بناء رسم خرائط رموز سليم عبر DTW، تضمن الطريقة بقاء أخذ العينات الاستنباطي غير فاقد للمعلومات، مما يحافظ على سلامة توزيع مخرجات نموذج الهدف حتى عند اختلاف المفردات.
المحاذاة الديناميكية: تعمل الطريقة بشكل فوري أثناء كل خطوة فك تشفير، وتتعامل ديناميكيًا مع أعداد الرموز وتدرجاتها المتغيرة من خلال آلية DTW.

النتائج التجريبية

قام المؤلفون بتقييم TokenTiming على مجموعة متنوعة من المهام (التلخيص، الترجمة، توليد الكود، الرياضيات، والأسئلة والأجوبة) باستخدام أزواج مختلفة من النماذج، بما في ذلك نماذج هدف تتراوح من 7 مليار إلى 70 مليار معلمة، ونماذج مسودة تتراوح من 68 مليون إلى 350 مليون معلمة.

أداء التسريع: حقق TokenTiming تسريعًا يصل إلى 1.57× مقارنة بالنماذج المرجعية ذات التوليد التلقائي (autoregressive) عبر مهام متنوعة. على سبيل المثال، في نموذج Qwen3-32B كهدف مع مسودة Qwen3-0.6B، حقق تسريعًا قدره 1.57×، متفوقًا بشكل ملحوظ على خط الأساس TLI الذي حقق 1.21×.
المقارنة مع أحدث التقنيات (SOTA): في نماذج 7 مليار و33 مليار، قلص TokenTiming الفجوة في الأداء مع طرق SOTA ذات المفردات المتجانسة مثل EAGLE-3. وتحديدًا، في نموذج 33 مليار، حقق Tokening تسريعًا قدره 2.27×، متفوقًا على Medusa (1.71×) وEAGLE-1 (2.21×)، مع الاحتفاظ بمرونة استخدام مسودات غير متجانسة.
قوة الأداء عبر المهام: تفوقت الطريقة باستمرار على TLI في جميع فئات المهام الخمس التي تم تقييمها. وفي مهام الرياضيات والتلخيص، كان التسريع ملحوظًا بشكل خاص (على سبيل المثال، 2.53× في مهام الرياضيات).
العبء الحسابي (Overhead): العبء الحسابي الناتج عن محاذاة DTW وإعادة التجزيد ضئيل للغاية، حيث يمثل ما بين 0.1% إلى 0.5% فقط من إجمالي وقت التشغيل، إذ يبلغ وقت الحظر لكل دورة فك تشفير حوالي 663 ميكروثانية.

الأهمية والادعاءات

يدعي البحث أن TokenTiming يمثل خطوة هامة نحو جعل فك التشفير الاستنباطي أداة متعددة الاستخدامات وعملية لتسريع النماذج اللغوية الكبيرة. ومن خلال إزالة العائق الجوهري المتمثل في عدم تطابق المفردات، فإنه يتيح "نهجًا عالميًا لاختيار نموذج المسودة". وهذا يسمح للممارسين بالاستفادة من مجموعة واسعة من النماذج الصغيرة وغير المتجانسة الموجودة بالفعل كنماذج مسودة دون تكلفة وعدم مرونة تدريب رؤوس مسودة جديدة أو إعادة تدريب النماذج لمفردات هدف محددة. يوضح العمل أن الاستنتاج عالي السرعة يمكن تحقيقه مع توافق "التركيب والتشغيل المباشر" (plug-and-play)، مما يجسّر الفجوة بين الكفاءة النظرية لفك التشفير الاستنباطي والقيود العملية لأنظمة النماذج المتنوعة.