🤖 machine learning

Accelerating Time Series Foundation Models with Speculative Decoding

تقدم هذه الورقة إطار عمل للفك التخميني المصمم خصيصاً للاسترجاع الذاتي للرقع المستمرة في نماذج التأسيس للسلاسل الزمنية، والذي يستفيد من نموذج مسودة منخفض التكلفة لاقتراح الرقع المستقبلية ونموذج مستهدف للتحقق منها بالتوازي، محققاً تسريع استنتاج يصل إلى 3.0 أضعاف مع الحفاظ على ضمانات الدقة.

المؤلفون الأصليون: Pranav Subbaraman, Fang Sun, Jinxi Yu, Yue Yao, Huacong Tang, Xiao Luo, Yizhou Sun

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Pranav Subbaraman, Fang Sun, Jinxi Yu, Yue Yao, Huacong Tang, Xiao Luo, Yizhou Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بالمستقبل، ليس باستخدام كرة بلورية، بل باستخدام كمبيوتر فائق الذكاء ينظر في الأنماط الموجودة في البيانات مثل استهلاك الكهرباء، أو تدفق حركة المرور، أو الطقس. يُسمى هذا المجال "التنبؤ بالسلاسل الزمنية". لسنوات، أصبحت هذه الحواسيب أفضل وأفضل، لكن لديها عادة مزعجة: إنها بطيئة. إنها تعمل مثل شخص يقرأ كتاباً كلمة بكلمة. إذا طلبت منها التنبؤ بـ 100 ساعة القادمة من الطقس، فعليها حساب الساعة الأولى، ثم تستخدم تلك النتيجة لحساب الساعة الثانية، ثم الساعة الثالثة، وهكذا. لا يمكنها القفز للأمام أو رؤية الصورة الكاملة دفعة واحدة لأنها مبنية لتكون دقيقة للغاية، خطوة بخطوة. وهذه مشكلة، لأنه في العالم الحقيقي، مثل عندما يحتاج مدير شبكة طاقة إلى اتخاذ قرار بشأن كمية الكهرباء التي يجب شراؤها الآن، فإن انتظار حاسوب بطيء لينهي حساباته الطويلة والمتسلسلة سيكون قد فات الأوان. نحن بحاجة إلى إجابات سريعة، ولكننا نحتاج أيضاً إلى أن تكون دقيقة.

تقدم هذه الورقة البحثية خدعة ذكية لجعل هذه الحواسيب البطيئة والدقيقة أسرع بكثير دون جعلها أقل دقة. يطلق المؤلفون على هذه الخدعة اسم "فك التشفير التكهني" (speculative decoding)، وهي طريقة منمقة لقول "خمن وتحقق". تخيل أنك تكتب قصة مع صديق. أنت (الخبير البطيء والدقيق) عادة ما تكتب جملة واحدة في كل مرة. لكن صديقك (المخمن السريع والأقل دقة قليلاً) يمكنه أن يهتف بالجمل الخمس التالية في لمح البصر. بدلاً من تجاهل صديقك، قم بقراءة جمله الخمس بسرعة. إذا بدت صحيحة، قل فقط "نعم!" واستمر في العمل. إذا بدت جملة واحدة خاطئة، فقم فقط بإصلاح تلك الجملة ومتابعة العمل. تثبت الورقة أنه بالنسبة لهذه الحواسيب المتخصصة في التنبؤ بالزمن، يمكن لطريقة "خمن وتحقق" هذه أن تجعلها أسرع بمعدل يصل إلى 3.0 أضعاف مع الحفاظ على دقة التنبؤات لتكون جيدة تقريباً كما لو كانت قد قامت بالعمل الشاق بمفردها.

المشكلة: الروبوت البطيء الذي يعمل خطوة بخطوة

نماذج التأسيس للسلاسل الزمنية تشبه روبوتات ضخمة وذكية للغاية قرأت مليارات النقاط من البيانات. إنها مذهلة في التنبؤ بأشياء مثل حجم حركة المرور على طريق سريع غداً أو كمية الطاقة التي ستحتاجها مدينة ما الأسبوع المقبل. لكن لديها عائق: فهي "تكرارية ذاتية" (autoregressive). هذا يعني أنها مثل شخص يقوم برص أحجار الدومينو. للتنبؤ بالدومينو رقم 100، يجب عليهم أولاً التنبؤ بالدومينو رقم 99، ثم 98، وهكذا، وصولاً إلى البداية. لا يمكنهم التنبؤ بالمستقبل بأكمله دفعة واحدة. إذا كنت تريد تنبؤاً لفترة زمنية طويلة ("أفق طويل")، فعليهذا الروبوت اتخاذ مئات الخطوات المتسلسلة البطيئة. الأمر يشبه طلب ماراثون من حلزون؛ سيصل في النهاية، لكن ذلك سيستغرق وقتاً طويلاً، وبحلول الوقت الذي يصل فيه، قد يكون السباق قد انتهى.

الحل: المساعد السريع والمدير الحذر

أدرك المؤلفون أنه بينما يكون الروبوت الكبير بطيئاً، فإن نسخة أصغر وأرخص من ذلك الروبوت (تسمى نموذج "المسودة" أو الـ draft model) يمكنها غالباً تخمين الخطوات القليلة القادمة بنفس دقة الروبوت الكبير تقريباً. ومع ذلك، فإن الروبوت الصغير ليس مثالياً. لذا، تقترح الورقة استراتيجية للعمل الجماعي:

المساعد السريع (المسودة): حاسوب أصغر وأسرع يخمن الـ K من القطع (patches) القادمة من المستقبل دفعة واحدة. فكر في هذا ككاتب سريع يكتب الكلمات الخمس التالية من الجملة في رمشة عين.
المدير الحذر (الهدف): الحاسوب الكبير، البطيء، وفائق الدقة لا يكتب الكلمات بنفسه. بدلاً من ذلك، ينظر إلى الكلمات الخمس التي كتبها الكاتب السريع. إنه يتحقق منها جميعاً في نظرة واحدة متوازية.
القرار: إذا وافق المدير على ما كتبه المساعد السريع، فإنه يقول "مقبول!" ويستمر في العمل. إذا اختلف المدير مع إحدى الكلمات، فإنه يصلح تلك الكلمة فقط ويوقف المساعد السريع عن التخمين.

السحر هنا هو أن الكمبيوتر الكبير عادة ما يتعين عليه القيام بخطوة واحدة في كل مرة. مع هذه الخدعة، يمكنه قبول كتلة كاملة من الخطوات في دفعة واحدة. توضح الورقة أن هذه الطريقة تعمل حتى لو لم تكن البيانات مكونة من كلمات (كما في نماذج اللغة) بل من أرقام مستمرة (مثل درجة الحرارة أو الجهد الكهربائي). اضطر المؤلفون إلى ابتكار طريقة جديدة لـ "التحقق" من الأرقام لأنك لا تستطيع مجرد مقارنة الاحتمالات كما تفعل مع الكلمات؛ بدلاً من ذلك، يستخدمون "اختبار مسافة" رياضياً لمعرفة ما إذا كان التخمين قريباً بما يكفي من الحقيقة.

ما وجدوه

اختبر الفريق هذه الفكرة على خمس عائلات مختلفة من نماذج التنبؤ الزمني، بما في ذلك Timer-XL، و TimesFM، و Sundial، و Time-MoE، و TiRex. قاموا بتشغيل هذه النماذج على بيانات من العالم الحقيقي مثل شبكات الكهرباء، وأنماط الطقس، وأجهزة استشعار حركة المرور.

السرعة: في كثير من الحالات، جعلت الطريقة الجديدة النماذج أسرع بمعدل 1.2 إلى 3.0 أضعاف. على سبيل المثال، في نموذج Time-MoE، حققوا تسريعاً قدره 3.05× على مجموعة بيانات محددة (ETTm1) مع الحفاظ على دقة عالية جداً.
الدقة: كانت التنبؤات جيدة تقريباً مثل الطريقة البطيئة والحذرة. في الواقع، في بعض الحالات، كانت الطريقة "التكهنية" أكثر دقة من الطريقة القياسية لأنها كانت تصحح الأخطاء بشكل متكرر أكثر.
المكافأة "المجانية": إذا حصل المساعد السريع على جميع التخمينات بشكل صحيح، يحصل المدير الكبير على تنبؤ "مجاني" إضافي. الأمر يشبه قراءة المدير للكلمة التالية دون الحاجة لكتابتها.

متى لا تنجح الطريقة

الورقة البحثية صادقة جداً بشأن الحالات التي تفشل فيها هذه الخدعة. فهي لا تعمل إذا كان المساعد السريع جيداً بقدر المدير (حينها لا داعة للتحقق). كما أنها لا تعمل إذا استغرق المدير وقتاً طويلاً في التحقق من التخمينات مقارنة بالوقت الذي تم توفيره. وضع المؤلفون صيغة رياضية للتنبؤ بدقة متى ستكون هذه الطريقة مجدية، حتى لا يضطر المهندسون إلى التخمين. لقد وجدوا أنه بالنسبة لبعض النماذج، مثل TiRex على بيانات حركة مرور معينة، كانت عملية التحقق مكلفة للغاية، مما أدى في الواقع إلى إبطاء الطريقة.

الخلاصة

هذه الورقة لا تقترح مجرد فكرة رائعة فحسب؛ بل تبني نظاماً فعالاً يحول عملية خطوة بخطوة بطيئة إلى عملية متوازية سريعة. إنها تثبت أنه ليس عليك الاختيار بين السرعة والدقة. من خلال السماح لنموذج صغير وسريع بالقيام بالعمل الشاق المتمثل في التخمين، ونموذج كبير وذكي بالقيام بالمهمة السريعة المتمثلة في التحقق، يمكننا الحصول على أفضل ما في العالمين. النتيجة هي طريقة للحصول على تنبؤات عالية الجودة للكهرباء، وحركة المرور، والطقس بشكل أسرع بكثير، مما قد يساعد شبكات الطاقة على العمل بكفاءة أكبر وحركة المرور على التدفق بسلاسة أكبر، وكل ذلك دون الحاجة إلى انتظار الروبوت البطيء حتى ينهي رحلته الطويلة والوحيدة عبر البيانات.

ملخص تقني: تسريع النماذج التأسيسية للسلاسل الزمنية باستخدام فك التشفير الاستباقي

بيان المشكلة

برزت النماذج التأسيسية للسلاسل الزمنية (TSFMs) كحلول متطورة لمهام التنبؤ التشغيلية (مثل حمل الكهرباء، والتحكم في حركة المرور) نظرًا لقدرتها على التنبؤ بسلاسل غير مرئية بأسلوب "التعميم الصفري" (zero-shot) وبدقة عالية. ومع ذلك، فإن نشرها يعوقه زمن الاستجابة (latency) أثناء الاستدلال. تعمل هذه النماذج عادةً عبر فك التشفير ذاتي الانحدار القائم على الرقع (patch-autoregressive decoding)، حيث يقوم النموذج بتوليد تسلسل من الرقع (patches) بطول $P$ خطوة تلو الأخرى. وللتنبؤ بأفق زمني قدره $H$ خطوة، يجب على النموذج إجراء $\lceil H/P \rceil$ من عمليات التمرير الأمامي المتتالية بشكل صارم. هذا الاعتماد التسلسلي يخلق عنق زجاجة حيث يتناسب زمن الاستجابة طرديًا مع أفق التنبؤ، مما يتعارض مع الحاجة إلى قرارات تشغيلية منخفضة زمن الاستجابة.

بينما نجح فك التشفير الاستباقي (Speculative Decoding - SD) في تسريع النماذج اللغوية الكبيرة (LLMs) باستخدام نموذج "مسودة" (draft) رخيص يقترح رموزًا (tokens) يقوم النموذج "الهدف" الأكبر بالتحقق منها بالتوازي، فإن النقل المباشر إلى السلاسل الزمنية ليس بالأمر الهين. يعتمد الـ SD القياسي على مفردات منفصلة واحتمالات الرموز. أما نماذج TSFMs، فتنتج رقعًا مستمرة في الفضاء $\mathbb{R}^d$ ، وغالبًا ما تكون ذات رؤوس متباينة (نقطية، كمية، أو مطابقة التدفق) لا تكشف عن كثافات احتمالية صريحة. علاوة على ذلك، فإن آليات تصحيح الـ SD القياسية (إعادة أخذ العينات من توزيع متبقي) مكلفة حوسبيًا في الفضاءات المستمرة، خاصة عندما يتوافق النموذج المسودة والنموذج الهدف بشكل متكرر.

المنهجية

يقترح المؤلفون إطار عمل "فك التشفير الاستباقي الغاوسي" (Gaussian Speculative Decoding) المصمم خصيصًا للارتحال الذاتي للرقع المستمرة. يستبدل هذا الأسلوب المكونات المنفصلة للـ SD بنظائر مستمرة دون تعديل أوزان النموذج الهدف أو اشتراط إعادة التدريب.

1. الرؤوس البديلة الغاوسية (Gaussian Surrogate Heads)

للتعامل مع رؤوس TSFM المتباينة، يزود إطار العمل كلاً من النموذج الهدف ( $p$ ) والنموذج المسودة ( $q$ ) بـ بدائل غاوسية متناحية لتنبؤات الخطوة التالية:
$p(x | h) = \mathcal{N}(\mu_p(h), \sigma^2 I_d), \quad q(x | h) = \mathcal{N}(\mu_q(h), \sigma^2 I_d)$
هنا، $\mu_p$ و $\mu_q$ هما التنبؤات النقطية (المخرجات الخام، أو الوسيط، أو متوسطات مطابقة التدفق) للنماذج المعنية. أما التباين $\sigma^2$ فهو "درجة حرارة قبول" ثابتة ومزودة، وليس مخرجًا متعلمًا للنموذج.

2. قاعدة القبول

بدلاً من مقارنة احتمالات الرموز، يستخدم الأسلوب اختبار نسبة الاحتمالية الغاوسي في النطاق اللوغاريتمي. بالنسبة لمقترح مسودة $x_i$ عند الموضع $i$ ، يتم تعريف إحصائية القبول $\ell_i$ كالتالي:
$\ell_i = -\frac{\|x_i - \mu_p^{(i)}\|_d^2}{2\sigma^2} + \frac{\|x_i - \mu_q^{(i)}\|_d^2}{2\sigma^2} + \frac{1}{2}\log\frac{\sigma_q^2}{\sigma_p^2}$
حيث $\|u\|_d^2 = \frac{1}{d}\|u\|_2^2$ هي الطاقة لكل بُعد. يتم قبول المقترح باحتمالية $\alpha_i = \min\{1, e^{\ell_i}\}$ .

التلطيف (Tempering): يمنع مقياس $1/d$ نسبة اللوغاريتم من التدهور إلى بوابة (0/1) حادة مع زيادة الأبعاد، مما يسمح لـ $\sigma$ بالعمل كدرجة حرارة قبول قابلة للضبط عبر عائلات النماذج المختلفة.
انتشار المتوسط (Mean Propagation): تقترح المسودة متوسطها ( $x_i = \mu_q^{(i)}$ ). وهذا يتجنب حقن ضوضاء أخذ العينات، والتي تكون ضارة في ظل التقييم القائم على الخطأ التربيعي.

3. التصحيح والرجوع (Correction and Fallback)

على عكس الـ SD المنفصل، الذي يعيد أخذ العينات من توزيع متبقي عند الرفض (وهي عملية تتباعد تكلفتها عندما يكون القبول مرتفعًا)، يقوم هذا الأسلوب باعتماد تنبؤ النموذج الهدف نفسه ( $\mu_p^{(i)}$ ) فورًا عند الرفض.

التبرير النظري: يثبت المؤلفون أن استراتيجية "الرجوع" هذه تبقي الرقعة المعتمدة ضمن نصف قطر خطأ تربيعي محدود للتنبؤ الخاص بالنموذج الهدف فقط. يتم تجنب إعادة أخذ العينات لأن تكلفة التصحيح الدقيق في الفضاءات المستمرة عالية الأبعاد تفوق فوائد التنبؤ في حالة القبول المرتفع.
الرقعة الإضافية (Bonus Patch): إذا تم قبول جميع المقترحات $K$ ، يتم أيضًا اعتماد تنبؤ النموذج الهدف رقم $(K+1)$ (الذي تم توليده في نفس مرحلة التحقق)، مما يوفر رقعة "مجانية".

4. التحقق بمرور واحد (Single-Pass Verification)

يقوم النموذج الهدف بـ تمرير أمامي سببي واحد فوق التاريخ المدمج ورقع المسودة الـ $K$ الملحقة $[h, x_1, \dots, x_K]$ . ينتج هذا التمرير الواحد تنبؤات لجميع حدود البادئة الـ $K+1$ ، مما يتحقق من الكتلة بأكملة بالتوازي.

المساهمات الرئيسية

إطار عمل للرقع المستمرة: يقدم البحث أول إطار عمل لفك التشفير الاستباقي يعمل بشكل أصيل على كثافات الرقع المستمرة، مما يزيل الاختناق التسلسلي لفك تشفير TSFM دون تعديل النموذج الهدف.
الضمانات النظرية:
- قانون الإنتاجية (Throughput Law): اشتق قانونًا هندسيًا محدودًا للإنتاجية، موضحًا أن التسريع يعتمد على معدلات القبول ونسبة تكلفة المسودة إلى الهدف. كما يوفر معيارًا قابلًا للحساب لاختيار حجم الكتلة الأمثل $K$ .
- حد الدقة (Fidelity Bound): يثبت أن المخرجات المتسارعة تظل ضمن نصف قطر خطأ تربيعي من فك التشفير الخاص بالنموذج الهدف فقط، والذي تحدده درجة حرارة القبول $\sigma$ .
- القدرة على التنبؤ: يوضح أن التسريع وحالات الفشل (مثل عندما تكون المسودة مكلفة جدًا أو عندما يكون القبول منخفضًا جدًا) يمكن التنبؤ بها قبل النشر باستخدام بيانات محجوزة للاختبار.
التحقق التجريبي: تم تطبيق الإطار على خمس عائلات متنوعة من TSFM (Timer-XL, TimesFM 2.5, Sundial, Time-MoE, TiRex) باستخدام مسودات لا تتطلب تدريبًا محددًا (باستثناء نسخة مكررة من Timer-XL).

النتائج التجريبية

تم تقييم الطريقة على معايير قياسية للتنبؤ طويل الأمد (ETT, Weather, ECL, Traffic, Solar, PEMS).

التسريع: يحقق الإطار تسريعًا في الاستدلال يصل إلى 3.0× عبر عائلات النماذج الخمس.
الدقة: تحافظ التنبؤات المتسارعة على دقة تتراوح بين المسودة والهدف. وفي عدة حالات (مثل Time-MoE على ETTm1)، كان التشفير الاستباقي أكثر دقة من خط الأساس الخاص بالنموذج الهدف وحده، ويُعزى ذلك إلى تقليل تراكم الخطأ عبر إعادة الارتكاز الدوري إلى تنبؤ الخطوة الواحدة للنموذج الهدف.
نقاط التشغيل: توجد جبهة أحادية الاتجاه بين الدقة والسرعة يتم التحكم فيها بواسطة $\sigma$ . لوحظت معدلات قبول عالية (تصل إلى 97%) للنماذج ذات نسب التكلفة الكبيرة بين الهدف والمسودة (مثل Time-MoE).
تحليل الفشل: يحدد البحث أنماط فشل يمكن التنبؤ بها:
- بوابة الدقة: إذا كانت المسودة تطابق دقة الهدف، فلا يقدم التشفيد الاستباقي أي فائدة.
- هيكل التكلفة: إذا كانت المسودة مكلفة جدًا مقارنة بالهدف، أو إذا كانت تكلفة التحقق تتوسع بشكل سيئ مع حجم الكتلة (كما هو ملاحظ في TiRex في مجموعات بيانات معينة)، فسيضيع التسريع.

الأهمية والادعاءات

يزعم البحث أن فك التشفير الاستباقي لم يعد مقتصرًا على المفردات المنفصلة. من خلال إعادة بناء آليات القبول والتصحيح والتحقق للنتائج المستمرة، حول المؤلفون الاختناق التسلسلي طويل الأفق لنماذج TSFM إلى فرصة للتوازي.

خالٍ من التدريب (Training-Free): النهج يعتمد بشكل كبير على عدم الحاجة للتدريب، حيث يعيد استخدام نقاط التفتيش (checkpoints) الموجودة للنموذج الهدف والمسودة.
قابل للتركيب (Composable): يتوافق مع التحسينات على مستوى النواة (مثل FlashAttention) ولا يتطلب تغييرات هيكلية في النماذج التأسيسية.
قابل للتنبؤ: يوفر الأسلوب أساسًا نظريًا للتنبؤ بما إذا كان التشفيد الاستباقي سيعطي ثمارًا لزوج معين من النماذج ومجموعة بيانات معينة قبل النشر، مما يتجنب أسلوب التجربة والخطأ في بيئة الإنتاج.

يؤسس هذا العمل حقيقة أنه بالنسبة للتنبؤ بالسلاسل الزمنية، حيث تكون المخرجات مستمرة ويتم التقييم عادةً بناءً على الخطأ التربيعي، فإن نهج "انتشار المتوسط والانحراف المحدود" يتفوق على إعادة أخذ العينات الدقيقة للمتبقي، مما يوفر مسارًا عمليًا لتسريع النماذج التأسيسية لاتخاذ القرارات التشغيلية في الوقت الفعلي.