تخيل أنك تحاول التنبؤ بالكلمة التالية في قصة. لفترة طويلة، كانت أذكى الحواسيب (التي تسمى نماذج اللغات الكبيرة) تقوم بذلك كلمة بكلمة، مثل شخص يقرأ كتاباً بصوت عالٍ، يتوقف بعد كل كلمة واحدة ليفكر فيما سيأتي بعدها. هذا أمر دقيق، لكنه بطيء. مؤخراً، اكتشف العلماء طريقة جديدة لكتابة هذه القصص باستخدام نماذج "الانتشار" (diffusion). فكر في هذه النماذج كأنها نحات يبدأ بكتلة من الرخام وينحت التمثال بأكره دفعة واحدة، بدلاً من إزالة قطعة صغيرة تلو الأخرى. هذا يسمح للحاسوب بتخمين العديد من الكلمات في وقت واحد، وهو أمر سريع للغاية.

ومع ذلك، هناك عقبة. عندما تخمن العديد من الكلمات معاً، قد تخطئ في بعضها. ولإصلاح ذلك، هناك حيلة ذكية تسمى "فك التشفير الاستنباطي" (speculative decoding). الأمر يشبه وجود مساعد مبتدئ سريع يخمن الكلمات القليلة التالية، ثم يقوم مدير ذكي جداً وبطيء بالتحقق مما إذا كانت تخميناته صحيحة أم لا. إذا وافق المدير على تلك التخمينات، فإنه يقبل مجموعة الكلمات بأكملها فوراً، مما يوفر وقتاً هائلاً. المشكلة هي أن المساعد المبتدئ (نموذج الانتشار) بارع في تخمين الكلمات الفردية، لكنه لا يعرف دائماً كيف تتناسب هذه الكلمات مع بعضها البعض في ترتيب معين. إنه يشبه المساعد البارع في اختيار المكونات الفردية للكعكة، لكنه لا يعرف دائماً أي مزيج من المكونات سيعطي طعماً جيداً في النهاية.

هنا يأتي دور ورقة بحثية جديدة. أدرك الباحثون، بقيادة "تشنغ وانغ" وزملائه، أن الطريقة الحالية لاستخدام هؤلاء المساعدين السريعين تترك الكثير من السرعة مهدرة. فقد وجدوا أنه بينما يمكن للمساعد إنتاج تنوع هائل من مجموعات الكلمات الممكنة، فإن الطريقة الحالية تتحقق من مسار واحد فقط، مثل المشي في ممر واحد والأمل في أن يكون الباب في نهايته مفتوحاً. يقترح المؤلفون نظاماً جديداً يسمى PRESTO (التدريع المتوافق مع البادئة - Prefix-Aligned Tree Drafting). بدلاً من المشي في ممر واحد، يبني PRESTO شجرة من الاحتمالات، مستكشفاً مسارات عديدة في آن واحد. ولكن إليك السحر: فهو يعالج خللاً جوهرياً في كيفية قياس ثقة المساعد. ثقة المساعد الأصلية هي "عمياء عن البادئة" (prefix-blind)، مما يعني أنها لا تهتم بما جاء قبل الكلمات. يضيف PRESTO درجة "متوافقة مع البادئة"، والتي تعمل كبوصلة، تضمن أن المسارات المختارة للاستكشاف هي المسارات الأكثر احتمالاً لقبولها من قبل المدير.

النتيجة هي نظام أسرع بشكل ملحوظ. في اختباراتهم، ساعد PRESTO الحاسوب على قبول المزيد من الكلمات في كل جولة تخمين. وفي بعض أفضل الأنظمة الموجودة، جعل العملية أسرع بمقدار 1.5 مرة. وفي أنظمة أخرى، قدم تسريعاً بمقدار 1.12 مرة. تشير الورقة البحثية إلى أنه من خلال معاملة عملية التخمين كأنها مغامرة تتفرع كالأشجار بدلاً من كونها خطاً مستقيماً، ومن خلال التأكد من أن الفروع المختارة تتناسب جيداً مع القصة حتى الآن، يمكننا الحصول على أفضل ما في العالمين: سرعة الانتشار ودقة الفحص المتأني.

المشكلة: فخ "المسار الواحد"

لفهم سبب الحاجة إلى PRESTO، تخيل أنك تلعب لعبة "Mad Libs" مع صديق يحاول تخمين الكلمات المفقودة. صديقك هو نموذج انتشار. إنه بارع في النظر إلى مساحة فارغة وقول: "أراهن أن الكلمة هنا هي 'قطة'!" أو "ربما تكون 'كلب'؟" أو "أو ربما 'صاروخ'؟". يمكنه الصراخ بكل هذه الخيارات في نفس الوقت تماماً.

ومع ذلك، فإن الطريقة الحالية لاستخدام هذا الصديق جامدة للغاية. فهي تأخذ أفضل تخمين له، وتكتبه، ثم تسأل "المدير" (النموذج المستهدف) عما إذا كان تخمينه صحيحاً. إذا قال المدير "لا"، يتم التخلص من الشيء بأكمله، وعليك البدء من جديد. إذا قال "نعم"، تنتقل إلى الكلمة التالية وتكرر العملية. يسمى هذا التدريع الخطي (linear drafting). إنه يشبه المشي في غابة والنظر فقط إلى المسار الذي أمامك مباشرة.

لاحظ المؤلفون أن هذا النهج غير فعال. نظرًا لأن نموذج الانتشار يولد العديد من الخيارات في وقت واحد، فهناك "فضاء تركيبي" ضخم من الاحتمالات. الأمر يشبه امتلاك خريطة بها ألف مسار مختلف، لكن يُسمح لك فقط بالسير في مسار واحد. توضح الورقة أنه من خلال الالتزام بمسار واحد فقط، يفتقد النظام العديد من الطرق الصالحة. في الواقع، في المسائل الرياضية مثل GSM8K، قبلت الطريقة الحالية حوالي 6.5 كلمة في المتوسط، لكن الباحثين حسبوا أنه لو تمكنوا من فحص جميع المسارات الأفضل، لكان بإمكانهم قبول ما يقرب من 10 كلمات. هذه فجوة هائلة!

عدم التطابق: البوصلة "العمياء"

تعمق الباحثون ووجدوا سبباً محدداً لعدم عمل مجرد فحص المزيد من المسارات (بناء شجرة) بشكل مثالي مع الطرق القديمة. لقد حددوا "عدم تطابق جوهري".

في عالم الذكاء الاصطناعي القياسي (النماذج التكرارية - autoregressive models)، تعتمد درجة الثقة للكلمة بشكل كبير على الكلمات التي سبقتها. إذا كانت الجملة "القطة جلست على الـ..."، فإن النموذج يعرف أن كلمة "سجادة" مرجحة جداً، لكن "بيتزا" ليست كذلك. هذا هو التوافق مع البادئة (prefix-aligned).

لكن نماذج الانتشار تعمل بشكل مختلف. فهي تولد احتمالية "هامشية" لكل موضع بشكل مستقل. الأمر يشبه قول النموذج: "في الموضع 5، احتمال وجود كلمة 'قطة' هو 80%"، دون الاهتمام بما إذا كان الموضع 4 هو "الـ" أو "الـ سريعة". هذا هو العمى عن البادئة (prefix-blind).

عندما تحاول بناء شجرة من التخمينات باستخدام هذه الدرجات "العمياء"، فإنك تحصل على مشكلة في التصنيف. قد تختار مساراً يبدو رائعاً للكلمة الأولى، ولكنه سيء جداً للكلمة الثانية لأن النموذج لم يدرك أن الكلمة الأولى قد غيرت السياق. إنه يشبه جهاز GPS يعطيك اتجاهات بناءً على الشارع الحالي فقط، متجاهلاً حقيقة أنك انعطفت لليسار وأصبحت الآن في شارع باتجاه واحد. تجادل الورقة بأن استخدام هذه الدرجات العمياء لبناء شجرة يؤدي إلى "تصنيف مسارات غير موثوق به"، مما يعني أن النظام يستكشف الفروع الخاطئة ويضيع الوقت.

الحل: PRESTO

يقوم PREBRO (التدريع المتوافق مع البادئة والبحث في الأشجار القائم على الأولوية لنماذج الانتشار) بحل هذه المشكلة عن طريق إضافة "تصحيح" لدرجات نموذج الانتشار.

1. التدريع المتوافق مع البادئة: أدرك المؤلفون أنهم بحاجة إلى الجمع بين إشارة "الهامش" القوية لنموذج الانتشار (مدى احتمالية الكلمة بمفردها) وإشارة "المشروطة بالبادئة" (مدى احتمالية الكلمة بالنظر إلى الكلمات السابقة). لقد أنشأوا صيغة تسجيل جديدة تضرب احتمال الانتشار في عامل تصحيح مستمد من نموذج n-gram بسيط (أداة خفيفة تبحث في تركيبات الكلمات). هذا يخلق درجة تحترم تدفق القصة.
2. البحث في الأشجار القائم على الأولوية: بدلاً من مجرد اختيار المسار الأعلى، يبني PRESTO شجرة. يستخدم الدرجات المصححة الجديدة لتقرير أي الفروع ستنمو. إنه يعطي الأولوية للمسارات التي لديها أعلى إمكانية لقبولها من قبل المدير. إنه يشبه المتنزه الذي، بدلاً من المشي في خط مستقيم، ينظر إلى الخريطة ويختار المسار الأكثر احتمالاً للوصول إلى القمة، حتى لو لم يكن هذا المسار هو الأكثر وضوحاً في البداية.

اختبر المؤلفون طريقتين لتنمية هذه الشجرة: البحث بالحزمة (Beam Search - الاحتفاظ بعدد ثابت من المسارات العليا في كل خطوة) والبحث بالأفضل أولاً (Best-First Search - التوسع دائماً في المسار الأفضل المكتشف حتى الآن). وجدوا أنه بالنسبة لإعدادهم الخاص، عمل البحث بالحزمة بشكل جيد مثل البحث بالأفضل أولاً الأكثر تعقيداً، لذا استمروا في استخدام الخيار الأبسط والأكثر كفاءة.

النتائج: أسرع وأذكى

وضع المؤلفون PRESTO تحت الاختبار في مهام متنوعة، بما في ذلك المسائل الرياضية (GSM8K, Math500)، وتحديات البرمجة (HumanEval, LiveCodeBench)، والمحادثات الدردشية. استخدموا نوعين مختلفين من الأنظمة:

• مدرعات الانتشار المخصصة: نموذج انتشار صغير وسريع يخمن لنموذج تكراري أكبر (مثل dFlash).
• نماذج الانتشار ذاتية التدريع (Self-Speculative Diffusion LLMs): نموذج انتشار واحد يخمن ويتحقق من نفسه (مثل Nemotron-Labs-Diffusion).

كانت النتائج متسقة عبر جميع المجالات. زاد PRESTO باستمرار من متوسط طول القبول (Average Acceptance Length)، وهو عدد الكلمات التي يقبلها المدير في المرة الواحدة.

• في نظام dFlash (باستخدام Qwen3-8B)، قفز متوسط طول القبول من حوالي 6.6 كلمة إلى 9.6 كلمة. ترجم هذا إلى تسريع في الوقت الإجمالي بمقدار 1.5 مرة.
• في نظام Nemotron-Labs-Diffusion، زاد طول القبول من 8.8 إلى 9.9 كلمة، مما أدى إلى تسريع بمقدار 1.12 مرة.

وربما كان الأمر الأكثر إثارة للإعجاب هو أن الورقة أظهرت أن PRESTO يعمل حتى عندما يكون النظام "عشوائياً" (stochastic)، وهو أمر يصعب التنبؤ به عادةً. في هذه الحالات، كان التسريع أكثر وضوحاً، حيث شهدت بعض الاختبارات ضعف الإنتاجية تقريباً.

تحقق المؤلفون أيضاً من "تكلفة" هذه الطريقة الجديدة. وجدوا أن العمل الإضافي المطلوب لبناء الشجرة وحساب الدرجات الجديدة ضئيل للغاية—أقل من 4% من الوقت الإجمالي. لا يزال الجزء الأكبر من الوقت (أكثر من 90%) يُقضى في عملية التحقق الفعلية من قبل نموذج المدير. وهذا يعني أن PRESTO هو ترقية عالية الكفاءة لا تبطئ النظام بالأعباء الإضافية.

ما ليس PRESTO

من المهم ملاحظة ما لا تدعيه الورقة البحثية. يذكر المؤلفون صراحة أن تطبيق هيكل شجري بسيط (بدون تسجيلهم المتوافق مع البادئة) هو أمر غير مثالي. إذا أخذت درجات نموذج الانتشار الخام وبنيت شجرة، فلن تحصل على الفائدة الكاملة بسبب الطبيعة "العمياء" للدرجات. PRESTO يتعلق تحديداً بإصلاح عدم التطابق في التسجيل.

علاوة على ذلك، لا تدعي الورقة أنهم حلوا مشكلة نماذج الانتشار تماماً. فهم يقرون بأن طريقتهم تعتمد على "إشارة متوافقة مع البادئة قابلة للتتبع" (مثل نموذج n-gram الذي استخدموه) للقيام بالعمل الثقيل في التصحيح. ويقترحون أن العمل المستقبلي يمكن أن يستكشف إشارات أغنى، لكن في الوقت الحالي، تصحيحهم البسيط كافٍ لرؤية مكاسب هائلة.

لماذا يهم هذا

في السباق لجعل الذكاء الاصطناعي أسرع وأكثر كفاءة، كل جزء من السرعة له قيمته. كان التدريع الاستنباطي موضوعاً ساخناً لأنه يسمح لنا باستخدام أفضل النماذج وأكثرها دقة دون دفع ضريبة الوقت الكاملة. ومع ذلك، كانت الطرق الحالية محدودة بكونها تعامل نماذج الانتشار كآلات خطية، متجاهلة قدرتها الفريدة على توليد العديد من الخيارات في وقت واحد.

يغير PRESTO قواعد اللعبة من خلال معاملة نماذج الانتشار كالمستكشفين متعددي المسارات الذين هم عليه بالفعل. من خلال مواءمة التسجيل مع الطريقة التي يفحص بها المدير العمل، فإنه يطلق العنان للإمكانات الكاملة للتوليد المتوازي لنموذج الانتشار. النتيجة هي نظام ليس فقط أسرع قليلاً، بل أكثر كفاءة بشكل ملحوظ، مما يسمح لنا بتوليد النصوص، وحل المسائل الرياضية، وكتابة الأكواد بسرعات كانت تعتبر مستحيلة لهذه الأنواع من النماذج. وكما قال المؤلفون، لقد حولوا "المشي في مسار واحد" إلى "رحلة استكشافية قائمة على الأشجار"، مما يضمن أن كل خطوة يتم اتخاذها هي خطوة نحو الإجابة الصحيحة.