💬 NLP

Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing

تقترح هذه الورقة طريقة للتنبؤ متعدد الرموز لا تتطلب تدريباً، تستفيد من سبر رموز القناع في فضاء التضمين أثناء التشغيل لتمكين فك التشفير التخميني المتوازي، مما يحقق مكاسب كبيرة في معدل الإنتاجية وزيادة في أطوال القبول عبر مختلف النماذج اللغوية الكبيرة دون تعديل أوزان النموذج أو الحاجة إلى نماذج مسودة إضافية.

المؤلفون الأصليون: Raghavv Goel, Mukul Gagrani, Mingu Lee, Chris Lott

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Raghavv Goel, Mukul Gagrani, Mingu Lee, Chris Lott

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقرأ كتاباً، وفي كل مرة تنهي فيها جملة، عليك أن تسأل المؤلف: "ماذا يأتي بعد ذلك؟". يفكر المؤلف للحظة، يكتب كلمة واحدة، ثم يسلمها لك. ثم تسأل مجدداً عن الكلمة التالية. هكذا تعمل معظم النماذج اللغوية الكبيرة (LLMs) حالياً: فهي تولد النص كلمة تلو الأخرى، رغم أنها قادرة على التفكير في الكلمات القليلة التالية فوراً.

تقدم هذه الورقة البحثية حيلة ذكية لجعل نماذج الذكاء الاصطنا هذه أسرع بكثير دون الحاجة إلى إعادة تدريبها أو إضافة أجهزة إضافية. إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: "الكلمة الواحدة في كل مرة" (عنق الزجاجة)

فكر في نموذج الذكاء الاصطناعي القياسي ككاتب سريع جداً، لكنه مُجبر على طباعة حرف واحد فقط في كل ضغطة مفتاح. حتى لو كان يعرف الجملة بأكملها، فعليه أن يتوقف، يطبع حرفاً واحداً، ينتظر التأكيد، ثم يطبع الحرف التالي، وهكذا. هذا يهدر الكثير من الوقت وقوة الحوسبة.

2. الحل: حيلة "الكرة البلورية" (استقصاء رمز القناع - Mask Token Probing)

اكتشف المؤلفون أن نماذج الذكاء الاصطنا هذه تعرف بالفعل الكلمات القليلة التالية؛ هي فقط لا يُطلب منها قولها جميعاً في وقت واحد.

لقد ابتكروا طريقة تسمى "استقصاء فضاء التضمين" (Embedding-Space Probing).

التشبيه: تخيل أنك تلعب لعبة "تخمين الكلمة التالية". بدلاً من مجرد سؤال النموذج: "ماذا يأتي بعد 'القطة'؟"، فإنك تسلم النموذج سراً "رمزاً سحرياً" غير مرئي (رمز القناع/Mask Token) يقول له: "مهلاً، أنا لست كلمة حقيقية، ولكن من فضلك أخبرني بما كنت تفكر فيه للكلمات الثلاث القادمة".
كيف يعمل: يقومون بحقن هذه "الرموز السحرية" في النص (البرومبت). ولأن النموذج ذكي جداً، فإنه يعامل هذه الرموز كأماكن محجوزة ويخرج فوراً أفضل تخميناته للكلمات المستقبلية. الأمر يشبه سؤال عراف: "لا تخبرني فقط بالبطاقة التالية؛ بل أخبرني بالثلاث بطاقات التالية في المجموعة".

3. بناء "شجرة الاحتمالات"

في بعض الأحيان، لا يكون النموذج متأكداً بنسبة 100%. قد يعتقد أن الكلمة التالية هي إما "كلب" أو "قطة".

التشبيه: بدلاً من اختيار مسار واحد فقط، يبني النموذج شجرة.
- الفرع 1: "الكلب..."
- الفرع 2: "القطة..."
- من "الكلب"، يتفرع مجدداً: "...نبح" أو "...ركض".
- من "القطة"، يتفرع: "...مواء" أو "...نام".
تستخدم الورقة قاعدة ذكية وديناميكية لتنمية هذه الشجرة؛ فهي تنمي فقط الفروع الأكثر احتمالاً لأن تكون صحيحة، مما يمنع الشجرة من أن تصبح ضخمة وفوضوية للغاية.

4. "التحقق المزدوج" (Verification)

الآن لدى النموذج قائمة من التخمينات (الشجرة). ولكن كيف نعرف ما إذا كانت صحيحة؟

التشبيه: يعمل النموذج كمحرر لنفسه. يأخذ تخميناته ويجري "فحصاً متزامناً" سريعاً.
- يسأل: "إذا كتبتُ فعلياً 'الكلب'، فهل كنت سأتوقع 'نبح' بعد ذلك؟"
- إذا كانت الإجابة نعم، يتم قبول هذه الكلمة!
- إذا كانت الإجابة لا، يتم قطع هذا الفرع، ويجرب النموذج التخمين التالي الأفضل.
يحدث هذا بشكل متوازٍ. فبدلاً من فحص كلمة، ثم الكلمة التالية، ثم التي تليها، يتحقق النموذج من مجموعة كبيرة من الكلمات في نفس الوقت تماماً.

5. لماذا يعد هذا أمراً هاماً؟

لا يتطلب تدريباً: عادةً، لجعل الذكاء الاصطناعي أسرع، يجب عليك تعليمه حِيلاً جديدة (إعادة التدريب)، وهو أمر يستغرق أياماً ويكلف ملايين الدولارات. هذه الطريقة تعمل على النماذج المجمدة (النماذج التي انتهت عملية بنائها بالفعل). الأمر يشبه إعطاء سيارة جاهزة مجموعة جديدة من الإطارات لتسير بشكل أسرع، بدلاً من إعادة بناء المحرك.
لا يتطلب أجهزة إضافية: أنت لا تحتاج إلى نموذج ذكاء اصطناعي ثانٍ أصغر للمساعدة (وهو ما تفعله طرق السرعة الأخرى). بل يستخدم النموذج الرئيسي وحده.
السرعة: تُظهر الورقة أن هذه الطريقة يمكن أن تجعل الذكاء الاصطناعي أسرع بنسبة 15% إلى 19% وتسمح بقبول كلمات أكثر في الثانية. إنه يشبه الترقية من دراجة هوائية إلى سيارة رياضية دون تغيير السائق.

الملخص

تتمحور الورقة حول تعليم الذكاء الاصطناعي كيفية النظر إلى الأمام من خلال مطالبته بملء "الفراغات" (رموز القناع) في الجملة. ومن خلال القيام بذلك، يمكن للذكاء الاصطناعي التنبؤ بعدة كلمات في وقت واحد، والتحقق مما إذا كانت منطقية، وإخراجها جميعاً معاً. إنها عملية "توصيل وتشغيل" لزيادة السرعة تجعل الذكاء الاصطناعي يبدو أكثر شبهاً بالمحادثة البشرية (يتدفق بشكل طبيعي) بدلاً من روبوت يطبع حرفاً واحداً في كل مرة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التنبؤ المتعدد للرموز بكفاءة دون تدريب عبر سبر فضاء التضمين (Embedding-Space Probing)."

١. بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) عادةً على التنبؤ بالرمز التالي بشكل تتابعي (Autoregressive)، مما يولد رمزًا واحدًا لكل تمريرة أمامية (Forward Pass). هذه الطبيعة التسلسلية تترك قدرة الحوسبة في وحدات معالجة الرسومات (GPU) غير مستغلة بشكل كبير، مما يؤدي إلى زمن انتقال عالٍ وإنتاجية منخفضة. وبينما تقدم تقنيات مثل التنبؤ متعدد الرموز (MTP) والتوليد الاستنتاجي (Speculative Decoding) حلولاً عبر التنبؤ بعدة رموز مستقبلية بالتوازي، إلا أن الأساليب الحالية تعاني من قيود حرجة:

الأعباء التدريبية: تتطلب طرق مثل MEDUSA أو Eagle تدريب رؤوس مساعدة (Auxiliary Heads) أو نماذج مسودة (Draft Models)، مما يستلزم جهداً هندسياً كبيراً، وبناء مجموعات بيانات، وقدرة حوسبية عالية.
تكلفة الذاكرة والمعلمات: تضيف هذه الطرق غالباً معلمات إضافية (مثل مئات الملايين من الأوزان الإضافية) وأعباء ذاكرة، مما يجعلها غير مناسبة للأجهزة الطرفية (Edge Devices) أو البيئات ذات الموارد الحوسبية المحدودة.
عدم المرونة: تعتمد العديد من الأساليب التي لا تتطلب تدريباً (مثل Prompt Lookup Decoding أو Lookahead Decoding) على قواعد استدلالية جامدة، أو مخازن N-gram، أو هياكل شجرية ثابتة لا تتكيف جيداً مع المهام المتنوعة أو بنيات النماذج المختلفة.

تعالج الورقة الحاجة إلى طريقة MTP لا تتطلب تدريباً، وتعمل بمبدأ "التوصيل والتشغيل" (Plug-and-play) لتسريع الاستنتاج دون تعديل أوزان النموذج، أو إضافة معلمات، أو الاعتماد على نماذج مسودة خارجية.

٢. المنهجية

يقترح المؤلفون إطار عمل مبتكر يقوم بسبر (Probing) نموذج لغوي كبير مجمد باستخدام رموز قناع (Mask Tokens) فورية يتم تخليقها مباشرة من فضاء التضمين الخاص بالنموذج.

أ. حقن رموز القناع (Mask Token Injection)

بدلاً من استخدام نموذج مسودة منفصل، تقوم الطريقة بحقن "رموز قناع" اصطناعية ( $m_1, m_2, \dots, m_k$ ) في تسلسل المطالبة (Prompt).

التهيئة: يتم تهيئة رموز القناع باستخدام استراتيجيات مثل متوسط تضمينات المطالبة (Soft Initialization)، أو أخذ عينات من توزيع التضمين العالمي، أو استخدام آخر $k$ من تضمينات الرموز. تُظهر النتائج التجريبية أن التهيئة بمتوسط المطالبة (Mean-prompt initialization) تحقق أفضل أداء.
التحديث الديناميكي: أثناء التوليد، يتم تحديث تضمينات رموز القناع بناءً على آخر رمز تم توليده للحفاظ على صلة السياق:
$m_i[s+1] = m_i[s] + \lambda(e_{t+s} - m_i[s])$
الآلية: يتم إلحاق رموز القناع هذه بالمطالبة. يعالج النموذج هذه الرموز في تمريرة أمامية واحدة، ويخرج "اللوجيتس" (Logits) لمواقع الرموز المستقبلية المقابلة لرموز القناع.

ب. التبرير النظري

تقدم الورقة تمهيدية (Lemma) نظرية تثبت أنه إذا كان الحالة الخفية لرمز القناع ( $h_m$ ) تتوافق بشكل كافٍ مع الحالة الخفية للرمز التالي الحقيقي ( $h_v$ ) (مقاسة بتشابه جيب التمام/Cosine Similarity)، فإن الرمز الصحيح سيظهر ضمن توقعات الـ Top- $K$ لرمز القناع.

الأدلة التجريبية: يُظهر تحليل طبقات فك التشفيد (Decoder Layers) أنه مع زيادة العمق (على سبيل المثال، الطبقات 15+ في LLaMA3)، يزدود تشابه جيب التمام بين حالات رمز القناع وحالات الرموز المستقبلية الحقيقية بشكل ملحوظ للرموز المقبولة، مما يؤكد صحة فرضية "السبر".

ج. بناء شجرة الرموز الديناميكية (Dynamic Token Tree Construction)

للتعامل مع عدم اليقين وتعظيم معدلات القبول، تقوم الطريقة ببناء شجرة تنبؤ استنتاجية ديناميكية:

التوسع التكيفي: بدلاً من التفرع الثابت بنظام Top- $K$ ، تتوسع الشجرة بناءً على الاحتمالات التراكمية.
استراتيجية Top-1: تقوم الخوارزمية عموماً بتوسيع أعلى رمز احتمال فقط عند كل عمق لتكوين عقد فرعية، مما يضمن بقاء الشجرة ضمن ميزانية التعقيد الكتلي (Block Complexity - BC) محددة.
التقليم (Pruning): تعمل قاعدة استدلالية خفيفة على إزالة المسارات الزائدة (مثل الرموز المتكررة المتتالية) لتحسين التنوع والكفاءة.

د. التنفيذ الفعال

لضمان التوافق مع وحدة معالجة الرسومات (GPU) وانخفاض زمن الانتقال:

أقنعة الأشجار الثابتة (Static Tree Masks): نفذ المؤلفون استراتيجية صديقة للـ GPU حيث يتم تحديث أقنعة الانتباه (Attention Masks) ومؤشرات المواقع عبر عمليات إزاحة بسيطة وإلحاق أعمدة بدلاً من التكرار التسلسلي.
التعقيد الكتلي (Block Complexity): يُعرف بأنه إجمالي عدد الرموز التي تتم معالجتها بالتوازي (الرمز الأخير + الرموز المتوقعة + رموز القناع). تقوم الطريقة بتحسين التوازن بين التوازي وتكلفة الحوسبة.

٣. المساهمات الرئيسية

نموذج MTP لا يتطلب تدريباً: تقديم طريقة لاستخراج توزيعات الرموز المتعددة من النماذج اللغوية الكبيرة المجمدة باستخدام سبر فضاء التضمين، مما يلغي الحاجة إلى نماذج مساعدة أو ضبط دقيق (Fine-tuning).
التوسع الشجري الديناميكي: اقتراح آلية تعتمد على البيانات لتوسيع مسارات الرموز تكيفياً بناءً على عدم يقين النموذج، مما يلغي الحاجة إلى هياكل شجرية مصممة يدوياً.
تنفيذ الشجرة الثابتة الفعال: تطوير نهج محسن للـ GPU لأقنعة الانتباه وتحديثات المواقع، مما يقلل بشكل كبير من الأعباء التشغيلية مقارنة بتنفيذات الأشجار البدائية.
الرؤية النظرية والتجريبية: إثبات أن توافق رمز القناع/الرمز الحقيقي يضمن تضمين الرمز الصحيح في توقعات Top- $K$ ، وإظهار أن هذا التوافق يظهر طبيعياً في طبقات فك التشفيد العميقة.
تقييم شامل: اختبار واسع النطاق على SpecBench عبر نماذج LLaMA3 و Qwen3، مما أظهر تحسينات مستمرة مقارنة بأفضل الأساليب الحالية التي لا تتطلب تدريباً (SOTA training-free baselines).

٤. النتائج

تم تقييم الطريقة على SpecBench (الذي يغطي التلخيص، الترجمة، البرمجة، الرياضيات، إلخ) باستخدام نماذج LLaMA3 (3B, 8B) و Qwen3 (8B, 32B).

طول القبول ( $\tau$ ): حسنت الطريقة متوسط طول الرموز المقبولة بنسبة ~12% في LLaMA3 و 8–12% في Qwen3 مقارنة بالأساليب المرجعية الحالية (STAND, LADE).
الإنتاجية (Throughput): حققت زيادة تصل إلى 15–19% في الرموز لكل ثانية (T/S). بالنسبة لـ LLaMA3.1-8B، زادت الإنتاجية بنسبة ~19% عند BC=60.
استدعاءات النموذج: قللت عدد استدعاءات النموذج الأمامية بنسبة تصل إلى 40%، مما خفض تكاليف الحوسبة والطاقة بشكل كبير.
التكيف مع المهام:
- المهام المفتوحة (الكتابة، لعب الأدوار) استفادت من أشجار أوسع (رمز قناع واحد).
المهام المغلقة (البرمجة، الرياضيات) استفادت من أشجار أعمق وأكثر تركيزاً (رمزان للقناع).
المتانة: أدت الطريقة أداءً جيداً حتى مع تعقيد كتلي منخفض (BC=10)، مما يجعلها مناسبة للأجهزة الطرفية.

٥. الأهمية

تثبت هذه الورقة أن النماذج اللغوية الكبيرة تمتلك قدرات تنبؤية كامنة متعددة الخطوات يمكن استغلالها دون إعادة تدريب. من خلال الاستفادة من التوافق الداخلي لطبقات فك التشفيد، توفر الطريقة استراتيجية تسريع "بدون فقدان" (Lossless) وتعمل بمبدأ التوصيل والتشغيل.

الأثر العملي: هي عملية بشكل خاص للحوسبة الطرفية والنشر على الهواتف المحمولة حيث تمنع ميزانيات الذاكرة والطاقة استخدام نماذج مساعدة ثقيلة أو أعباء معلمات كبيرة.
الرؤية العلمية: توفر فهماً آلياً لكيفية تطور تمثيلات Transformer للتنبؤ بالرموز المستقبلية، مما يسد الفجوة بين أبحاث التفسير (Interpretability) وتسريع الاستنتاج.
الاتجاهات المستقبلية: يفتح هذا النهج آفاقاً لدمج السبر مع استراتيجيات فك التشفيد الأخرى (مثل Lookahead Decoding) وتطبيق مبادئ مماثلة على نماذج الانتشار اللغوية (Diffusion LLMs).

باختصار، تقدم الورقة حلاً عالي الكفاءة ولا يتطلب تدريباً، يعمل على تسريع استنتاج النماذج اللغوية الكبيرة بشكل كبير من خلال سبر فضاء التضمين الخاص بالنموذج بذكاء، مما يوفر بديلاً قابلاً للتوسع لتقنيات التوليد الاستنتاجي التقليدية.