💻 computer science

Parallel Token Prediction for Language Models

تقدم هذه الورقة إطار عمل التنبؤ بالرموز المتوازي (PTP)، الذي يسرع استنتاج النماذج اللغوية من خلال التنبؤ برموز متعددة في تمريرة أمامية واحدة عبر دوال حتمية لمتغيرات مدخلات عشوائية، محققاً تسريعاً بمقدار 2.4 ضعفاً مقارنة بفك التشفير ذاتي الانحدار.

المؤلفون الأصليون: Felix Draxler, Justus Will, Farrin Marouf Sofian, Theofanis Karaletsos, Sameer Singh, Stephan Mandt

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Felix Draxler, Justus Will, Farrin Marouf Sofian, Theofanis Karaletsos, Sameer Singh, Stephan Mandt

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التنبؤ المتوازي بالرموز" (Parallel Token Prediction) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: الكاتب البطيء

تخيل أنك تحاول كتابة قصة مع كاتب (طابع) ذكي جداً، ولكنه بطيء للغاية. هذا الكاتب (نموذج ذكاء اصطناعي قياسي) لديه قاعدة صارمة: يمكنه كتابة حرف واحد فقط في كل مرة.

لكتابة كلمة "Hello"، يجب على الكاتب القيام بما يلي:

التفكير في الحرف الأول: "H". ثم يكتبه.
الانتظار حتى يعالج الكمبيوتر حرف "H" قبل التفكير في الحرف التالي.
التفكير في حرف "e". ثم يكتبه.
الانتظار مرة أخرى.
التفكير في حرف "l"... وهكذا.

على الرغم من أن الكاتب عبقري، إلا أن عملية "واحد تلو الآخر" هذه تخلق اختناقاً كبيراً. إذا أردت إنشاء فقرة كاملة، سيتعين على الكاتب التوقف والبدء مئات المرات. هكذا تعمل نماذج اللغات الكبيرة (LLMs) الحالية، وهذا ما يجعلها بطيئة.

الحل: فريق الكرة البلورية

يقترح مؤلفو هذه الورقة طريقة جديدة للعمل تسمى التنبؤ المتوازي بالرموز (PTP). بدلاً من وجود كاتب واحد بطيء، تخيل أن لديك فريقاً من الكتاب يمكنهم جميعاً العمل في نفس الوقت، لكنهم يحتاجون إلى خدعة خاصة للقيام بذلك دون ارتكاب أخطاء.

الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (التوليد الذاتي - Autoregressive): يخمن الذكاء الاصطناعي الكلمة التالية بناءً فقط على ما كتبه بالفعل. الأمر يشبه لعبة "الهاتف المكسور" حيث لا يمكنك سماع الشخص التالي حتى ينتهي الشخص الحالي من الكلام.
الطريقة الجديدة (PTP): يتم إعطاء الذكاء الاصطناعي كوداً سرياً (رقماً عشوائياً) لكل كلمة مستقبلية يحتاج إلى تخمينها.

الخدعة السحرية: مفتاح "الرقم العشوائي"

إليك الابتكار الجوهري مشروحاً ببساطة:

في النظام القديم، يحسب الذكاء الاصطناعي احتمالية الكلمة التالية (مثلاً: "هناك احتمال 30% أن تكون الكلمة التالية هي 'قطة'"). بعد ذلك، يقوم الكمبيوتر برمي عملة معدنية (أو نرد) ليقرر ما إذا كان سيختار "قطة" أم "كلب". عملية رمي العملة هذه تحدث بعد أن يقوم الذكاء الاصطناعي بعملياته الحسابية.

تقنية PTP تقلب الطاولة.
بدلاً من أن يقوم الذكاء الاصطناعي بالحسابات ثم يرمي النرد، تقول الورقة البحثية: "دعونا نرمي النرد أولاً، ثم نخبر الذكاء الاصطناعي بالنتيجة."

الإعداد: قبل أن يبدأ الذكاء الاصطنا artificial في الكتابة، نقوم بتوليد قائمة من الأرقام العشوائية (مثل 0.45 و 0.82 و 0.11).
التسليم: نعطي هذه الأرقام للذكاء الاصطناعي كما لو كانت جزءاً من القصة.
التنبؤ: ينظر الذكاء الاصطناعي إلى القصة حتى الآن + الأرقام العشوائية ويقول: "آه! إذا كان الرقم العشوائي للكلمة التالية هو 0.45 والكلمة السابقة كانت 'الـ'، فإن الكلمة التالية يجب أن تكون 'قطة'".
النتيجة: لأن الذكاء الاصطناعي يعرف "رمية النرد" مسبقاً، فإنه لا يحتاج إلى التخمين. يمكنه حساب الكلمات الـ 5 أو 10 أو حتى 20 التالية كلها دفعة واحدة في خطوة واحدة.

التشبيه: نظام الـ GPS مقابل السائق

الذكاء الاصطناعي القياسي (السائق): أنت تقود سيارة. تنظر إلى الطريق، تقرر الانعطاف يساراً، ثم تدير المقود، ثم تنظر إلى الطريق مرة أخرى لتقرر الخطوة التالية. يمكنك اتخاذ قرار واحد فقط في كل مرة.
نظام PTP (الـ GPS): تخيل أن لديك نظام GPS يعرف بالضبط المنعطفات التي ستأخذها في الـ 10 أميال القادمة لأنك برمجت المسار مسبقاً. يمكن للـ GPS أن يظهر لك المسار بأكمله على الخريطة فوراً. لست بحاجة للانتظار لرؤية المنعطف التالي لتعرف أين تذهب؛ فالمسار محدد بالفعل بواسطة الخريطة (الأرقام العشوائية).

لماذا يعد هذا أمراً بالغ الأهمية؟

تثبت الورقة البحثية شيئين مذهلين:

إنه بنفس الذكاء: على الرغم من أن الذكاء الاصطناعي يخمن عدة كلمات في وقت واحد، إلا أنه بنفس دقة الكاتب البطيء الذي يكتب كلمة بكلمة. إنه لا يفقد جودته.
إنه أسرع بكثير: نظرًا لأن الذكاء الاصطناعي يمكنه القيام بـ 5 أو 10 خطوات في الوقت الذي كان يستغرقه سابقاً للقيام بخطوة واحدة، فإن تسريع العملية يكون هائلاً.

النتائج في العالم الحقيقي

اختبر الباحثون ذلك على جهاز كمبيوتر:

السرعة: حققوا تسريعاً بمقدار 2.4 ضعف. هذا يعني أن الذكاء الاصطناعي أنهى المهمة في أقل من نصف الوقت الذي يستغرقه عادةً.
الجودة: النص الناتج كان مطابقاً لما قد ينتجه الذكاء الاصطناعي البطيء.
تعدد الاستخدامات: يعمل في البرمجة، كتابة القصص، المسائل الرياضية، والترجمة.

"شبكة الأمان لتصحيح الأخطاء"

قد تتساءل: "ماذا لو أخطأ الذكاء الاصطناعي في تخمين الأرقام العشوائية؟"
تتضمن الورقة نظام أمان يسمى فك التشفيد التربيعي الجزئي (Partial Quadratic Decoding). فكر في الأمر كمدقق إملائي يعمل في الخلفية.

الذكاء الاصطنا_السريع (الطالب) يخمن 10 كلمات دفعة واحدة.
الذكاء الاصطناعي البطيء وفائق الذكاء (المعلم) يتحقق بسرعة مما إذا كانت هذه الكلمات العشر صحيحة.
إذا كانت الكلمات الثمانية الأولى صحيحة والتاسعة خاطئة، فإن النظام يحتفظ بالثمانية الأولى ويضطر فقط لإعادة توليد الكلمتين الأخيرتين. لا يتعين عليه البدء من الصفر.

الملخص

التنبؤ المتوازي بالرموز يشبه إعطاء كاتب فائق الذكاء "ورقة غش" تحتوي على أرقام عشوائية تحدد بالضبط ما سيكتبه تالياً. هذا يسمح له بتجاوز مرحلة "التفكير والانتظار" وكتابة جمل كاملة في نفس واحد، مما يجعل الذكاء الاصطناعي أسرع بشكل ملحوظ دون جعله أقل ذكاءً.

باختاً: لقد حولوا عملية متسلسلة بطيئة إلى عملية متوازية سريعة عن طريق تغيير متى تحدث العشوائية، وليس كيف يفكر النموذج.

إليك ملخص تقني مفصل للورقة البحثية "التنبؤ المتوازي بالرموز (Tokens) للنماذج اللغوية" (ICLR 2026).

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) الحالية على فك التشفير التوليدي التكراري (Autoregressive Decoding)، حيث يتنبأ النموذج برمز واحد في كل مرة. لتوليد تسلسل بطول $T$ ، يجب على النموذج إجراء $T$ من عمليات التمرير الأمامي (Forward Passes) المتتالية. وهذا يخلق عنق زجاجة كبير في زمن الاستجابة (Latency) أثناء الاستدلال، حيث تعتمد كل خطوة على مخرجات الخطوة السابقة، مما يمنع التوازي الفعال على الأجهزة الحديثة.

تواجه طرق التسريع الحالية قيوداً:

التوليد التخميني (Speculative Decoding): يستخدم نموذج "مسودة" صغيراً لاقتراح الرموز، والتي يتم التحقق منها بعد ذلك بواسطة النموذج المستهدف الكبير. ورغم فعاليتها، إلا أن نموذج المسودة لا يزال تكرارياً (Autoregressive) ومحدوداً بالتنبؤ برمز واحد لكل خطوة.
التنبؤ المتعدد الرموز المستقل (Independent Multi-Token Prediction): النماذج التي تتنبأ برموز متعددة في وقت واحد غالباً ما تفترض أن الرموز مستقلة شرطياً. يؤدي هذا إلى تسلسلات غير متماسكة (مثل def numpy) لأن النموذج لا يمكنه تنسيق الاعتمادات بين الرموز المتنبأ بها.
الانتشار المنفصل (Discrete Diffusion): يقوم بتحسين التسلسلات بشكل تكراري ولكنه يحتفظ بمكون تسلسلي لا يمكن تجنبه.

التحدي الجوههري هو توليد رموز متعددة مترابطة في استدعاء واحد للنموذج دون التضحية بالقوة التمثيلية للنماذج التكرارية.

2. المنهجية: التنبؤ المتوازي بالرموز (PTP)

يقترح المؤلفون إطار عمل التنبؤ المتوازي بالرموز (PTP)، والذي ينقل مصدر العشوائية من عملية أخذ العينات (بعد المعالجة) إلى متغيرات المدخلات.

المفهوم الجوهري: أخذ العينات الحتمي عبر المتغيرات المساعدة

في التوليد التكراري القياسي، يتم أخذ عينة من الرمز $t_i$ من توزيع $P(t_i | t_{<i})$ باستخدام متغير عشوائي مساعد $u_i \sim U[0, 1]$ . يكون الاختيار حتمياً بوجود $u_i$ :
$t_i = \text{Pick}(u_i, P(\cdot | t_{<i}))$
حيث تمثل $\text{Pick}$ دالة التوزيع التراكمي العكسي.

ابتكار PTP: بدلاً من أخذ عينة من $u_i$ بعد أن يتنبأ النموذج بالتوزيع، يقوم PTP بتغذية المتغيرات المساعدة $u_i, \dots, u_k$ كمدخلات صريحة للنموذج جنباً إلى جنب مع رموز السياق.

النظرية 1: إذا كان لدى النموذج إمكانية الوصول إلى المتغيرات المساعدة $u_i, \dots, u_k$ ، فإن الرموز المستقبلية $t_i, \dots, t_k$ تصبح دوالاً حتمية لهذه المدخلات. يتعلم النموذج "أخذ العينات" عن طريق التنبؤ بالرمز المحدد الذي يتوافق مع البذرة العشوائية المقدمة.
النتيجة: يمكن للنموذج التنبؤ بتسلسل من الرموز $t_i, \dots, t_k$ في تمريرة أمامية واحدة لأن العشوائية المطلوبة لاختيارها قد تم توفيرها بالفعل كمدخلات.

اثنان من متغيرات PTP

PTP بنمط One-Hot (O-PTP):
- يأخذ النموذج السياق $t_{<i}$ ومتتالية من المتغيرات المساعدة $u_i, \dots, u_k$ كمدخلات.
- يخرج توزيعاً بنمط One-hot (رمز واحد) لكل موضع $k$ .
- التدريب: يتم استخلاص المعرفة (Distillation) من نموذج معلم. يتم "هندسة عكسية" لمسار توليد المعلم للعثور على قيم $u$ المحددة التي أنتجت تسلسل التدريب. يتم تدريب الطالب على مطابقة هذه الأهداف بنمط One-hot.
- حالة الاستخدام: الاستدلال السريع حيث تكون السرعة أهم من الدقة المطلقة للتوزيع.
PTP بنمط Categorical (C-PTP):
- للحفاظ على التوزيع الاحتمالي الكامل (لتقدير عدم اليقين أو التدريب بدون معلم)، يتنبأ النموذج بـ $P(t_k | t_{<i}, u_i, \dots, u_{k-1})$ .
- والأهم من ذلك، أنه يستبعد المتغير المساعد المحدد $u_k$ عند التنبؤ بـ $t_k$ .
- النظرية 2: من خلال الشرط على المتغيرات المساعدة الماضية (التي تشفر التاريخ) مع استبعاد $u_k$ الحالي، يستعيد النموذج نفس التوزيع الشرطي تماماً للنموذج التكراري القياسي: $P(t_k | t_{<k})$ .
- حالة الاستخدام: يسمح بـ التدريب التكراري العكسي (التدريب من الصفر بدون معلم) وتغيير درجة الحرارة (Temperature Scaling).

تصحيح الخطأ: فك التشفير التربيعي الجزئي (Partial Quadratic Decoding)

بما أن سعة النموذج المحدودة تقيد طول التسلسلات التي يمكن توليدها بتماسك تام في تمريرة واحدة، يتم دمج PTP مع آلية تحقق:

التوليد التخميني القياسي: اقتراح تحقق متسلسل.
فك التشفير التربيعي: تحقق متوازٍ لجميع أطوال الفروع الممكنة (مكلف حاسوبياً).
فك التشفيد التربيعي الجزئي (المقترح): يقوم نموذج PTP بتوليد تسلسل من الرموز مع درجات ثقة مرتبطة بها (مشتقة من احتمالات O-PTP). يقوم النظام بإنشاء فروع متوازية بافتراض عدد مختلف من الرموز الصحيحة.
- يخصص ميزانية حوسبية للفروع بناءً على احتمالية الصحة (المقدرة عبر درجات الثقة).
- يسمح هذا بالتحقق المتوازي من التسلسلات الطويلة مع انخفاض كبير في التكاليف الحسابية مقارنة بفك التشفير التربيعي الكامل.

3. المساهمات الرئيسية

الإثبات النظري للقدرة التعبيرية: أثبت المؤلفون (النظرية 1 و2) أن PTP يتمتع بنفس القدرة التعبيرية للنماذج التكرارية. يمكنه تمثيل الاعتمادات التعسفية بين الرموز في استدعاء واحد، متجاوزاً افتراضات الاستقلال في طرق تعدد الرموز السابقة.
نماذج تدريب مبتكرة:
- الاستخلاص (Distillation): استخلاص فعال للنماذج التكرارية من نماذج PTP (O-PTP و C-PTP).
- التدريب التكراري العكسي: إثبات أن C-PTP يمكن تدريبه من الصفر باستخدام البيانات فقط (بدون نموذج معلم) من خلال حل المتغيرات المساعدة المتوافقة بشكل تكراري.
مخطط فك تشفير فعال: تقديم فك التشفير التربيعي الجزئي، وهو آلية لتصحيح الخطأ تستفيد من تقديرات الثقة لتمكين التحقق المتوازي بكفاءة.
تكييف البنية التحتية: تنفيذ PTP باستخدام هياكل Transformer القياسية مع مخطط تضمين (Embedding) محدد للمتغيرات المساعدة المستمرة (رسم خرائط float32 $u$ إلى تمثيلات ثنائية).

4. النتائج التجريبية

قيمت الورقة البحثية PTP في توليد الأكواد البرمجية ومهام متنوعة للغة الطبيعية (SpecBench).

التسريع:
- في اختبار التوليد التخميني على مهام متنوعة، حقق PTP تسريعاً قدره 2.4 ضعف في وقت التنفيذ الفعلي (wall-clock speedup) مقارنة بالتوليد التكراري القياسي.
- قبل متوسط 4.2 رمز لكل خطوة توليد تخميني، متفوقاً بشكل كبير على نماذج المسودة التكرارية (التي تقبل حوالي رمز واحد لكل خطوة).
المقارنة مع النماذج المرجعية:
- مقابل المسودات التكرارية: تفوقت نماذج مسودة PTP على نماذج المسودة التكرارية ذات الحجم نفسه، مما دفع الحجم الأمثل للنموذج نحو النماذج الأكبر.
- مقابل التنبؤ المستقل: أنتج PTP تسلسلات أكثر تماسكاً بشكل ملحوظ. أنتجت نماذج التنبؤ المستقل حوالي 60% من أزواج الرموز غير المتوافقة (مثل def sys)، بينما أنتج PTP أزواجاً ذات معنى في أكثر من 9 حالات من أصل 100.
التدريب من الصفر:
- حقق C-PTP المدرب على بيانات NYC taxi درجة إدراك (Perplexity) بلغت (19.88) وهي مطابقة تقريباً للنموذج التكراري الأساسي (19.81)، مما يثبت قدرته على العمل كنموذج توليدي مستقل.
القابلية للتوسع:
- أظهرت التجارب على نماذج تتراوح من 66 ألف إلى 1.1 مليار معلم أن مسودات PTP حققت باستمرار سرعات أعلى من المسودات التكرارية.
- حقق نموذج بـ 7 مليارات معلم (Vicuna-7B) تم ضبطه باستخدام PTP أفضل النتائج عبر مهام مثل المحادثة متعددة الأدوار، والترجمة، والرياضيات.

5. الأهمية والآثار المستقبلية

كسر عنق الزجاجة التسلسلي: يثبت PTP أن الطبيعة التسلسلية لـ Transformers ليست قيداً متأصلاً بل هي خيار تصميمي. من خلال نقل العشوائية إلى المدخلات، يصبح التوليد المتوازي الحقيقي للرموز المعتمدة أمراً ممكناً.
التطبيقات في الوقت الفعلي: يجعل التسريع بمقدار 2.4 ضعف النماذج اللغوية الكبيرة أكثر جدوى للتطبيقات التي تعمل في الوقت الفعلي (مثل مساعدي البرمجة المباشرين، أو روبوتات الدردشة التفاعلية) دون الحاجة إلى ترقيات ضخمة للأجهزة.
مساحة تصميم جديدة: يفتح الإطار الباب لـ "التفكير في تسلسلات طويلة"، حيث يمكن للنماذج التخطيط وتوليد كتل كاملة من النصوص أو الأكواد في خطوة واحدة، مما قد يحسن الأداء في مهام التخطيط.
التكامل: يتوافق PTP مع استراتيجيات التسريع الحالية (مثل التوليد التخميني) ويمكن دمجه معها لتحقيق مكاسب إضافية.

في الختام، يقدم التنبؤ المتوازي بالرموز طريقة سليمة نظرياً ومثبتة تجريبياً لتسريع استدلال النماذج اللغوية الكبيرة عن طريق تحويل عملية أخذ العينات إلى دالة حتمية قابلة للتوازي، محققاً سرعات كبيرة مع الحفاظ على الجودة العالية وتماسك النماذج التكرارية.