💬 NLP

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs

تقترح الورقة البحثية إطار عمل "الزوج الداخل، الزوج الخارج" (PIPO)، وهو إطار عمل موحد يجمع بين ضغط المدخلات الكامن مع التنبؤ بمخرجات متعددة الرموز وآلية قبول خفيفة الوزن قائمة على الثقة، وذلك لتحقيق تسريع كبير في زمن الاستجابة وتحسين أداء الاستنتاج في النماذج اللغوية الكبيرة دون عبء عملية التحقق المنفصلة.

المؤلفون الأصليون: Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) كأنه نساخ ذكي جداً، ولكنه بطيء جداً، يكتب القصص كلمة بكلمة. لحل مسألة رياضية صعبة أو كتابة كود معقد، يحتاج هذا النساخ إلى "التفكير بصوت عالٍ"، عبر توليد "سلسلة من الأفكار" طويلة قبل كتابة الإجابة النهائية. المشكلة هي أن كتابة كلمة واحدة، ثم التوقف، ثم التفكير، ثم كتابة الكلمة التالية هو أمر بطيء ومكلف للغاية.

تقدم هذه الورقة البحثية طريقة جديدة تسمى PIPO (إدخال زوجي، إخراج زوجي - Pair-In, Pair-Out) لجعل هذا النساخ أسرع بكثير دون جعله يرتكب المزيد من الأخطاء. إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: عنق الزجاجة "خطوة بخطوة"

يعمل النساخ حالياً مثل شخص يكتب على آلة كاتبة: يكتب حرفاً واحداً، ثم يضغط على زر "Enter"، ثم ينتظر المعالجة، ثم يكتب الحرف التالي، وهكذا. حتى لو كان النساخ ذكياً، فإن الآلة بطيئة لأنها لا تستطيع معالجة سوى حرف واحد في كل دورة.

2. الحل: الحافلة "ذات الطابقين" (PIPO)

تغير PIPO قواعد الطريق. فبدلاً من أن يعالج النساخ كلمة واحدة في كل مرة، تسمح PIPO بمعالجة كلمتين في وقت واحد.

الإدخال الزوجي (الضغط): تخيل أن النساخ يتلقى حزمة من حرفين (مثل "T" و "h"). بدلاً من تغذية الجهاز بهما بشكل منفصل، يقوم "ضاغط" خاص بطيهما معاً في حزمة واحدة مدمجة (تمثيل كامن). الأمر يشبه طي خريطة كبيرة لتصبح قطعة قماش صغيرة توضع في الجيب لتمر عبر باب ضيق.
الرحلة: تقوم الآلة بمعالجة هذه الحزمة "المطوية" الواحدة.
الإخراج الزوجي (الفرد): بمجرد انتهاء الآلة، فهي لا تخرج حرفاً واحداً فقط. بل تمتلك "رأس فرد" خاص يأخذ النتيجة وينتج فوراً كلمتين: الكلمة التالية المتوقعة وكلمة مسودة متوقعة (مثل "e" و " ").

النتيجة: أصبح النساخ الآن يكتب كلمتين مقابل كل دورة من دورات الآلة. هذا يضاعف سرعة الكتابة فعلياً.

3. المخاطرة: "لعبة التخمين"

هناك عقبة. التنبؤ بالكلمة الثانية هو مجرد تخمين. إذا كان التخمين خاطئاً، فقد تصبح الجملة بأكملها بلا معنى.

الطريقة القديمة (التوليد الاستدلالي): في السابق، للتحقق مما إذا كان التخمين صحيحاً، كان على النساخ التوقف، وإجراء اختبار "تحقق" ضخم (مثل محرر رفيع المستوى يقرأ المسودة بأكملها مرة أخرى)، ثم يقرر ما إذا كان التخمين جيداً أم لا. كانت خطوة التحقق هذه بطيئة جداً لدرجة أنها ألغت مكاسب السرعة.
طريقة PIPO (رأس الثقة): تقوم PIPO بتثبيت "مقياس ثقة" صغير وسريع جداً بجانب النساخ مباشرة. تم تدريب هذا المقياس لينظر إلى الكلمتين ويقول فوراً: "أنا متأكد بنسبة 95% أن هذه الكلمة الثانية صحيحة"، أو "لست متأكداً، فلنتخطىها".
- إذا قال المقياس "انطلق"، يحتفظ النساخ بكلتا الكلمتين.
- إذا قال "لا"، يحتفظ النساخ بالكلمة الأولى ويستبدل الثانية بـ "فراغ" (حشو) للحفاظ على الإيقاع.

4. السر الخفي: التعلم من الأخطاء (التقطير داخل السياسة)

كيف يتعلم "مقياس الثقة" أن يكون دقيقاً بهذا الشكل دون الحاجة لمحرر بطيء؟

تستخدم الورقة البحثية خدعة تدريب ذكية تسمى التقطير داخل السياسة (On-Policy Distillation).

تخيل أن النساخ (الطالب) يحاول كتابة قصة.
معلم فائق الذكاء (نموذج أكبر ومدرب مسبقاً) يكتب القصة أيضاً.
يقوم النظام بمقارنة تخمين الطالب مع إجابة المعلم.
السحر: يدرك النظام أن "المعلم" يقوم بنفس وظيفة "المحرر" في الطريقة القديمة. لذا، بدلاً من تشغيل عملية تحقق بطيئة من المحرر في كل مرة، يستخدم النظام إجابات المعلم لتدريب "مقياس الثقة" الصغير أثناء مرحلة التعلم.
بمجرد التدريب، يعرف مقياس الثقة تماماً متى يثق في التخمين ومتى يكون حذراً، وكل ذلك دون الحاجة إلى المحرر البطيء أثناء عملية الكتابة الفعلية.

5. النتائج: أسرع وأذكى

اختبرت الورقة البحثية هذه الطريقة على مهام رياضية وبرمجية صعبة (مثل مسابقة AIME الرياضية ومعايير البرمجة).

السرعة: لأنها تعالج كلمتين في وقت واحد وتتخطى فحص المحرر البطيء، فإن PIPO أسرع بمقدار 2 إلى 2.6 مرة من الطريقة القياسية. إنها تخرج الكلمة الأولى بسرعة أكبر وتحافظ على تدفق العمل.
الدقة: للمفاجأة، لم تصبح أسرع فحسب؛ بل أصبحت أفضل. فمن خلال حشر المزيد من "الأفكار" في نفس المساحة (لأنها تضغط المدخلات)، استطاع النموذج توليد سلاسل استدلال أطول وأكثر اكتمالاً. في بعض الاختبارات، ارتفع معدل النجاح بأكثر من 7 نقاط مقارنة بالطرق العادية.

الملخص

PIPSO تشبه ترقية شاحنة توصيل من طريق ذي مسار واحد إلى طريق سريع ذي مسارين.

اضغط الشحنة (المدخلات) لتناسب حزمتين في فتحة واحدة.
سلم حزمتين في وقت واحد (المخرجات).
استخدم مستشعراً ذكياً (رأس الثقة) لتقرير ما إذا كانت الحزمة الثانية آمنة للاحتفاظ بها، مدرباً بواسطة معلم يعرف الإجابة بالفعل.

هذا يسمح للذكاء الاصطناعي بالتفكير لفترة أطول والإجابة بشكل أسرع، مما يحل المشكلات المعقدة دون البطء المعتاد.

ملخص تقني: نظام (الزوج داخل، والزوج خارج - PIPO) للنماذج اللغوية الكبيرة عالية الكفاءة

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) الحديثة بشكل متزايد على سلاسل التفكير الطويلة (CoT) للقيام بمهام معقدة مثل الرياضيات والبرمجة. وبينما يحسن هذا النموذج من الدقة، فإنه يخلق عنق زجاجة في عملية الاستدلال (Inference): حيث يقوم فك التشفير التلقائي (Autoregressive Decoding) القياسي بإخراج رمز (Token) واحد فقط لكل خطوة أمامية (Forward Step)، مما يجعل تكلفة الرمز الواحد هي العامل المهيمن على زمن الاستجابة (Latency) في مسارات التفكير الطويلة.

تعالج الحلول الحالية هذا الأمر من اتجاهين مستقلين:

جانب المدخلات: تعمل طرق الضغط الكامن (مثل CoLaR) على دمج عدة رموز مدخلة في تمثيل مستمر واحد لتقليل طول التسلسل.
جانب المخرجات: تحاول نماذج التنبؤ متعدد الرموز (MTP) وفك التشفيد التخميني (مثل EAGLE وMedusa) إخراج عدة رموز في الخطوة الواحدة. ومع ذلك، تتطلب هذه الطرق عادةً عملية "تحقق" مكلفة (تمريرة أمامية كاملة للنموذج الأساسي الضخم) للتحقق من صحة الرموز المسودة، وهو ما يلغي غالباً مكاسب الكفاءة، خاصة عند أطوال السياق الطويلة. علاوة على ذلك، تخاطر طرق (MTP) غير المتحقق منها بنشر مسودات غير موثوقة، مما يؤدي إلى تدهور الدقة.

لا يوجد حالياً إطار عمل موحد يستغل ضغط المدخلات والتنبؤ متعدد الرموز في المخرجات في آن واحد دون تحمل تكلفة التحقق الثقيلة.

2. المنهجية: الزوج داخل، والزوج خارج (PIPO)

يقترح PIPO إطار عمل موحداً يعامل الضغط الكامن والتنبؤ متعدد الرموز كعمليات مرآتية حول هيكل النموذج اللغوي الكبير.

2.1 البنية الأساسية

يعمل إطار العمل على أزواج الرموز بدلاً من الرموز الفردية:

الزوج داخل (الضغط): يقوم ضاغط (MLP) خفيف الوزن بطي تمثيلات رموز المدخلات المتتالية ( $x_{2i}, x_{2i+1}$ ) في تمثيل كامن واحد ( $z_i$ ). وهذا يقلل طول المدخلات الفعلي إلى النصف.
$z_i = f_\theta([x_{2i}; x_{2i+1}])$
يتم تهيئة الضاغط بحيث يكون $f_\theta([a; b]) \approx a + b$ للحفاظ على توزيع ما قبل التدريب الخاص بالهيكل الأساسي.
الزوج خارج (التنبؤ): يعالج الهيكل الأساسي الحالة الكامنة المضغوطة وينتج حالة مخفية ( $h^b_i$ $h_{i}^{b}$ ).
1. رمز الهيكل الأساسي: يتنبأ رأس النموذج اللغوي القياسي بالرمز التالي ( $x_{2i+2}$ ).
2. الرمز المسودة: يقوم رأس التنبؤ متعدد الرموز (MTP)، المشروط بالحالة المخفية للهيكل الأساسي والرمز المتنبأ به للهيكل الأساسي، بالتنبؤ برمز مسودة إضافي ( $x_{2i+3}$ ).
3. رأس الثقة: يتنبأ (MLP) خفيف الوزن بدرجة ثقة ( $c_i$ ) للرمز المسودة.
  $c_i = g_\phi([h^b_i; h^d_i])$
- منطق القبول: إذا كانت $c_i \geq \tau_c$ ، يتم قبول الرمز المسودة، ويتكون زوج المدخلات التالي من رمزين تم توليدهما حديثاً. وإذا تم الرفض، يتم استبدال المسودة برمز حشو ( $x_{pad}$ )، ويصبح زوج المدخلات التالي هو $(x_{2i+2}, x_{pad})$ . وهذا يضمن بقاء الواجهة متسقة بغض النظر عن القبول أو الرفض.

2.2 استراتيجية التدريب

يستخدم PIPO عملية تدريب من مرحلتين لسد الفجوة بين التدريب والاستدلال:

الضبط الدقيق تحت الإشراف (SFT):
- يتم تدريب النموذج باستخدام هدف التنبؤ بالزوج التالي باستخدام فقدان الإنتروبيا المتقاطعة (CE) لكل من رموز الهيكل الأساسي والرموز المسودة.
- يتم تهيئة رأس الثقة باستخدام فقدان الإنتروبيا المتقاطعة الثنائي (BCE)، لربط درجة الثقة باحتمالية رمز المسودة الحقيقي.
- الحشو العشوائي: أثناء التدريب، يتم استبدال جزء من مواضع المسودة برموز حشو عشوائية لتعريض النموذج لسيناريوهات الرفض.
التقطير في السياسة (On-Policy Distillation - OPD):
- يعالج PIPO الانزياح في التوزيع بين التدريب والاستدلال من خلال تشغيل الاستجابات باستخدام سياسة الطالب الحالية.
- رؤية جوهرية: دور "المعلم" في (OPD) هو وظيفياً نفسه دور "المتحقق" في التشفيد التخميني. كلاهما يحكم مدى اتساق المسودة مع توزيع مرجعي أقوى.
- الإشراف المجاني: يتم اشتقاق احتمال القبول لرأس الثقة مباشرة من حساب فقدان (OPD): $y_c = \min(p_t(x)/p_s(x), 1)$ ، حيث $p_t$ هو المعلم (الهيكل الأساسي) و $p_s$ هو الطالب (المسودة).
- يسمح هذا لرأس الثقة بالتدريب باستخدام معيار أخذ العينات بالرفض كعلامة (Label) دون الحاجة إلى أي تمريرات أمامية إضافية أو نموذج تحقق منفصل.

3. المساهمات الرئيسية

إطار عمل موحد: يوحد PIPO بين ضغط المدخلات الكامن والتنبؤ متعدد الرموز في واجهة "زوج داخل/زوج خارج" متماثلة، مما يقلل طول المدخلات إلى النصف ويضاعف مخرجات الخطوة الواحدة.
إزالة المتحقق: من خلال ملاحظة أن معلم (OPD) والمتحقق من التشفيد التخميني يلعبان نفس الدور، يقوم PIPO بتدريب رأس ثقة خفيف الوزن باستخدام نسبة أخذ العينات بالرفض كعلامة مجانية. هذا يستبدل تمريرة التحقق المكلفة للهيكل الأساسي في كل خطوة بتمريرة (MLP) واحدة خفيفة الوزن.
الكفاءة والدقة: يحقق PIPO تسريعاً كبيراً في زمن أول رمز (TTFT) وزمن إنتاج الرمز (TPOT) مع تحسين دقة pass@4 في اختبارات الاستدلال المعقدة.

4. النتائج التجريبية

قام المؤلفون بتقييم PIPO على هياكل Qwen3.5-4B و Qwen3.5-9B عبر أربعة اختبارات مرجعية: AIME 2025، GPQA-Diamond، LiveCodeBench v6، و LongBench v2.

الدقة: حقق PIPO + OPD أعلى درجات pass@4 بين جميع الطرق.
- على Qwen3.5-9B، حسن PIPO درجة pass@4 بمقدار +7.15 نقطة مقارنة بفك التشفير التلقائي المنتظم.
- على Qwen3.5-4B، كان التحسن +3.83 نقطة مقارنة بأفضل خط أساس.
- اتسعت الميزة مع زيادة ميزانيات السياق الطويلة (حتى 32 ألف خانة)، حيث يستوعب PIPO سلاسل استدلال أكثر اكتمالاً ضمن نفس الميزحة.
الكفاءة:
- TTFT: تسريع يصل إلى 2.64× (على سبيل المثال، عند طول مدخلات 128 ألف) بسبب مرحلة التعبئة الأمامية المضغوطة.
- TPOT: تسريع يصل إلى 2.07× لأن رمزين يتم إخراجهما في كل تمريرة أمامية للهيكل الأساسي.
دراسات الاستئصال (Ablation Studies):
- الضواغط غير الخطية ضرورية؛ حيث تسبب الضواغط الخطية انخفاضاً كبيراً في الأداء.
- تهيئة الضاغط كمجموع جمعي ( $a+b$ ) أمر بالغ الأهمية للاستقرار.
- يعمل رأس الثقة بفعالية على رفض المسودات غير الموثوقة، متفوقاً على خطوط الأساس القائمة على الرفض العشوائي، ويجد "النقطة المثالية" (عتبة $\tau_c \approx 0.95$ ) التي تعظم pass@4.

5. الأهمية والادعاءات

يدعي البحث أن PIPO يمثل تحولاً في كيفية التعامل مع كفاءة فك التشفيد لنماذج LLM:

التماثل: يثبت أن ضغط المدخلات وتوسيع المخرجات ليسا استراتيجيتين متنافستين، بل هما عمليتان متكاملتان ومرآتيتان يمكن الجمع بينهما.
استهلاك التكلفة (Cost Amortization): ينجح في توزيع تكلفة التحقق. فبدلاً من دفع تكلفة استدلال ثقيلة (تمريرة كاملة للهيكل الأساسي) في كل خطوة، يتم دمج منطق التحقق في إشارة تدريب خفيفة الوزن (رأس الثقة)، مما يحول تكلفة الاستدناء المتكررة إلى إشارة تدريب لمرة واحدة.
العملية: يعتمد إطار العمل بشكل أساسي على مكونات جاهزة (رؤوس MTP مدربة مسبقاً، هياكل أساسية قياسية) ويتطلب فقط وحدات إضافية صغيرة (الضاغط ورأس الثقة)، مما يجعل نشره ممكناً على النماذج اللغوية القوية الموجودة حالياً.

يشير المؤلفون إلى بعض القيود، بما في ذلك التركيز على المعالجة الثنائية (بدلاً من عوامل ضغط أكبر)، والتقيد بالنماذج النصية فقط، والتقييم الذي يركز بشكل أساسي على المهام ذات الإجابات القابلة للتحقق (الرياضيات والبرمجة) بدلاً من التوليد مفتوح النهايات. ومع ذلك، يجادلون بأن PIPO يقدم مساراً قوياً لتقليل تكاليف الاستدناء لسلاسل التفكير الطويلة دون التضحية بالموثوقية.