💬 NLP

Breaking the Autoregressive Chain: Hyper-Parallel Decoding for Efficient LLM-Based Attribute Value Extraction

تقدم هذه الورقة البحثية "فك التشفير فائق التوازي" (Hyper-Parallel Decoding - HPD)، وهو خوارزمية مبتكرة تسرع استنتاج النماذج اللغوية الكبيرة لمهام مثل "استخراج قيم السمات" عبر الاستفادة من الاستقلال الشرطي لتسلسلات المخرجات لتمكين توليد الرموز (tokens) بشكل متوازٍ وغير مرتب، مما يقلل وقت وتكلفة الاستنتاج بما يصل إلى 13.8 ضعفاً دون المساس بالجودة.

المؤلفون الأصليون: Theodore Glavas, Nikhita Vedula, Dushyanta Dhyani, Yilun Zhu, Shervin Malmasi

نُشر 2026-04-30

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Theodore Glavas, Nikhita Vedula, Dushyanta Dhyani, Yilun Zhu, Shervin Malmasi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة عالي المهارة (الذكاء الاصطناعي) مكلف بملء كومة ضخمة من بطاقات المنتجات. كل بطاقة تحتوي على قائمة من الحقول الفارغة التي يتعين عليك ملؤها، مثل "حجم الشاشة"، و"نوع الشاشة"، و"الدقة".

الطريقة القديمة (فك التشفير التتابعي - Autoregressive Decoding):
تقليديًا، يقوم أمين المكتبة بملئها واحدة تلو الأخرى، بدقة من الأعلى إلى الأسفل. يجب عليه إنهاء كتابة "حجم الشاشة" قبل أن يتمكن حتى من البدء في التفكير في "الدقة". ورغم أن "حجم الشاشة" لا علاقة له بـ "الدقة"، إلا أن أمين المكتبة مجبر على الانتظار حتى تكتمل المهمة الأولى قبل البدء في المهمة التالية. الأمر يشبه طريقًا ذا مسرب واحد حيث يجب على كل سيارة الانتظار حتى تنتهي السيارة التي أمامها قبل التحرك. هذا الأسلوب بطيء ومكلف لأن أمين المكتبة يعمل بشكل متسلسل.

الطريقة الجديدة (فك التشفير فائق التوازي - Hyper-Parallel Decoding أو HPD):
تقدم الورقة البحثية حيلة ذكية تسمى فك التشفير فائق التوازي (HPD). فقد أدرك المؤلفون أن المهام مثل هذه تكون إجاباتها مستقلة في الواقع. فمعرفة حجم الشاشة لا تغير الدقة. فلماذا الانتظار؟

تسمح تقنية HPD لأمين المكتبة بالعمل على جميع الحقول الفارغة في نفس الوقت.

إليك كيف ينفذون هذه الخدعة السحرية دون إرهاق عقل أمين المكتبة (نموذج الذاء الاصطناعي):

"الفجوات الوهمية": تم تدريب أمين المكتبة على النظر إلى مواقع الكلمات لفهم الترتيب. تقوم تقنية HPD بخداع أمين المكتبة عن طريق إنشاء "فجوات وهمية" في الجملة. تخيل أن أمين المكتبة يرى قائمة حيث تقع الإجابة الأولى في الموضع 1، لكن الإجابة الثانية يتم تخطيها سحريًا إلى الموضع 10، والثالثة إلى الموضع 20.
ملء الفجوات: نظرًا لأن أمين المكتبة يعتقد أن هذه الإجابات بعيدة جدًا عن بعضها في الجملة، فلا يهم أنه يكتبها جميعًا في وقت واحد. يمكنه توليد الحرف الأول من "حجم الشاشة"، والحرف الأول من "الدقة"، والحرف الأول من "نوع الشاشة" جميعها في اللحظة ذاتها.
خط التجميع: في اللحظة التالية، يقوم بملء الحرف الثاني من جميع الإجابات الثلاث في آن واحد. ويستمر في ذلك حتى تكتمل جميع الحقول.

ميزة "التكديس" (Stacking Bonus):
تشير الورقة البحثية أيضًا إلى خدعة ثانية وهي "تكديس المستندات" (Document Stacking). تخيل بدلًا من ملء بطاقة واحدة، يُعطى أمين المكتبة كومة من 10 بطاقات ويُطلب منه ملء نفس الحقول لجميعها في وقت واحد. تجمع HPD بين هذه التقنية وخدعة "الفجوات الوهمية". الآن، لا يقوم أمين المكتبة بملء 3 حقول في بطاقة واحدة فحسب، بل يملأ 3 حقول في 10 بطاقات مختلفة في وقت واحد. إنه يشبه خط إنتاج مصنع زادت سرعته فجأة من خلال معالجة منتجات متعددة بالتوازي.

النتائج:
اختبر المؤلفون هذه التقنية على بيانات واقعية من التجارة الإلكترونية (مثل مواصفات أجهزة التلفاز). وقد وجدوا أن:

السرعة: استطاعوا المعالجة بسرعة أكبر بمقدار يصل إلى 13.8 ضعفًا مقارنة بالطريقة القديمة.
التكلفة: نظرًا لأنها أسرع بكثير، فهي تكلف أقل بمقدار يصل إلى 13.8 ضعفًا لتشغيلها.
الجودة: كانت الإجابات بنفس دقة الطريقة القديمة البطيئة، بل وفي بعض الحالات، كانت أفضل قليلاً.

باختصار:
الورقة البحثية لم تخترع أمين مكتبة جديدًا؛ بل اخترعت طريقة جديدة لتنظيم المكتب. من خلال إعادة ترتيب "معرفات المواضع" (أرقام المقاعد) واستخدام قناع خاص لإخبار أمين المكتبة بالكلمات التي يجب أن ينظر إليها، كسروا القاعدة التي تقول "يجب عليك القيام بشيء واحد في كل مرة". هذا يحول الطريق الضيق ذو المسرب الواحد إلى طريق سريع متعدد المسارات، مما يوفر كميات هائلة من الوقت والمال للشركات التي تحتاج إلى استخراج البيانات من ملايين أوصاف المنتجات.

ملاحظة هامة: يذكر المؤلفون تحديدًا أن هذا يعمل للمهام التي تكون فيها الإجابات مستقلة (مثل سمات المنتج). وهم لا يدعون أن هذا يعمل للمهام التي تعتمد فيها إجابة سؤال ما بقوة على إجابة السؤال السابق (مثل كتابة قصة معقدة أو حل مسألة رياضية خطوة بخطوة).

1. بيان المشكلة

استخراج قيم السمات (AVE) هو مهمة فرعية بالغة الأهمية في استخراج المعلومات (IE)، لا سيما في التجارة الإلكترونية، حيث يجب على النماذج استخراج قيم متعددة مستقلة (مثل: حجم الشاشة، الدقة، دعم HDR) من مستند منتج واحد غير مهيكل.

عنق الزجاجة: تستخدم النماذج اللغوية الكبيرة (LLMs) القياسية فك التشفير التداعي الذاتي (Autoregressive Decoding)، حيث تولد الرموز (tokens) بشكل متسلسل ( $t=1, 2, \dots$ ). وهذا يخلق تبعية تجعل توليد القيمة رقم $n$ للسمة يعتمد على اكتمال القيمة رقم $n-1$ .
عدم الكفاءة: هذه الطبيعة المتسلسلة تمنع التوازي، مما يؤدي إلى زمن انتقال مرتفع في الاستنتاج وتكاليف باهظة عند معالجة مجموعات البيانات الضخمة دون اتصال (offline).
الفرصة: في مهام استخراج قيم السمات (AVE)، يكون استخراج قيم السمات المختلفة مستقلاً شرطياً بمعلومية سياق مستند المدخلات. فقيمة "حجم الشاشة" لا تتطلب نظرياً معرفة قيمة "الدقة" أولاً. ومع ذلك، فإن التوليد التداعي الذاتي القياسي يفرض سلسلة تبعية اصطناعية تحد من الإنتاجية.

2. المنهجية: فك التشفير فائق التوازي (HPD)

يقترح المؤلفون فك التشفير فائق التوازي (Hyper-Parallel Decoding - HPD)، وهو خوارزمية استنتاج مبتكرة تكسر السلسلة التداعية الذاتية لتوليد قيم سمات متعددة ومستقلة في وقت واحد ضمن مطالبة (prompt) واحدة.

الآليات الجوهرية

كسر سلسلة التبعية:
- يفترض HPD الاستقلال الشرطي: $P(V_1, \dots, V_N | p) = \prod P(V_n | p)$ .
- بدلاً من توليد الرموز من $1 \to T$ بشكل متسلسل، يقوم HPD بتوليد الرمز الأول لجميع القيم الـ $N$ بالتوازي، ثم الرمز الثاني لجميع القيم الـ $N$ ، وهكذا.
- هذا يقلل عدد خطوات الاستنتاج من $T$ (إجمالي الرموز) إلى $K_{max}$ (أقصى طول لقيمة واحدة).
التلاعب بمعرفات الموضع (Position IDs):
- لتمكين التوليد المتوازي داخل نموذج (decoder-only) قياسي، يقوم HPD بالتلاعب بـ معرفات الموضع (Position IDs).
- إدراج الفجوات: يتم بناء المطالبة المدخلة باستخدام "هيكل عظمي" يحتوي على مفاتيح السمات. تُزاد معرفات الموضع بمقدار حجم الفجوة ( $K_{max}$ ) بعد كل مفتاح سمة، مما يخلق "فتحات" للقيم.
- الذاكرة خارج الترتيب: تُلحق الرموز الجديدة بنهاية التسلسل في الذاكرة (للحفاظ على استمرارية ذاكرة المفتاح والقيمة KV) ولكن يتم تعيين معرفات موضع لها تضعها منطقياً في الفجوات.
- أقنعة الانتباه المخصصة: يتم تطبيق قناع انتباه سببي معدل بناءً على معرفات الموضع بدلاً من ترتيب الذاكرة. هذا يضمن أنه عند توليد الرمز رقم $k$ لقيمة ما، لا يمكن للنموذج "رؤية" الرموز رقم $k$ للقيم الأخرى (للحفاظ على السببية) ولكنه يستطيع رؤية المطالبة والرموز السابقة لقيمته الخاصة.
تراكم المستندات (التوازي الفائق):
- يقدم HPD بُعداً ثانياً من التوازي عن طريق تكديم مستندات متعددة ( $J$ ) داخل مطالبة واحدة.
- بما أن القيم عبر المستندات المختلفة هي أيضاً مستقلة، يمكن للنظام فك تشفير $J \times N$ من الرموز في خطوة استنتاج واحدة.
التدريب والضبط الدقيق:
- التوافق مع التعلم الصفري (Zero-Shot): يعمل HPD مباشرة على النماذج مسبقة التدريب دون تغييرات هيكلية.
  تعداد التباين بين التدريب والاختبار (حيث تكون بيانات التدريب متسلسلة بينما الاستنتاج متوازٍ)، يقوم المؤلفون بضبط النموذج بدقة باستخدام قناع انتباه معدل يحاكي نمط استنتاج HPD. وهذا يسمح للنموذج بتعلم توزيع الانتباه المحدد المطلوب لفك التشفير المتوازي.

3. المساهمات الرئيسية

خوارزمية مبتكرة: تقديم HPD، الذي يتيح توليد ما يصل إلى 96 رمزاً لكل مطالبة (عبر تكديم المستندات والسمات المتعددة) من خلال الاستفادة من الذاكرة والحوسبة المشتركة عبر التسلسلات المستقلة.
كفاءة جاهزة للاستخدام (Plug-and-Play): يتوافق HPD مع تقنيات تقليل التكلفة الحالية (الكمية، وتقطير المعرفة) والاستنتاج المجمع القياسي، ولا يتطلب أي تغييرات في بنية النموذج اللغوي الكبير الأساسي.
التعميم النظري: رغم تصميمه لمهام AVE، إلا أن الطريقة تعتمد على افتراض الاستقلال الشرطي، مما يجعلها قابلة للتطبيق نظرياً على أي مهمة ذات هياكل مخرجات مستقلة.
تقييم شامل: اختبارات مكثفة على ثلاث معايير للتجارة الإلكترونية (OA-Mine, AE110k, Amazon Reviews 2023) عبر أحجام نماذج مختلفة (من 1.7 مليار إلى 32 مليار معلمة).

4. النتائج التجريبية

قام المؤلفون بتقييم HPD مقابل فك التشفير التداعي الذاتي (AR) التقليدي وفك التشفير التخميني (Speculative Decoding).

الإنتاجية والسرعة:
- حقق HPD تسريعاً يصل إلى 13.8 ضعفاً في وقت الاستنتاج مقارنة بفك التشفير AR.
- في مجموعة بيانات Amazon Reviews، حقق HPD زيادة في الإنتاجية قدرها 10.78 ضعفاً مقارنة بـ AR، متفوقاً بشكل كبير على فك التشفير التخميني (الذي حقق تسريعاً بنحو ضعفين فقط).
تقليل التكلفة:
- تم تقليل تكاليف الاستنتاج بنسبة تصل إلى 13.8 ضعفاً (على سبيل المثال، من 7.74 دولار إلى 0.89 دولار لكل 1k منتج لنموذج Qwen3-32B على Amazon Reviews).
- باستقراء النتائج على مجموعة مستندات تضم 500 مليون مستند، يمكن لـ HPD توفير حوالي 597,000 دولار مقارنة بـ AR و 486,000 دولار مقارنة بـ GPT-4.1.
جودة المخرجات:
- لا يوجد تدهور في الجودة: حافظ HPD على درجات F1 التي تمثل أحدث ما توصل إليه العلم. وفي بعض الحالات (مثل AE110k)، تفوقت نماذج HPD التي تم ضبطها بدقة على نماذج AR الأساسية بنسبة ~4.5%.
- التقييم البشري: أكدت الاختبارات البشرية العمياء على Amazon Reviews أن مخرجات HPD كانت مفضلة أو مساوية لمخرجات AR و GPT-4.1.

5. الأهمية والتأثير

حل مشكلة التوقف (Offline Bottleneck): يستهدف HPD تحديداً سيناريو الاستنتاج المجمع دون اتصال (المشترك في خطوط معالجة البيانات)، حيث تكون الإنتاجية والتكلفة أكثر أهمية من زمن الاستجابة المنخفض للطلب الواحد.
استغلال الأجهزة: من خلال تعظيم عدد الرموز المولدة في كل خطوة استنتاج، يستغل HPD ذاكرة VRAM للـ GPU والموارد الحوسبية بشكل أفضل، متجاوزاً القيود المتسلسلة للـ Transformers القياسية.
الجدوى الاقتصادية: يجعل الخفض الهائل في تكاليف الاستنتاج استخراج المعلومات التوليدية عالية الجودة أمراً ممكناً للتطبيقات الصناعية واسعة النطاق (مثل فهرسة ملايين المنتجات) حيث كانت التكاليف السابقة باهظة.
الاتجاهات المستقبلية: يشير البحث إلى إمكانية توسيع نطاق HPD ليشمل مجالات أخرى ذات هياكل مخرجات مستقلة، بشرما تحقق فرضية الاستقلال الشرطي.

الخلاصة: يمثل فك التشفير فائق التوازي (HPD) تحولاً جذرياً في استنتاج النماذج اللغوية الكبيرة لمهام الاستخراج المهيكلة. من خلال فصل توليد التسلسلات المستقلة عبر التلاعب بمعرفات الموضع وقناع الانتباه المخصص، يحقق كفاءة هائلة دون التضحية بجودة المخرجات.