💬 NLP

HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference

تُعدُّ HyLRA إطار عمل مبتكرًا يعمل على تحسين استنتاج النماذج اللغوية الكبيرة ذات السياق الطويل عبر الاستفادة من تحليل التناثر على مستوى الطبقات لموازنة الانتباه الكامل للطبقات الحساسة وإعادة استخدام ذاكرة التخزين المؤقت (KV cache) للطبقات المتحملة، مما يحقق تحسينات كبيرة في معدل الإنتاجية مع حد أدنى من الفقد في الدقة.

المؤلفون الأصليون: Xuan Ai, Qingqing Yang, Peng Wang, Lei Deng, Lin Zhang, Renhai Chen, Gong Zhang

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xuan Ai, Qingqing Yang, Peng Wang, Lei Deng, Lin Zhang, Renhai Chen, Gong Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة رواية ضخمة مكونة من 100,000 صفحة للإجابة على سؤال واحد في نهايتها. بينما تقرأ، يتعين عليك تذكر كل تفصيل مهم صادفته حتى الآن.

في عالم الذكاء الاصطناعي (وتحديداً النماذج اللغوية الكبيرة)، هذا هو بالضبط ما يحدث أثناء "الاستدلال طويل السياق" (long-context inference). يحاول الذكاء الاصطناعي قراءة كم هائل من النصوص (السياق) لتوليد استجابة. ومع ذلك، هناك مشكلة رئيسية: كلما طال النص، أصبح الذكاء الاصطناعي أبطأ وينفد منه الذاكرة. الأمر يشبه محاولة حمل مكتبة في حقيبة ظهرك؛ كلما زاد وزنها، زادت صعوبة حركتها.

تقدم الورقة البحثية طريقة جديدة تسمى HyLRA (انتباه إعادة استخدام الطبقات الهجين) لحل هذه المشكلة. وإليك كيف تعمل، مقسمة إلى مفاهيم بسيطة:

المشكلة: خطأ "المقاس الواحد للجميع"

حالياً، عندما يقرأ الذكاء الاصطناعي نصاً طويلاً، فإنه يعامل كل خطوة من خطوات تفكيره بنفس الطريقة. يحاول مسح كامل تاريخ النص من أجل كل كلمة يولدها.

التشبيه: تخيل أنك محقق تحل قضية ما. مقابل كل دليل تجده، تعيد قراءة ملف القضية بالكامل من الصفحة الأولى وحتى الصفحة الأخيرة للتأكد من أنك لم تغفل عن شيء. حتى لو كنت تعرف بالفعل المشتبه بهم الرئيسيين، فإنك لا تزال تقرأ الأجزاء المملة مرة أخرى. هذا بطيء للغاية ومبذر للطاقة.

الاكتشاف: ليست كل "خطوات التفكير" متساوية

اكتشف الباحثون أن "عقل" الذكاء الاصطناعي (المكون من طبقات عديدة من المعالجة) ليس متجانساً. فبعض الطبقات حساسة جداً، بينما البعض الآخر هادئ ومسترخٍ.

الطبقات الحساسة (طبقات "الذعر"): هذه تشبه جلسة العصف الذهني الأولية للمحقق. إذا تخطيت تفصيلاً صغيراً هنا، فإن النظرية بأكملها ستنهار. هذه الطبقات يجب أن تقرأ النص بالكامل للحصول على الصورة الكبيرة بشكل صحيح.
الطبقات المتسامحة (الطبقات "الهادئة"): هذه تشبه المراحل المتأخرة للمحقق أثناء كتابة التقرير. بحلول هذا الوقت، تكون الأدلة المهمة قد تم تحديدها بالفعل. يدرك الذكاء الاصطناعي: "مهلاً، الأشياء المهمة التي وجدتها في الخطوة السابقة هي على الأرجح لا تزال هي الأكثر أهمية الآن". يمكن لهذه الطبقات تجاهل الأجزاء المملة بأمان والتركيز فقط على أبرز النقاط.

الحل: الاستراتيجية الهجينة

نظام HyLRA هو نظام ذكي يقرر، لكل خطوة من خطوات تفكير الذكاء الاصطناعي، ما إذا كان سيقوم بـ "مسح كامل" أو "تخطي سريع".

"إعادة الضبط" (الانتباه الكامل): بالنسبة لـ الطبقات الحساسة، يجبر HyLRA الذكاء الاصطناعي على القيام بالعمل الشاق. يقوم بمسح النص بالكامل لضمان الدقة. هذا يشبه إعادة المحقق قراءة الملف بالكامل للتأكد من أن الأساس متين.
"إعادة الاستخدام" (إعادة استخدام الفهرس): بالنسبة لـ الطبقات المتسامحة، يقول HyLRA: "لا داع الله في مسح الملف بالكامل مرة أخرى". بدلاً من ذلك، ينظر إلى ما وجدته الطبقة السابقة مهماً ويقول: "دعونا نستخدم نفس تلك الملاحظات المهمة".
- التشبيه: تخيل أنك تقرأ كتاباً مع صديق لك. صديقك (الطبقة السابقة) قام بتحديد أكثر 50 جملة أهمية. عندما تصل إلى الصفحة التالية (الطبقة المتسامحة)، بدلاً من قراءة الصفحة بأكملها بنفسك، تنظر فقط إلى التحديدات التي وضعها صديقك. أنت توفر قدراً هائلاً من الوقت والطاقة لأنك تثق في أن الأشياء المهمة لم تتغير.

كيف وجدوا الخطة المثلى؟

قد تتساءل، "كيف يعرف الذكاء الاصطناعي أي الطبقات حساسة وأيها متسامحة؟"
استخدم الباحثون طريقة تسمى البرمجة الديناميكية (Dynamic Programming).

التشبيه: فكر في الأمر كالتخطيط لرحلة برية. لديك خريطة بها 100 توقف (طبقات). بعض التوقفات خطيرة (حساسة) وتتطلب فحص سلامة كاملاً. وأخرى آمنة (متسامحة) ويمكنك المرور عبرها ببساطة. أجرى الباحثون محاكاة "أوفلاين" للعثور على المسار المثالي: "توقف وافحص هنا، تخطَّ هناك، افحص مجدداً هنا، تخطَّ هناك". هذا يضمن القيام بالحد الأدنى من العمل الممكن دون تحطم السيارة (فقدان الدقة).

النتائج

عندما اختبروا هذه الطريقة الجديدة:

السرعة: جعلت الذكா الاصطناعي أسرع بشكل ملحوظ (بنسبة تصل إلى 1.45 مرة) عند التعامل مع النصوص الطويلة جداً.
الدقة: لم تؤثر سلباً على جودة الإجابات. لا يزال الذكاء الاصطناعي يحصل على الإجابات الصحيحة بنفس وتيرة حصوله عليها لو كان يقرأ النص بالكامل في كل مرة.
المقارنة: تفوقوا على الطرق الموجودة الأخرى التي حاولت أن تكون "متباعدة" (أي تتخطى أجزاءً) لأن تلك الطرق كانت جامدة للغاية. فإما أنها كانت تتخطى الكثير (مما يؤدي لفقدان الدقة) أو لا تتخطى بما يكفي (مما يجعلها بطيئة). لقد وجد HyLRA التوازن المثالي.

الملخص

HyLRA هو بمثابة مساعد قراءة ذكي للذكاء الاصطناعي. بدلاً من إجبار الذكاء الاصطناعي على إعادة قراءة التاريخ الكامل للمحادثة من أجل كل كلمة جديدة يكتبها، يخبره HyLRA: "في اللحظات الحرجة، اقرأ كل شيء بعناية. وفي اللحظات الروتينية، انظر فقط إلى أبرز النقاط من الخطوة السابقة". هذا يجعل المحادثات الطويلة وتحليل المستندات أسرع بكثير دون جعل الذكاء الاصطناعي "غبياً".

ملخص تقني: HyLRA – انتباه إعادة استخدام الطبقات الهجين للاستنتاج الفعال للسياقات الطويلة

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) اختناقات شديدة أثناء استنتاج السياق الطويل، مدفوعة بشكل أساس سواء بالتعقيد الحسابي التربيعي لآلية الانتباه، أو بتوسع الذاكرة الخطي لمخازن (Key-Value) المؤقتة (KV cache). وعلى الرغم من اقتراح آليات انتباه متفرقة (sparse attention) للتخفيف من هذه المشكلات عبر معالجة الرموز ذات الدرجات العالية فقط، إلا أن الأساليب الحالية تعاني من مقايضة بين الكفاءة والدقة. تعتمد العديد من الطرق على أنماط جامدة (مثل النوافذ المنزلقة الثابتة) أو تقليم عدواني، مما يهدد بإهمال المعلومات الحرجة. كما أن طرق أخرى تقوم باختيار الرموز بشكل مستقل في كل طبقة، مما يؤدي إلى تكاليف تشغيل تراكمية تقلل من مكاسب زمن الاستجابة العملية. والأهم من ذلك، أن معظم الأعمال السابقة تفتقر إلى مراعاة اختلاف الطبقات (layer-agnostic)، حيث تطبق استراتيجيات تخلخل موحدة تفشل في استغلال التكرار الهيكلي والتباين المتأصل عبر أعماق النموذج المختلفة.

2. المنهجية

إطار العمل المقترح، HyLRA (انتباه إعادة استخدام الطبقة الهجين)، مدفوع بملاحظتين تجريبيتين مستمدتين من تحليل أنماط الانتباه خارج الخط (offline profiling):

2.1. التباين بين الطبقات (Layer-wise Heterogeneity)

الحساسية داخل الطبقة (Intra-layer Sensitivity): يحدد البحث تباينًا في حساسية الطبقات. الطبقات الحساسة (غالباً الطبقات المبكرة) تظهر قابلية عالية لأخطاء التقريب؛ حيث يؤدي تخلخل هذه الطبقات إلى تشويه الميزات وانتشار الخطأ. وبالتالي، تتطلب هذه الطبقات انتباهاً كاملاً للحفاظ على السياق العالمي.
التشابه بين الطبقات (Inter-layer Similarity): تُظهر الطبقات المتسامحة (غالباً الطبقات الأعمق) قدرة عالية على تحمل التخلخل. علاوة على ذلك، يوجد تشابه قوي بين الطبقات المتتالية، حيث تتداخل مجموعة الرموز الحرجة (top-k) في طبقة ما بشكل كبير مع تلك الموجودة في الطبقة السابقة.

2.2. تحسين السياسة خارج الخط عبر البرمجة الديناميكية (Offline Policy Optimization via Dynamic Programming)

للاستفيد من هذه الملاحظات، يصيغ HyLRA تهيئة الطبقات كمسألة إيجاد مسار في مصفوفة تشابه مشتقة من التحليل خارج الخط:

بناء مصفوفة التشابه: يتم إنشاء مصفوفة مثلثية سفلى $M$ حيث تحدد المدخلات $M[i][j]$ نسبة التداخل لمؤشرات الرموز (top-k) بين الطبقة المصدر $i$ والطبقة المستهدفة $j$ .
البرمجة الديناميكية (DP): يقوم النظام بحل السياسة المثلى $\pi$ $π$ التي تقلل عدد عمليات الانتباه الكامل إلى أدنى حد وتزيد من التشابه التراكمي، مع مراعاة عتبة الدقة $\theta$ $θ$ .
- قفزة إعادة الضبط (Reset Jump): تعني الانتقال إلى حالة قطرية $(j, j)$ تنفيذ الانتباه الكامل في الطبقة $j$ لتحديث المؤشرات.
  ߋ الحركة الرأسية (Vertical Move): تعني الانتقال من $(i, j)$ إلى $(i, j+1)$ إعادة استخدام مؤشرات (top-k) من الطبقة $i$ للطبقة $j+1$ ، بشرما كانت درجة التشابه تتجاوز $\theta$ .
تختار خوارزمية DP المسار الذي يقلل التكلفة الحسابية عالمياً مع ضمان تلبية قيود الدقة.

2.3. استراتيجية الاستنتاج الهجينة

خلال مرحلة فك التشفير (decoding)، ينفذ HyLRA السياسة المستمدة:

الطبقات الحساسة: يتم تنفيذ الانتباه الكامل القياسي لضمان المتانة. يتم استخراج مؤشرات (top-k) وتمريرها للأمام.
الطبقات المتسامحة: يتجاوز النظام الحسابات التربيعية عبر إعادة استخدام مؤشرات (top-k) مباشرة من الطبقة السابقة. يقتصر حساب الانتباه على هذا الجزء الفرعي من مخزن (KV) المؤقت، مما يقلل بشكل كبير من الوصول إلى الذاكرة والحوسبة.

2.4. تحسينات كفاءة الأجهزة

لسد الفجوة بين تقليل العمليات الحسابية (FLOPs) وزمن التنفيذ الفعلي، يدمج HyLRA ما يلي:

التخلخل على مستوى الكتلة (Block-level Sparsity): تكييف الآلية للعمل على كتل رموز ثابتة الحجم (مثل 128 رمزاً) لضمان وصول منتظم ومتماسك للذاكرة متوافق مع تطبيقات الانتباه المتفرقة الحالية (مثل QUEST).
التفريغ الموجه بالمؤشرات (Index-Guided Offloading): في السيناريوهات التي يتجاوز فيها مخزن (KV) الذاكرة المتاحة على الجهاز، يستخدم HyLRA المؤشرات المعاد استخدامها لجلب كتل (KV) الحرجة فقط من ذاكرة المضيف (host memory)، مما يقلل من عبء عرض نطاق PCIe.

3. المساهمات الرئيسية

توصيف التباين بين الطبقات: يحدد البحث ويتحقق من وجود تميز واضح بين الطبقات الحساسة (المعرضة لتشويه الميزات) والطبقات المتسامحة (التي تظهر تشابهاً عالياً بين الطبقات)، مما يتحدى فرضية التخلخل الموحد.
إطار عمل HyLRA: آلية انتباه هجينة مبتكرة تحسن الاستنتاج عبر الاحتفاظ بالدقة الكاملة للطبقات الحساسة مع استخدام آلية فعالة لإعادة استخدام مؤشرات (top-k) للطبقات المتسامحة.
التحقق التجريبي: تُظهر التجارب الواسعة أن HyLRA يحقق جبهة باريتو (Pareto frontier) متفوقة بين الكفاءة والدقة مقارنة بطرق الانتباه المتفرقة الحديثة.

4. النتائج التجريبية

قيم المؤلفون HyLRA على LongBench v2 باستخدام نماذج DeepSeek-R1 و QWQ-32B-W8A8 عبر أطوال سياق مختلفة (8K إلى 60K) ومستويات صعوبة متنوعة للمهام.

الدقة: يحافظ HyLRA على أداء مماثل للانتباه الكامل، مع انخفاض في الدقة يقل عن 1%. وفي عدة اختبارات مرجعية، تفوق على نموذج الانتباه الكامل الأساسي (على سبيل المثال، حقق 46.32% إجمالاً على DeepSeek-R1 مقابل 44.33% للانتباه الكامل).
الكفاءة:
- تفوق HyLRA باستمرار على خط الأساس Jump3 (وهو متغير ثابت بخطوات قفز ثابتة).
- تراوحت تحسينات إنتاجية الاستنتاج (throughput) بين 6% إلى 46%.
- عند طول تسلسل يبلغ 60 ألف رمز، حقق HyLRA تسريعاً إجمالياً قدره 1.45× مقارنة بالانتباه الكامل.
- يتناسب التسريع طردياً مع طول التسلسل، مما يؤكد فعالية الطريقة في تقليل الاختناق التربيعي مع نمو السياق.

5. الأهمية والادعاءات

يزعم البحث أن HyLRA يقدم حلاً عملياً وقابلاً للتوسع للاستنتاج الفعال للسياق الطويل في النماذج اللغوية الكبيرة عبر الابتعاد عن التخلخل الموحد الجامد. ومن خلال التكيف ديناميكياً مع التكرار الهيكلي المتأصل في طبقات المحولات (transformers)، يتغلب الإطار بفعالية على الاختناق التربيعي للانتباه الكثيف دون التضحية بجودة التوليد. ويضع المؤلفون HyLRA كطريقة تنجح في موازنة المقايضة بين الكفاءة الحسابية ودقة النموذج، مما يسمح بنشر النماذج اللغوية الكبيرة بنوافذ سياق فائقة الطول في بيئات الإنتاج. العمل مفتوح المصدر لتسهيل المزيد من الأبحاث في إدارة الذاكرة الموحدة.