💬 NLP

Efficient Context Propagating Perceiver Architectures for Auto-Regressive Language Modeling

تقدم هذه الورقة البحثية "المدرك الفعال لنشر السياق" (ECP)، وهو بنية مبتكرة تُحسّن نموذج PerceiverAR من خلال الاستفادة من كل من تسلسلات السياق والتسلسلات الكامنة بكفاءة تضاهي مستوى LongLoRA لتحقيق أداء فائق في مهام نمذجة اللغة ذات التسلسلات الطويلة.

المؤلفون الأصليون: Kaleel Mahmood, Shaoyi Huang

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaleel Mahmood, Shaoyi Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة رواية طويلة ومعقدة للغاية. لكي تفهم القصة، تحتاج إلى تذكر ما حدث في الفصل الأول بينما أنت تقرأ الفصل الأخير.

في عالم الذكاء الاصطناعي (AI)، يعتبر الـ "Transformer" هو العقل الذي يقرأ هذه الروايات. ولكن هناك مشكلة كبيرة: كلما طال الكتاب، أصيب هذا العقل بالإرهاق. فهو يحاول مقارنة كل كلمة بكل كلمة أخرى لفهم السياق. إذا كان الكتاب يحتوي على 1,000 كلمة، سيتعين على العقل إجراء مليون مقارنة. وإذا كان يحتوي على 10,000 كلمة، سيتعين عليه إجراء 100 مليون مقارنة. هذا الأمر بطيء، ومكلف، وغير فعال.

تقدم هذه الورقة البحثية طريقة أذكى وأكثر كفاءة لكي يقرأ الذكاء الاصطناعي الكتب الطويلة دون أن يصاب بصداع. وقد أطلقوا عليها اسم ECP (Efficient Context Propagating Perceiver).

إليك كيف يعمل، مقسماً بتبسيط عبر التشبيهات:

1. المشكلة القديمة: "الذاكرة القصيرة" مقابل "أمين المكتبة المنهك"

تضمنت المحاولات السابقة لإصلاح هذه المشكلة طريقة تسمى PerceiverAR. تخيل أمين مكتبة يحاول تلخيص كتاب ضخم.

الحيلة: يقوم أمين المكتبة بتقسيم الكتاب إلى كومتين: كومة "ملخص" صغيرة (Latent) وكومة "تاريخ" ضخمة (Context).
العيب: أمين المكتبة يقرأ فقط "كومة الملخص" ليكتب الجملة التالية. أما "كومة التاريخ"، فيلقي نظرة خاطفة عليها مرة واحدة فقط في البالبداية، ثم يضعها في صندوق. ينسى أمين المكتبة تفاصيل التاريخ بينما يستمر في الكتابة، وهذا يعني أن الذكاء الاصطناعي يفقد التفاصيل المهمة من بداية القصة.

2. حل المؤلفين: لعبة "تمرير الملاحظات"

أدرك المؤلفان، "كاليل" و"شويي"، أنهما بحاجة إلى طريقة لإبقاء "التاريخ" حياً ومفيداً دون جعل أمين المكتبة يقوم بملايين الحسابات. لقد صمما نظاماً جديداً يسمى ECP.

فكر في بنية ECP كأنها لعبة "الهاتف المكسور" (Telephone) التي تُلعب مع مجموعات متداخلة، ولكن مع لمسة خاصة.

الإعداد: بدلاً من قراءة الكتاب بأكمله دفعة واحدة، يقسم الذكاء الاصطناعي النص إلى قطع صغيرة (segments)، مثل الفقرات.
التداخل: هنا يكمن السحر. عندما يقرأ الذكاء الاصطناعي قطعة معينة، فإنه لا ينظر إلى تلك القطعة فحسب، بل ينظر إلى القطعة الحالية والقطعة التي سبقتها مباشرة.
الانتشار (Propagation):
- الطبقة 1: يقرأ الذكاء الاصطناعي القطعة (أ) والقطعة (ب). يتعلم العلاقة بينهما.
- الطبقة 2: يقرأ الذكاء الاصطناعي القطعة (ب) والقطعة (ج). ولكن نظرًا لأنه تعلم بالفعل عن القطعة (أ) في الخطوة السابقة، فإن "المعرفة" بالقطعة (أ) تنتقل الآن إلى القطعة (ج).
- الطبقة 3: يقرأ الذكاء الاصطناعي القطعة (ج) والقطعة (د). الآن، المعرفة بالقطع (أ) و(ب) و(ج) تتدفق جميعها معاً.

الأمر يشبه سباق التتابع حيث لا يكتفي العداءون بتمرير العصا فحسب، بل يمررون حقيبة ظهر مليئة بالمعلومات. وبحلول الوقت الذي يصل فيه العداء في نهاية الخط إلى الحقيبة، تكون قد احتوت على كل ما حدث منذ بداية السباق، رغم أنه لم يتحدث إلا مع الشخص الذي بجانبه مباشرة.

3. لماذا هذا أفضل؟

تسلط الورقة الضوء على قوتين خارقتين لـ ECP:

يتذكر كل شيء (لا فقدان للسياق): على عكس الطريقة القديمة حيث يتم نسيان "التاريخ" بعد الخطوة الأولى، يحافظ ECP على حيوية التاريخ. إنه يقوم باستمرار بتنقيح ذاكرة الماضي أثناء تقدمه. إنه يشبه امتلاك صديق يهمس لك: "مهلاً، هل تتذكر ذلك الشيء من الصفحة رقم 1؟" في كل مرة تقلب فيها الصفحة.
سريع للغاية (الكفاءة): لأن الذكاء الاصطناعي يقارن فقط بين قطع صغيرة متداخلة (مثل مقارنة فقرة بالفقرة التي تسبقها) بدلاً من مقارنة الكتاب بأكمله، فإن العمليات الحسابية تصبح أبسط بكثير. إنه سريع بقدر الطرق الفعالة الأخرى (مثل LongLoRA) ولكنه أذكى بفضل خدعة "التداخل".

4. النتائج: القراءة بشكل أسرع وأفضل

اختبر المؤلفون هذا "العقل" الجديد (ECP) في ثلاثة تحديات مختلفة:

Wikitext-103: مجموعة ضخمة من مقالات ويكيبيديا.
PG-19: مجموعة بيانات ضخمة من الكتب الكلاسيكية.
sCIFAR-10: مهمة بصرية (التعامل مع الصور كسلسلة من البكسلات).

الحكم النهائي: تفوق نموذج ECP على جميع نماذج الذكاء الاصطناعي الرائدة الأخرى تقريباً. فقد ارتكب أخطاءً أقل (الارتباك أو Perplexity أقل) وفعل ذلك بعقل أصغر وأسرع.

ملخص التشبيه

نماذج Transformer القديمة: مثل محاولة حفظ كتاب من 500 صفحة عبر التحديق في الكتاب بأكمله دفعة واحدة. ستصاب بصداع نصفي.
PerceiverAR القديم: مثل قراءة الكتاب ولكن كتابة الملاحظات على الصفحة الأخيرة فقط، وتجاهل الصفحات الـ 499 الأولى. ستفقد حبكة القصة.
ECP الجديد: مثل قراءة الكتاب مع مجموعة من الأصدقاء. تقرأ بضع صفحات، وتناقشها مع الشخص الذي بجانبك، ثم تمرر "ملاحظة ملخصة" للزوج التالي. وبحلول الوقت الذي تصل فيه إلى النهاية، يكون لدى المجموعة بأكملها فهم مثالي للقصة بأكملها، ولم يصب أحد منهم بصداع نصفي.

تثبت هذه الورقة أنه من خلال تغيير كيفية نظر الذكاء الاصطنا edge إلى الماضي (باستخدام التداخل وتمرير الملاحظات)، يمكننا بناء ذكاء اصطناعي أذكى وأسرع وأكثر كفاءة يمكنه التعامل مع المهام الطويلة والمعقدة دون عناء.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Efficient Context Propagating Perceiver Architectures for Auto-Regressive Language Modeling" (ECAI 2025).

1. بيان المشكلة

تتناول الورقة البحثية التعقيد الزمني التربيعي ( $O(n^2)$ ) لآلية الانتباه الذاتي (self-attention) في بنيات المحولات (Transformer) القياسية. هذا التعقيد يحد من المعالجة الفعالة للتسلسلات الطويلة، وهو أمر بالغ الأهمية للنماذج اللغوية الكبيرة (LLMs).

بينما حاولت الأعمال السابقة (مثل PerceiverAR) تقليل التعقيد إلى مستويات شبه خطية عن طريق تقسيم المدخلات إلى مكونات "تاريخية" (history) و"كامنة" (latent)، إلا أنها تعاني من عيبين حرجين:

الاعتماد التدريبي للكامن (Latent Training Dependency): في PerceiverAR، يقتصر التدريب التلقائي (autoregressive training) على المكون الكامن فقط؛ حيث يُعامل مكون التاريخ كمدخل ثابت ولا يتم تحديثه أثناء التدريب، مما يؤدي إلى تعلم غير فعال.
التاريخ الفاقد (Lossy History): يتم ضغط مكون التاريخ في المخرج الكامن بعد الطبقة الأولى ولا يتم تحسينه صراحة في الطبقات اللاحقة، مما يتسبب في فقدان المعلومات السياقية.

2. المنهجية

اقترح المؤلفون بنية جديدة تسمى Efficient Context Propagating Perceiver (ECP). تضمنت عملية التطوير استكشاف أربع نماذج معمارية لموازنة الحفاظ على السياق مع الكفاءة الحسابية:

أ. النماذج المعمارية الأولية

قبل الوصول إلى ECP، صمم المؤلفون ثلاث بنيات وسيطة لمعالجة عيوب PerceiverAR:

Double Attention PerceiverAR: يحسب الانتباه لكل من مكوني التاريخ والكامن في كل طبقة.
- المزايا: يحافظ على معلومات التاريخ.
- العيوب: عبء حسابي عالٍ (مضاعفة حسابات الانتباه).
Compressed Double Attention PerceiverAR: يقوم بإسقاط مكون التاريخ إلى طول أصغر في الطبقة الأولى ويقوم بتحسين هذه النسخة المضغوطة في الطبقات اللاحقة.
- المزايا: يقلل الحسابات.
- العيوب: احتمال فقدان المعلومات بسبب الضغط.
s-Split Double Attention PerceiverAR: يقسم التاريخ إلى أجزاء منفصلة ويحسب الانتباه داخل كل جزء فقط.
- المزايا: كفاءة عالية جداً.
- العيوب: فقدان السياق بسبب عدم وجود تدفق للمعلومات بين الأجزاء المنفصلة.

ب. الحل المقترح: بنية ECP

تجمع بنية ECP بين فوائد النهج المذكورة أعلاه باستخدام انتباه الأجزاء المتداخلة الزوجية (overlapping pairwise segment attention).

الآلية: يتم تقسيم تسلسل المدخلات إلى أجزاء. يتم تقسيم كل جزء لاحقاً إلى نصفين: نصف "تاريخي" ونصف "كامن".
كتل PAR (الانتباه الزوجي): بدلاً من معالجة التسلسل بأكمله أو الأجزاء المنفصلة، تستخدم ECP كتل PAR التي تعمل على أزواج متتالية ومتداخلة من أنصاف الأجزاء.
- يتم حساب الاستعلام ( $Q$ ) على النصف الجزء الحالي.
- يتم حساب المفتاح ( $K$ ) والقيمة ( $V$ ) على النصف الجزء الحالي بالإضافة إلى النصف الجزء السابق.
انتشار المعلومات: نظرًا لأن نافذة الانتباه لكل طبقة تتداخل مع مخرجات الطبقة السابقة، فإن المعلومات من الأجزاء المبكرة تنتشر عبر الطبقات. ومع زيادة عدد الطبقات، يتوسع مجال الاستقبال الفعال (effective receptive field) ليغطي السياق بأكمده، بشكل مشابه لآلية LongLoRA (shifted sparse attention) ولكن بآلية مختلفة.
التدريب التلقائي (Autoregressive Training): على عكس PerceiverAR، تسمح ECP باستخدام مكون التاريخ في التدريب التلقائي. يستخدم النصف الجزء الأول في الطبقة قناعاً مثلثياً قياسياً، بينما تستخدم كتل PAR اللاحقة قناعاً على الجانب الأيمن من مصفوفة الانتباه الخاصة بها لمنع النظر إلى الأمام.

3. المساهمات الرئيسية

بنية مبتكرة (ECP): تقديم الـ Efficient Context Propagating Perceiver، الذي يتغلب على مشكلات "التاريخ الفاقد" و"التدريب المقتصر على الكامن" الموجودة في PerceiverAR.
آلية انتباه فعالة: تحقق ECP تعقيداً خطياً $O(n)$ مقارباً لـ LongLoRA عبر حساب الانتباه فقط على الأزواج المتداخلة من الأجزاء، بدلاً من التسلسل الكامل.
انتباه كامل ضمني (Implicit Full Attention): من خلال انتشار المعلومات عبر الطبقات عبر الأجزاء المتداخلة، تحقق ECA بشكل ضمني فوائد الانتباه الكامل دون التكلفة التربيعية.
استكشاف فضاء التصميم: تحلل الورقة بشكل منهجي أربعة نماذج معمارية (Double, Compressed, s-Split, و ECP) لتحديد المقايضات بين الحفاظ على السياق والتكلفة الحسابية.

4. النتائج التجريبية

قيم المؤلفون نماذجهم على Wikitext-103 و PG-19 و sCIFAR-10 (Long Range Arena).

Wikitext-103 و PG-19 (نمذجة اللغة):
- تفوقت بنية ECP بشكل كبير على النموذج المرجعي PerceiverAR والنماذج الأخرى ذات الحالة الراهنة (SOTA) (بما في ذلك Transformer-XL، RWKV، Mamba، و xLSTM) من حيث الارتباك (perplexity).
- الكفاءة: حقق نموذج ECP بـ 172 مليون معلمة ارتباكاً قدره 17.82 على Wikitext-103، متفوقاً على نموذج PerceiverAR بـ 974 مليون معلمة (18.35 ارتباك).
- في PG-19، حقق نموذج ECP المكون من 24 طبقة (214 مليون معلمة) ارتباكاً قدره 18.83، وهو أفضل بكثير من Compressive Transformers و Routing Transformers.
sCIFAR-10 (تصنيف الصور):
- حقق نموذج ECP دقة 64.42% (12 طبقة)، محققاً حالة جديدة متقدمة (SOTA) لـ البنيات القائمة على المحولات (Transformer-based) في هذه المجموعة من البيانات، متفوقاً على Sparse Transformers و Performers و Longformers.
تحليل التعقيد:
- تتطلب ECP حوالي 12% فقط من خطوات حساب الانتباه مقارنة بمحول (Transformer) قياسي ذو انتباه كامل لنفس طول التسلسل، مما يجعلها فعالة للغاية من الناحية الحسابية.

5. الأهمية

سد الفجوة: نجحت ECP في سد الفجوة بين الأداء العالي للمحولات ذات الانتباه الكامل وكفاءة النماذج ذات التعقيد الخطي.
الحفاظ على السياق: تعالج مشكلة فقدان السياق الحرجة في آليات الانتباه المتفرقة (sparse attention) من خلال ضمان تدفق المعلومات من بداية التسلسل إلى نهايته عبر الانتشار عبر الطبقات.
القابلية للتوسع: من خلال تقليل العبء الحسابي مع الحفاظ على الأداء أو تحسينه، توفر ECP مساراً قابلاً للتطبيق لتدريب ونشر النماذج اللغوية الكبيرة (LLMs) على سياقات أطول دون تكاليف أجهزة باهظة.
القدرة على التعميم: يشير نجاح البنية في كل من بيانات النصوص (Wikitext/PG-19) والصور (sCIFAR-10) إلى قوة آلية الانتباه للأجزاء المتداخلة عبر الوسائط المختلفة.

في الختام، تثبت الورقة أنه من خلال إعادة التفكير في كيفية تفاعل المعلومات التاريخية والكامنة في النماذج التلقائية، يمكن إنشاء بنيات فعالة حسابياً ومتفوقة في الأداء مقارنة بالنماذج الحالية المتطورة.