💬 NLP

Long Context Pre-Training with Lighthouse Attention

تقدم هذه الورقة "Lighthouse Attention"، وهي خوارزمية اختيار هرمي تعتمد على التدريب فقط وخالية من التدرج، تغلف آلية الانتباه القياسية بنظام الضرب النقطي المقيّس لتمكين التدريب المسبق عالي الكفاءة وغير التربيعي لنماذج المحولات السببية عند أطوال تسلسل قصوى، والتي يمكن إزالتها بسلاسة عبر مرحلة استرداد قصيرة لإنتاج نموذج انتباه كامل يتميز بتدريب أسرع وفقدان نهائي أقل.

المؤلفون الأصليون: Bowen Peng, Subho Ghosh, Jeffrey Quesnelle

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bowen Peng, Subho Ghosh, Jeffrey Quesnelle

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة مكتبة ضخمة من الكتب (نص طويل جداً) دفعة واحدة لفهم قصة ما. في عالم الذكاء الاصطناعي، يسمى هذا "التدريب على السياق الطويل" (long-context training).

المشكلة هي أن نماذج الذكاء الاصطناعي القياسية (Transformers) تحاول قراءة كل كلمة مقابل كل كلمة أخرى لإيجاد الروابط. إذا كان لديك 100,000 كلمة، فسيتعين على النموذج إجراء 10 مليارات مقارنة. الأمر يشبه محاولة العثج عن جملة محددة في مكتبة عبر الصراخ بكل كلمة لكل الكلمات الأخرى في وقت واحد. هذا يستغرق وقتاً طويلاً، ويكلف ثروة من الكهرباء، وتنفد ذاكرة الحاسوب.

يقدم هذا البحث طريقة جديدة تسمى Lighthouse Attention (انتباه المنارة) لحل هذه المشكلة. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "العين التي ترى كل شيء" ثقيلة جداً

انتباه الذكاء الاصطناعي القياسي يشبه حارس أمن يصر على النظر إلى كل شخص في الملعب في نفس الوقت ليرى من يتحدث مع من. ومع زيادة حجم الملعب، يصاب الحارس بالإرهاق.

2. الحل: استراتيجية "المنارة"

بدلاً من النظر إلى كل شيء بدقة كاملة، يعمل "انتباه المنارة" مثل منارة تمسح محيطاً مظلماً. هي لا تتجاهل المحيط؛ بل تمسحه في طبقات لتجد الأجزاء الأكثر أهمية بسرعة.

إليك العملية المكونة من ثلاث خطوات التي يصفها البحث:

الخطوة أ: "الهرم" (تلخيص الحشد)

تخيل أن لديك حشداً ضخماً من الناس (النص). بدلاً من النظر إلى كل وجه بشكل فردي، تقوم بتجميعهم في مجموعات صغيرة (مثل العائلات أو الفرق).

الخدعة: يقوم البحث بشيء فريد هنا. معظم الطرق الأخرى تلخص فقط "الأشخاص الذين يتم التحدث عنهم" (المفاتيح والقيم - keys and values) ولكن تترك "الأشخاص الذين يتحدثون" (الاستعلامات - queries) بتفاصيل عالية.
حركة المنارة: هي تلخص الجميع بالتساوي. إنها تنشئ هرماً من الملخصات:
- المستوى 0: كل كلمة بمفردها.
- المستوى 1: مجموعات من 4 كلمات ملخصة في واحدة.
- المستوى 2: مجموعات من 16 كلمة ملخصة في واحدة.
- وهكذا دواليك.
  هذا ينشئ خريطة متعددة المستويات للنص، من "التفاصيل الفائقة" إلى "الصورة الكبيرة".

الخطوة ب: "البقعة الضوئية" (اختيار الأجزاء الأفضل)

الآن، يحتاج النموذج إلى تحديد أي أجزاء من هذا الهرم تستحق القراءة بالتفصيل الكامل.

الاختيار: يستخدم النموذج قاعدة بسيطة ومجانية (لا تتطلب تعلماً إضافياً) لتسجيل درجة كل مجموعة. يسأل: "أي المجموعات تمتلك أكبر قدر من 'الطاقة' أو الأهمية؟"
القص: يختار أفضل $K$ من المجموعات الأكثر أهمية من جميع مستويات الهرم.
النتيجة: بدلاً من قراءة 100,000 كلمة، يحتاج النموذج الآن فقط لقراءة قائمة كثيفة وصغيرة من "القطع" الأكثر أهمية (ربما 5,000 كلمة).

الخطوة ج: "الوميض" (قراءة الأجزاء المختارة)

بمجرد أن يختار النموذج أفضل 5,000 كلمة، فإنه يمررها عبر محرك "FlashAttention" القياسي فائق السرعة. ولأن القائمة أصبحت قصيرة، فإن هذه الخطوة تكون سريعة للغاية وتتسع بسهولة في ذاكرة الحاسوب.

3. "الاستعادة السحرية" (التدريب ذو المرحلتين)

هذا هو الجزء الأكثر أهمية في البحث. كان المؤلفون قلقين: "إذا دربنا الذكاء الاصطناعي على النظر فقط إلى الملخصات، فهل سينسى كيفية قراءة الجمل الكاملة لاحقاً؟"

لإصلاح ذلك، استخدموا وصفة تدريب من مرحلتين:

المرحلة 1 (مرحلة المنارة): يدربون النموذج لمعظم الوقت باستخدام طريقة المنارة. يتعلم النموذج أن يكون فعالاً ويختار أبرز النقاط الصحيحة.
المرحلة 2 (مرحلة الاستعادة): في الجزء الأخير من التدريب، يقومون بإيقاف أجزاء "التلخيص" و"الاختيار". يجبرون النموذج على قراءة النص الكامل مرة أخرى باستخدام الطريقة القياسية.

النتيجة: "يستيقظ" النموذج من تدريبه الفعال ويتذكر كيفية استخدام الانتباه الكامل بشكل مثالي. يزعم البحث أنه بعد هذه المرحلة القصيرة من الاستعادة، يؤدي النموذج بشكل جيد (أو أفضل) من النموذج الذي تم تدريبه على النص الكامل طوال الوقت، لكنه وصل إلى ذلك بشكل أسرع وأرخص بكثير.

لماذا يعد هذا أمراً مهماً؟

السرعة: يظهر البحث أنه بالنسبة للنصوص الطويلة جداً (مثل 100,000+ كلمة)، فإن هذه الطريقة أسرع بـ 17 إلى 21 مرة من الطرق القياسية.
لا يوجد كود "خردة": على عكس الطرق الأخرى التي تتطلب بناء شرائح كمبيوتر مخصة ومعقدة (kernels) للتعامل مع عملية "الاختيار"، فإن "المنارة" تستخدم أجزاء حاسوبية قياسية وجاهزة للاستخدام للعملية الفعلية للقراءة. هي فقط تعيد ترتيب البيانات قبل تسليمها.
التماثل: هي تعامل أجزاء "السؤال" و"الإجابة" من الجملة بالتساوي، مما يجعل الرياضيات أكثر نظافة واستقراراً.

الخلاصة

انتباه المنارة (Lighthouse Attention) يشبه توظيف مساعد بحث ذكي. بدلاً من قراءة 1,000 صفحة من تقرير كلمة بكلمة، يقوم المساعد بمسح المستند بالكامل بسرعة، ويحدد أهم 50 فقرة، ثم يقرأ فقط تلك الـ 50 فقرة بتفصيل شديد.

يثبت البحث أنه إذا دربت الذكاء الاصطناعي بهذه الطريقة، ثم أعطيته "دورة تنشيطية" سريعة على قراءة النص كاملاً في النهاية، فإنه يصبح قارئاً فائق السرعة لا يفقد أي جزء من ذكائه.

ملخص تقني: التدريب المسبق للسياق الطويل باستخدام انتباه "لايت هاوس" (Lighthouse Attention)

1. بيان المشكلة

يواجه تدريب نماذج الـ "ترانسفورمر" السببية (causal transformers) عند أطوال تسلسل قصوى (من 128 ألف إلى أكثر من مليون توكن) حالياً عائقاً يتمثل في التعقيد الزمني والذاكرة التربيعي ( $\Theta(N^2)$ ) لانتباه النقطة المتبادلة الموزونة (SDPA). وبينما تعمل طرق مثل "فلاش أتينشن" (FlashAttention) على تحسين الثوابت، إلا أنها لا تغير التعقيد التقاربي. تحاول مناهج الانتباه المتفرق (sparse attention) الحالية التخفيف من ذلك عبر استبدال الانتباه الكثيف بآليات اختيار حيث تنتبه الاستعلامات (Queries) فقط لمجموعة فرعية من المفاتيح (Keys). ومع ذلك، تعاني هذه الأساليب من عيبين تصميميين رئيسيين عند تطبيقها على التدريب المسبق:

عدم التماثل: معظم الطرق (مثل NSA و HISA) تقوم بتجميع المفاتيح والقيم (Keys and Values) ولكنها تبقي الاستعلامات (Queries) بدقة كاملة. هذا يعامل الهيكل الهرمي كذاكرة مضغوطة بدلاً من تمثيل متعدد المقاييس، مما يحد من قدرة النموذج على تعلم التفاعلات المتماسكة عبر المقاييس المختلفة.
الارتباط المعماري: غالباً ما يكون منطق الاختيار مدمجاً داخل نوى (kernels) انتباه متفرق مخصصة. هذا يمنع إعادة استخدام نوى الانتباه الكثيفة عالية التحسين (مثل FlashAttention) ويتطلب عمليات خلفية (backward passes) مخصصة، مما يعقد عمليات التدريب والنشر أثناء الاستنتاج.

علاوة على ذلك، هناك قلق بالغ يتعلق بـ الصحة (correctness) عند استخدام الأساليب المتفرقة أثناء التدريب: فخلافاً لأساليب التفرق المخصصة للاستنتاج فقط (والتي تفترض وجود هيكل كثيف كفء)، يجب على طريقة التفرق أثناء التدريب أن تثبت أن الأوزان الناتجة قادرة على العمل كنموذج انتباه كثيف كفء بمجرد إزالة التفرق.

2. المنهجية: انتباه "لايت هاوس" (Lighthouse Attention)

"لايت هاوس" هو خوارزمية انتباه هرمي قائمة على الاختيار ومتماثلة، مصممة للتدريب فقط، وتعمل كغلاف حول انتباه SDPA العادي دون تعديل نواة الانتباه نفسها. وهي تعمل عبر مسار مكون من أربع مراحل:

أ. بناء الهرم المتماثل

على عكس الأعمال السابقة التي تقوم بتجميع السياق (K/V) فقط، يطبق "لايت هاوس" تجميعاً متوسطاً متماثلاً (symmetric average-pooling) على الاستعلامات والمفاتيح والقيم ( $Q, K, V$ ) في آن واحد.

يتم تنظيم التسلسل في هرم مكون من $L$ من المستويات مع عامل تجميع $p$ .
المستوى 0 هو التسلسل كامل الدقة. كل مستوى لاحق $\ell$ يلخص $p$ من المدخلات المتتالية من المستوى $\ell-1$ .
ينتج هذا عن ثلاثيات متماسكة $(Q^{(\ell)}, K^{(\ell)}, V^{(\ell)})$ في كل مستوى، مما يضمن أن الاستعلامات والمفاتيح المجمعة تقع في نفس فضاء التمثيل.

ب. تسجيل النقاط والاختيار الخالي من المعلمات

يقوم مُحدد هرمي بترتيب مدخلات الهرم لتحديد الرموز (tokens) التي سيتم الانتباه إليها.

تسجيل النقاط (Scoring): تستخدم الطريقة دالة تسجيل نقاط خالية من المعلمات. لكل مدخل، تحسب القيمة المطلقة لـ $\ell_2$ لنواقل $Q$ و $K$ المسقطة. ترث المستويات الأقل دقة (الأكثر خشونة) الدرجات من المستويات الأكثر دقة عبر عملية "max-pooling"، مما يضمن أن النطاق الأقل دقة يحتفظ بأهمية أقوى رمز فيه.
الاختيار (Selection): تقوم نواة chunked-bitonic top-K مدمجة باختيار أعلى $K$ من المدخلات عبر جميع المستويات بشكل مشترك.
عدم القابلية للاشتقاق: خطوة اختيار top-K هي عملية منفصلة وغير قابلة للاشتقاق. لا تُستخدم طريقة "المقدر المباشر" (straight-through estimator) أو خسارة إضافية. تتدفق الاشتقاقات فقط عبر عمليات الجمع (gather)، و FlashAttention، وعمليات التشتت العكسي (scatter-back) إلى مصفوفات الإسقاط ( $W_Q, W_K, W_V$ ). وبناءً عليه، تتعلم عمليات الإسقاط إنتاج قيم تكون مفيدة عند اختيارها، بدلاً من تعلم التلاعب بالمُسجل (scorer).

ج. انتباه السلسلة الفرعية الكثيفة

يتم جمع المدخلات المختارة في سلسلة فرعية متصلة ومتسقة سببياً بطول $S \ll N$ .

الجمع (Gather): يتم ترتيب الثلاثيات المختارة طوبولوجياً لتشكيل تسلسل كثيف.
الانتباه (Attention): يتم تنفيذ FlashAttention (أو SDPA القياسي) على هذا التسلسل الفرعي. ولأن المدخلات كثيفة ومتصلة، لا يلزم وجود نواة متفرقة مخصصة.
التشتت العكسي (Scatter-Back): يقوم كيرنل تشتت حتمي بإعادة توزيع مخرجات الانتباه إلى مواقعها الأصلية في التسلسل الكامل.

د. وصفة التدريب ذات المرحلتين

لضمان احتفاظ النموذج بقدرات الانتباه الكاملة، يقترح المؤلفون نهج تدريب من مرحلتين:

المرحلة 1: التدريب المسبق لمعظم الوقت باستخدام انتباه "لايت هاوس".
المرحلة 2: استئناف التدريب باستخدام نفس نقطة الفحص (checkpoint) مع استخدام SDPA كثيف كامل لفترة قصيرة. تسمح هذه "مرحلة الاستعادة" للنموذج بتكييف أوزانه مع آلية الانتباه الكاملة دون البدء من الصفر.

3. المساهمات الرئيسية

الانتباه الهرمي المتماثل: تصميم مبتكر يقوم بتجميع $Q, K, V$ بشكل متماثل، مما يخلق تمثيلاً متعدد المقاييس حقيقياً بدلاً من مجرد ذاكرة مضغوطة، مع الحفاظ على السببية من اليسار إلى اليمين.
فك الارتباط بين النواة (Kernel Decoupling): من خلال وضع عملية الاختيار خارج مسار الانتباه، تستخدم الطريقة FlashAttention كثيف قياسي على تسلسل فرعي كثيف. وهذا يسمح بإعادة استخدام نوى الانتباه الكثيفة عالية التحسين ويبسط عملية الاشتقاق الخلفي.
صحة وقت التدريب: قدمت الورقة معياراً تجريبياً صارماً: يجب أن يطابق النموذج المدرب مسبقاً باستخدام "لايت هاوس" أو يتفوق على خط الأساس الكثيف (dense-from-scratch) بعد استئناف قصير لـ SDPA الكثيف. أثبت المؤلفون أن النماذج المدربة بـ "لايت هاوس" تحقق هذا المعيار، مما يثبت أن التدريب الهرمي لا "يفرغ" قدرة النموذج على استخدام الانتباه الكامل.
التنفيذ الفعال: يتيح استخدام chunked-bitonic top-K المدمج ونوى scatter-back مخصصة تدريباً فعالاً لأطوال سياق قصوى (تصل إلى مليون توكن) على وحدات معالجة رسومية من نوع Blackwell متعددة العقد.

4. النتائج التجريبية

أجرى المؤلفون تجارب باستخدام نموذج فك تشفير (decoder) من طراز Llama-3 بـ 530 مليون معلمة، تم تدريبه على مجموعة بيانات C4 بطول سياق قدره 98,304 توكن.

القابلية للاستعادة (Recoverability): حققت النماذج التي تم تدريبها مسبقاً باستخدام "لايت هاوس ثم استئناف التدريب باستخدام SDPA الكثيف لمدة 4,000 خطوة، خسارة تدريب نهائية أقل (0.6980–0.7102) مقارنة بخط الأساس الكثيف (0.7237) الذي تم تدريبه بنفس ميزانية التوكنات. وهذا يؤكد أن إشارة التدريب الهرمي لا تضعف قدرات الانتباه الكثيف للنموذج.
الإنتاجية والسرعة (Throughput and Speedup):
- حقق "لايت هاوس" ميزة إنتاجية بمقدار ضعفين (توكن/ثانية/GPU) خلال مرحلة التدريب المسبق مقارنة بـ SDPA الكثيف.
- إجمالاً، حققت وصفة المرحلتين تسريعاً في وقت الجدار (wall-clock speedup) يتراوح بين 1.40x إلى 1.69x مقارنة بالتدريب الكثيف من الصفر لنفس ميزانية التوكنات، مع خسارة مساوية أو أقل.
- عند طول سياق 512 ألف، كان "لايت هاوس" أسرع بـ 21 ضعفاً في عملية التمرير الأمامي (forward pass) و 17.3 ضعفاً في عملية التمرير الأمامي + الخلفي مقارنة بـ SDPA الكثيف.
التوسع (Scaling): نجحت الطريقة في التوسع إلى مليون توكن باستخدام 32 وحدة GPU من نوع Blackwell مع التوازي السياقي (context parallelism)، مع الحفاظ على ميزة السرعة فوق الخطوط الأساسية الكثيفة.
الدراسات الاستقصائية (Ablations):
- المُسجل (Scorer): أدى مُسجل $\ell_2$ الخالي من المعلمات أداءً مشابهاً لمُسجل dilated softmax الأكثر تكلفة، ولكنه كان أسرع بنسبة ~9%.
- المعلمات الفائقة (Hyperparameters): كانت عوامل التجميع الأصغر ( $p=2$ )، والهياكل الهرمية الأقل عمقاً ( $L=3$ )، وميزانيات top-K الأصغر ( $k=1536$ ) هي التي حققت أفضل توازن بين الخسارة والأداء بشكل عام.
الاسترجاع (Needle-in-a-Haystack): بعد استئناف SDPA الكثي، حققت النماذج المدربة بـ "لايت هاوس" معدلات استرجاع مماثلة أو أفضل من خط الأساس الكثيف (مثلاً، 0.76 مقابل 0.72 لمتوسط معدل الاسترجاع)، مما يثبت القدرة على الاحتفاظ بالسياق الطويل.

5. الأهمية والادعاءات

تزعم الورقة أن "لايت هاوس" يعالج العائق الأساسي للتدريب المسبق للسياق الطويل عن طريق تقليل تعقيد الانتباه من تربيعي إلى دون تربيعي (فعلياً خطي في $N$ بالنسبة لـ $K$ المحدود) مع الحفاظ على السلامة المعمارية لنماذج "ترانسفورمر" القياسية.

يؤكد المؤلفون أن طريقتهم هي للتدريب فقط؛ حيث يتم إزالة آلية الاختيار (أو بالأحرى الانتقال) إلى نموذج كثيف كامل للاستنتاج. وهذا يميز "لايت هاوس" عن أساليب التفرق المخصصة للاستنتاج فقط، والتي ترث "أرضية صحة" من هياكلها الكثيفة ولكنها لا تثبت أبداً أن عملية التدريب المتفرقة تنتج أوزاناً كثيفة كفؤة.

القيود التي أقر بها المؤلفون:

يفترض التجميع المتماثل أن جميع الاستعلامات تظهر معاً في تمريرة أمامية واحدة، وهو ما ينتهك أثناء التوليد التلقائي (autoregressive decoding). لذلك، تعتمد الطريقة على استئناف SDPA الكثيف لإنتاج نموذج جاهز للاستنتاج.
الانتباه الداخلي هو $\Theta(S^2 d)$ على التسلسل الفرعي المجموع. وبينما هو دون تربيعي بالنسبة لـ $N$ ، فإنه ليس خطياً تماماً إذا كان يجب أن تتوسع ميزانية الاختيار $K$ مع $N$ .
تتطلب الطវិធី حالياً وصفة تدريب من مرحلتين؛ لم يتم دمج هدف استنتاج متفرق أصيل (مثل DSA أو NSA) بعد، رغم أن المؤلفين يشيرون إلى ذلك كاتجاه مستقبلي.

باختصار، يوفر "لايت هاوس" مساراً لتدريب نماذج على سياقات تصل لمليون توكن بتكاليف حوسبة أقل بكثير، مع ضمان أن النموذج الناتج قادر تماماً على استخدام آليات الانتباه الكثيفة في وقت الاستنتاج.