ملخص تقني: عودة الانتباه الكامل بقوة: نقل الانتباه الكامل إلى انتباه متفرق خلال مئات خطوات التدريب

بيان المشكلة

يواجه الاستنتاج طويل السياق (Long-context inference) في النماذج اللغوية الكبيرة (LLMs) حاليًا عقبة تتمثل في التكاليف الحسابية والذاكرة التربيعية المرتبطة بآليات الانتباه الكامل. وبينما توجد بدائل فعالة حاليًا، إلا أنها تعتمد إما على التدريب المتفرق الأصيل (وهو أمر مكلف) أو استراتيجيات طرد الرموز (token eviction) القائمة على الاستدلال (والتي تخلق مقايضة بين الكفاءة، وتكلفة التدريب، والدقة). السؤال المركزي الذي تعالجه هذه الورقة هو ما إذا كانت نماذج الانتباه الكامل، المدربة بالفعل، تمتلك تفرقًا جوهريًا يمكن استغلاله لتحويلها إلى نماذج متفرقة للغاية مع حد أدنى من التكيف، وبالتالي تجنب التكاليف العالية للتدريب المسبق المتفرق الأصيل.

المنهجية: RTPurbo

يقترح المؤلفون RTPurbo، وهو إطار عمل للانتباه المتفرق على مستوى الرؤوس (head-wise sparse attention) مصمم لتحويل النماذج اللغوية الكبيرة ذات الانتباه الكامل إلى أنظمة استنتاج فعالة من خلال تكيف جراحي بسيط. وتستند هذه الطريقة إلى ثلاث ملاحظات أساسية ومكونات تقنية مقابلة:

1. تخصص الرؤوس والمعايرة غير المتزامنة (Offline Calibration)

يلاحظ المؤلفون أن رؤوس الانتباه في النماذج اللغوية الكبيرة المدربة مسبقًا ليست متجانسة؛ فهي تتخصص في أدوار وظيفية متميزة. وتحديدًا، فإن مجموعة فرعية صغيرة من الرؤوس (رؤوس الاسترجاع - retrieval heads) مسؤولة عن استرجاع المحتوى ذي الصلة دلاليًا والبعيد، بينما تقوم الأغلبية (الرؤوس المحلية - local heads) بمعالجة المعلومات المحلية بشكل أساسي.

• التنفيذ: يستخدم RTPurbo مرحلة معايرة غير متزامنة حيث يتم استخدام تسلسل خفيف الوزن يحتوي على "إبرة" (needle) مدرجة في البداية والنهاية لتسجيل درجات الرؤوس بناءً على قدرتها على استرجاع الإبرة السابقة من الإبرة اللاحقة.
• الإجراء: بناءً على هذه الدرجات، يتم تقسيم الرؤوس إلى مجموعة استرجاع ($H_{ret}$) ومجموعة محلية ($H_{loc}$). أثناء الاستنتاج، تستخدم الرؤوس المحلية نافذة منزلقة مع "بالوعات الانتباه" (attention sinks)، بينما تحتفظ رؤوس الاسترجاع بذاكرة الـ KV كاملة خلال مرحلة الملء المسبق (prefill phase) ولكنها تنتقل إلى اختيار متفرق دينامي أثناء عملية فك التشفير (decoding).

2. الفهرسة الرمزية منخفضة الأبعاد للاسترجاع

بالنسبة لرؤوس الاسترجاع، يكمن التحدي في تحديد الرموز ذات الصلة بكفاءة دون الحاجة إلى تسجيل درجات كاملة الأبعاد.

• الرؤية النظرية: يحلل المؤلفون تأثير تضمينات الموضع الدوارة (RoPE)، ويجدون أن المكونات عالية التردد تتغير بسرعة مع المسافة وتضعف التقارب بعيد المدى، في حين أن المكونات منخفضة التردد تحافظ على إشارات الاسترجاع.
• التنفيذ: يتم تطبيق مسقط منخفض الأبعاد ($r \ll d$، وتحديدًا 16 بُعدًا) على سمات الاستعلام (query) والمفتاح (key) قبل حقن الـ RoPE. يقوم هذا المسقط بتحويل الفضاء عالي الأبعاد إلى فضاء فرعي مضغوط حيث يتم تقدير الصلة. يسمح هذا الفهرس بالاختيار الفعال للرموز باستخدام أكثر من 90% من نسبة الاستدعاء (recall) باستخدام 16 بُعدًا فقط.

3. اختيار Top-p الدينامي مقابل Top-k الثابت

يجادل المؤلفون بأن ميزانية الرموز المطلوبة للاسترجاع تعتمد بقوة على الاستعلام. فبعض الاستعلامات تحفز استرجاعًا واسع النطاق (تتطلب العديد من الرموز)، بينما تكون أخرى مركزة للغاية (تتطلب عددًا قليلًا من الرموز).

• التنفيذ: بدلاً من ميزانية top-$k$ ثابتة، يستخدم RTPurbo محدد top-$p$ دينامي. يقوم بتجميع كتلة الانتباه في الفضاء منخفض الأبعاد حتى يتم الوصول إلى عتبة تراكمية $p$ (على سبيل المثال، 0.9). هذا يكيف مستوى التفرق مع تعقيد الاستعلام المحدد، مما يتجنب فقدان المعلومات في $k$ الصغيرة أو هدر الحوسبة في $k$ الكبيرة.

4. خط أنابيب تدريب ثنائي المراحل

لاستعادة أداء النموذج بعد جعل عملية الانتباه متفرقة، يستخدم RTPurbo عملية تدريب خفيفة الوزن مكونة من مرحلتين:

• المرحلة 1 (تدريب المسقط - Projection Training): يتم تجميد النموذج اللغوي الأساسي. يتم تدريب أوزان المسقط منخفض الأبعاد لرؤوس الاسترجاع المحددة فقط لتقليل تباعد KL (KL divergence) بين توزيع الانتباه الكامل الأصلي والتوزيع منخفض الأبعاد المسقط.
• المرحلة 2 (التقطير الذاتي - Self-Distillation): يعمل النموذج المتفرق كطالب يتعلم مطابقة تنبؤات الـ next-token للمعلم الكثيف. ومن المهم أن هذه المرحلة تستخدم التقطير الذاتي (محاذاة top-10 logits) بدلاً من الضبط الدقيق الخاضع للإشراف القياسي، مما يتجنب الحاجة إلى ضبط مزيج البيانات المعقد ويمنع الإفراط في التخصيص (overfitting). تتطلب هذه المرحلة مئات الخطوات التدريبية فقط (حوالي 1 مليون رمز تسمية).

5. نوى (Kernels) مدركة للأجهزة

قام المؤلفون بتنفيذ نوى GPU مخصصة للتعامل مع اختيار top-$p$ الدينامي بكفاءة. تستخدم هذه النوى نهجًا قائمًا على المدرج التكراري (histogram-based) خالٍ من الفرز لتحديد العتبة، بالإضافة إلى فك تشفير متفرق محسن لعرض النطاق الترددي لإدارة السياقات الطويلة دون أعباء ذاكرة مفرطة.

النتائج الرئيسية

أُجريت التجارب على وحدات NVIDIA H20 باستخدام نماذج Qwen3-Coder-30B-A3B وQwen3-30B-A3B-Think.

• الحفاظ على الدقة: يحقق RTPurbo دقة تقارب عدم الفقدان في اختبارات السياق الطويل (LongBench, RULER) ومهام الاستدلال (AIME, MMLU-PRO).
  • في اختبار RULER عند سياق 64K، يحقق RTPurbo (top-p) متوسط درجة قدره 90.06%، متفوقًا على جميع النماذج المرجعية المتفرقة (مثل Minference بنسبة 65.61%، وFlexPrefill بنسبة 77.77%) ويطابق نموذج الانتباه الكامل (86.23% عند 64K، مع ملاحظة أن النموذج المرجعي ينخفض بشكل كبير عند الأطوال الأكبر في بعض المهام، بينما يحافظ RTPurbo على دقة عالية).
  • في AIME24/25، يطابق RTPurbo نموذج الانتباه الكامل تمامًا (86.67).
• مكاسب الكفاءة:
  • تسريع الملء المسبق (Prefill Speedup): يقدم RTPurbo تسريعًا يصل إلى 9.36× عند طول سياق 1 مليون مقارنة بـ FlashAttention-2، مع زيادة التسريع خطيًا مع طول السياق (2.83× عند 32K).
  • تسريع فك التشفير (Decode Speedup): يحقق RTPurbo تسريعًا يصل إلى 2.01× في فك التشفير عند 1 مليون.
  • التفرق (Sparsity): يحقق الأسلوب تفرقًا عاليًا (يصل إلى 89.2% عند 64K وأكثر من 97% عند 512K) مع الحفاظ على كتلة انتباه عالية (>0.93).
• كفاءة التدريب: تتطلب عملية التكيف بأكملها مئات الخطوات التدريبية فقط (حوالي 1 مليون رمز تسمية)، مما يثبت أن التدريب المسبق المتفرق الأصيل ليس ضروريًا لعمل استنتاج متفرق فعال.

الأهمية والادعاءات

تدعي الورقة أن نماذج الانتباه الكامل هي بطبيعتها متفرقة ويمكن تحويلها إلى أنظمة استنتاج فعالة للغاية مع حد أدنى من التكيف. تكمن أهمية هذا العمل في عدة نقاط رئيسية:

1. إعادة تعريف مسار الكفاءة: يتحدى المؤلفون فكرة أن التدريب المسبق المتفرق الأصيل هو المسار الوحيد للاستنتاج الفعال طويل السياق. فهم يثبتون أن تدريب الانتباه الكامل القياسي يظل خيارًا تنافسيًا للغاية، حيث يمكن "تفريغ" النماذج الناتجة لاحقًا بتكلفة إضافية ضئيلة جدًا.
2. القابلية للتفسير والجراحة الدنيا: النهج قابل للتفسير للغاية، حيث يعتمد على التخصص الطبيعي للرؤوس (استرجاع مقابل محلي) والفضاءات الفرعية منخفضة الأبعاد. كما أنه يتجنب طبيعة "الصندوق الأسي" لطرد الرموات القائم على الاستدلال من خلال ترسيخ التفرق في أنماط الانتباه التي تعلمها النموذج.
3. التكيف الدينامي: من خلال الانتقال من قيود top-$k$ الثابتة إلى اختيار top-$p$ الدينامي، يتعامل RTPurbo بفعالية مع التعقيد المتفاوت للاستعلامات المختلفة، وهو قصور حدده المؤلفون في النهج ذات الميزانية الثابتة.
4. الواقعية: إن القدرة على تحقيق دقة تقارب عدم الفقدان مع مئات الخطوات التدريبية فقط ونوى أجهزة خفيفة الوزن تشير إلى أن هذا النموذج قابل للتطبيق الفوري على النماذج الحالية واسعة النطاق دون التكاليف الباهظة لإعادة التدريب من الصفر.

باختصار، يوفر RTPurbo طريقة عملية، فعالة، ومؤسسة نظريًا لإطلاق إمكانات الاستنتاج المتفرق المتأصلة في النماذج اللغوية الكبيرة ذات الانتباه الكامل القياسية.