💬 NLP

Prism: Spectral-Aware Block-Sparse Attention

يُعد Prism آلية انتباه ذات تخلخل كتلوي (block-sparse) لا تتطلب تدريباً، ويحقق تسريعاً يصل إلى 5.1 ضعفاً عبر استخدام نهج مدرك للطيف لتصحيح فقدان المعلومات الموضعية الناتجة عن التجميع المتوسط (mean pooling) في تضمينات الموضع الدوارة (RoPE).

المؤلفون الأصليون: Xinghao Wang, Pengyu Wang, Xiaoran Liu, Fangxu Liu, Jason Chu, Kai Song, Xipeng Qiu

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinghao Wang, Pengyu Wang, Xiaoran Liu, Fangxu Liu, Jason Chu, Kai Song, Xipeng Qiu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول الاستماع إلى عرض أوركسترالي ضخم مدته ساعة كاملة عبر راديو قديم جداً ومكتوم الصوت. تريد أن تعرف أي الموسيقيين يعزفون الأجزاء الأكثر أهمية حتى تتمكن من تركيز انتباهك عليهم.

هذه الورقة البحثية، Prism، تحل مشكلة محددة في كيفية "استماع" الذكاء الاصطناعي (AI) إلى كميات هائلة من المعلومات (مثل الكتب الكاملة أو الفيديوهات الطويلة).

المشكلة: تأثير "الراديو المكتوم"

عندما تعالج نماذج الذكاء الاصطناعي كميات ضخمة من النصوص، فإنها تستخدم آلية تسمى "الانتباه" (Attention). ولتوفير الوقت والطاقة، يحاول المهندسون استخدام طريق مختصر: بدلاً من الاستماع إلى كل "نوتة" (رمز/token) بشكل فردي، يقومون بتجميعها في "كتل" والاستماع إلى متوسط كل كتلة. وهذا ما يسمى "التجميع المتوسط" (Mean Pooling).

المشكلة هي؟ إن الطريقة التي يتعامل بها الذكاء الاصطناعي مع المواقع (أين توجد الكلمة في الجملة) تشبه اللحن عالي النبرة. عندما تقوم بـ "متوسط" كتلة من النوتات لتوف old الوقت، فإن تلك الألحان عالية النبرة والسريعة الحركة تتلاشى.

المجاز: تخيل عازف طبول يعزف إيقاعاً سريعاً ومعقداً للغاية. إذا حاولت وصف هذا الإيقاع عن طريق أخذ "متوسط" صوت الطبل فقط على مدار 10 ثوانٍ، فستختفي الضربات السريعة، ولن تسمع سوى همهمة منخفضة وثابتة. لقد فقدت "الإيقاع" (السياق المحلي) الذي يخبرك بالضبط بما يحدث. في مصطلحات الذكاء الاصطناعي، يصبح النموذج "أعمى" عن التفاصيل الدقيقة لكيفية ارتباط الكلمات بجيرانها المباشرين.

ولأن الذكاء الاصطناعي يصبح "أصم" عن هذه التفاصيل، فإنه يضطر للعمل بجهد أكبر — باستخدام طرق مكلفة وبطيئة — لمحاولة العثور على الأجزاء المهمة مرة أخرى.

الحل: Prism (الأذن الطيفية)

ابتكر الباحثون Prim (Prism). فبدلاً من مجرد الاستماع إلى "المتوسط المكتوم"، يستخدم Prism نظاماً ذكياً ذا مسارين لسماع كل شيء بوضوح.

1. الاستماع ثنائي المسار (الأفرع العالية والمنخفضة)
بدلاً من قناة واحدة ضبابية، يقسم Prism الصوت إلى مسارين متخصصين:

مسار الباص (التردد المنخفض): يلتقط الحركات الكبيرة والبطيئة — "القصة" العامة أو "المعنى" للنص.
مسار التريبل (التردد العالي): يلتقط التفاصيل السريعة والحادة — "الإيقاع" والمواقع الدقيقة للكلمات.

2. مفتاح التحكم في الصوت (المعايرة القائمة على الطاقة)
بما أن مسار "التريبل" يبدو بطبيعته أخفت صوتاً بعد تجميعه في كتل (بسبب تأثير "الكتم" الذي ناقشناه)، يستخدم Prism "مفتاح تحكم في الصوت" رياضياً ذكياً. فهو يكتشف تلقائياً مقدار تلاشي الإشارات عالية النبرة ويعيد رفع مستواها إلى المستوى الصحيح.

لماذا يهم هذا؟ (النتيجة)

قبل Prism، إذا كنت تريد للذكاء الاصطناعي أن يكون سريعاً، كان عليك جعله "غبياً" (سيفقد تتبع التفاصيل). وإذا كنت تريده أن يكون "ذكياً"، فسيصبح بطيئاً للغاية.

Prism يكسر هذه المقايضة:

إنه سريع للغاية: يمكنه تسريع عملية "تفكير" الذكاء الاصطناعي بمقدار يصل إلى 5 أضعاف عند قراءة المستندات الطويلة جداً (128,000 رمز/token).
إنه دقيق للغاية: لا يفقد "خيط القصة". يظل ذكياً تماماً مثل النسخة كاملة السرعة، حتى عندما يعمل في وضع "الطريق المختصر" السريع.

باختصار: يمنح Prism الذكاء الاصطناعي سماعات رأس عالية الدقة، مما يسم يسمح له بتخطي الأجزاء المملة من محادثة طويلة دون أن يفوت أي نبضة من التفاصيل المهمة.

ملخص تقني: Prism: الانتباه ذو التباعد الكتلي الواعي طيفياً

Prism هو إطار عمل خالٍ من التدريب (training-free) مصمم لتسريع مرحلة الملء المسبق (pre-filling phase) للنماذج اللغوية الكبيرة (LLMs) عند معالجة السياقات الطويلة. وهو يعالج عدم الكفاءة الجوهري في طرق "الانتباه ذو التباعد الكتلي" (block-sparse attention) الحالية، حيث غالباً ما تلغي التكاليف الإضافية (overhead) الناتلة عن تحديد الكتل ذات الصلة المدخرات الحسابية المكتسبة من التباعد (sparsity).

1. المشكلة: "النقطة العمياء الطيفية"

لتجنب التكلفة التربيعية للانتباه الكامل، تستخدم العديد من الطرق الانتباه ذو التباعد الكتلي (block-sparse attention)، والذي يحسب فقط مجموعة فرعية من كتل الانتباه. ولتحديد الكتل التي يجب حسابها، تستخدم هذه الطرق عادةً التجميع المتوسط (mean pooling) كوكيل خشن الحبيبات لتقدير أهمية الكتلة.

حدد المؤلفون خللاً نظرياً في هذا النهج: يعمل التجميع المتوسط كمرشح تمرير منخفض (low-pass filter) عند تفاعله مع تضمينات الموضع الدوارة (RoPE).

التداخل الهدام: تقوم RoPE بتشفير المعلومات الموضعية من خلال دورات عالية التردد في أبعاد معينة. عندما يتم تجميع التوكنات (tokens) داخل كتلة ما عبر المتوسط، تؤدي هذه الدورات السريعة إلى إلغاء المتجهات لبعضها البعض (التداخل الهدام).
النقطة العمياء: هذه الظاهرة الرياضية تخلق "منطقة ميتة" في الأبعاد عالية التردد حيث ينهار مقدار الإشارة إلى الصفر تقريباً. وبناءً على ذلك، يصبح الانتباه التقليدي خشن الحبيبات "أعمى" عن الأنماط الموضعية دقيقة التفاصيل (مثل أنماط "الميل" أو "الرأسي")، مما يجبر الطرق الحالية على استخدام بحث مكلف على مستوى التوكن لاستعادة الدقة.

2. المنهجية: فك الارتباط الطيفي والمعايرة

يحل Prism هذه المشكلة من خلال التعامل مع التضمين ليس كمتجه واحد، بل كطيف من المعلومات. تتكون المنهجية من مكونين أساسيين:

أ. تقدير أهمية الكتلة ثنائي النطاق (Dual-Band Block Importance Estimation)
بدلاً من تجميع التضمين بالكامل، يقسم Prism آلية الانتباه إلى فرعين متوازيين:

فرع التردد العالي ( $d_{high}$ ): يعزل خصيصاً الأبعاد التي تشفر المواضع النسبية دقيقة التفاصيل.
فرع التردد المنخفض ( $d_{low}$ ): يعزل الأبعاد التي تلتقط التبعيات الدلالية العالمية.
من خلال معالجة كل منهما بشكل منفصل، يمنع إطار العمل "الوزن الزائد" للإشارات عالية التردد الموهنة من تخفيف الإشارات الدلالية القوية.

ب. معايرة درجة الحرارة القائمة على الطاقة (Energy-Based Temperature Calibration)
بما أن فرع التردد العالي يعاني من وهن الإشارة (كما ثبت في تحليلهم الطيفي)، فإن قيم الـ (dot-product logits) الخاصة به تكون بطبيعتها أصغر بكما من لوجيتات التردد المنخفض. لضمان مساهمة كلا الفرعين بشكل فعال في الاختيار النهائي، يقدم Prism صيغة معايرة خالية من التدريب. فهو يستخدم جذر متوسط مربع (RMS) لتمثيلات التجميع لاستخلاص عوامل قياس درجة الحرارة الخاصة بكل فرع ( $\tau_{high}$ و $\tau_{low}$ ). هذا يعيد مقادير الـ (logit) إلى مقياس قابل للمقارنة، مما يسمح باختيار دقيق بنظام Top-P.

3. المساهمات الرئيسية

الرؤية النظرية: أثبت أن التجميع المتوسط تحت نظام RoPE يؤدي إلى وهن طيفي، مما يخلق "نقطة عمياء" للمعلومات الموضعية المحلية.
إطار عمل Prism: آلية تسجيل ثنائية النطاق خالية من التدريب تستخدم عمليات على مستوى الكتلة فقط (لتجنب عمليات التحقق المكلفة على مستوى التوكن).
المعايرة التلقائية: طريقة مبتكرة لمحاذاة كثافة الطاقة الطيفية باستخدام معايير RMS، مما يلغي الحاجة إلى الضبط اليدوي للمعلمات الفائقة (hyperparameters).

4. النتائج والأداء

قيم المؤلفون Prism عبر نماذج لغوية (PG19)، وفهم السياق الطويل (LongBench)، والاسترجاع (RULER)، وفهم الفيديو (VideoMME/LongVideoBench).

الدقة: يحافظ Prism على تساوي الدقة مع الانتباه الكامل. وفي بعض الحالات (مثل LongBench)، يتفوق قليلاً على الانتباه الكامل من خلال "إزالة الضجيج" بفعالية من السياق عبر الاختيار المتباعد.
السرعة: يحقق Prism تسريعاً يصل إلى 5.1 ضعفاً عند طول تسلسل يبلغ 128 ألف توكن مقارنة بـ FlashAttention-2.
الكفاءة: على عكس الطرق السابقة (MInference, FlexPrefill, XAttention) التي تعاني من ارتفاع تكاليف الاختيار بسبب العمليات على مستوى التوكن، فإن تقدير Prism يعتمد كلياً على مستوى الكتلة، مما يؤدي إلى زمن انتقال (latency) واستهلاك ذاكرة أقل بكثير.
التعميم: يعمل بفعالية عبر مختلف متغيرات RoPE (بما في ذلك YaYa و M-RoPE) والنماذج متعددة الوسائط (Qwen3-VL).

5. الأهمية

يمثل Prism خطوة كبيرة للأمام في جعل النماذج اللغوية الكبيرة ذات السياق الطويل عملية للنشر في العالم الحقيقي. ومن خلال الانتقال من مطابقة الأنماط القائمة على الاستدلال (heuristics) إلى نهج طيفي قائم على أسس رياضية، فإنه يكسر المقايضة بين التباعد (sparsity) والدقة. إنه يوفر طريقة قابلة للتوسع، وفعالة، وخالية من التدريب للتعامل مع التسلسلات الضخمة (128K+) دون التكاليف الحسابية الباهظة للانتباه الكامل.