💻 computer science

PISA: Piecewise Sparse Attention Is Wiser for Efficient Diffusion Transformers

تقدم هذه الورقة البحثية PISA، وهي آلية انتباه متقطعة شحيحة (Piecewise Sparse Attention) لا تتطلب تدريباً، تحقق تعقيداً دون التربيع في نماذج محولات الانتشار (Diffusion Transformers) عبر تقريب الكتل غير الحرجة باستخدام مفكوك تايلور على مستوى الكتل بدلاً من التخلص منها، مما يوفر تسريعاً كبيراً مع الحفاظ على جودة توليد عالية.

المؤلفون الأصليون: Haopeng Li, Shitong Shao, Wenliang Zhong, Zikai Zhou, Lichen Bai, Hui Xiong, Zeke Xie

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haopeng Li, Shitong Shao, Wenliang Zhong, Zikai Zhou, Lichen Bai, Hui Xiong, Zeke Xie

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول رسم جدارية ضخمة وشديدة التفاصيل (مثل فيديو أو صورة عالية الدقة) باستخدام فريق من الفنانين. في عالم الذكاء الاصطعي، هذا "الفريق" هو محول الانتشار (Diffusion Transformer)، وتتضمن عملية "الرسم" النظر إلى كل ضربة فرشاة (token) لتحديد ما يجب أن تكون عليه الضربة التالية.

المشكلة؟ الطريقة التي تعمل بها فرق الذكاء الاصطناعي هذه حالياً تشبه قاعدة صارمة: "انظر إلى كل ضربة فرشاة أخرى في الجدارية بأكملها لتقرر حركتك التالية". ومع كبر حجم الجدارية (دقة أعلى أو فيديوهات أطول)، يصبح هذا الأمر مستحيلاً؛ حيث يشعر الفنانون بالإرهاق، وتتباطأ العملية بشكل كبير، وتنفد طاقة الحاسوب. هذا هو "عنق زجاجة التعقيد التربيعي" المذكور في الورقة البحثية.

لحل هذه المشكلة، حاولت الطرق السابقة استخدام استراتيجية "الإبقاء أو الحذف". حيث قالوا: "حسناً، دعونا نتجاهل 80% من ضربات الفرشاة وننظر فقط إلى الـ 20% الأكثر أهمية".

العيب: الأمر يشبه محاولة رسم وجه ولكن مع تجاهل العينين والفم لأنهم لم يكونوا في قائمة "أهم 20%" الخاصة بك. النتيجة غالباً ما تكون ضبابية، أو مليئة بالخلل، أو تفتقر إلى التفاصيل الجوهرية.

الفكرة الجديدة: PISA (الانتباه المتجزئ ذو الندرة - Piecewise Sparse Attention)

يقترح مؤلفو هذه الورقة طريقة أذكى تسمى PISA. بدلاً من مجرد تجاهل الأجزاء "غير المهمة"، تعامل PISA الجدارية كأنها أحجية مجزأة (piecewise puzzle).

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. استراتيجية "الدقيق مقابل التقريبي"

تخيل أنك طاهٍ يعد حساءً ضخماً لجمهور كبير.

الطريقة القديمة (الانتباه الكثيف - Dense Attention): أنت تتذوق كل ملعقة من الحساء للحصول على النكهة المثالية. هذا دقيق ولكنه يستغرق وقتاً طويلاً جداً.
طريقة "الحذف" (الانتباه المتفرق القياسي - Standard Sparse Attention): أنت تتذوق أول 20% فقط من الحساء وتتجاهل الباقي. النتيجة هي أن طعم الحساء سيكون غريباً لأنك افتقدت الملح الموجود في الخلف.
طريقة PISA:
- الكتل الحرجة (الجزء "الدقيق"): أنت تحدد المكونات الأكثر أهمية (مثل التوابل الرئيسية أو اللحم). وتتذوق هذه المكونات بدقة وعناية.
- الكتل غير الحرجة (الجزء "التقريبي"): بالنسبة لبقية الحساء (الماء، المرق، الخضروات)، لست بحاجة لتذوق كل قطرة منه. بدلاً من ذلك، تستخدم اختصاراً رياضياً (توسيع تايلور - Taylor expansion) لتقدير النكهة بناءً على متوسط طعم ذلك القسم.

2. لماذا تعد هذه الطريقة "أكثر حكمة"؟

اكتشف المؤلفون شيئاً مذهلاً: الأجزاء "غير المهمة" من انتباه الذكاء الاصطناعي (الكتل غير الحرجة) هي في الواقع قابلة للتنبؤ للغاية. فهي تتبع نمطاً سلساً وهادئاً.

ولأنها قابلة للتنبؤ، فأنت لست بحاجة للتخلص منها. يمكنك تقديرها بسرعة كبيرة دون فقدان "نكهة" الصورة النهائية.
الأمر يشبه تقدير درجة حرارة غرفة كبيرة عن طريق قياس متوسط درجة الحرارة في الزوايا، بدلاً من قياس كل بوصة من الهواء.

3. النتيجة: السرعة دون تضحية

من خلال الجمع بين الحسابات الدقيقة للأجزاء المهمة والتقديرات الذكية للبقية، تحقق PISA أمرين:

السرعة: تعمل أسرع بـ 2 إلى 2.5 مرة من أفضل الطرق الحالية. في اختبارات الورقة البحثية، الفيديو الذي كان يستغرق 26 دقيقة لإنتاجه، أصبح يستغرق الآن حوالي 11 دقيقة فقط.
الجودة: الصور والفيديوهات تبدو بجودة مماثلة للنسخة "المثالية" البطيئة. بل في الواقع، أنتجت PISA نتائج أفضل من الطرق "السريعة" الأخرى التي تكتفي بمجرد حذف المعلومات.

"السحر" الكامن وراء الكواليس

تذكر الورقة البحثية بعض الحيل التقنية التي تجعل هذا ممكناً دون الحاجة لإعادة تدريب الذكاء الاصطناعي:

لا حاجة لإعادة التدريب: لأن PISA تحاكي الطريقة "المثالية" الأصلية في التفكير بشكل وثيق جداً، يمكنك دمجها في نماذج الذكاء الاصطناعي الحالية (مثل Wan2.1 أو FLUX.1) وستعمل ببساطة. لا تحتاج لتعليم الذكاء الاصطناعي لغة جديدة.
النواة الهجينة (The Hybrid Kernel): قام المؤلفون ببناء برنامج حاسوبي مخصص (kernel) ينتقل بين "التذوق الدقيق" و"التقدير" بشكل فوري، بحيث لا يرتبك الحاسوب أو يتباطأ.

الملخص

فكر في PISA كأنها مدير ذكي لاستوديو فنون يعمل بالذكاء الاصطناعي.

المدراء القدامى: "تجاهلوا 80% من العمل!" (النتيجة: فن سيء).
مدير PISA: "ركزوا 100% من الجهد على التفاصيل التي تهم، واستخدموا تخميناً سريعاً وذكياً للضجيج في الخلفية." (النتيجة: فن سريع وعالي الجودة).

تثبت الورقة البحثية أن هذا "التخمين" ليس اختصاراً كسولاً؛ بل هو طريقة سليمة رياضياً لتوفير الوقت مع الحفاظ على سلامة التحفة الفنية.

ملخص تقني: PISA - الانتباه المتفرق الجزئي لزيادة كفاءة محولات الانتشار (Diffusion Transformers)

1. بيان المشكلة

أصبحت محولات الانتشار (DiT) هي المعيار القياسي لتوليد الصور والفيديوهات عالية الدقة. ومع ذلك، فإن قابليتها للتوسع تواجه عائقاً يتمثل في التعقيد التربيعي ( $O(L^2)$ ) لآلية الانتباه الذاتي (self-attention) مع زيادة أطوال تسلسل المدخلات ( $L$ ) للوصول إلى دقات أعلى أو فيديوهات أطول.

تواجه الحلول الحالية قيوداً كبيرة:

الانتباه المتفرق ("الإبقاء أو الإسقاط"): الطرق التي تتخلص من كتل المفاتيح والقيم (KV blocks) غير الحرجة تسرع الحسابات ولكنها تعاني من تدهور الأداء عند نسب التفرق العالية بسبب فقدان السياق. كما أنها تواجه صعوبة في التسلسلات القصيرة حيث تفوق تكلفة عملية الاختيار الفوائد المحققة.
الانتباه الخطي/الهجين: النهج التي تغير توزيع الانتباه (على سبيل المثال، عبر خرائط الميزات أو الجمع الإضافي بين فروع متفرقة أو خطية) غالباً ما تخل بالمعايرة الجوهرية للنماذج سابقة التدريب. وهذا يستلزم إعادة تدريب أو ضبط دقيق مكلف، مما يمنع إعادة الاستخدام المباشر للأوزان سابقة التدريب.
القطع القاسي (Hard Truncation): يؤدي إسقاط الكتل مباشرة إلى انحرافات حادة عن توزيع الانتباه الأصلي، مما يسبب فقدان الجودة في المحتوى المولد.

التحدي الجوهري هو تصميم آلية تسرع الاستنتاج بتعقيد أقل من التربيعي مع الحفاظ على دقة الانتباه الكامل والتوافق مع الأوزان سابقة التدريب دون الحاجة لإعادة التدريب.

2. المنهجية: الانتباه المتفرق الجزئي (PISA)

يقدم PISA نموذجاً جديداً يعتمد على مبدأ "الدقة أو التقريب" (exact-or-approximate)، متجاوزاً استراتيجية "الإبقاء أو الإسقاط" التقليدية. فهو يعامل الانتباه كعملية جزئية تغطي نطاق الانتباه الكامل بتعقيد أقل من التربيعي.

الرؤى الرئيسية

قام المؤلفون بتحليل محولات الانتشار (DiT) سابقة التدريب واكتشفوا خاصيتين حرجتين:

الاستقرار التوزيعي: تُظهر درجات ما قبل الـ softmax للكتل غير الحرجة (غير الحرجة) توزيعاً متماثلاً يشبه الجرس ممركزاً حول الصفر أو القيم السالبة. وهذا يجعلها قابلة للتقريب بدقة عالية عبر مفكوك تايلور (Taylor expansion)، بدلاً من الحاجة إلى حساب دقيق أو إسقاطها تماماً.
اتساق المعايرة (Normalization Consistency): للحفاظ على التوافق مع النماذج سابقة التدريب دون إعادة تدريب، يجب دمج التقريبات داخلياً ضمن بسط ومقام الـ softmax، بدلاً من مجرد إضافة مخرجات من فروع مختلفة (مما ينتهك قواعد المجموع الموزون).

الخوارزمية الأساسية

يقسم PISA كتل الـ KV إلى مجموعتين:

الكتل الحرجة ( $S_i$ ): تُحسب بدقة للحفاظ على المعلومات عالية الأهمية.
الكتل غير الحرجة ( $U_i$ ): تُقرب بكفاءة باستخدام مفكوك تايلور على مستوى الكتلة.

يتم اشتقاق المخرج $o_t$ عن طريق معايرة تجميع القيم الموزونة:
$o_t = \frac{N_t}{D_t}$

حيث يتكون المقام ( $D_t$ ) والبسط ( $N_t$ ) من:

حدود التفرق الدقيقة: تُحسب للكتل المختارة $j \in S_i$ .
التقريب من الدرجة الصفرية على مستوى الكتلة: بالنسبة للكتل غير المختارة، يتم تقريب المساهمة باستخدام مركز الكتلة $\bar{k}_j$ ومجموع القيم.
التصحيح العالمي من الدرجة الأولى: بدلاً من حساب حد درجة أولى متميز لكل كتلة غير مختارة (مما يستهلك الذاكرة)، يستخدم PISA تقريباً هجيناً من الدرجة؛ حيث يستخدم إحصائية عالمية $\bar{H}$ (متوسط مصفوفات الدرجة الأولى لكل كتلة عبر جميع الكتل) لتقريب تدرج الدرجة الأولى لمجموعة الذيل بأكملها.

تصبح صيغة البسط $N_t$ كالتالي:
$N_t = \sum_{j \in S_i} \sum_{n} e^{q_t k_{j,n}^\top} v_{j,n} + \sum_{j \in U_i} \alpha_{t,j} \left(\sum_{n} v_{j,n}\right) + q_t \bar{H} \sum_{j \in U_i} \alpha_{t,j}$
حيث أن $\alpha_{t,j} = \exp(q_t \bar{k}_j^\top)$ .

التوجيه المدرك للتباين (Covariance-Aware Routing)

لتقليل خطأ التقريب، يستخدم PISA استراتيجية Top-k المدركة للتباين. تتضمن درجة الاختيار للكتلة ليس فقط درجة الانتباه، بل أيضاً معيار مصفوفة التباين للكتلة ( $M_j = \|H_j - \bar{H}\|_2$ ). يتم اختيار الكتل ذات الصلة الدلالية العالية أو التباين العالي للحساب الدقيق، بينما تُوكل الكتل الأكثر سلاسة إلى تقريب تايلور.

التنفيذ العتادي (Hardware Implementation)

يتم تنفيذ PISA عبر نواة مدمجة (fused kernel) تدمج الحساب الدقيق والمسح التقريبي ضمن عملية الـ softmax عبر الإنترنت (بأسلوب FlashAttention). تتضمن العملية:

الحساب المسبق: حساب مراكز الكتل، ومجموع القيم، والإحصائية العالمية $\bar{H}$ .
المرحلة الأولى (الدقيقة): تحميل الكتل المختارة في ذاكرة SRAM للحصول على انتباه دقيق.
المرحلة الثانية (التقريب): مسح ناقلات الكتل المجمعة للكتل غير المختارة باستخدام توسع الدرجة الصفرية.
المرحلة الثالثة (التصحيح): حقن حد التصحيح العالمي من الدرجة الأولى.

يضمن هذا التصميم أن الطريقة فعالة من حيث الذاكرة وتتجنب الاختناقات المرتبطة بتحميل مصفوفات متميزة لكل كتلة.

3. المساهمات الرئيسية

انتباه متفرق جزئي مبتكر: آلية لا تتطلب إعادة تدريب تمكن من تغطية كامل نطاق الانتباه بتعقيد أقل من التربيعي عبر توحيد الحساب المتفرق الدقيق والتقريب على مستوى الكتلة.
مخطط تقريب هجين من الدرجة: استراتيجية تجمع بين توسع الدرجة الصفرية على مستوى الكتلة وتصحيح الدرجة الأولى العالمي. هذا يعزز الدقة بشكل كبير مع تكلفة حسابية ضئيلة مقارنة بالانتباه المتفرق القياسي.
توجيه مدرك للتباين: اشتقاق من تحليل الخطأ يقلل من تباعد التقريب عبر اختيار الكتل بناءً على درجات الانتباه ومعايير تباين الكتلة.
أداء رائد (State-of-the-Art): أظهر كفاءة وجودة فائقة عبر مهام متنوعة (توليد الفيديو والصور) دون الحاجة لإعادة التدريب.

4. النتائج التجريبية

قيم المؤلفون PISA على نماذج توليد الفيديو (Wan2.1-1.3B/14B, Hunyuan-Video) ونماذج توليد الصور (SD 3.5, FLUX.1).

توليد الفيديو:
- Wan2.1-14B: حقق تسريعًا بمقدار 1.91× مقارنة بالانتباه الكثيف (1468 ثانية $\leftarrow$ 818 ثانية) عند تفرق بنسبة 87.5%، مع الحفاظ على الجودة أو تحسينها قليلاً في مقاييس الجودة (VBench, PSNR, SSIM) مقارنة بالانتباه الكثيف.
- Hunyuan-Video: حقق تسريعًا بمقدار 2.57× (1651 ثانية $\leftarrow$ 641 ثانية) مع الحفاظ المستمر على الجودة.
- المقارنة: تفوق على طرق التفرق الحالية مثل SpargeAttn و SVG2 في كل من السرعة والجودة، خاصة في الحفاظ على التفاصيل الدقيقة والاتساق الزمني.
توليد الصور:
- FLUX.1-dev: حقق تسريعًا بمقدار 1.2× (8.32 ثانية $\leftarrow$ 6.87 ثانية) عند تفرق بنسبة 85%. والجدير بالذكر أن PISA حقق درجات أعلى في مقاييس التفضيل البشري (ImageReward, HPSv2) ومقاييس التشابه (PSNR, SSIM) مقارنة بكل من الانتباه الكثيف و SpargeAttn.
- SD 3.5: أظهر تسريعات كبيرة (مثلاً 1.4× على SD 3.5-M) مع الحفاظ على درجات FID مماثلة أو أفضل من الانتباه الكثيف.
كفاءة النواة (Kernel Efficiency):
- تفوق PISA باستمرار على FlashAttention-2/3 و SpargeAttn من حيث زمن الاستجابة (latency) عبر مختلف أطوال التسلسل (4K إلى 32K) والكثافات.
- على عكس SpargeAttn، الذي يتراجع أداؤه في التسلسلات القصيرة، حافظ PISA على مزايا السرعة حتى عند 4K توكن.

5. الأهمية والادعاءات

يزعم البحث أن PISA يمثل تحولاً جذرياً من استراتيجية "الإبقاء أو الإسقاط" إلى "الدقة أو التقريب". وتكمن أهميته الأساسية في:

سد الفجوة بين السرعة والجودة: فهو يسد بفعالية الفجوة بين سرعة الاستنتاج وجودة التوليد، محققاً تقريباً يكاد يكون خالياً من الفقد مع تكلفة إضافية ضئيلة.
التوافق دون إعادة تدريب: من خلال دمج التقريبات مباشرة في إطار معايرة الـ softmax، يسمح PISA بإعادة استخدام الأوزان سابقة التدريب مباشرة، مما يلغي الحاجة إلى إعادة التدريب المكلفة أو الضبط الدقيق المطلوبة لطرق الانتباه الخطي أو الهجين.
القابلية للتوسع: يوفر حلاً موحداً لكل من توليد الصور عالية الدقة وتوليد الفيديوهات طويلة المدة، معالِجاً مشكلة التعقيد التربيعي دون التضحية بدقة المحتوى المولد.

يؤكد المؤلفون أن طريقتهم هي الأولى التي تدمج بشكل أصيل توسع تايلور على مستوى الكتلة والانتباه المتفرق في إطار موحد يحافظ على التوزيع الجوهري للنماذج سابقة التدريب.