🤖 machine learning

Parallax: Parameterized Local Linear Attention for Language Modeling

تقدم الورقة البحثية Parallax، وهو آلية انتباه خطي محلي (Local Linear Attention) مُعلمة، قابلة للتوسع ومستقرة عددياً، تحقق تحسينات باريتو في نمذجة اللغة من خلال القضاء على اختناقات الحوسبة في الـ LLA، وتحسين كفاءة الأجهزة، وإظهار تآزر مبتكر مع مُحسّن Muon.

المؤلفون الأصليون: Yifei Zuo, Dhruv Pai, Zhichen Zeng, Alec Dewulf, Shuming Hu, Zhaoran Wang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yifei Zuo, Dhruv Pai, Zhichen Zeng, Alec Dewulf, Shuming Hu, Zhaoran Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تذكر قصة سمعتها للتو. في عالم النماذج اللغوية الكبيرة (LLMs)، الجزء من الدماغ المسؤول عن هذه الذاكرة يسمى الانتباه (Attention). لسنوات، كانت الطريقة القياسية لعمل هذا الانتباه تشبه النظر إلى قائمة كلمات وإعطاء كل واحدة منها "درجة صلة" بناءً على مدى بروزها. إذا كانت الكلمة مختلفة جداً، تحصل على درجة عالية؛ وإذا كانت مملة، تحصل على درجة منخفضة. وهذا ما يسمى انتباه "سوفت ماكس" (Softmax Attention).

ومع ذلك، فإن هذه الطريقة بها عيب: فهي تشبه النظر إلى خريطة ورؤية التضاريس المسطحة والمتوسطة فقط، بينما تغفل عن المنحدرات والمنحنيات. فكرة أحدث تسمى الانتباه الخطي المحلي (Local Linear Attention - LLA) حاولت إصلاح ذلك من خلال النظر إلى "ميل" البيانات، وليس فقط المتوسط المسطح. الأمر يشبه إدراك أنك لكي تتوقع مسار تدحرج كرة، لا تحتاج فقط لمعرفة مكانها، بل يجب أن تعرف أيضاً مدى انحدار التل.

المشكلة؟ الرياضيات الخاصة بطريقة "الميل" هذه كانت ثقيلة وغير مستقرة للغاية بحيث يصعب استخدامها في نماذج الذكاء الاصط الضخمة في الواقع. كان الأمر يشبه محاولة قيادة سيارة فورمولا 1 على طريق ترابي؛ المحرك كان قوياً جداً بالنسبة للتضاريس.

هنا يأتي دور بارالاكس (Parallax).

ما هو بارالاكس؟

بارالاكس هو نسخة مبسطة وانسيابية من طريقة "الميل" تلك. لقد أخذ المؤلفون الرياضيات المعقدة والثقيلة للفكرة الأصلية واستبدلوا الأجزاء الصعبة بـ "اختصار" ذكي وقابل للتعلم.

فكر في الأمر بهذه الطريقة:

الطريقة القديمة (Softmax): تسأل أميناً للمكتبة: "أي كتاب هو الأكثر صلة؟" فينظر الأمين إلى العناوين ويختار العنوان الذي يبدو الأكثر اختلافاً.
طريقة "الميل" (LLA): يدرك أمين المكتبة أن الصلة لا تتعلق بالعنوان فحداً؛ بل بكيفية "تغير" العناوين حول العنوان الذي تبحث عنه. لكن حساب هذا التغيير يتطلب حاسوباً خارقاً لكل كلمة على حدة.
بارالاكس: يتعلم أمين المكتبة خدعة خاصة. بدلاً من القيام بالرياضيات الثقيلة في كل مرة، يحمل معه مفكرة صغيرة وذكية (مسقط ضوئي متعلم - learned projector) تخمن "الميل" فوراً بناءً على السياق. إنه سريع، مستقر، ودقيق بشكل مدهش.

المكون "السحري": المُحسِّن (The Optimizer)

أحد أكثر الاكتشافات إثارة للدهشة في الورقة البحثية هو أن بارالاكس لا يعمل بشكل جيد مع "المحرك" القياسي المستخدم لتدريب نماذج الذكاء الاصطناعي (والذي يسمى AdamW). الأمر يشبه وضع محرك سباق عالي الأداء في سيارة ولكن باستخدام نوع خاطئ من الوقود؛ السيارة ستتعثر وتتوقف.

وجدت الورقة أن بارالاكس يحتاج إلى نوع جديد ومحدد من الوقود يسمى ميون (Muon). عندما تستخدم "ميون"، يعمل بارالاكس بشكل مثالي، مما يطلق العنان لإمكاناته الكاملة. وبدونه، يكون بارالاكس أفضل قليلاً فقط من الطريقة القديمة. ومع "ميون"، يصبح أذكى بشكل ملحوظ. هذه حالة نادرة حيث يجب أن يتطابق "المحرك" (المُحسِّن) مع "تصميم السيارة" (البنية الهيكلية) تماماً للفوز في السباق.

ما مدى سرعته؟

لم يكتفِ المؤلفون بجعله أذكى فحسب، بل جعلوه أسرع أيضاً. لقد بنوا "محركاً" مخصصاً (كود برمجي للنواة - code kernel) مصمماً خصيصاً لبطاقات الرسوميات الحديثة.

يزعمون أنه في مرحلة "فك التشفير" (عندما يكتب الذكاء الاصطناعي الكلمة التالية)، فإن طريقتهم تضاهي أو حتى تتفوق في السرعة على المعيار الذهبي الحالي في الصناعة (FlashAttention)، على الرغم من أنها تقوم بعمليات رياضية أكثر تعقيداً.
حققوا ذلك من خلال الكفاءة العالية في التعامل مع الذاكرة، عبر إعادة استخدام تدفقات البيانات بحيث لا يضطر الكمبيوتر للتوقف وجلب معلومات جديدة باستمرار.

النتائج

اختبر الفريق "بارالاكس" على حجمين من نماذج الذكاء الاصطناत्मक (0.6 مليار و1.7 مليار معلمة/parameter).

أذكى: في الاختبارات، سجلت نماذج بارالاكس باستمرار أخطاءً أقل (ارتباك/perplexity أقل) وأجابت على الأسئلة بشكل أفضل من النماذج القياسية من نفس الحجم.
ذاكرة أفضل: في الاختبارات الاصطناعية المصممة للتحقق مما إذا كان النموذج يمكنه استدعاء حقائق محددة من قائمة طويلة، كان بارالاكس أفضل بكثير في العث de "الإبرة في كومة القش".
الكفاءة: حتى عندما قاموا بتعديل النماذج لاستخدام نفس القدر من القدرة الحوسبية أو نفس عدد المعلمات بالضبط، ظل بارالاكس هو الفائز.

الخلاصة

تقدم الورقة البحثية بارالاكس، وهي طريقة جديدة لكيفية انتباه الذكاء الاصطناعي للمعلومات. إنها ترتقي بطريقة التفكير "المسطحة" القديمة إلى طريقة "مدركة للميل"، لكنها تبسط الرياضيات لتعمل على أجهزة الكمبيوتر الحقيقية. والأهم من ذلك، أنها تعمل بأفضل حالاتها عند اقترانها بأداة تدريب محددة تسمى ميون، مما يخلق مزيجاً قوياً يتفوق على النماذج الحالية في السرعة والذكاء.

يؤكد المؤلفون أن هذه هي المرة الأولى التي يتم فيها إثبات وجود مثل هذا الارتباط القوي بين بنية معينة (بارالاكس) ومُحسِّن معين (ميون) لخلق "تحسين باريتو" (Pareto improvement) — مما يعني أن النموذج يصبح أفضل دون الحاجة لأن يكون أكبر حجماً أو أبطأ سرعة.

ملخص تقني: Parallax - الانتباه الخطي المحلي المعلمي لنمذجة اللغة

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على "انتباه Softmax" (Softmax Attention) كركيزة حسابية أساسية لها، وهي آلية ظلت دون تغيير هيكلي منذ تقديم الـ Transformer. وبينما توفر البدائل الفعالة مثل "الانتباه الخطي" (Linear Attention) و"نماذج فضاء الحالة" (SSMs) تعقيداً دون تربيعي، إلا أنها لا تزال تتخلف باستمرار عن أداء "انتباه Softmax" في مهام استرجاع المعلومات داخل السياق (in-context information retrieval). تشير هذه الفجوة في الأداء إلى وجود مقايضة جوهرية في تصميمها.

تفسر الأطر النظرية، وتحديداً إطار عمل "الارتباط في وقت الاختبار" (test-time regression framework)، الانتباه باعتباره حلاً للارتباط داخل السياق. وضمن هذا الإطار، تم اقتراح "الانتباه الخطي المحلي" (LLA) كبديل متفوق لـ "انتباه Softmax". يستبدل LLA المقدر الثابت المحلي (Nadaraya-Watson) المستخدم في Softmax Attention بمقدر خطي محلي، مما يؤدي نظرياً إلى تحقيق مقايضات أفضل بين الانحياز والتباين (bias-variance tradeoffs) وسعة الذاكرة الترابطية. ومع ذلك، لم ينجح تطبيق LLA على نطاق واسع في تدريب النماذج اللغوية الكبيرة (LLM pretraining) بسبب ثلاثة تحديات رئيسية:

الأعباء الحسابية: يتطلب LLA الدقيق حل نظام خطي عبر حلّال "التدرج المترافق المتوازي" (parallel conjugate gradient - CG) لكل رمز (token)، مما يؤدي إلى تكاليف كبيرة في عمليات الإدخال/الإخراج (I/O) والحوسبة.
عدم الاستقرار العددي: يتميز حلّال CG بالحساسية تجاه تنسيقات الدقة، مما يجعل من الصعب إدارته في بيئات الأجهزة ذات الدقة المنخفضة.
مقايضات التنظيم (Regularization): إن موازنة معامل التنظيم $\lambda$ لضمان الاستقرار العددي دون التراجع إلى نموذج Softmax Attention أمر غير بديهي في إعدادات التدريب المسبق العملية.

المنهجية: Parallax

يقدم المؤلفون Parallax، وهو نسخة معلمية (parameterized) من "الانتباه الخطي المحلي" مصممة لتكون قابلة للتوسع، فعالة، ومستقرة عددياً للتدريب المسبق للنماذج اللغوية الكبيرة.

الآلية الجوهرية

يعيد Parallax صياغة LLA كـ "تصحيح إضافي" لـ Softmax Attention. فبدلاً من الحل لإيجال متجه التصحيح الأمثل $\rho^*_i$ لكل استعلام (والذي يتطلب عكس مصفوفة التباين)، يتعلم Parallax خريطة مباشرة من مدخل الطبقة $x_i$ إلى متجه المسبر (probe vector) $\rho_i = W_R x_i$ .
يتم حساب المخرج كالتالي:
$o^{PLX}_i = o^{SA}_i - \Sigma^{(i)}_{KV} \rho_i$
حيث $o^{SA}_i$ هو مخرج Softmax Attention القياسي، و $\Sigma^{(i)}_{KV}$ هي مصفوفة التباين (covariance matrix) لـ KV.

تشمل الخيارات التصميمية الرئيسية ما يلي:

إلغاء الحلّال (Elimination of the Solver): من خلال جعل $\rho_i$ معلماً (parameterized)، تمت إزالة الحاجة إلى حل "التدرج المترافق" لكل رمز.
إزالة تضخيم الحدود (Removal of Boundary Amplification): قام المؤلفون بضبط عامل تضخيم الحدود $\eta_i$ إلى الصفر. في LLA الدقيق، يقوم $\eta_i$ بتعويض انحياز الحدود، ولكن في الإعداد المعلمي، يمكن أن يسبب عدم استقرار في التدريب. إزالته تبسط عملية التمرير الأمامي (forward pass) مع الاحتفاظ بالقدرة على تصحيح التباين.
إطار عمل موحد: يتم وضع Parallax ضمن عائلة من آليات الانتباه المرتبطة بعرض النطاق (bandwidth)، وبناء المسبر (probe construction)، والبنية التآلفية (affine structure). إنه يسد الفجوة بين الطرق غير المعلمية (LLA) والطرق المعلمية (Linear Attention, MesaNet).

الخوارزمية المدركة للأجهزة (Hardware-Aware Algorithm)

لمعالجة الكفاءة، طور المؤلفون خوارزمية تدفق (streaming algorithm) متوافقة مع FlashAttention (FA).

الكثافة الحسابية: تزيد الخوارزمية من الكثافة الحسابية (عدد العمليات الحسابية مقابل كل بايت من حركة ذاكرة الوصول العشوائي) مقارنة بـ FlashAttention بنحو الضعف مع إعادة استخدام نفس تدفق KV. هذا ينقل العملية إلى نظام أكثر اعتماداً على الحوسبة (compute-bound)، وهو أمر مفضل لمعالجات GPU الحديثة.
تحسين النواة (Kernel Optimization): تم تنفيذ نواة فك تشفير (decode kernel) مخصصة باستخدام CuTeDSL لمعالجات NVIDIA Hopper. وهي تستغل حقيقة أن الفرعين (Softmax و Covariance) يتشاركان نفس تدفق KV، مما يسمح بالحوسبة المشتركة لمنتجات $QK$ و $RK$ ضمن تعليمات Tensor Core واحدة (WGMMA)، مما يقلل من حركة بيانات الذاكرة عالية النطاق (HBM).

المساهمات الرئيسية

البنية (Architecture): اشتقاق Parallax، الذي ينقل الفوائد النظرية لـ "الانتباه الخطي المحلي" إلى التدريب المسبق واسع النطاق عبر إلغاء الحلّال لكل رمز وإدخال مسبر قابل للتعلم.
الكفاءة (Efficiency): تطوير خوارزمية تدفق مدركة للأجهزة ونواة فك تشفير مخصصة تضاهي أو تتفوق على FlashAttention 2/3 عبر مختلف أحجام الدفعات وأطوال السياق.
التفاعل بين المحسن والبنية (Optimizer-Architecture Interaction): تحديد تفاعل حرج بين بنية Parallax ومحسن Muon. يوضح البحث أن فرع التصحيح في Parallax يعتمد بشكل كبير على هندسة المحسن؛ حيث يظهر مكاسب جوهرية تحت Muon ولكنه يعمل بشكل مشابه لـ Softmax Attention تحت AdamW.

النتائج التجريبية

تحقق المؤلفون من صحة Parallax من خلال اختبارات قياسية اصطناعية والتدريب المسبق للنماذج اللغوية الكبيرة بمقاييس 0.6 مليار و 1.7 مليار معلمة.

الاختبارات القياسية الاصطناعية: في اختبار MAD-Benchmark، تفوق Parallax باستمرار على Softmax Attention و Mamba و Gated DeltaNet في المهام الموجهة للاستدعاء (In-Context Recall, Fuzzy Recall, Noisy Recall, Selective Copying)، محققاً أعلى دقة إجمالية.
نمذجة اللغة:
- الارتباك (Perplexity): حققت نماذج Par parallax المدربة باستخدام Muon ارتباكاً أقل في LAMBADA و WikiText مقارنة بنماذج Transformer المرجعية.
- المهام النهائية (Downstream Tasks): أظهر Parallax تحسينات ثابتة في اختبارات الإجابة على الأسئلة صفرية المعرفة (zero-shot QA) والاستدلال المنطقي (commonsense reasoning).
- عناصر التحكم (Controls): استمرت المكاسب في ظل ضوابط مطابقة للمعلمات (زيادة رؤوس الاستعلام في النموذج المرجعي) ومطابقة للحوسبة (تقليل أبعاد الرأس في Parallax)، مما يؤكد أن التحسن نابع من الآلية نفسها وليس من زيادة المعلمات أو الحوسبة.
الاعتماد على المحسن: وجد أن ميزة Parallax مشروطة بالمحسن. تحت Muon، تنمو نسبة التصحيح إلى المخرج (COR) مع عمق الطبقة، ويتعلم النموذج استخدام تصحيح التباين. تحت AdamW، يتعلم النموذج كبح فرع التصحيح (قيمة البوابة $\approx 0.26$ )، مما يؤدي إلى أداء مشابه لنموذج Transformer الأساسي.
التحليل الطيفي (Spectral Analysis): كشف تحليل مصفوفات الأوزان أن Muon يحافظ على رتب مستقرة أعلى في أوزان الإسقاط (خاصة $W_R$ ودائرة $W_R K$ ) مقارنة بـ AdamW، مما يسمح للمسبر بالاصطفاف بفعالية مع اتجاهات التباين الرئيسية.

الأهمية والادعاءات

يدعي البحث أنه يقدم أول عرض تجريبي للتصميم المشترك بين البنية والمحسن (architecture-optimizer codesign) لآليات الانتباه في الأدبيات. ويؤكد أن نجاح آليات الانتباه المتقدمة مثل Parallax ليس مجرد وظيفة للتصميم المعماري، بل هو مرتبط بعمق بمشهد التحسين (optimization landscape).

يضع المؤلفون Parallax كتحسين من نوع "باريتو" (Pareto improvement): فهو يقدم أداءً أفضل من Softmax Attention دون التضحية بالكفاءة، بشرط استخدام المحسن الصحيح (Muon). كما يشيرون إلى أن Par parallax يسمح بالتكيف بعد التدريب (post-training adaptation) من نماذج Transformer المدربة مسبقاً (عبر تهيئة $W_R=0$ )، وهي ميزة لا تشاركها عائلة "الانتباه الخطي".

يشير العمل إلى أن الأبحاث المستقبلية في آليات الانتباه يجب أن تأخذ "التفاعل بين المحسن والبنية" كقيد تصميمي أساسي، خاصة بالنسبة للهياكل التآلفية (affine structures) حيث تكون قيمة واتجاه المسابرات المتعلمة أمراً حاسماً.