🤖 machine learning

Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences

تقدم هذه الورقة البحثية "Preconditioned DeltaNet"، وهو إطار عمل مدرك للانحناء يعزز النماذج المتكررة ذات التعقيد دون التربيع مثل DeltaNet وMamba-2، وذلك عبر اشتقاق متغيرات مسبقة الشرط من نظرية المربعات الصغرى عبر الإنترنت، مما يحقق تحسينات مستمرة في الأداء في نماذج اللغة ذات السياق الطويل ومهام الاستدعاء الاصطناعي.

المؤلفون الأصليون: Neehal Tumma, Noel Loo, Daniela Rus

نُشر 2026-04-24

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Neehal Tumma, Noel Loo, Daniela Rus

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية قراءة كتاب طويل جدًا وتذكر تفاصيل محددة من البداية للإجابة على أسئلة في النهاية. هذا هو بالضبط ما تفعله النماذج اللغوية الكبيرة (LLMs).

لفترة طويلة، كانت أفضل طريقة للقيام بذلك تشبه آلة التصوير الضوئي. ففي كل مرة يقرأ فيها الروبوت كلمة جديدة، كان عليه العودة للنظر في كل كلمة قرأها من قبل ليرى كيف ترتبط ببعضها البعض. هذا ما يسمى بـ "الاهتمام" (Attention). إنه ذكي للغاية، ولكنه بطيء ومكلف. إذا أصبح الكتاب ضعف الطول، سيتعين على الروبوت القيام بأربعة أضعاف العمل.

لحل هذه المشكلة، اخترع العلماء "التكرارات الخطية" (Linear Recurrences) (مثل DeltaNet). فكر في هذه النماذج كأنها دفتر ملاحظات. فبدلاً من النظر إلى الكتاب بأكمله، يقوم الروبوت بتحديث ملاحظته الحالية فقط. إنها سريعة جدًا، لكنها "غبية" نوعًا ما؛ فهي تعامل كل معلومة جديدة بنفس الطريقة، مما يؤدي غالبًا إلى نسيان التفاصيل المهمة أو الارتباك عندما يصبح الكتاب طويلاً جدًا.

المشكلة: الدفتر "المسطح"

تجادل الورقة البحثية بأن نماذج "دفتر الملاحظات" هذه تشبه محاولة السير عبر منظر طبيعي مليء بالتلال باستخدام خريطة مسطحة. فهي تأخذ خطوات بناءً على المنحدر الموجود تحت قدميها مباشرة (الخطأ الفوري)، لكنها لا تفهم شكل التل (الانحناء).

التشبيه: تخيل أنك تحاول العثور على قاع وادٍ.
- النماذج القياسية (DeltaNet): تشبه متسلقًا معصوب العينين، يأخذ خطوة للأسفل بناءً على المنحدر تحت قدمه مباشرة. إذا كان الوادي شديد الانحدار من جانب ومنبسط من جانب آخر، فقد يتأرجح بعشوائية أو يعلق في مكانه.
- الهدف: هم يريدون معرفة شكل الوادي حتى يتمكنوا من اتخاذ خطوة عملاقة ومباشرة نحو القاع.

الحل: DeltaNet مسبق الشرط (المتسلق المدرك للانحناء)

قدم المؤلفون مفهوم "الشرط المسبق" (Preconditioning). في الرياضيات، هذا يشبه إعطاء المتسلق نظارات خاصة تعيد تشكيل المنظر الطبيعي بحيث تبدو التلال مسطحة والوديان كمسارات مستقيمة.

"المُهيئ" (النظارات): يتعلم النموذج تعديل "دفتر ملاحظاته" بناءً على عدد المرات التي رأى فيها أنماطًا معينة من قبل. إذا كان نوع معين من المعلومات شائعًا جدًا، فإن النموذج يعرف أن يكون حذرًا معه. وإذا كان نادرًا، فإنه يعرف أن يولي اهتمامًا إضافيًا.
"مفتاح القراءة" مقابل "مفتاح الكتابة": في النماذج القديمة، كان الروبوت يستخدم نفس الإصبع لقراءة ملاحظة ولكتابة ملاحظة جديدة. أما النموذج الجديد فيستخدم إصبعين مختلفين.
- مفتاح القراءة: "ما الذي أنظر إليه؟"
- مفتاح الكتابة: "كيف يجب أن أحدث ذاكرتي بناءً على ما أنظر إليه؟"
- من خلال الفصل بينهما، يمكن للنموذج أن يقرر كيفية تحديث ذاكرته دون إفساد ما قرأه للتو.

الخدعة السحرية: الاختصار "القطري"

إن حساب "النظارات" المثالية (الشكل الدقيق للوادي) مكلف حاسوبيًا، مثل محاولة رسم خريطة لكل صخرة في الوادي.

وجد المؤلفون اختصارًا ذكيًا. بد instead من رسم شكل ثلاثي الأبعاد كامل للوادي، قاموا فقط بقياس الارتفاع عند كل نقطة (تقريب قطري).

التشبيه: بدلاً من رسم خريطة طبوغرافية كاملة، قاموا فقط بتدوين "مرتفع هنا، منخفض هناك" في قائمة بسيطة.
لماذا ينجح الأمر: اتضح أن معرفة "الارتفاع" (الأهمية) لكل بُعد تمثل 90% من المعركة في معالجة اللغة. هذا يحافظ على سرعة النموذج (مثل دفتر الملاحظات القديم) ولكنه يجعله ذكيًا (مثل آلة التصوير الضوئي).

النتائج: أسرع وأذكى

اختبر المؤلفون هذا "DeltaNet مسبق الشرط" الجديد (وأقاربه مثل PGDN و PKDA) على:

ألعاب اصطناعية: مثل البحث عن إبرة في كومة قش (تذكر حقيقة محددة من قائمة طويلة).
لغة حقيقية: كتابة المقالات والإجابة على الأسئلة.

الحكم النهائي: كانت النماذج الجديدة أفضل باستمرار في تذكر السياقات الطويلة وفهم اللغة، دون إبطاء عمل الكمبيوتر. لقد تمكنوا من الحصول على "أفضل ما في العالمين": سرعة دفتر الملاحظات وذاكرة آلة التصوير الضوئي.

ملخص في جملة واحدة

لقد منح المؤلفون النماذج اللغوية البسيطة والسريعة "نظارات مدركة للانحناء" ونظام كتابة بـ "إصبعين"، مما سمح لها بتذكر القصص الطويلة بشكل أفضل بكما دون الحاجة إلى كمبيوتر خارق للقيام بذلك.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) اختناقات حوسبية كبيرة عند التوسع في أطوال السياق الطويلة بسبب التعقيد التربيعي لآلية الانتباه (softmax attention) القياسية. ولمعالجة ذلك، طور الباحثون مؤثرات تكرارية ذات تعقيد أقل من التربيع (sub-quadratic)، مثل DeltaNet، وGated DeltaNet (GDN)، وKimi Delta Attention (KDA). وغالبًا ما تُفسر هذه النماذج من خلال إطار عمل الارتباط الزمني للاختبار (Test-Time Regression - TTR)، حيث تتعلم الحالة التكرارية (recurrent state) خريطة خطية من المفاتيح (keys) إلى القيم (values) عن طريق تقليل هدف المربعات الصغرى (least-squares objective).

ومع ذلك، فإن تكرارات قاعدة دلتا (delta-rule recurrences) الحالية (مثل DeltaNet) هي في الأساس تقريبات من الدرجة الأولى (تشبه خوارزمية التدرج الاشتقاقي العشوائي - SGD) لمشكلة المربعات الصغرى هذه. فهي تتجاهل الانحناء (curvature) في مشهد الخسارة (loss landscape) (الذي تتحكم فيه مصفوفة جرام للمفاتيح - key Gram matrix)، مما يؤدي إلى تقارب غير مثالي وقدرات استرجاع ضعيفة محتملة في السياقات الطويلة. وبينما توجد طرق دقيقة من الدرجة الثانية (مثل MesaNet)، إلا أنها تعاني إما من نقص في القدرة على التوازي (التحديثات التسلسلية) أو عدم الاستقرار العددي (تقريبات التدرج المترافق - conjugate gradient).

التحدي الجوهري: كيف يمكن دمج معلومات الانحناء من الدرجة الثانية (التحجيم المسبق - preconditioning) في التكرارات الخطية لتحسين الأداء والاستقرار مع الحفاظ على كفاءة التدريب المتوازي عبر الكتل (chunkwise parallel training).

2. المنهجية

يقترح المؤلفون نموذج Preconditioned DeltaNet (PDN) ومتغيراته، والتي تقدم مُحجّمًا مسبقًا (preconditioner) لتحديثات التكرار. يستند هذا النهج إلى نظرية المربعات الصغرى عبر الإنترنت (online least squares).

أ. الأساس النظري: التكافؤ تحت التحجيم المسبق الدقيق

تثبت الورقة أولاً وجود تكافؤ نظري بين الانتباه الخطي (Linear Attention) وDeltaNet عندما يتم تطبيق مُحجّم مسبق دقيق (معكوس مصفوفة جرام للمفاتيح، $G_t^{-1}$ ).

الانتباه الخطي (الحل غير المتصل - Offline Solve): يُفسر كخطوة واحدة من التدرد الاشتقاقي الكامل للدفعة (full-batch gradient descent). ومن خلال تطبيق معكوس مصفوفة جرام على الاستعلام ( $\tilde{q}_t = G_t^{-1} q_t$ )، فإنه يستعيد الحل الدقيق للمربعات الصغرى.
DeltaNet (الحل المتصل - Online Solve): يُفسر كخطوة SGD عبر الإنترنت. ومن خلال تطبيق معكوس مصفوفة جرام على مفتاح الكتابة ( $\tilde{k}_t = G_t^{-1} k_t$ )، تصبح قاعدة التحديث خطوة SGD مُحجّمة مسبقًا تستعيد أيضًا حل المربعات الصغرى الدقيق.
رؤية جوهرية: في الحالة الدقيقة، يكون الانتباه الخطي مع تحجيم الاستعلام مسبقًا (ATQ) وDeltaNet مع تحجيم المفتاح مسبقًا (ATK) متكافئين رياضيًا.

ب. التحقيق العملي: التقريب القطري

إن حساب معكوس مصفوفة جرام الدقيق مكلف حوسبيًا ومتسلسل، مما يمنع التدريب المتوازي الفعال عبر الكتل. ولحل هذه المشكلة، يقترح المؤلفون تقريبًا قطريًا لمصفوفة جرام للمفاتيح:
$A_t = A_{t-1} + k_t \odot k_t$
حيث تخزن $A_t$ العزوم من الدرجة الثانية لكل إحداثي للمفات keys. ومن ثم يكون المُحجّم المسبق هو $P_t = \text{Diag}(A_t)^{-1}$ .

الكفاءة: التحديث القطري هو مجموع تجميعي (prefix sum) مضاف، مما يسمح بصيغة متوازية عبر الكتل (chunkwise parallel form) فعالة.
الاستقرار: لمنع عدم الاستقرار العددي (الذي ينتج عن الذيول الثقيلة في توزيع $A_t$ )، قدم المؤلفون تحويلًا غير خطي قابل للتعلم. يقومون برسم $A_t$ بمقياس لوغاريتمي عبر دالة "ضغط" (squash function) لحصر قيم المُحجّم المسبق ضمن فاصل مستقر $[1/x, x]$ (حيث $x \le 2$ ). وهذا يتجنب قلب المصفوفة الصريح ويضمن بقاء القيم الذاتية التكرارية داخل قرص الوحدة.

ج. تصنيف DGPS

تقدم الورقة تصنيفًا تصميميًا جديدًا للتكرارات الخطية يسمى DGPS، والذي يحدد فضاء التصميم عبر أربعة محاور متعامدة:

الاضمحلال (Decay - $\alpha_t$ ): يتحكم في نسيان الحالة (مثل Mamba-2، GDN).
الربح (Gain - $\beta_t$ ): يتحكم في مقدار التحديث.
التحجيم المسبق (Preconditioner - $P_t$ ): التحويل المدرك للانحناء (ATQ للاستعلامات، ATK للمفات).
الحل (Solve): غير متصل (Linear Attention) مقابل متصل (DeltaNet).

يوحد هذا الإطار النماذج الحالية ويسمح بالبناء المنهجي لمتغيرات جديدة وفعالة مثل Preconditioned GDN (PGDN) وPreconditioned KDA (PKDA).

3. المساهمات الرئيسية

التوحيد النظري: أثبتوا أن الانتباه الخطي وDeltaNet متكافئان تحت التحجيم المسبق الدقيق، مما يكشف عنهما كتحقيقين لنفس المؤثر.
الخوارزميات الفعالة: اشتقوا صيغًا متوازية عبر الكتل للتكرارات المُحجّمة مسبقًا باستخدام تقريب قطري. وهذا يتيح التدريب على وحدات GPU الحديثة بإنتاجية عالية، على عكس الحلول التسلسلية الدقيقة.
التمثيل المستقر للمعاملات: اقترحوا تمثيلًا جديدًا قابلًا للتعلم للمُحجّم المسبق القطري يضمن الاستقرار العددي ويتجنب عدم استقرار التدريب الملاحظ في الطرق الدقيقة السابقة (مثل MesaNet).
تصنيف جديد (DGPS): حددوا فضاء تصميمًا معياريًا للتكرارات الخطية يفصل بين الاضمحلال، والربح، والتحجيم المسبق، واستراتيجيات الحل، مما يسهل تصميم النماذج المستقبلية.
التنفيذ: وفروا نماذج (kernels) مخصصة بلغة Triton لهذه النماذج، مما أظهر أن العبء الإضافي للمُحجّم المسبق ضئيل (~10%) مقارنة بالنماذج الأساسية.

4. النتائج التجريبية

قيم المؤلفون نماذجهم (PDN, PGDN, PKDA) بمقاييس 340 مليون ومليار معلمة على مجموعة بيانات SlimPajama.

الاختبارات الاصطناعية (MQAR): تفوقت النماذج المُحجّمة مسبقًا باستمرار على نظيراتها غير المُحجّمة في مهام الاستدعاء الترابطي (associative recall)، مما أظهر قدرة محسنة على تتبع أزواج المفاتيح والقيم عبر التسلسلات الطويلة.
الاسترجاع في السياق الطويل (S-NIAH): في اختبار "الإبرة في كومة القش" (Needle In A Haystack)، أظهرت النماذج المُحجّمة مسبقًا تحسنات كبيرة، خاصة في نسختي GDN وKDA. يشير هذا إلى أن المُحجّم المسبق يساعد النموذج على تمييز واسترجاع معلومات محددة من السياقات الطويلة بشكل أفضل.
نمذجة اللغة:
- الاستدلال القائم على المنطق العام: حقق PGDN أفضل أداء بين نماذج 340 مليون معلمة في اختبارات المنطق العام.
- الارتباك (Perplexity): حققت النسخ المُحجّمة مسبقًا عمومًا ارتباكًا أقل (نمذجة لغة أفضل) من النماذج المرجعية.
- المقارنة: بينما أدت إضافة القيم الذاتية السالبة إلى النماذج المرجعية إلى تحسينها قليلاً، إلا أن النماذج المُحجّمة مسبقًا لا تزال تتفوق عليها، مما يثبت أن المكاسب تأتي من الوعي بالانحناء وليس فقط من الخصائص الطيفية.
الكفاءة: تحملت النماذج المُحجّمة مسبقًا عبئًا إضافيًا بنسبة ~10% فقط في عدد الرموز في الثانية (TPS) مقارنة بنماذجها المرجعية، بينما كانت أسرع بـ >20% من MesaNet.

5. الأهمية

يجسر هذا العمل الفجوة بين الأمثلية النظرية (انحدار المربعات الصغرى الدقيق) والكفاءة العملية في نمذجة التسلسل. من خلال تقديم تحديثات مدركة للانحناء عبر مُحجّم مسبق قطري، أثبت المؤلفون أنه يمكن جعل التكرارات الخطية أكثر تعبيرًا وفعالية لمهام السياق الطويل دون التضحية بسرعة التدريب التي تقل عن التربيع والتي تجعلها جذابة.

يوفر تصنيف DGPS طريقة منظمة للابتكار في مجال التكرارات الخطية، مما يشير إلى أن "التحجيم المسبق" (preconditioning) هو رافعة قوية وغير مستغلة بشكل كافٍ لتحسين تتبع الحالة والذاكرة في النماذج اللغوية الكبيرة (LLMs) الفعالة. وتشير النتائج إلى أن النماذج الخطية عالية الأداء في المستقبل يجب أن تدمج معلومات الدرجة الثانية (التحجيم المسبق) لتنافس قدرات الاستدعاء لآليات الانتباه الكامل.