💬 NLP

OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention

تقدم الورقة البحثية نموذج Online Scaled DeltaNet (OSDN)، وهو نموذج انتباه خطي يعزز قاعدة دلتا (Delta Rule) من خلال دمج مُهيئ قطري يتم تحديثه عبر الإنترنت للقياس المعتمد على الميزات، مما يحقق تقارباً فائقاً هندسياً يمكن إثباته ويحسن بشكل كبير الاستدعاء الترابطي داخل السياق مع الحفاظ على التوازي الفعال من حيث الأجهزة.

المؤلفون الأصليون: Chenyu Zhou, Hongpei Li, Yuerou Liu, Jianghao Lin, Dongdong Ge, Yinyu Ye

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chenyu Zhou, Hongpei Li, Yuerou Liu, Jianghao Lin, Dongdong Ge, Yinyu Ye

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حفظ قصة طويلة جداً لتتمكن من الإجابة على أسئلة حولها لاحقاً. في عالم الذكاء الاصطناعي، يسمى هذا "التعلم في السياق" (In-context learning). يقرأ الذكاء الاصطناعي القصة (السياق) ويقوم بتحديث ذاكرته الداخلية لتذكر التفاصيل المهمة.

لفترة طويلة، كانت أفضل طريقة للقيام بذلك تشبه مكتبة ضخمة ذات فهرس مثالي (يسمى "Softmax Attention"). لكن هذه المكتبة بطيئة وتستهلك مساحة هائلة. أما الطرق الأحدث والأسرع (مثل DeltaNet)، فهي تعمل بشكل يشبه شخصاً يدون ملاحظات في دفتر صغير. إنها سريعة وفعالة، لكنها تعاني أحياناً في تذكر تفاصيل محددة إذا أصبحت القصة طويلة جداً أو إذا تكررت نفس الكلمات مرات عديدة؛ فهي تميل إلى "دمج" الملاحظات مع بعضها البعض.

تقدم هذه الورقة البحثية طريقة جديدة تسمى OSDN (النسخة المتطورة من DeltaNet عبر الإنترنت) لإصلاح مشكلة الدمج هذه. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "القلم ذو الحجم الواحد للجميع"

تخيل أن الذكاء الاصطناعي يكتب في دفتر ملاحظاته. في كل مرة يرى فيها كلمة جديدة ("token")، فإنه يدون ملاحظة.

الطريقة القديمة (DeltaNet): يستخدم الذكاء الاصطناعي قلماً واحداً بتدفق حبر ثابت. إذا احتاج لكتابة تفصيل دقيق وصغير، يكون القلم سميكاً جداً مما يؤدي لتلطيخ الملاحظة. وإذا احتاج لكتابة عنوان عريض وضخم، يكون القلم رفيعاً جداً فينتهي الحبر بسرعة. إنه يعامل كل معلومة بنفس "ضغط الخطوة" أو الكثافة.
المشكلة: بعض الحقائق في القصة نادرة وتحتاج إلى ملاحظة قوية وواضحة. بينما حقائق أخرى شائعة وتحتاج إلى لمسة خفيفة. استخدام نفس "ضغط القلم" لكل شيء يؤدي إلى أخطاء في الاسترجاع.

2. الحل: "القلم الذكي والقابل للتعديل" (OSDN)

يمنح OSDN الذكاء الاصطناعي قلماً ذكياً وقابلاً للتعديل. بدلاً من إعداد واحد ثابت، يحتوي القلم على قرص ضبط لكل حرف من حروف الأبجدية (أو لكل ميزة من ميزات البيانات).

كيف يتعلم: بينما يقرأ الذكاء الاصطناعي القصة، فإنه يتحقق باستمرار: "هل كتبت هذه الملاحظة بشكل صحيح؟". إذا كانت الملاحظة باهتة جداً، فإنه يرفع مستوى القرص لهذا الحرف تحديداً في المرة القادمة. وإذا كانت داكنة جداً، فإنه يخفض المستوى.
الخدعة السحرية: تثبت الورقة البحثية أن هذا "القرص" لا يحتاج إلى كمبيوتر معقد وبطيء لحسابه. بل يمكن استنتاجه فوراً بمجرد النظر إلى الكلمة التي يتم كتابتها. وهذا يسمح للذكاء الاصطناعي بالحفاظ على سرعته مع أن يصبح أكثر ذكاءً في كيفية الكتابة.

3. آلية "النسيان" (APF)

أحياناً، يتغير موضوع القصة. فالحقيقة التي كانت مهمة في البداية قد تصبح غير ذات صلة في النهاية.

المشكلة: إذا استمر الذكاء الاصطناعي في تعديل قلم الكتابة بناءً على المواضيع القديمة، فقد يصاب بالارتباك عند انتقال القصة إلى موضوع جديد.
الحل (APF): يتضمن OSDN ميزة تسمى التكييف المسبق التكيفي للنسيان (Adaptive Preconditioner Forgetting). فكر في هذا كزر "صفحة جديدة". إذا لاحظ الذكاء الاصطناعي أن الموضوع قد تغير، فإنه يقوم بضبط أقراص القلم بلطف للموضوع الجديد، حتى لا يظل عالقاً باستخدام إعدادات الفصل السابق.

4. لماذا هذا مهم (النتائج)

اختبر المؤلفون هذا على نماذج ذكاء اصطناعي بأحجام مختلفة (من الصغيرة إلى الكبيرة جداً).

"اختبار الذاكرة": أعطوا الذكاء الاصطناعي قصة ثم طلبوا منه استرجاع تفاصيل محددة، خاصة عندما تظهر تلك التفاصيل مرتين (مثل تقديم شخصية، ثم ذكرها مرة أخرى لاحقاً).
النتيجة:
- في الحجم المتوسط، حسن OSDN القدرة على تذكر التفاصيل المتكررة بنسبة 32% مقارنة بالطريقة القديمة.
- في الحجم الضخم (1.3 مليار معلمة)، حسن القدرة على استرجاع الذاكرة بنسبة 39% مع بقاء الذكاء الاصطناعي جيداً في المهام العامة (مثل كتابة الجمل أو الإجابة على الأسئلة العامة).
- والأهم من ذلك، فعل ذلك دون إبطاء الذكاء الاصطناعي بشكل ملحوظ. الأمر يشبه ترقية محرك سيارة ليكون أكثر دقة دون جعل السيارة أثقل أو أبطأ.

الملخص

فكر في OSDN على أنه تعليم الذكاء الاصطناعي ليكون مدون ملاحظات أفضل. فبدلاً من الخربشة بكل نفس الضغط، يتعلم الضغط بقوة أكبر على التفاصيل النادرة والمهمة، وبلمسة أخف على التفاصيل الشائعة. كما أنه يعرف متى يمسح اللوحة لبدء موضوع جديد. هذا يسمح للذكاء الاصطناعي بتذكر القصص المعقدة بشكل أفضل بكثير دون فقدان سرعته أو كفاءته.

ما لا تدعيه الورقة البحثية:

هي لا تدعي أن هذا يجعل الذكاء الاصطناعي "واعياً" أو قادراً على الشعور بالعواطف.
هي لا تدعي أن هذا يحل جميع مشاكل الذكاء الاصطناعي (مثل المنطق أو الرياضيات)؛ بل تستهدف تحديداً القدرة على تذكر واسترجاع المعلومات من نص طويل.
هي لا تقترح أن هذا جاهز للتشخيص الطبي أو النشر في مواقف واقعية حرجة بعد؛ بل هو اختراق بحثي في كيفية معالجة نماذج الذكاء الاصطناعي لتسلسلات النصوص.

ملخص تقني: OSDN: تحسين قاعدة دلتا باستخدام التكييف المسبق عبر الإنترنت القابل للإثبات في الانتباه الخطي

1. بيان المشكلة

يوفر الانتباه الخطي ونماذج حالة الفضاء (SSMs) تعقيد استدلال بمقدار $O(N)$ وذاكرة ثابتة كبدائل لآلية "softmax attention"، مما يجعلها مناسبة لمعالجة التسلسلات الطويلة. ومع ذلك، فإنها غالبًا ما تعاني في الاستدعاء الترابطي داخل السياق (in-context associative recall)، لا سيالما عند مقارنتها بنماذج transformer القائمة على softmax.

تحاول قاعدة دلتا (كما هي مطبقة في DeltaNet) سد هذه الفجوة من خلال تفسير تحديث الحالة المتكرر كخطوة واحدة من خوارزمية التدرج المنحدر عبر الإنترنت (OGD) على خسارة انحدار لكل رمز (per-token regression loss): $f_t(S) = \frac{1}{2}\|S k_t - v_t\|_F^2$ . وقاعدة التحديث هي $S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$ ، حيث $\beta_t$ هو بوابة قياسية (scalar gate).

القصور الجوهري: تعمل البوابة القياسية $\beta_t$ كمعدل تعلم موحد يُطبق على جميع أبعاد المفتاح (key dimensions). وهذا يتجاهل الانحناء الميزاتي (feature-wise curvature) للهدف الداخلي. في مهام الاستدعاء الترابطي، تُظهر المفاتيح المختلفة (مثل المعرفات المتكررة مقابل النادرة، أو القيم المستقرة مقابل عالية الإنتروبيا) انحناءات تجريبية مختلفة. إن حجم خطوة قياسي واحد يفرض تسوية: فزيادة الحجم للمساعدة في الكتابة فوق الذاكرة القديمة لاتجاه معين قد تؤدي إلى تصحيح مفرط لاتجاه آخر مستقر بالفعل. تستخدم المحسنات التكيفية القياسية (مثل Adam) التكييف المسبق القطري لمعالجة ذلك، ولكن تطبيق مثل هذه الآليات على الطبقات المتكررة يتطلب عادةً حالات من الدرجة الثانية كثيفة أو يكسر خطوط أنابيب التوازي المجزأة (chunkwise parallelization) الصديقة للأجهزة (مثل تحويل WY) التي تجعل DeltaNet فعالة.

2. المنهجية: OSDN (النسخة الخطية الموزونة من DeltaNet)

يقترح المؤلفون OSDN، الذي يعزز البوابة القياسية بـ مُكيّف مسبق قطري $D_t = \text{diag}(d_t)$ ، يتم تعلمه عبر الإنترنت عبر تغذية راجعة للتدرج الفائق (hypergradient feedback).

2.1. التكافؤ الجبري والحفاظ على الأجهزة

تتمثل الرؤية الأساسية لـ OSDN في أن التكييف المسبق جهة اليمين لخطوة التدرج مكافئ جبريًا لـ تغيير مقياس الميزات لكل مفتاح في جانب الكتابة.
التحديث القياسي:
$S_t = S_{t-1} - \beta_t \nabla f_t(S_{t-1}) D_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)(d_t \odot k_t)^\top$
من خلال تعريف المفتاح المكيّف مسبقًا $\tilde{k}_t = d_t \odot k_t$ ، يصبح التحديث:
$S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)\tilde{k}_t^\top$
يسمح هذا التحول لـ OSDN بالحفاظ بدقة على خط أنابيب التوازي المجزأ (chunkwise WY parallel pipeline) الخاص بـ DeltaNet. لا يتطلب التنفيذ سوى استبدال مفتاح التخزين $K$ بالمفتاح $\tilde{K}$ في مصفوفة جرام المجزأة والدرجات داخل الجزء، دون تحمل أي عبء إضافي عالي الأبعاد يتجاوز متجه التكييف المسبق $O(K)$ .

2.2. التغذية الراجعة المنفصلة للتدرج الفائق

يتم تحديث المُكيّف المسبق $d_t$ عبر خوارزمية التدرج المنحدر عبر الإنترنت (OGD) على بديل تدرج فائق مشتق من إطار عمل طريقة التدرج المتدرج عبر الإنترنت (OSGM) [18].
البديل لخسارة المُكيّف المسبق هو:
$h_t(d_t) = \frac{f_t(S_t) - f_t(S_{t-1})}{\|\nabla f_t(S_{t-1})\|_F^2}$
ومن الناحية الحاسمة، نظرًا لـ البنية التربيعية الدقيقة لخسارة الانحدار الداخلية $f_t$ ، فإن هذا البديل يقبل تعبيرًا مغلق الصيغة يعتمد فقط على المفتاح $k_t$ والبوابة القياسية $\beta_t$ ، مما يفصله عن الحالة عالية الأبعاد $S_t$ أو القيمة $v_t$ أو المتبقي $u_t$ .
$h_t(d_t) = \frac{(1 - \beta_t \langle d_t, k_t^2 \rangle)^2 - 1}{2 \|k_t\|_2^2}$
يسمح هذا الفصل بتنفيذ مرحلتين:

المرحلة الأولى: مسح خفيف الوزن بمقدار $O(K)$ عبر تدفق المفاتيح لحساب سلسلة المفاتيح المكيّفة مسبقًا $\{\tilde{k}_t\}$ وتحديث $d_t$ .
المرحلة الثانية: تمرير DeltaNet المجزأ القياسي باستخدام $\tilde{K}$ بدلاً من $K$ .

2.3. نسيان التكييف المسبق التكيفي (APF)

للتعامل مع سياقات اللغة غير المستقرة حيث تتغير توزيعات المفاتيح، قدم المؤلفون APF. يضيف هذا آلية بوابة احتفاظ $r_{t,h}$ متعلمة، لكل رمز ولكل رأس، تُطبق فقط على حالة التكييف المسبق $d_t$ (وليس على حالة الذاكرة $S_t$ ):
$\bar{d}_{t+1} = r_{t,h} d_t + \eta \nabla_d h_t(d_t)$
هذا يحافظ على بنية التكرار الأفيني المطلوبة لعملية المسح في مرحلتين مع السماح للمحسن الفائق بـ "نسيان" المعايرة القديمة.

3. الضمانات النظرية

يضع البحث ضمانين للتقارب بناءً على الطبيعة التربيعية الدقيقة للخسارة الداخلية:

التقارب فوق الهندسي عند حد المجتمع (Theorem 5.1): مقابل مقارن نيوتن جهة اليمين المثالي ( $D^\star = \Sigma_k^\dagger$ )، إذا حقق المتعلم عبر الإنترنت ندمًا (regret) دون خطي، فإن عدم مثالية الهدف العالمي يتقلص بمعدل فوق هندسي قدره $O((C/T)^T)$ . وهذا أسرع بكثير من التقارب الهندسي (الخطي) القياسي.
تقلص المتبقي المحلي للخوارزمية (Theorem 5.2): حاصل ضرب نسب المتبقي الموضعي للرموز $\prod_{t=1}^T \frac{f_t(S_t)}{f_t(S_{t-1})}$ يكون محدودًا. إذا حقق المقارن القطري شرط نيوتن المبوّب ( $\beta_t \langle d^\star, k_t^2 \rangle = 1$ )، فإن معدل التقلص يكون أيضًا فوق هندسي، وتحديدًا $O((1/\sqrt{T})^T)$ تحت حدود الندم القياسية لـ OGD.

4. النتائج التجريبية

أُجريت التجارب على نماذج DeltaNet و Gated DeltaNet (GDN) و Kimi Delta Attention (KDA) بمقاييس 340 مليون و 1.3 مليار معلمة.

4.1. الاستدعاء داخل السياق (مقياس 340 مليون)

الأداء: حسن OSDN الخام الاستدعاء داخل السياق من نوع JRT بنسبة 32% مقارنة بالنموذج الأساسي DeltaNet (0.150 $\to$ 0.198). تركزت المكاسب في المهام ذات السياق المتكرر (مثل متغيرات "JRT-twice")، حيث تتكرر المفاتيح، مما يسمح للمُكيّف المسبق بالمعايرة.
تأثير APF: حافظ OSDN-APF على مكسب بنسبة 17% (0.176) وقدم أفضل نتائج WikiText/LAMBADA (perplexity) بين متغيرات DeltaNet (30.99 مقابل 32.00).
التعميم: في الاختبارات الأوسع (Commonsense, LongBench)، ظلّت متغيرات OSDN عند مستوى الندرة (parity) مع نماذجها الأساسية، مما يؤكد أن الآلية مستهدفة وليست محركًا عامًا للأداء.

4.2. التوسع إلى 1.3 مليار معلمة

تقلص المتبقي: تضخمت إشارة مستوى الآلية مع زيادة الحجم. انخفض المتوسط الهندسي لنسبة المتبقي ( $q_{geo}$ ) من 0.432 إلى 0.265 (انخفاض بنسبة 39%)، مما ضاعف التحسن الملحوظ عند 340 مليون تقريبًا.
التكافؤ في المهام اللاحقة: رغم التحسن الهائل في تقلص المتبقي الداخلي، ظلت مقاييس المهام اللاحقة (WikiText/LAMBADA perplexity, Commonsense, LongBench) عند مستوى الندرة مع نموذج DeltaNet الأساسي (1.3B)، مما يثبت أن الآلية تنتقل بفعالية دون إضعاف القدرات العامة.

4.3. الكفاءة

الإنتاجية (Throughput): لم تتسبب متغيرات OSDN في عبء إضافي كبير أثناء الاستدلال. عند 340 مليون، كانت تغيرات الإنتاجية ضمن نطاق $\pm 2.2\%$ . عند 1.3 مليار، كان OSDN-APF أبطأ بنسبة 6.8% من النموذج الأساسي، ويُعزى ذلك إلى المسح المتسلسل الإضافي للمُكيّف المسبق.
العبء على الحالة (State Overhead): زادت الحالة المتكررة المستمرة بمقدار $\le 0.05\%$ فقط بسبب متجه التكييف المسبق $O(K)$ .

5. الأهمية والادعاءات

يضع البحث OSDN كـ توسيع بسيط ومستهدف لقاعدة دلتا، يسد الفجوة بين التحديثات القياسية من الدرجة الأولى والتحسين التكيفي.

تحسين على مستوى الآلية: المساهمة الرئيسية هي تحسين مستوى الآلية في الاستدعاء الترابطي عبر التكييف المسبق عبر الإنترنت، وهو ما تم التحقق منه عبر تشخيص مباشر لنسبة تقلص المتبقي.
التوافق مع الأجهزة: على عكس طرق التكييف المسبق الكثيفة أو من الدرجة الثانية الأخرى، يحافظ OSDN على خط أنابيب التوازي المجزأ وتعقيد الحالة $O(K)$ ، مما يجعله عمليًا للنشر واسع النطاق.
القابلية للتوسع: تظهر النتائج أن فوائد التكييف المسبق عبر الإنترنت تنتقل وتتضاعف عند مقياس المليار معلمة، مما يشير إلى أن "عدم تطابق الانحناء" في الانتباه الخطي هو عقبة أساسية يمكن معالجتها دون تغيير هيكلي شامل.
القيود: يشير المؤلفون صراحةً إلى أن OSDN ليس محسنًا عامًا لجميع المعايير؛ حيث تتركز المكاسب في مهام الاسترجاع التي تتضمن مفاتيح متكررة. تعتمد الضمانات النظرية على افتراض التربيع الدقيق للخسارة الداخلية والنزول الرتيب، وهي ظروف مثالية. لا تدعي الطريقة حل جميع مشكلات التعلم داخل السياق، بل تعالل تحديدًا هندسة خطوة الكتابة في قاعدة دلتا.