🤖 machine learning

FG $^2$ -GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control

تقدم الورقة البحثية FG $^2$ -GDN، وهي بنية مبتكرة تعزز شبكات دلتا المبوّبة (Gated Delta Networks) عبر استبدال معدلات التعلم القياسية بمتجهات تكيفية لكل قناة وفصل قياس المفتاح والقيمة (key-value scaling)، مما يؤدي إلى تحسين الاستدعاء الترابطي وفهم السياق الطويل بشكل كبير مع الحفاظ على الكفاءة الحسابية.

المؤلفون الأصليون: Pingwei Sun, Yuxuan Hu, Jianchao Tan, Xue Wang, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pingwei Sun, Yuxuan Hu, Jianchao Tan, Xue Wang, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة كتاب طويل جداً، لكن عقلك يمتلك قدراً محدوداً من "الذاكرة العاملة". في كل مرة تقرأ فيها جملة جديدة، يتعين عليك اتخاذ قرارين:

ماذا أتذكر؟ هل يجب أن أخزن هذه الحقيقة الجديدة؟
ماذا أنسى؟ هل يجب أن أمسح حقيقة قديمة لأفسح مجالاً؟

لفترة طويلة، استخدمت نماذج الذكاء الاصطناي (مثل تلك التي تشغل برامج الدردشة الآلية) طريقة تسمى Softmax Attention. فكر في هذا الأمر كأنه أمين مكتبة يتعين عليه النظر في كل كتاب على الرف في كل مرة تطرح فيها سؤالاً. إنه دقيق للغاية، ولكن إذا كانت المكتبة تحتوي على مليون كتاب، فسيصاب الأمين بالإرهاق والبطء. وهذا هو السبب في صعوبة تعامل الذكاء الاصطناعي مع السياقات الطويلة جداً (مثل قراءة رواية كاملة دفعة واحدة).

لحل هذه المشكلة، اخترع الباحثون ما يسمى Linear Attention. هذا يشبه دفتر ملاحظات ذكي يُحدث نفسه أثناء القراءة. بدلاً من النظر إلى المكتبة بأكملها، يقوم فقط بتحديث الصفحة الحالية. إنه سريع جداً، لكن النسخ الأولى منه كانت "غبية" بعض الشيء—إما أنها تتذكر كل شيء للأبد (فتصاب بالارتباك) أو تنسى الأشياء بسرعة كبيرة.

التطور: من "مقاس واحد للجميع" إلى "الدقة المتناهية"

يقدم البحث نموذجاً جديداً يسمى FG2-GDN. لفهم سبب تميزه، دعونا نرى كيف تطور "دفتر الملاحظات" هذا:

الدفتر القديم (Gated DeltaNet): تخيل دفتر ملاحظات حيث تمتلك زراً واحداً لـ "النسيان" وزراً واحداً لـ "الكتابة" للصفحة بأكملة. إذا ضغطت على "كتابة"، فسيتم تحديث كل معلومة في الصفحة بنفس القوة. وإذا ضغطت على "نسيان"، فستتلاشى كل الأشياء بنفس المعدل. الأمر يشبه محاولة تنظيف غرفة فوضوية عن طريق إطفاء الأنوار عن المنزل بأكمله بدلاً من تنظيف الزاوية الفوضوية فقط.
الدفتر الأفضل (KDA): أدرك الباحثون أن أجزاء مختلفة من الصفحة تحتاج إلى معدلات "نسيان" مختلفة. فأضافوا زر "نسيان" يعمل "على مستوى القنوات" (channel-wise). الآن، يمكن للذكاء الاصطناعي أن يقرر إبقاء "تفاصيل الحبكة" طازجة بينما يترك "الضجيج الخلفي" يتلاشى. كان هذا تحسناً هائلاً.
الدفتر الخارق (FG2-GDN - هذا البحث): لاحظ المؤلفون أنه بينما أصبح "النسيان" الآن دقيقاً، إلا أن "الكتابة" كانت لا تزال خرقاء. لا يزال الذكاء الاصطناعي يستخدم زر "كتابة" واحداً لكل شيء.
- المشكلة: أحياناً تريد كتابة ملاحظة صغيرة ودقيقة (مثل اسم محدد)، وأحياناً أخرى تريد تدوين فكرة كبيرة وجريئة. استخدام نفس "قوة الكتابة" لكليهما أمر غير فعال.
- الحل: يمنح FG2-GDN الذكاء الاصطناعي متجهاً من قوى الكتابة. بدلاً من زر "كتابة" واحد، لديه زر "كتابة" منفصل لكل ميزة من ميزات المعلومات.
- التشبيه: تخيل أنك ترسم لوحة.
  - الطريقة القديمة: لديك حجم فرشاة واحد. تستخدم نفس الضربة الثقيلة للسماء ونفس الضربة الثقيلة لبتلة زهرة صغيرة. ستتدمر البتلة.
  - طريقة FG2-GDN: لديك فرشاة سحرية تغير حجمها وضغطها فوراً لكل بكسل. يمكنك رسم السماء بضربات عريضة ولطيفة وبتلة الزهرة بنقطة صغيرة ودقيقة، كل ذلك في نفس الوقت.

ما هو "FG2"؟

الاسم يرمز إلى Fine-Grained Gated Delta Network مع مستويين (2) من التحكم.

المستوى الأول (كان موجوداً بالفعل): نسيان دقيق (تحديد ما يجب مسحه).
المستوى الثاني (الجديد هنا): كتابة دقيقة (تحديد مدى قوة إضافة معلومات جديدة).

لقد أنشأوا أيضاً نسخة متطورة تسمى +FG2-GDN، والتي تضيف مستوى ثالثاً من التحكم: فهي تفصل بين قوة "المسح" وقوة "الكتابة" تماماً. إنه يشبه امتلاك يد تمسح السبورة بلطف ويد أخرى تكتب ملاحظات جديدة، مما يسمح للذكاء الاصطناعي بأن يكون عدوانياً جداً في حذف المعلومات القديمة وغير ذات الصلة، بينما يكون لطيفاً جداً في إضافة المعلومات الجديدة والحيوية.

لماذا يهم هذا؟

اختبر الباحثون هذا على نوعين من المهام:

فهم اللغة (نمذجة اللغة): هل يستطيع الذكاء الاصطناعي كتابة جمل جيدة؟
- النتيجة: نعم، إنه يكتب بشكل جيد بقدر أفضل النماذج، ولكن بدقة أكبر.
استرجاع السياق الطويل (مهمة "الإبرة في كومة القش"): هل يستطيع الذكاء الاصطناي العث_ور على حقيقة محددة مخبأة في وثيقة مكونة من 100 صفحة؟
- النتيجة: تحسن هائل. نظرًا لأن الذكاء الاصطناعي يمكنه الآن "كتابة" أهم الحقائق بدقة عالية و"مسح" الضجيج بدقة عالية، فإنه لا يرتبك. إنه يتذكر "الإبرة" بشكل أفضل من "كومة القش".

الجزء الأفضل: إنه سريع!

عادةً، عندما تجعل النموذج أكثر ذكاءً، فإنه يصبح أبطأ. ولكن لأن FG2-GDN مبني على خدعة رياضية ذكية (الحفاظ على هيكل "الرتبة-1" أو rank-1)، فإنه لا يتباطأ كثيراً.

التشبيه: الأمر يشبه ترقية محرك سيارة رياضية ليكون أكثر دقة دون إضافة وزن إضافي. لا تزال تقود بنفس السرعة، لكنها تتعامل مع المنعطفات بشكل أفضل بكثير.

الملخص

FG2-GDN هو طريقة أذكى لإدارة الذكاء الاصطناعي لذاكرته. من خلال منح الذكاء الاصطناعي القدرة على التحكم بدقة في مدى قوة كتابة كل قطعة من المعلومات (وليس فقط ما ينساه)، يصبح أفضل بكثير في قراءة المستندات الطويلة وإيجاد التفاصيل المحددة، كل ذلك مع البقاء سريعاً وفعالاً. إنه الفرق بين المطرقة الثقيلة ومشرط الجراح في إدارة الذاكرة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "FG2-GDN: تعزيز شبكات دلتا ذات البوابات متعددة المستويات عبر التحكم الدقيق المزدوج."

1. بيان المشكلة

بينما توفر آليات الانتباه الخطي (مثل Gated DeltaNet و Kimi Delta Attention) تعقيد استدلال بمقدار $O(L)$ مقارنة بـ $O(L^2)$ في آلية Softmax Attention، إلا أنها لا تزال تواجه قيودًا في نمذجة السياق الطويل والاستدعاء الترابطي (Associative Recall).

عنق الزجاجة: قامت النماذج المتطورة الحالية مثل Kimi Delta Attention (KDA) بتحسين آلية النسيان من خلال الانتقال من بوابة اضمحلال (decay gate) ذات قيمة عددية (scalar) إلى متجه اضمحلال (decay vector) لكل قناة أو بُعد ( $\alpha_t$ ). ومع ذلك، فإن معدل التعلم (أو قوة الكتابة) $\beta_t$ في قاعدة تحديث "دلتا" يظل قيمة عددية (scalar) مشتركة عبر جميع أبعاد الميزات.
النتيجة: هذا القيد العددي يحد من قدرة النموذج على التكيف الخاص بكل بُعد. فهو يجبر جميع أبعاد الميزات على التحديث بنفس "قوة الكتابة"، بغض النظر عن مدى صلة كل بُعد بالسياق الحالي، مما يؤدي إلى استدعاء ترابطي دون المستوى الأمثل وتداخل في التسلسلات الطويلة.

2. المنهجية

يقترح المؤلفون FG2-GDN (شبكة دلتا ذات البوابات دقيقة التفاصيل) ومتغيرها FG2-GDN+، واللذان يقدمان تحكمًا دقيقًا مزدوج المستوى في قاعدة تحديث "دلتا".

الابتكار الجوهري: معدلات تعلم تكيفية لكل إحداثي

تستمد الورقة تشبيهًا بين قاعدة "دلتا" وخوارزمية التدرج العشوائي لأسفل (SGD). فكما تستخدم المحسنات مثل AdaGrad و Adam معدلات تعلم لكل إحداثي للتعامل مع التباين في فضاء المعلمات، يستبدل FG2-GDN القيمة العددية $\beta_t$ بـ متجه لكل قناة $\beta_t \in \mathbb{R}^{d_k}$ .

قاعدة تحديث FG2-GDN:
بدلاً من التحديث القائم على قيمة عددية، يتم قياس متجهات المفتاح ( $k_t$ ) والقيمة ( $v_t$ ) لكل عنصر باستخدام الجذر التربيعي لمتجه معدل التعلم:
$\tilde{k}_t = \sqrt{\beta_t} \odot k_t, \quad \tilde{v}_t = \sqrt{\beta_t} \odot v_t$
ويصبح تحديث الحالة:
$S_t = (I - \tilde{k}_t \tilde{k}_t^\top) \text{Diag}(\alpha_t) S_{t-1} + \tilde{k}_t \tilde{v}_t^\top$
الحفاظ على التماثل: من الأهمية بمكان أن المؤلفين استوعبوا $\beta_t$ بشكل متماثل في كل من $k$ و $v$ . هذا يحافظ على بنية Householder من الرتبة 1 (Rank-1 Householder structure) في حد التحديث، وهو أمر ضروري للحفاظ على كفاءة خوارزميات التدريب المتوازي المجزأ (تمثيل WY).
تفسير التعلم عبر الإنترنت (Online Learning): يحول هذا التحديث العملية إلى خطوة تدرج بمصفوفة معدل تعلم قطرية، مما يسمح للأبعاد ذات تباين التدرج العالي بالتكيف بشكل أسرع بينما تظل الأبعاد الأخرى مستقرة.

متغير FG2-GDN+

لزيادة فصل التحكم، يقدم FG2-GDN+ متجهات منفصلة للمفاتح ( $\beta^k_t$ ) والقيم ( $\beta^v_t$ ):

يتحكم $\beta^k_t$ في قوة المحو (مدى عدوانية محو المعلومات القديمة).
يتحكم $\beta^v_t$ في قوة الكتابة (مدى قوة تخزين المعلومات الجديدة).
يسمح هذا للنموذج بإدارة الاحتفاظ بالذاكرة وحقن الذاكرة بشكل مستقل.

البنية الهيكلية

تستخدم النماذج بنية هجينة (بنسبة 3:1)، حيث تتداخل طبقات FG2-GDN مع طبقات Multi-head Latent Attention (MLA). يجمع هذا بين كفاءة السياق اللانهائي للارتباط الخطي والتفاعل الدقيق بين الأزواج في الانتباه الكامل.

3. المساهمات الرئيسية

التحكم الدقيق المزدوج: أول نموذج انتباه خطي يقدم معدلات تعلم تكيفية لكل قناة ( $\beta_t$ ) لتحديث دلتا، مكملًا بوابات النسيان لكل قناة ( $\alpha_t$ ) الموجودة مسبقًا.
التوافق الهيكلي: بارامتريّة متماثلة مبتكرة تقدم معدلات تعلم لكل إحداثي دون كسر بنية (Diagonal-Plus-Low-Rank (DPLR. يضمن هذا بقاء الطريقة متوافقة مع تطبيقات التدريب المتوازي المجزأ الفعالة (مثل KDA) مع عبء حسابي ضئيل.
فصل المحو والكتابة: يوضح متغير FG2-GDN+ أن فصل قياس المفاتيح (المحو) والقيم (الكتابة) يحسن بشكل كبير من إدارة الارتباطات المتنافسة في السياقات الطويلة.

4. النتائج التجريبية

أُجريت التجارب عند مقاييس 340 مليون و 1.3 مليار معلمة على اختبارات معيارية اصطناعية وواقعية.

نمذجة اللغة (السياق القصير):
- حقق FG2-GDN أفضل متوسط دقة "صفرية المعرفة" (zero-shot accuracy) وأقل درجة غموض (perplexity) لمهمة LAMBADA عند مقياس 1.3B (13.09 مقابل 13.80 لـ KDA).
- يشير هذا إلى أن معدلات الكتابة دقيقة التفاصيل تفيد بشكل كبير فهم السياق القصير والاستدعاء الترابطي.
استرجاع السياق الطويل (اختبار RULER):
- تفوق FG2-GDN و FG2-GDN+ على GDN و KDA عبر أطوال تسلسل 4k و 8k و 16k.
- النتيجة الرئيسية: أظهر FG2-GDN مكاسب كبيرة في استرجاع المفتاح الواحد (MQ, CWE) من خلال إحكام روابط المفتاح والقيمة.
- تفوق FG2-GDN+: تصدر المتغير المنفصل (FG2-GDN+) في استرجاع المفاتيح المتعددة (MK2) وتتبع المتغيرات، مما يثبت أن التحكم المستقل في المحو والكتابة يساعد في إدارة التداخل في السياقات المعقدة.
- الاستقراء (Extrapolation): حافظت النماذج على دقة عالية عند 16k (رغم التدريب على 8k)، مما أظهر قدرة أفضل على تحمل التحولات في توزيع المواضع.
LongBench (المهام الواقعية):
- حقق FG2-GDN+ أعلى متوسط درجة (18.3%) ودرجة "التعلم بالقليل من الأمثلة" (32.1%) عبر مهام الإجابة على أسئلة المستندات، التلخيص، وإكمال الكود.
الكفاءة:
- الإنتاجية (Throughput): يتسبب FG2-GDN في زيادة أقل من 5% في إنتاجية مرحلة الـ prefill مقارنة بـ KDA.
- التوسع: يحافظ على تعقيد الوقت الخطي ( $O(L)$ ) ويتوسع بشكل مشابه لـ KDA، مما يوفر سرعة تبلغ 1.7–1.9 ضعفًا مقارنة بـ MLA عند أطوال التسلسل الطويلة (32k).

5. الأهمية

الربط بين التحسين والانتباه: نجح العمل في نقل مفهوم المحسنات التكيفية لكل إحداثي (مثل Adam) من مرحلة تدريب الشبكات العصبية إلى الارتباط الخطي أثناء الاستدلال لنماذج الانتباه الخطي.
الكفاءة مقابل القدرة التعبيرية: يثبت أن زيادة القدرة التعبيرية للانتباه الخطي (عبر معدلات تعلم متجهة) لا تتطلب التضحية بالكفاءة الحسابية التي تجعل الانتباه الخطي جذابًا للسياقات الطويلة.
أداء رائد (State-of-the-Art): من خلال تحسين كل من آليات النسيان ( $\alpha$ ) والكتابة ( $\beta$ )، يضع FG2-GDN معيارًا جديدًا للنماذج التكرارية الخطية، مما يوفر مسارًا عمليًا نحو وكلاء ذكاء اصطناعي عالي الأداء وسهل التوسع للسياقات الطويلة دون التكلفة التربيعية للترانسفورمرز القياسية.