🤖 machine learning

Raven: High-Recall Sequence Modeling with Sparse Memory Routing

يُعد Raven نموذج تسلسل خطي الزمن يعمل على تحسين استرجاع السياقات الطويلة عبر توظيف توجيه ذاكرة متفرق ومعتمد على المدخلات لتحديث مجموعة فرعية فقط من فترات الذاكرة الثابتة، مما يوازن بفعالية بين مشكلات التداخل في نماذج فضاء الحالة الكثيفة والقيود الصارمة للإخلاء في آلية الانتباه ذات النافذة المنزلقة.

المؤلفون الأصليون: Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

نُشر 2026-07-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تذكر قصة سمعتها للتو، لكن عقلك يتبع قاعدة غريبة: في كل مرة تسمع فيها كلمة جديدة، عليك إعادة كتابة القصة الكاملة من البداية، مع دمج الكلمة الجديدة في كل جملة كتبتها على الإطلاق. هكذا تعمل بعض البرامج الحاسوبية التي تسمى "نماذج فضاء الحالة" (State-Space Models). هذه النماذج بارعة في الحفاظ على الجو العام للقصة لفترة طويلة، ولكن نظرًا لأنها تمزج كل شيء معًا بشكل شامل، يصبح من المستحيل العثور على تفصيل محدد، مثل اسم أو تاريخ، مدفون في المنتصف. ومن ناحية أخرى، تخيل نوعًا مختلفًا من الذاكرة يعمل مثل دفتر ملاحظات ذي عدد ثابت من الصفحات. عندما تملأ الصفحة الأخيرة، تقوم ببساه تمزيقها ورميها، واستبدالها بصفحة جديدة. هكذا تعمل نماذج "النافذة المنزلقة" (Sliding Window). هي بارعة في تذكر الصفحات القليلة الأخيرة بدقة، ولكن بمجرد أن تُدفع معلومة ما خارج الحافة، فإنها تتلاشى للأبد.

هذه هي المشكلة الكبيرة التي يحاول العلماء في مجال الذكاء الاصطناعي حلها: كيف نبني عقلًا حاسوبيًا يمكنه تذكر قصة لفترة طويلة جدًا دون خلط التفاصيل، ولكن أيضًا دون نسيان البداية لمجرد أنها أصبحت قديمة؟ نحن بحاجة إلى نظام يمكنه التمسك بحقائق محددة ومهمة لفترة طويلة بينما يعالج المعلومات الجديدة بكفاءة. هذا أمر بالغ الأهمية لأنه مع زيادة ذكاء نماذج الذكاء الاصطناعي، ستحتاج إلى قراءة كتب أطول، وتحليل مستندات ضخمة، وتذكر التعليمات المعطاة في بداية المحادثة، حتى بعد مرور آلاف الكلمات.

إليك Raven، وهو نوع جديد من نماذج الذكاء الاصطناعي صممه باحثون لحل لغز الذاكرة هذا بالضبط. فكر في ذاكرة Raven ليس كإعادة كتابة فوضوية أو دفتر ملاحظات بسيط يُلقى في سلة المهملات، بل كغرفة تبديل ملابس عالية التقنية تحتوي على مئات الخزانات. في الأنظمة القديمة، كان كل عنصر جديد يصل يُجبر على الدخول في كل الخزانات في وقت واحد، أو يتم حشره في خزانة بناءً على ترتيب وصوله فقط، مما يؤدي لطرد أقدم عنصر بغض النظر عن أهميته. Raven يغير القواعد؛ فهو يستخدم "موجهًا" ذكيًا يعمل مثل حارس البوابة. عندما تصل قطعة جديدة من المعلومات، ينظر الحارس إلى ماهيتها ويقرر: "هل هذه حقيقة مملة؟ ضعها في خزانة مشتركة يتم تنظيفها باستمرار. هل هذا سر مهم للغاية؟ ضعه في خزانة خاصة ومخصصة لا يُسمح لأحد غيره بلمسها".

تقدم الورقة البحثية إطار عمل يسمى ذاكرات الفتحات الموجهة (RSMs)، وهو المخطط الأساسي لـ Raven. الابتكار الرئيسي هو أن Raven يفصل بين أين تُكتب المعلومات وبين مدة بقائها هناك. في النماذج السابقة، كان هذان الأمران متشابكين. يستخدم Raven نظام توجيه "متفرق" (sparse)، مما يعني أنه يقوم فقط بتحديث مجموعة صغيرة مختارة من الخزانات (فتحات الذاكرة) لكل نص جديد، تاركًا البقية دون مساس تمامًا. وهذا أمر بالغ الأهمية لأنه يمنع "التداخل" الذي يحدث عندما تحاول تحديث كل شيء في وقت واحد. إذا كانت خزانة معينة تحتفظ بكلمة مرور حيوية، يمكن لموجه Raven أن يختار تجاهل تلك الخزانة لمئات الخطوات، مما يترك كلمة المرور تقبع هناك بأمان بينما تقوم بقية الذاكرة بعملها.

اختبر الباحثون Raven في بعض ألعاب الذاكرة الصعبة للغاية. أحدها كان اختبار "الإبرة في كومة القش"، حيث يتعين على الذكاء الاصطناعي العثور على جملة محددة مخبأة داخل مستند ضخم. في هذه الاختبارات، أظهر Raven قدرته على العثور على الإبرة حتى عندما كان المستند أطول بـ 16 مرة من طول النص الذي تدرب عليه. وبينما بدأت النماذج الأخرى مثل Mamba-2 أو "انتباه النافذة المنزلقة" في الفشل والنسيان مع زيادة طول النص، حافظ Raven على دقته القريبة من المثالية. على سبيل المثال، في اختبار مكون من 32,000 توكن (token)، حافظ Raven على دقة تزيد عن 91%، بينما انخفضت دقة النماذج الأخرى بشكل كبير.

الأمر الرائع حقًا هو أن Raven لا يحتاج إلى أي حيل إضافية معقدة للقيام بذلك. فهو لا يعتمد على عمليات التفاف (convolutions) معقدة (وهي بمثلة مرشحات الذاكرة قصيرة المدى المستخدمة في النماذج الأخرى) أو علامات موقع خاصة. إنه يستخدم فقط نظام التوجيه الذكي هذا. تشير الورقة إلى أنه من خلال السماح للنموذج بتعلم تخصيص الذاكرة بناءً على المحتوى (ما هي الكلمة) بدلاً من مجرد الموقع (أين توجد في الجملة)، فإنه يخلق "تخصصًا" طبيعيًا. تصبح بعض فتحات الذاكرة خبراء في الاحتفاظ بالتفاصيل الحرجة للاسترجاع، بينما تتعامل أخرى مع التدفق العام للقصة.

وجد المؤلفون أن هذا النهج لا يعمل في عزلة فحسب، بل يعمل أيضًا عند دمجه مع أنواع أخرى من بنيات الذكاء الاصطناعي. فعندما قرنوا Raven بآليات الانتباه القياسية (النوع المستخدم في أشهر نماذج الذكاء الاصطناعي اليوم)، حقق النظام الهجين أداءً أفضل في مهام السياق الطويل، متفوقًا على النماذج التي تستخدم "انتباه النافذة المنزلقة" أو النماذج الخطية الأخرى. وتخلص الورقة إلى أن Raven نجح في سد الفجوة بين النماذج الجيدة في الاستمرارية طويلة المدى وتلك الجيدة في الاستدعاء الدقيق، مما يشير إلى أن التعامل مع تخصيص الذاكرة كخيار مدروس وقابل للتعلم هو طريق قوي نحو بناء ذكاء اصطناعي أكثر ذكاءً وكفاءة.

ملخص تقني: Raven - نمذجة التسلسل عالية الاستدعاء مع التوجيه في الذاكرة المتفرقة

1. بيان المشكلة

تواجه نماذج التسلسل ذات الزمن الخطي، مثل نماذج فضاء الحالة (SSMs) والترانسفورمرز الخطية، مقايضة جوهرية في كيفية إدارة الذاكرة للاستدعاء طويل السياق. تقع البنيات الحالية عمومًا في طرفين متطرفين، وكلاهما يعاني من قيود محددة في استرجاع رموز (tokens) سابقة بعينها:

تحديثات الحالة الكثيفة (SSMs): تحافظ نماذج مثل Mamba-2 وGLA وGDN على حالة ثابتة الحجم يتم تحديثها بكثافة عند كل خطوة. يتم تحديث كل خانة ذاكرة لكل رمز جديد، بالاعتماد على آليات اضمحلال متعلمة للنسيان. وبينما يسمح هذا بالاستمرارية اللانهائية من حيث المبدأ، إلا أن التحديثات الكثيفة تسبب تداخلاً، مما يجعل من الصعب الحفاظ على رموز فردية محددة دون أن يتم الكتابة فوقها أو تخفيفها بالمعلومات اللاحقة.
الكتابة المتفرقة القائمة على الموقع (النافذة المنزلقة للانتباه - SWA): تقوم SWA بالكتابة بشكل متفرق عبر تخزين تمثيلات صريحة للرموز ولكنها تقيدها بنافذة أخيرة ثابتة. وهي تستخدم استراتيجية "الداخل أولاً يخرج أولاً" (FIFO) حيث يتم طرد الرموز القديمة قسريًا بناءً على الموقع. وبينما يسمح هذا باسترجاع موثوق داخل النافذة، إلا أن القدرة على الاستدعاء تنخفض إلى ما يقرب من الصفر بمجرد طرد الرمز ذي الصلة، بغض النظر عن أهميته.

المشكلة الجوهرية هي أن النماذج الحالية تخلط بين أين تُكتب المعلومات وكم مدة استمرارها. تقوم الـ SSMs بالكتابة في كل مكان وتعتمد على الاضمحلال للنسيان؛ بينما تقوم SWA بالكتابة في لا مكان (باستثناء النافذة الحالية) وتعتمد على الموقع للنسيان. لا ينجح أي منهما في الجمع بفعالية بين الكتابة المتفرقة المعتمدة على المحتوى والاضمحلال الصريح والمتحكم به.

2. المنهجية: ذاكرة فتحات التوجيه (RSMs)

يقترح المؤلفون ذاكرة فتحات التوجيه (RSMs)، وهو إطار عمل موحد يفصل بين موقع الكتابة ومدة الاستمرار. تحافظ الـ RSMs على مجموعة ثابتة من $M$ من فتحات الذاكرة، وفي كل خطوة زمنية $t$ ، تستخدم موجهًا (router) لتحديد المجموعة الفرعية من الفتحات التي تتلقى معلومات جديدة وتطبق الاضمحلال.

2.1 إطار عمل RSM

يتم تعريف التكرار العام لـ RSM كالتالي:
$S_t = (1 - r_t) \odot S_{t-1} + r_t \odot (D_t S_{t-1} A_t + U_t)$
حيث أن:

$S_t \in \mathbb{R}^{M \times d}$ هي حالة الذاكرة مع $M$ من الفتحات المستقلة.
$r_t \in \mathbb{R}^M$ هو متجه التوجيه الذي يحدد شدة الكتابة لكل فتحة.
$D_t$ و $A_t$ يتحكمان في الاضمحلال وخلط الميزات.
$U_t$ هو محتوى الكتابة المستمد من المدخل $x_t$ .

يضع هذا الإطار النماذج الحالية على طيف واحد:

نماذج SSMs: تستخدم موجهًا كثيفًا ( $r_t = \mathbf{1}_M$ )، حيث يتم تحديث جميع الفتحات مع اضمحلال تدريجي.
نماذج SWA: تستخدم موجهًا يعتمد على الزمن ويكون بنمط "واحد ساخن" ( $r_t = e_t$ )، حيث يتم تحديث فتحة واحدة بالضبط مع طرد قسري (بدون اضمحلال).
نماذج GSA/ABC: تستخدم موجهات تعتمد على المدخلات ولكنها عادة ما تحدث جميع الفتحات (كتابات كثيفة)، مما يحد من قدرتها على عزل الذكريات.

2.2 بنية Raven

Raven هو تجسيد محدد لـ RSMs مصمم ليشغل "المنطقة الوسطى" عبر الجمع بين التوجيه المتفرق المعتمد على المدخلات والاضمحلال الصريح.

هيكل الحالة المزدوجة: مثل SWA، يحافظ Raven على حالات منفصلة للمفاتيح ( $S^k_t$ ) والقيم ( $S^v_t$ ).
التوجيه المتفرق المعتمد على المدخلات: بدلاً من النافذة الثابتة أو التحديث الكثيف، يستخدم Raven موجهًا $g_t$ $g_{t}$ مشتقًا من المدخل $x_t$ $x_{t}$ . وهو يستخدم استراتيجية اختيار Top-K (مقتبسة من توجيه DeepSeek MoE) لاختيار مجموعة فرعية صغيرة من $K$ $K$ من الفتحات لتحديثها.
- يتم حساب الدرجات عبر دالة سيجمويد (sigmoid): $m_t = \sigma(W x_t)$ .
- يتم الاحتفاظ فقط بأعلى $K$ من المدخلات، بينما يتم ضبط القيم الأخرى لتصبح صفرًا.
- يتم تطبيع (normalization) الموجه لضمان تلقي الفتحات المختارة شدة الكتابة المناسبة.
الاضمحلال الانتقائي: يتم تطبيق الاضمحلال فقط على الفتحات المختارة. التكرار هو:
$S^k_t = \exp(a_t r_t) \odot S^k_{t-1} + (1 - \exp(a_t r_t)) \odot k^\top_t$
هنا، $a_t$ هو معامل اضمحلال قياسي يعتمد على المدخل (مشابه لـ Mamba-2). إذا لم يتم اختيار فتحة ما ( $r_t[i] \approx 0$ )، فإن المصطلح $\exp(a_t r_t[i]) \approx 1$ ، مما يعني أن الفتحة تتجمد وتحتفظ بمحتواها بشكل مثالي حتى يتم اختيارها مرة أخرى.
تصميم الكتلة المبسط: على عكس العديد من النماذج الخطية (مثل Mamba وGLA)، يتجنب Raven الالتفافات قصيرة المدى (short-range convolutions). فهو يعتمد فقط على آليات التوجيه والاضمحلال لدمج السياق المحلي وبعيد المدى، مما ينتج عنه بنية أكثر بساطة.

3. المساهمات الرئيسية

ذاكرة فتحات التوجيه (RSMs): إطار عمل رسمي يوحد نماذج SSMs وSWA، ويفصل صراحة بين "موقع الكتابة" (التوجيه) و"آلية النسيان" (الاضمحلال).
نموذج Raven: نموذج تسلسل ذي زمن خطي ينفذ RSMs باستخدام توجيه متفرق يعتمد على المدخلات لتحديث مجموعة فرعية من فتحات الذاكرة مع تطبيق الاضمحلال فقط على تلك الفتحات التي تم تحديثها.
آلية للاستدعاء طويل المدى: من خلال توجيه الرموز الحرجة للاسترجاع (مثل كلمات المرور/passkeys) إلى فتحات مخصصة وتجميدها، يمنع Raven التداخل المدمر الشائع في نماذج SSMs الكثيفة والاي طرد القسري الذي تعاني منه SWA.
التعميم على الطول: يحقق النموذج أداءً قويًا في السياقات التي تصل إلى 16 ضعف طول التدريب الخاص به دون الحاجة إلى منهج تعليمي للطول (length curriculum) أو تقنيات استكمال موضعي (مثل RoPE)، حيث أن أطوال التسلسل الفعالة المتغيرة عبر الفتحات تعرض النموذج طبيعيًا لديناميكيات زمنية متنوعة.

4. النتائج التجريبية

قيم المؤلفون Raven في اختبارات مكثفة للاسترجاع ومهام نمذجة اللغة العامة، مقارنة بنماذج أساسية قوية تشمل Mamba-2 وGLA وGDN وSWA ومتغيرات Transformer (FoX).

الإبرة في كومة القش (NIAH):
- على مقي scale 400M: حافظ Raven على دقة تقارب الكمال ( $\ge 99\%$ ) حتى 16 ألف رمز، وظل قويًا ( $>91\%$ ) عند 32 ألف رمز (16 ضعف طول التدريب). في المقابل، تدهورت نماذج Mamba-2 وGDN بشكل كبير بعد 8 آلاف رمز.
- على مقي scale 800M: حقق Raven دقة 91.0% في مهمة NIAH-1 عند 64 ألف رمز، متفوقًا بشكل ملحوظ على أقرب نموذج أساسي (GDN بنسبة 45.2%).
مهام الاستدعاء في العالم الحقيقي:
- في مهام SWDE (استخراج الويب)، وFDA (استخراج المستندات)، وSQuAD، تفوق Raven باستمرار على النماذج الخطية. على سبيل المثال، في FDA، كان النموذج الخطي الوحيد الذي تجاوز دقة 22%، محققًا تحسنًا بنحو 8 نقاط عن أفضل نموذج أساسي من نوع SSM.
نمذجة اللغة:
- طابق Raven أو تجاوز أداء نماذج SSM الكثيفة (Mamba-2, GLA) في اختبارات الصفر (zero-shot) القياسية (Lambada, PIPI, HellaSwag، إلخ)، مما يثبت أن التوجيه المتفرق لا يضعف قدرات نمذجة اللغة العامة.
البنيات الهجينة:
- عند دمجه في بنيات هجينة (مقترن بطبقات انتباه كاملة)، تفوق Raven بشكل كبير على النماذج الهجينة التي تستخدم Mamba-2 أو GDN أو SWA-RoPE في مهام الاسترجاع طويلة السياق، خاصة في نطاق 16K–64K.

5. الأهمية والادعاءات

يزعم البحث أن Raven يعالج فجوة بنيوية أساسية في نمذجة التسلسل الخطي. من خلال الفصل الصريح بين أين تُكتب المعلومات وكم مدة استمرارها، يحقق Raven مستوى من الاستدعاء طويل المدى لم يكن ممكناً للنماذج الخطية سابقاً دون اللجوء إلى الانتباه التربيعي أو الإعدادات الهجينة المعقدة.

تشمل الادعاءات الرئيسية ما يلي:

التفوق على SWA: يستبدل Raven الطرد القائم على الموقع بتوجيه يعتمد على المحتوى واضمحلال انتقائي، مما يتيح استدعاءً مثاليًا في المهام التي تفشل فيها SWA تمامًا.
التفوق على نماذج SSM الكثيفة: يتجنب Raven التداخل الناتج عن تحديثات الحالة الكثيفة عبر الكتابة الانتقائية، مما يسم يسمح لرموز معينة بالاستمرار إلى أجل غير مسمى في فتحات مخصصة.
البساطة: يحقق النموذج هذه المكاسب دون الحاجة إلى التلافيف قصيرة المدى، مما يبسط البنية مقارنة بالنماذج الخطية السابقة.
التخصص الناشئ: يظهر التحليل أن Raven يتعلم طبيعيًا تخصيص فتحات ذاكرة محددة للرموز الحرجة للاستدعاء (مثل كلمات المرور) بينما يستخدم فتحات أخرى للمحتوى العام، مما يخلق تخصيص ذاكرة مهيكل ومعتمد على المحتوى دون إشراف صريح.

يخلص المؤلفون إلى أن إطار عمل RSM يشير إلى أن التوجيه والنسيان هما محوران تصميميان متعامدان يجب التعامل معهما كخيارات تصميم أولية وليس كمجرد نواتج ثانوية لآليات الاضمحلال.