🤖 machine learning

Maglev: Sliding Recurrent Memory

تقدم الورقة البحثية Maglev، وهي بنية Transformer متكررة تجمع بين مرحلة تعبئة (prefiller) ذات انتباه كامل مع فك تشفير بنظام النافذة المنزلقة (sliding-window decoder) يتم تدريبه عبر فقد اتساق الذاكرة (memory consistency loss) لتحقيق ذاكرة ثابتة الحجم، وتدريب قابل للتوازي، وأداء متفوق على النماذج المرجعية الحالية ذات النافذة المنزلقة والنموذج المتكرر الكامن.

المؤلفون الأصليون: Bo Liu, Qiang Liu

نُشر 2026-08-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bo Liu, Qiang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

مشكلة الذاكرة: لماذا يحتاج الذكاء الاصطناعي إلى دفتر ملاحظات أفضل؟

تخيل أنك تحاول كتابة قصة، ولكن في كل مرة تنهي فيها جملة، عليك أن تنسى كل ما كتبته قبلها. هذه هي المعاناة الأساسية للعديد من نماذج الذكاء الاصطناعي الحديثة. هذه النماذج، المعروفة باسم "المحولات" (Transformers)، بارعة للغاية في فهم اللغة، لكن لديها استراتيجية ذاكرة معقدة. الطريقة "المثالية" بالنسبة لها لتذكر الأشياء هي إبقاء كل كلمة رأتها على الإطلاق أمامها، مثل دفتر ملاحظات ضخم ومفتوح. يتيح لها ذلك ربط الأفكار من بداية الكتاب إلى نهايته، لكن هذا يجعل الحاسوب ثقيلاً وبطيئاً لدرجة أن موارد الطاقة والوقت تنفد إذا طالت القصة.

ولإصلاح ذلك، يستخدم المهندسون غالباً نهج "النافذة المنزلقة" (sliding window). تخيل أن الذكاء الاصطناعي يحتفظ فقط بالجمل القليلة الأخيرة في دفتر ملاحظاته ويرمي الباقي. هذا يجعل الحاسوب سريعاً وفعالاً، ولكنه يعني أن الذكاء الاصطناعي يفقد القدرة على تذكر التفاصيل المهمة من بداية القصة. ومن ناحية أخرى، حاولت أنواع قديمة من نماذج الذكاء الاصطناعي ضغط تاريخها الكامل في ملخص صغير واحد. هذا سريع، لكن الملخص غالباً ما يصبح فوضوياً ويفقد التفاصيل الغنية اللازمة لفهم الحبكات المعقدة. السؤال الكبير في هذا الركن من علوم الحاسوب هو: هل يمكننا بناء ذكاء اصطناعي يمتلك سرعة النافذة المنزلقة والذاكرة العميقة والغنية للدفتر المفتوح بالكامل، دون أن يغرق في البطء؟

ماجليف (Maglev): القطار الذي يتذكر دون أعباء

تقدم هذه الورقة البحثية بنية جديدة تسمى Maglev (اختصار لـ Magnetic Levitation أو الرفع المغناطيسي)، والتي تعمل مثل قطار عالي السرعة ينزلق فوق مسار من الذاكرة دون الحاجة إلى حمل عربة أمتعة ثقيلة. يقترح الباحثان، بو ليوو وتشيانغ ليو من جامعة تكساس في أوستن، عملية تدريب ذكية من خطوتين تسمح للذكاء الاصطناعي بتعلم كيفية تذكر الأشياء بشكل مثالي، رغم أنه يحتفظ فقط بكمية صغيرة وثابتة من المعلومات أثناء الاستخدام الفعلي.

فكر في عملية التدريب كأنها بروفة بين مخرج وممثل:

المخرج (المُعبئ Q): أولاً، يقوم نموذج "مخرج" قوي بقراءة القصة بأكملة من البداية إلى النهاية. ولأنه يمتلك الوصول إلى النص كاملاً، يمكنه تدوين "ملاحظات الذاكرة" المثالية لكل جملة. إنه يعرف بالضبط ما يحتاج الممثل لتذكره لجعل السطر التالي منطقياً.
الممثل (المفكك P): بعد ذلك، يحاول ممثل "النافذة المنزلقة" أداء القصة. يُسمح لهذا الممثل فقط بالنظر إلى الجمل القليلة الأخيرة وملاحظات الذاكرة التي سلمها له المخرج للتو. يحاول الممثل التنبؤ بالكلمة التالية، والأهم من ذلك، يحاول كتابة ملاحظات الذاكرة الخاصة به للخطوة التالية.

هنا تكمن الخدعة السحرية: يعلم الباحثون الممثل أن يطابق الملاحظات التي يكتبها مع الملاحظات المثالية التي كتبها المخرج. إنهم يستخدمون "خسارة الاتساق" (consistency loss)، وهي ببساطة نظام تقييم يقول: "إذا لم تشبه ملاحظة الذاكرة الخاصة بك ملاحظة المخرج المثالية، فستخسر نقاطاً". بمرور الوقت، يتعلم الممثل كتابة ملاحظات جيدة جداً لدرجة أنه لا يحتاج إلى المخرج بالفعل.

ماذا يحدث في النهاية؟
بمجرد انتهاء التدريب، يتم فصل المخرج. يترك الممثل وحيداً على المسرح. الآن، يدير الممثل العرض من خلال قراءة الجمل الأخيرة واستخدام ملاحظات الذاكرة التي كتبها للجملة السابقة لفهم الجملة الحالية. هذا يخلق حلقة يكون فيها للذكاء الاصطناعي "نافذة منزلقة" من السياق المباشر، ولكنه يحمل أيضاً ذاكرة غنية ومضغوطة لكل ما سبق، كل ذلك مع الحفاظ على حجم ذاكرة ثابت وصغير.

النتائج: السرعة تلتقي بالذكاء

اختبر المؤلفون نظام "ماجليف" على مجموعة بيانات ضخمة مكونة من 43.52 مليار توكن (كمية هائلة من النصوص). وقارنوا نموذجهم بنماذج النافذة المنزلقة القياسية ونماذج الذاكرة المتقدمة الأخرى.

تشير النتائج إلى أن "ماجليف" منافس قوي. في تجاربهم:

حسن نموذج "ماجليف" معدل FineWeb-Edu (بت لكل بايت - BPB) في التحقق من 0.7413 (الأساس القياسي للنافذة المنزلقة) إلى 0.7251. وفي عالم الذكاء الاصطناعي، يعني انخفاض درجة BPB أن النموذج يرتكب أخطاء أقل ويفهم النص بشكل أفضل.
كما رفع متوسط الدقة في مهام مختلفة (مثل الإجابة على الأسئلة أو إكمال الجمل) من 54.1% إلى 56.4%.

أحد أكثر الاكتشافات إثارة للدهشة هو أن "المخرج" و"الممثل" يمكنهما في الواقع مشاركة معظم قدراتهما الذهنية (المعلمات/parameters). وجد الباحثون أنه حتى عندما شارك النموذجان معظم أوزانهما الداخلية، ظل نظام "ماجليف" يحتفظ بمعظم مكاسبه في الأداء. وهذا يعني أن النظام يمكن أن يكون أصغر وأرخص في التشغيل مما لو كان النموذجان منفصلين تماماً.

لماذا يهم هذا؟

تشير الورقة البحثية إلى أن "ماجليف" يقدم طريقة عملية لمنح نماذج الذكاء الاصطناعي ذاكرة "غير خطية" — ذاكرة يمكن إعادة كتابتها وتحديثها مع كل كلمة، تماماً مثل تفكير الإنسان — دون التكلفة الحسابية الهائلة للنظر في التاريخ الكامل في كل مرة. وعلى عكس بعض الطرق الأخرى التي تجبر الذكاء الاصطناعي على التوقف والتفكير في كتل كبيرة أو استخدام صيغ رياضية جامدة لتحديث الذاكرة، يسمح "ماجليف" للنموذج بتحديث ذاكرته باستمرار وبشكل إبداعي.

بينما يشير المؤلفون إلى أن هذا بحث أولي، وأن توسيع نطاقه ليشمل نماذج أكبر بكاً سيتطلب مزيداً من العمل، إلا أن الفكرة الجوهرية متينة: باستخدام "معلم" موازٍ لتوجيه "طالب" أثناء التدريب، يمكننا تعليم الذكاء الاصطناعي أن يكون سريعاً وذا ذاكرة عميقة في آن واحد. الأمر يشبه تعليم طالب كيفية تدوين ملاحظات مثالية في الفصل الدراسي، بحيث يمكنه، عندما يكون وحيداً في المكتبة لاحقاً، استرجاع المحاضرة بأكملها بمجرد النظر إلى اختصاراته الخاصة.

ملخص تقني: Maglev – الذاكرة المتكررة المنزلقة

بيان المشكلة
تواجه بنيات "ترانسفورمر" (Transformer) الحالية مقايضة جوهرية بين سعة الذاكرة والكفاءة الحسابية. فآلية الانتباه الذاتي الكامل (Full causal self-attention) تتيح استرجاعاً غير خطي وحسابات داخل السياق قوية، لكنها تتسبب في تكاليف تزداد خطياً مع طول السياق. وفي المقابل، تعمل آلية الانتباه بنطاق منزلق (Sliding-window attention) على حصر تكاليف الانتباه وذاكرة التخزين المؤقت (KV-cache)، لكنها تتخلص من المعلومات البعيدة، مما يفشل في توفير ذاكرة مستمرة طويلة الأمد. أما النماذج المتكررة الكلاسيكية (مثل LSTM)، فهي تضغط التاريخ ولكنها تنقل حالات صغيرة بشكل متسلسل، مما يحد من السعة والتوازي في التسلسل. وبينما تحاول نماذج "ترانسفورمر الذاكرة" (Memory Transformers) ونماذج الانتباه الخطي سد هذه الفجوة، إلا أنها غالباً ما تفرض حدوداً اصطناعية للمقاطع، أو تعتمد على تحديثات خطية مهيكلة، أو تتطلب فكاً تسلسلياً (Sequential unrolling) أثناء التدريب. ويتمثل التحدي الجوهري في تطوير آلية ذاكرة متكررة غير خطية وعملية لكل رمز (Token-wise) لنماذج "ترانسفورمر"، تسمح بالتدريب المتوازي مع الحفاظ على تكاليف استنتاج محدودة.

المنهجية: بنية Maglev
يعالج Maglev هذه المشكلة عبر فصل بناء الذاكرة أثناء التدريب عن انتشار الذاكرة أثناء الاستنتاج. تتكون البنية من نموذجين مقترنين:

المُعبئ المسبق (Prefiller - $Q$ ): هو نموذج "ترانسفورمر" سببي يعالج التسلسل المرصود بالتوازي باستخدام مجال استقبال أكبر (على سبيل المثال، انتباه متداخل بين الكامل والمنزلق). يقوم بتوليد مسار من ناقلات الذاكرة المستهدفة، $m'_t$ ، لكل موضع رمز.
المُفكك (Decoder - $P$ ): هو نموذج "ترانسفورمر" بنطاق منزلق يتنبأ بالرمز التالي ويولد ناقلات الذاكرة الخاصة به، $m_t$ . ومن المهم ملاحظة أن $P$ لا يملك وصولاً إلى التاريخ الكامل؛ بل يرى فقط نافذة محدودة من الرموز الأخيرة ونافذة مزاحة من ناقلات الذاكرة.

آلية التدريب: التدريب المتوازي المرفوع (Lifted Parallel Training)
بدلاً من فك الحالة المتكررة تسلسلياً (مما يمنع التوازي)، يستخدم Maglev استراتيجية تدريب ذات مرحلتين:

المرحلة الأولى: يقوم المُعبئ المسبق $Q$ بتوليد مسار الذاكرة المستهدف الكامل $m'_{1:T}$ بالتوازي.
المرحلة الثانية: يستهلك المُفكك $P$ المسار المستهدف المزاح $m'_{0:T-1}$ جنباً إلى جنب مع الرموز المدخلة للتنبؤ بالرمز التالي وإنتاج ذاكرته الخاصة $m_{1:T}$ .
الهدف: يتم تحسين النموذج باستخدام دالة خسارة مركبة:
- خسارة التنبؤ بالرمز التالي ( $L_{CE}$ ): خسارة الإنتروبيا المتقاطعة القياسية لنمذجة اللغة.
- خسارة اتساق الذاكرة ( $L_{cons}$ ): حد يعمل على محاذاة ذاكرة المُفكك الخارجة $m_t$ مع هدف المُعبئ المسبق $m'_t$ . وهذا يعلم المُفكك كيفية إعادة إنتاج حالة الذاكرة الضرورية للخطوة التالية دون الحاجة إلى فك تسلسلي.

آلية الاستنتاج
عند الاستنتاج، يتم التخلص من المُعبئ المسبق $Q$ . يعمل المُفكك $P$ بشكل متكرر، حيث يغذي ذكرياته المولدة سابقاً $m_{t-1}$ مرة أخرى في النظام.

حقن K/V المتكرر: بدلاً من استخدام رموز ذاكرة مخصصة، يقوم Maglev بحقن حالة الذاكرة المزاحة في ميزات المفتاح/القيمة (K/V) لآلية الانتباه عبر عمليات إسقاط متعلمة وآليات بوابات (Gating mechanisms).
التعقيد المحدود: يحافظ المُفكك على نافذة منزلقة ثابتة الحجم من الرموز والذاكرات. وتنتقل الحالة المتكررة عبر ذاكرة التخزين المؤقت لـ K/V، مما يضمن بقاء تكاليف الاستنتاج (الحوسبة وحجم التخزين المؤقت) محدودة ومستقلة عن إجمالي طول التسلسل، بما يطابق ملف تعريف آلية الانتباه ذات النطاق المنزلق القياسية.

المساهمات الرئيسية

التكرار غير الخطي لكل رمز: يقدم Maglev آلية حيث تعمل حالة كل رمز في المُفكك كذاكرة، وتمر عبر العمق غير الخطي الكامل لـ "ترانسفورمر" دون الحاجة إلى رموز ذاكرة إضافية أو حدود مقاطع اصطناعية.
التدريب المتوازي للنماذج المتكررة: من خلال استخدام مُعبئ مسبق لتوليد الأهداف بالتوازي، يتيح Maglev التدريب المتوازي لنماذج التكرار غير الخطي، متجنباً الاختناقات التسلسلية لتدريب الـ RNN التقليدي.
مشاركة المعلمات: يوضح المؤلفون أنه يمكن لـ $Q$ و $P$ مشاركة غالبية معلماتهما (تحديداً كتل الترانسفورمر) دون تدهور كبير في الأداء، مما يقلل من عبء ذاكرة المعلمات في إعداد التدريب.
الاستنتاج المحدود: يحتفظ النموذج المستخدم بكفاءة آلية الانتباه ذات النطاق المنزلق مع اكتساب قدرات ذاكرة مستمرة من خلال حقن K/V المتكرر.

النتائج التجريبية
تم تقييم Maglev على بنية nanochat d20 (بـ 435 مليون معلمة، مدربة على 43.52 مليار رمز)، وتمت مقارنته بنماذج "ترانسفورمر" المتداخلة (كامل/منزلق)، ونماذج النطاق المنزلق الصرفة، ونماذج "ترانسفورمر الذاكرة الكامنة" (LRT) المرجعية.

الأداء: حسّن أفضل متغير لـ Maglev (بمعلمات منفصلة، $\lambda=1$ ) قيمة الـ Bits-per-byte (BPB) لـ FineWeb-Edu من 0.7413 (النموذج المرجعي للنطاق المنزلق) إلى 0.7251.
المهام اللاحقة: حقق متوسط دقة في المهام اللاحقة بلغ 56.4%، متفوقاً على كل من نموذج "ترانسفورمر" المتطابق ذي النطاق المنزلق (54.1%) ونموذج LRT المرجعي المتطابق.
وزن الاتساق: أشارت الدراسة إلى أن وزن الاتساق الأمثل ( $\lambda$ ) يعتمد على استراتيجية مشاركة المعلمات؛ حيث استفاد النموذج ذو المعلمات المنفصلة من قيمة $\lambda$ أعلى، بينما قد يحد ذلك من النموذج ذي المعلمات المشتركة.

الأهمية والادعاءات
يزعم البحث أن Maglev يوفر مساراً عملياً لتزويد نماذج "ترانسفورمر" غير الخطية بذاكرة مستمرة لكل رمز يمكن إعادة كتابتها بعد كل رمز. لقد نجح في سد الفجوة بين القدرة التعبيرية للانتباه الكامل وكفاءة النماذج ذات السياق المحدود. ومن خلال فصل توليد الذاكرة عن استخدامها أثناء التدريب، يحقق Maglev تدريباً متوازياً لبنيات التكرار، وهو أمر كان صعباً في السابق للنماذج غير الخطية. ويضع المؤلفون Maglev كتحقيق أولي في هذا المجال التصميمي، مشيرين إلى أنه رغم تفوقه على نماذج النطاق المنزلق ونماذج الذاكرة الكامنة في الإعداد المختبر، إلا أن هناك حاجة لمزيد من العمل لتوسيع نطاق النهج، وتحسين كفاءة النواة (Kernel efficiency) للنشر، واستكشاف آليات حقن ذاكرة بديلة (مثل الحقن في المجرى المتبقي أو الانتباه المتقاطع).

مشكلة الذاكرة: لماذا يحتاج الذكاء الاصطناعي إلى دفتر ملاحظات أفضل؟

ماجليف (Maglev): القطار الذي يتذكر دون أعباء

النتائج: السرعة تلتقي بالذكاء

لماذا يهم هذا؟

أبحاث مشابهة