🤖 AI

MoNe: Modular Neural Memory for Efficient Long Context Inference

تُعد MoNe نظام ذاكرة عصبية خفيف الوزن ومعياري يتصل بنماذج المحولات (Transformers) المجمدة لتمكين الاستدلال الفعال للسياقات الطويلة عبر فصل تكلفة الاستدلال عن طول السياق، محققةً تعقيد استعلام ثابتًا وتقليلًا كبيرًا في استخدام الذاكرة دون الحاجة لإعادة التدريب.

المؤلفون الأصليون: Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

نُشر 2026-08-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لقد وصل الذكاء الاصطنا-عي الحديث إلى نقطة تمكنه من قراءة كتب كاملة، أو تحليل سجلات دردشة لسنوات، أو استيعاب عقود قانونية ضخمة في جلسة واحدة. وللقيام بذلك، تعتمد هذه الأنظمة على آلية تسمح لها بالنظر إلى كل ما عالجته للتو لفهم السؤال الحالي. ومع ذلك، فإن هذه القدرة تأتي بثمن باهظ؛ فكلما زاد حجم النص، لا تكتفي متطلبات الطاقة وذاكرة الكمبيوتر لمعالجته بالزيادة فحسب، بل تنفجر بشكل هائل. تخيل أنك تحاول قراءة مكتبة عبر مقارنة كل كلمة تقرؤها الآن بكل كلمة قرأتها منذ أن بدأت. إن الجهد المطلوب ينمو بسرعة تجعل الأمر مستحيلاً على الحواسيب القياسية، وخاصة الأصغر منها الموجودة في الهواتف أو أجهزة الكمبيوتر المحمولة، للتعامل مع أكثر من بضعة آلاف من الكلمات في المرة الواحدة. وتجبر هذه المحدودية الأنظمة الحالية إما على نسيان بداية قصة طويلة أو الاعتماد على أدوات خارجية للعثور على حقائق محددة، مما يؤدي غالباً إلى فقدان الصورة الكبيرة التي تربط التفاصيل المتفرقة.

لقد طور فريق من الباحثين في "كوالكوم إيه آي ريسيرش" (Qualcomm AI Research) نهجاً جديداً يسمى "موني" (MoNe)، والذي يسمح لنماذج الذكاء الاصطناعي هذه بالتعامل مع كميات هائلة من المعلومات دون الحاجة إلى إعادة تدريبها أو إرهاق أجهزتها. وبدلاً من إجبار الكمبيوتر على إعادة قراءة التاريخ الكامل للمحادثة أو المستند باستمرار في كل مرة يجيب فيها على سؤال، يعمل "موني" مثل دفتر ملاحظات متخصص يكتب فيه النموذج أثناء القراءة. يقوم النظام بمعالجة النص الطويل في أجزاء صغيرة يمكن التحكم فيها؛ فبينما يقرأ كل جزء، يقوم بتحديث دفتر الملاحظات الداخلي هذا، ويقوم بتلخيص المعلومات الأساسية في شكل مقتضب. وبمجرد قراءة النص بالكامل وامتلء دفتر الملاحظات، يمكن للنموذج الإجابة على الأسئلة باستخدام محتويات ذلك الدفتر فقط. ومن الأهمية بمكان أن النموذج لا يحتاج أبداً للنظر إلى النص الطويل الأصلي مرة أخرى. ويعني هذا التصميم أن تكلفة الإجابة على سؤال ما تظل ثابتة، بغض النظر عما إذا كان المستند الأصلي عبارة عن بريد إلكتروني قصير أو رواية مكونة من مئة ألف كلمة.

اختبر الباحثون هذه الطريقة على مجموعة قياسية من التحديات المصممة لمعرفة ما إذا كان بإمكان النموذج العثور على حقيقة محددة مخبأة في كومة كبيرة من النصوص، وهي مهمة تُعرف غالباً باسم "البحث عن إبرة في كومة قش". كما اختبروا قدرته على استخراج الكلمات الأكثر ذكراً، أو حل المشكلات التي تتطلب ربط قطع متعددة من المعلومات المنتشرة عبر النص. وعندما ظل طول النص ضمن حدود التدريب الأصلية للنموذج، حققت الطريقة الجديدة أداءً مثالياً تقريباً، متفوقة على الأساليب القياسية التي تحاول قراءة كل شيء دفعة واحدة. والأكثر إثارة للإعجاب هو أنه عندما دفع الباحثون النظام للتعامل مع أطوال نصوص تتجاوز بكثير ما صُمم النموذج لأجله في الأصل — لتصل إلى مئة وثمانية وعشرين ألف "توكن" (token) — استمرت الطريقة الجديدة في العمل بدقة عالية. وفي المقابل، فشل النهج القياسي، الذي يحاول قراءة النص بالكامل دفعة واحدة، تماماً مع ازدياد طول النص، حيث انخفضت دقته إلى ما يقرب من الصفر. كما واجهت طريقة بديلة شائعة تحاول البحث عن مقاطع نصية ذات صلة صعوبة عندما تتطلب الإجابة تجميع حقائق عديدة ومتفرقة.

إن المكاسب في الكفاءة من هذه الطريقة الجديدة كبيرة للغاية. فعند أطول طول نص تم اختباره، وجد الباحثون أن نهجهم قلل من قدرة الكمبيوتر المطلوبة بنحو ثمانين بالمائة مقارنة بالطريقة القياسية. كما قلل من ذروة الذاكرة المطلوبة بنفس النسبة. وهذا تحسن حاسم لأن هذا يعني أن الاستنتاج القائم على السياق الطويل يمكن أن يعمل في النهاية على أجهزة ذات موارد محدودة، بدلاً من تطلب خوادم ضخمة ومكلفة. يحقق النظام ذلك من خلال الحفاظ على بصمة ذاكرة ثابتة؛ حيث لا ينمو حجم دفتر الملاحظات الداخلي مع زيادة طول النص. وقد أظهر الباحثون أنه يمكن ربط هذا النظام بنماذج موجودة مسبقاً ومدربة، دون تغيير هيكلها الأساسي، مع إضافة قدر ضئيل فقط من سعة التخزين الإضافية. كما أظهروا أن النظام يمكنه التعميم على أطوال نصوص تزيد بمقدار اثنتين وثلاثين ضعفاً عما تم تدريبه عليه، ببساطة عن طريق معالجة النص في أجزاء ثابتة الحجم وتحديث حالته الداخلية خطوة بخطوة.

وبينما ركزت التجارب الحالية على مهام استرجاع محددة باستخدام حجم نموذج معين، فإن النتائج تشير إلى مسار قابل للتطبيق لجعل الذكاء الاصطناعي أكثر قدرة على التعامل مع المعلومات طويلة المدى في العالم الحقيقي. فالطريقة لا تتطلب بناء أنواع جديدة تماماً من "الأدمغة الحاسوبية"، ولا تتطلب أن يتم إعادة تدريب النموذج على مجموعات بيانات ضخمة جديدة. بدلاً من ذلك، هي تقدم إضافة نمطية خفيفة تتعلم ضغط المعلومات أثناء العمل. وهذا يسمح للنظام بالحفاظ على ذاكرة واضحة وثابتة للماضي مع إبقاء تكلفة التفكير في الحاضر منخفضة. ومع استمرار نمو الطلب على ذكاء اصطناعي يمكنه التفكير عبر ساعات من المحادثة أو آلاف الصفحات من الوثائق، يقدم هذا النهج طريقة عملية لإبقاء تلك الأنظمة سريعة، وفعالة، وقادرة على فهم السياق الكامل للعالم الذي يُطلب منها التنقل فيه.

ملخص تقني: MoNe – الذاكرة العصبية النمطية للاستدلال الفعال في السياقات الطويلة

1. بيان المشكلة

تعد معالجة السياق الطويل أمراً جوهرياً لتطبيقات مثل المساعدين الشخصيين، والأسئلة والأجوبة المستندة إلى الوثائق، والأنظمة الوكيلية (Agentic Systems). ومع ذلك، فإن النهج المهيمن، وهو التعلم داخل السياق (ICL)، يتوسع بشكل تربيعي ( $O(N^2)$ ) في العمليات الحسابية (FLOPs) وبشكل خطي ( $O(N)$ ) في ذاكرة التخزين المؤقت لـ KV مع طول السياق $N$ . وهذا يجعل الاستدلال في السياقات الطويلة مكلفاً للغاية على الأجهزة محدودة الموارد (مثل الأجهزة المحمولة)، ويسبب صعوبة للنماذج الصغيرة في استخراج المعلومات بدقة حتى ضمن نوافذ السياق الأصلية الخاصة بها.

تواجه النهج البديلة قيوداً كبيرة:

التوليد المعزز بالاسترجاع (RAG): بينما يقلل من تكاليف الانتباه، يعتمد RAG على الاسترجاع القائم على التضمين (Embedding) لقطع مستقلة. وهذا يفشل عندما تتطلب المهام تركيب حقائق متعددة ومشتتة ومترابطة، والتي قد تبدو غير مميزة بمفردها.
النماذج المتكررة/الخطية (مثل Mamba و TTT و Titans): تحقق هذه النماذج تعقيداً خطياً ولكنها تتطلب تدريب بنيات جديدة تماماً من الصفر، مما يمنع التكامل السلس مع نماذج Transformer مسبقة التدريب ومجمدة دون إعادة تدريب كاملة.

2. المنهجية: MoNe

MoNe (الذاكرة العصبية النمطية) هي وحدة إضافية خفيفة الوزن مصممة للارتباط بأي نموذج Transformer مسبق التدريب ومجمد، مما يتيح الاستدلال الفعال في السياقات الطويلة دون تعديل أوزان النموذج الأساسي. تعمل البنية في مرحلتين متمايزتين:

2.1. البنية

يرتبط MoNe بشبكة ذاكرة ذات أوزان سريعة (Fast-weight neural memory network) بكل طبقة فك تشفير $l$ في النموذج الأساسي.

وحدة الذاكرة: تستخدم كل طبقة شبكة SwiGLU MLP مع معاملات الأوزان السريعة ( $W_{in}, W_{gate}, W_{out}$ ). وبخلاف الخرائط الخطية، تزيد هذه الشبكة غير الخطية من القدرة التعبيرية لترميز هياكل ترابطية أكثر ثراءً.
التكامل: أثناء الاستدلال، يتم إسقاط توكنات الاستعلام (Query tokens) عبر $W_q$ الخاص بالنموذج الأساسي المجمد والقراءة من حالة الوزن السريع المخزنة مؤقتاً. يتم إسقاط توكنات الذاكرة الناتجة في مساحة المفتاح-القيمة (Key-Value space) باستخدام $W_k$ و $W_v$ المجمدين، وتُدمج مع مدخلات الانتباه القياسية.
كفاءة المعاملات: تضيف الوحدة عدداً صغيراً فقط من المعاملات (زيادة بنسبة 6.4%) عبر محولات منخفضة الرتبة (LoRA) للأوزان المجمدة.

2.2. التشغيل ثنائي المراحل

المرحلة 1: التعلم في وقت الاختبار (المعالجة المسبقة)

يتم تقسيم السياق $C$ المكون من $N$ من التوكنات إلى مقاطع ثابتة الحجم بحجم $T=512$ توكن.
تُعالج المقاطع بالتتابع. لكل مقطع، يتم تحديث الأوزان السريعة في كل طبقة عبر تحديثات التدرج الموضعية للطبقة.
فقدان الذاكرة الترابطية: يتم تحسين وحدة الذاكرة لتعظيم الضرب الداخلي بين مخرج الذاكرة والقيم المستهدفة (المشتقة من $W_k$ و $W_v$ المجمدين). هذا "يطبع" الارتباط $k \to v$ في الأوزان السريعة دون الحاجة إلى خطأ تنبؤ أو انتشار عكسي عبر كامل النموذج الأساسي.
الترميز الموضعي: يُستخدم ترميز RoSE الموضعي للمقطع، حيث يتم تعيين المواضع المحلية $p_{local} = j \mod T$ . هذا يبقي مؤشرات الموضع محصورة في النطاق $[0, T)$ بغض النظر عن طول السياق الإجمالي، مما يسمح بالتعميم لأطوال عشوائية دون الحاجة لاستكمال (Interpolation).

المرحلة 2: الاستدلال

تقوم توكنات الاستعلام بالانتباه فقط إلى توكنات الذاكرة الناتجة عن حالة الوزن السريع المحدثة.
لا يتم إعادة قراءة أي توكنات سياق، ولا يتم الانتباه لأي توكنات سياق بشكل مباشر.
التعقيد: هذا يفصل تكلفة الاستدلال عن طول السياق، محققاً معالجة مسبقة بتعقيد $O(N)$ وتكلفة استعلام بتعقيد $O(1)$ مع بقاء ذروة ذاكرة GPU ثابتة بغض النظر عن $N$ .

3. المساهمات الرئيسية

البنية النمطية: وحدة إضافية يمكن دمجها مع أي نموذج Transformer مسبق التدريب ومجمد، وتضيف 6.4% فقط من المعاملات دون تعديل النموذج الأساسي.
إجراء التعلم في وقت الاختبار: طريقة تستخدم تحديثات التدرج الموضعية للطبقة لتكييف شبكات الذاكرة العصبية ذات الأوزان السريعة. هذا يتيح معالجة مسبقة بتعقيد $O(N)$ وتكلفة استعلام بتعقيد $O(1)$ ، على عكس تكلفة $O(N^2)$ في التعلم داخل السياق (ICL). كما يدعم بشكل طبيعي التمديد التدريجي للسياق وإعادة استخدام الاستعلامات المتعددة.
التعميم: أظهر قدرة على التعميم من سياقات التدريب (حتى 4K توكن) إلى سياقات التقييم (128K توكن) (أي تمدد بمقدار 32 ضعفاً) دون تدريب إضافي أو استكمال للمواضع.

4. النتائج التجريبية

أُجريت التجارب على معيار RULER (S-NIAH, MK-NIAH, Frequent Word Extraction) باستخدام نموذج خلفي Qwen2.5-0.5B-Instruct.

الأداء:
- داخل النافذة الأصلية (4K–32K): حقق MoNe أداءً يقارب الكمال (0.99–1.00 Sub-EM)، متفوقاً بشكل كبير على ICL (0.41–0.98) و RAG (0.58–0.93).
- خارج النافذة الأصلية (48K–128K): بينما انهار أداء ICL (على سبيل المثال، انخفض إلى 0.28 في S-NIAH عند 128K) واستقر RAG (عجز عن التعامل مع الحقائق متعددة الخطوات)، حافظ MoNe على دقة قوية (0.96 في S-NIAH، و 0.94 في MK-NIAH، و 0.96 في استخراج الكلمات المتكررة عند 128K).
الكفاءة:
- عند 128K توكن، قلل MoNe إجمالي العمليات الحسابية (FLOPs) بنحو 81% وذروة ذاكرة GPU بنحو 80% مقارنة بـ ICL.
- ظلت ذروة ذاكرة GPU لـ MoNe ثابتة عند 1.41 جيجابايت بغض النظر عن طول السياق، بينما تطلب ICL 7.07 جيجابايت عند 128K.
دراسات الاستبعاد (Ablation Studies):
- تغطية الطبقات: أدى ربط MoNe بجميع طبقات فك التشفير الـ 24 إلى أفضل النتائج. تسبب تقييدها في آخر 8 طبقات في انهيار الأداء بعد 32K.
- حجم المقطع: قدم حجم المقطع $T=512$ أفضل مقايضة، حيث تعمم بفعالية حتى 128K، بينما تدهورت المقاطع الأصغر ( $T=128, 256$ ) بسرعة بعد 16K.

5. الأهمية والادعاءات

يدعي البحث أن MoNe يقدم حلاً عملياً للاستدلال في السياقات الطويلة بموارد محدودة من خلال فصل التكلفة الحسابية عن طول السياق. تكمن أهميته في:

الكفاءة: تحقيق بصمة ذاكرة ثابتة ومعالجة مسبقة خطية، مما يجعل الاستدلال في السياقات الطويلة ممكناً على الأجهزة الطرفية (Edge Devices) حيث تكون تكاليف ذاكرة KV باهظة بخلاف ذلك.
التوافق: تمكين قدرات السياق الطويل للنماذج المجمدة الحالية دون الحاجة إلى ضبط دقيق كامل ومكلف أو إعادة تصميم البنية.
المتانة: التفوق على كل من ICL القياسي (الذي يتدهور مع الطول) و RAG (الذي يعاني مع الاستدلال الموزع) في المهام التي تتطلب تركيب المعلومات عبر سياقات طويلة.

يشير المؤلفون إلى أنه بينما يستخدم التحقق الحالي خلفية 0.5B ومهام استرجاع محكومة، فإن تصميم الإضافة (Plug-in) يهدف إلى التوسع ليشمل نماذج أكبر وأعباء عمل طبيعية (مثل الأسئلة والأجوبة متعددة الوثائق، أو تاريخ المحادثات) حيث يُتوقع أن تصبح مزايا كفاءة الاستدال بذاكرة ثابتة أكثر وضوحاً.