PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory
تقدم الورقة البحثية PI-Mem، وهي آلية ذاكرة تكرارية متوازية تعالج جميع قطع السياق في وقت واحد وتعمل بشكل تكراري على تحسين ذاكرة مشتركة باستخدام الإنهاء التكيفي القائم على التعلم التعزيزي، مما يمكّن النماذج اللغوية الكبيرة من تحقيق دقة فائقة وتسريع كبير في الاستدلال في مهام الاستدلال ذات السياق الطويل التي تصل إلى 3.6 مليون رمز.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل رواية غموض ضخمة مكونة من 3.6 مليون صفحة. لديك محقق بارع، وهو نموذج لغوي كبير (LLM)، ذكي للغاية ولكن ذاكرته قصيرة المدى. إذا سلمت المحقق الكتاب بأكمله دفعة واحدة، فسيصبح عقله مثقلاً، ويبدأ في نسيان الأدلة من الصفحة العاشرة بحلول وصوله إلى الصفحة المليون. هذه هي مشكلة "السياق الطويل" في الذكاء الاصطناعي: كيف نحافظ على انتباه الكمبيوتر على بداية القصة بينما يقرأ النهاية؟
لحل هذه المشكلة، حاول العلماء استخدام حيلتين رئيسيتين. الحيلة الأولى تشبه محاولة شد شريط مطاطي؛ حيث يحاولون إجبار النموذج على تذكر كل شيء في وقت واحد، لكن الشريط المطاطي غالباً ما ينقطع أو يصبح بطيئاً جداً لدرجة يصعب معها استخدامه. أما الحيلة الثانية، والأكثر شيوعاً، فهي نهج "الذاكرة المتكررة". تخيل محققاً يقرأ الكتاب فصلاً فصلاً. بعد قراءة الفصل الأول، يكتب ملخصاً صغيراً في دفتر ملاحظاته، ثم يتخلص من الفصل، وينتقل إلى الفصل الثاني. يقرأ الفصل الثاني، ويحدث ملخصه، ويتخلص من الفصل، وهكذا. المشكلة هي أنه إذا قرأ المحقق فصلاً مربكاً لاحقاً، فقد يشطب بالخطأ ملاحظته المهمة من الفصل الأول، مما يؤدي إلى مسح دليل حاسم إلى الأبد. إنها عملية متسلسلة بطيئة، حيث يتعين على المحقق الانتظار حتى تنتهي الملاحظة الواحدة قبل البدء في التالية، مما يجعل التحقيق بأكمله يتلكأ.
هنا يأتي فريق من الباحثين بفكرة جديدة تسمى PI-Mem (الذاكرة المتوازية التكرارية). بدلاً من أن يقرأ المحقق فصلاً تلو الآخر، ويحدث الملاحظة، ثم ينتقل للذي يليه، يمنح PI-Mem المحقق قدرة خارقة: القدرة على قراءة جميع الفصول في وقت واحد، ولكن مع لمسة خاصة.
إليك كيف يعمل PI-Mem في عالم هذه الورقة البحثية. تخيل أن المحقق لديه لوحة "ذاكرة عالمية مشتركة". بدلاً من قراءة الكتاب بالتتابع، ينظر المحقق إلى كل فصل في آن واحد، مستخدماً الحالة الراهنة للوحة الذاكرة كدليل له. لكل فصل، يسأل نفسه: "هل يحتوي هذا الفصل على دليل جديد ليس موجوداً بالفعل على لوحتي؟" إذا كانت الإجابة بنعم، فإنه يستخرج ذلك الدليل المحدد. وإذا كانت الإجلة لا، فإنه يتجاهل بقية الضجيج.
بمجرد أن يمسح جميع الفصول بالتوازي، يأخذ فقط الأدلة الجديدة التي وجدها ويدمجها في لوحة الذاكرة، مما يخلق صورة أنقى وأكثر اكتمالاً. ثم، يكرر العملية. ينظر إلى جميع الفصول مرة أخرى، ولكن هذه المرة، يستخدم اللوحة المحدثة لتوجيهه. ربما يصبح دليل وجده في الفصل 200 فجأة مفهوماً بفضل قطعة مكملة وجدها في الفصل 5. يستمر في القيام بهذه "الجولات" من المسح حتى لا يتم العثور على أدلة جديدة أو حتى يصل إلى حد معين. أخيراً، يحل اللغز باستخدام الأدلة الموحدة على اللوحة فقط، وليس باستخدام كتاب الـ 3.6 مليون صفحة بأكمله.
اختبر الباحثون هذه الطريقة على نموذجين مختلفين من الذكاء الاصطناعي (Qwen3.5 و Qwen2.5) باستخدام اختبار HotpotQA، الذي يتطلب الإجابة على أسئلة صعبة تتطلب البحث عن معلومات عبر مستندات ضخمة. لقد دفعوا طول السياق إلى رقم مذهل يصل إلى 3.6 مليون توكن (ما يعادل تقريباً حجم مكتبة ضخمة).
كانت النتائج مذهلة. مقارنة بالطريقة القديمة "القراءة واحداً تلو الآخر" (الذاكرة المتكررة)، لم يكتفِ PI-Mem بالحصول على إجابات أفضل فحسب، بل حصل عليها بشكل أسرع بكثير. في اختبار الـ 3.6 مليون توكن، حسّن PI-Mem الدقة بنسبة تتراوح بين 6.25 إلى 7.81 نقطة مئوية عن أفضل طريقة سابقة. والأكثر إثارة للإعجاب هو أنه كان أسرع بمقدار 6.1 مرة في النموذج الأكبر، وبمقدار 2.1 مرة في النموذج الأصغر. كانت الطريقة القديمة بطيئة جداً لأن المحقق كان عليه الانتظار حتى تنتهي كل خطوة قبل الانتقال للتي تليها. أما PI-Mem، ومن خلال قراءته لكل شيء بالتوازي، فقد حول الطريق المتعرج والبطيء إلى طريق سريع فائق السرعة.
استخدم الفريق أيضاً تقنية تدريب خاصة تسمى "التعلم التعزيزي" لتعليم الذكاء الاصطناعي متى يتوقف. لقد منحوا الذكاء الاصطناعي "مكافأة" لإنهاء التحقيق بسرعة إذا كان لديه أدلة كافية، مما يمنعه من القيام بجولات قراءة إضافية غير ضرورية. وقد ضمن ذلك عدم إضاعة النظام للوقت في إعادة قراءة الفصول التي تم حلها بالفعل.
باختصار، تشير الورقة البحثية إلى أنه من خلال تغيير طريقة "تفكير" الذكنا الاصطناعي بشأن المستندات الطويلة — عبر الانتقة من مدون ملاحظات متسلسل بطيء إلى محقق متوازٍ وتكراري — يمكننا حل المشكلات المعقدة في كميات هائلة من النصوص دون فقدان الأدلة من البداية. إن هذا يثبت أنك لست بحاجة لإجبار الذكاء الاصطناعي على تذكر كل شيء في وقت واحد؛ أنت فقط بحاجة لمنحه طريقة أفضل لتنظيم قطع اللغز أثناء عثوره عليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.