MegaMem: A Retrieval Solution for Ultra-Large Context Windows
يُعد MegaMem نظام استرجاع ثنائي الرؤية يعتمد على تحديد المصدر، يُمكّن من التوليد الدقيق عبر ذاكرات مستمرة فائقة الضخامة (تصل إلى مليار توكن) من خلال فصل البحث الدلالي عن استرجاع الأدلة المحدودة، محققاً مكاسب أداء كبيرة في EnterpriseRAG-Bench.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لقد أصبح الذكاء الاصطناعي الحديث بارعاً بشكل ملحوظ في الإجابة على الأسئلة، لكنه يواجه قيداً جوهرياً: وهو أنه لا يستطيع إلا استيعاب كمية معينة من المعلومات في "عقله" النشط في المرة الواحدة. تخيل أنك تحاول قراءة كتاب واحد بينما تحاول في الوقت ذاته الاحتفاظ بمحتويات مكتبة ضخمة في رأسك؛ فكلما زاد عدد الكتب التي تحاول تذكرها، أصبح من الصعب عليك التركيز على الكتاب الذي تقرأه بالفعل. لسنوات طويلة، حاول الباحثون حل هذه المشكلة عبر بناء أنظمة تخزن كميات هائلة من البيانات خارج الانتباه المباشر للكمبيوتر، بحيث لا تسترجع سوى الصفحات المحددة المطل ت عند طرح سؤال ما. هذا النهج يعمل بشكل جيد للمجموعات الصغيرة، لكنه يبدأ في التعثر عندما تكبر المكتبة لتضم مئات المليمات من الصفحات، مثل الكود البرمجي الكامل لشركة برمجيات أو سجلات الشركات لسنوات عديدة. التحدي لا يكمل فقط في إيجاد الصفحة المناسبة في مثل هذا التراكم الهائل، بل في القيام بذلك دون إغراق الكمبيوتر بالكثير من النصوص، مما قد يؤدي إلى إبطائه أو إرباك إجابته.
لقد طور فريق من الباحثين نظاماً جديداً يسمى "MegaMem" لحل هذه المشكلة تحديداً. يعالج عملهم عقبة حرجة في كيفية تعامل الذكاء الاصطناعي مع الذاكرات الضخمة والمستمرة. فبدلاً من محاولة إجبار الكمبيوتر على القراءة عبر ملايين الوثائق في كل مرة يُسأل فيها سؤالاً، ابتكر الفريق عملية مكونة من خطوتين تفصل بين فعل البحث وفعل الإجابة. لقد بنوا نظاماً يبحث أولاً عن الإجابات باستخدام ملخصات مكثفة للغاية للمعلومات، وفقط بمجرد العثัง على خيط واعد، يقوم باسترجاع النص الكامل والمفصل. يتيح ذلك للنظام البحث في مكتبة تحتوي على مئات الملايين من الكلمات مع تغذية الكمبيوتر بكمية صغيرة ومقدور عليها من النصوص لتوليد الإجابة.
اختبر الباحثون نظامهم على مجموعة بيانات ضخمة تضم أكثر من 500,000 وثيقة واقعية من مؤسسات، بإجمالي يصل إلى حوالي 650 مليون كلمة. شملت هذه المجموعة كل شيء من الأدلة التقنية والعقود القانونية إلى ملاحظات الاجتماعات ومواصفات المنتجات. وفي تجاربهم، قارنوا نظام "MegaMem" بالأساليب القياسية التي تحاول البحث في الوثائق الخام مباشرة. كانت النتائج مذهلة؛ فعندما طُلب من النظام العثور على معلومات داخل هذه المكتبة الهائلة، نجح في تحسين جودة إجاباته الإجمالية من حوالي 68 بالمئة إلى أكثر من 82 بالمئة. والأهم من ذلك، أنه حافظ على مستوى عالٍ من الدقة حتى مع نمو حجم المكتبة من 20 مليون كلمة إلى 250 مليون كلمة. أثبت هذا أن النظام يمكنه التوسع للتعامل مع مكتبة تقارب حجم الإنتاج المكتوب لدولة صغيرة دون أن يفقد قدرته على إيجاد الحقائق الصحيحة.
يكمن سر هذا النجاح في كيفية تنظيم النظام للمعلومات واسترجاعها. فعند بناء المكتبة لأول مرة، يقرأ الكمبيوتر كل وثيقة وينشئ نسختين مختلفتين من البيانات. تتكون النسخة الأولى من النص الأصلي المفصل، المحفوظ تماماً كما كُتب. أما النسخة الثانية فهي عبارة عن ملاحظات مركزة ومختصرة تلتقط الأفكار والحقائق والإجراءات الرئيسية من تلك الوثائق. وعندما يطرح المستخدم سؤالاً، يبحث النظام أولاً في هذه الملاحظات المختصرة. ولأن الملاحظات قصيرة ومركزة، يمكن للكمبيوتر مسح المكتبة بأكملة التي تضم ملايين الكلمات في جزء من الثانية. وإذا وجد البحث ملاحظة ذات صلة، يستخدم النظام معرفاً فريداً لتحديد مكان الوثيقة الأصلية التي جاءت منها تلك الملاحظة بالضبط. ثم يسترجع ذلك الجزء المحدد من النص المفصل لمساعدة الكمبيوتر في صياغة إجابته النهائية. يضمن هذا حصول الكمبيوتر على الأدلة الدقيقة وغير المعدلة التي يحتاجها دون أن يتشتت بمعلومات غير ذات صلة.
وجد الباحثون أيضاً أن هذه الطريقة أكثر كفاءة بكثير من النهج السابقة. فمن خلال استخدام الملاحظات المختصرة لتوجيه البحث، قلل النظام من كمية النصوص التي يحتاج إلى معالجتها لكل إجابة بنسبة تقارب 70 بالمئة، ومع ذلك، ظل ينتج إجابات دقيقة تقريباً كما لو كان قد قرأ الوثائق الكاملة. هذه الكفاءة أمر بالغ الأهمية لأنها تعني أن النظام يمكنه أن يظل سريعاً وسريع الاستجابة حتى مع نمو حجم الذاكرة التي يديرها. كما كشفت الدراسة أن الصعوبة الرئيسية في التعامل مع مثل هذه المكتبات الضخمة ليست في قدرة الكمبيوتر على فهم النص بمجرد العثور عليه، بل في صعوبة العثور على النص الصحيح في المقام الأول. ومع نمو المكتبة، انخفض أداء النظام قليلاً، ولكن كان ذلك بسبب تحدي تحديد الموقع الصحيح للأدلة وسط المزيد من المشتتات، وليس لأن الكمبيوتر فشل في فهم الأدلة بمجرد العثور عليها.
ولضمان موثوقية النظام، أضاف الباحثون خطوة أخيرة حيث يراجع الكمبيوتر إجابته ويحدد بدقة الوثائق التي دعمت ادعاءاته. أدت هذه العملية إلى تصفية أي مصادر تم استرجاعها ولكن لم تُستخدم فعلياً، مما نتج عنه قائمة مراجع أكثر نظافة ودقة. اختبر الفريق نظامهم على أنواع مختلفة من الأسئلة، بما في ذلك تلك التي تتطلب تفكيراً معقداً عبر وثائق متعددة وتلك التي تنطوي على معلومات متضاربة. وفي كل حالة، أثبت النهج المكون من خطوتين —البحث في الملخصات أولاً ثم استرجاع التفاصيل— تفوقه على الأساليب التي حاولت البحث في النصوص الخام مباشرة. يشير هذا العمل إلى أنه لكي يعمل الذكاء الاصطناعي حقاً كذاكرة طويلة الأمد للمؤسسات، يجب عليه فصل نطاق ما يمكنه البحث فيه عن حجم ما يمكنه قراءته في المرة الواحدة. ومن خلال القيام بذلك، يقدم "MegaMem" مساراً عملياً لبناء أنظمة يمكنها التذكر والاستنتاج عبر التواريخ الضخمة والمعقدة للمؤسسات الحديثة دون أن تضيع في الضجيج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.