Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory
تقدم هذه الورقة CoMem، وهي آلية ذاكرة تستغل الاستخدام غير الموحد لطبقات الـ Transformer عبر تخزين الحالات المتبقية الوسيطة وإعادة حساب الطبقات العليا، مما يحقق ذاكرة ذات سياق غير محدود بتكاليف حوسبة وذاكرة ثابتة مع التفوق بشكل كبير على النماذج المرجعية ذات السياق الكامل في اختبارات السياق الطويل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل روبوتًا فائق الذكاء يمكنه قراءة مكتبات كاملة من الكتب في جزء من الثانية. هذا الروبوت هو نوع من أنواع الذكاء الاصطناعي يسمى "نموذج لغوي كبير". لفهم قصة ما، يجب على الروبوت أن يتذكر كل كلمة قرأها حتى الآن. فكر في ذاكرته كأنها سبورة بيضاء ضخمة. في الروبوتات القديمة، في كل مرة يقرأ فيها كلمة جديدة، كان عليهم كتابة ملاحظة جديدة على السبورة لكل كلمة واحدة من الكلمات التي رأوها من قبل. إذا أصبحت القصة طويلة حقًا، فستنفد المساحة من السبورة البيضاء، أو سيشعر الروبوت بالتعب الشديد من محاولة قراءة ملاحظاته الخاصة لدرجة أنه سيتحرك ببطء شديد. هذه هي المشكلة الكبيرة التي يحاول العلماء حلها: كيف نسمح لهذه الروبوتات بتذكر كميات هائلة من المعلومات دون أن تنفد المساحة أو الوقت.
يكمن سر كيفية تفكير هذه الروبوتات في الطبقات، تمامًا مثل مبنى متعدد الطوابق. الطوابق السفلية بارعة في فهم المعنى الأساسي للكلمات (مثل معرفة أن "التفاحة" هي فاكهة). أما الطوابق العلوية فهي حيث يصبح الروبوت ذكيًا حقًا، مستخدمًا هذا المعنى الأساسي للإجابة على أسئلة محددة أو التنبؤ بما سيحدث بعد ذلك. عادةً، يتعين على الروبوت معالجة القصة بأكملها من الطابق السفلي وصولًا إلى الطابق العلوي في كل مرة يريد فيها الإجابة على سؤال. تقترح هذه الورقة البحثية اختصارًا ذكيًا: ماذا لو جعلنا الروبوت يقرأ القصة بأكملها فقط حتى الطابق الأوسط، ثم يحفظ هذا الفهم "نصف الناضج"، ثم يكمل المهمة فقط في الطابق العلوي عندما نحتاج فعليًا إلى إجابة؟
هذا هو بالضبط ما اكتشفه الباحثون وراء طريقة جديدة تسمى CoMem (ذاكرة الاستيعاب). لقد وجدوا أنه بدلًا من محاولة تذكر كل تفصيل من وثيقة ضخمة دفعة واحدة، يمكن للروبوت أن يكون أكثر ذكاءً في كيفية تخزين واسترجاع المعلومات. لقد أدركوا أن "فهم" الروبوت لقطعة نصية يكون جاهزًا في الغالب بحلول الوقت الذي يصل فيه إلى منتصف دماغه (الطبقات الوسطى). لذا، يعمل CoMem مثل أمين المكتبة الذي لا يحتفظ بالكتاب بأكمله على المكتب. بدلاً من ذلك، يقرأ أمين المكتبة النصف الأول من الفصل، ويكتب ملخصًا سريعًا على ملاحظة لاصقة، ثم يلصق تلك الملاحظة على الرف. عندما تسأله سؤالًا، لا يسحب أمين المكتبة الكتاب بأكمله، بل يسحب فقط الملاحظات اللاصقة ذات الصلة، ويكمل قراءة بقية الفصل في ذهنه، ثم يعطيك الإجابة.
تظهر الورقة البحثية أن هذا "تقسيم العمل حسب العمق" يعمل بشكل جيد للغاية. من خلال معالجة النصف الأول من النص فقط وتخزين (حفظ) تلك النتيجة المتوسطة، يوفر الروبوت مساحة هائلة. في اختباراتهم، باستخدام نموذج يسمى Qwen3-8B، استخدم CoMem مساحة 18.26 جيجابايت فقط من الذاكرة للتعامل مع سياق يبلغ 128 ألف رمز (token)، بينما احتاجت الطريقة التقليدية إلى 89.36 جيجابايت. هذا فرق هائل! كما جعل الروبوت أسرع بكثير، حيث حقق تسارعًا قدره 7.83 ضعفًا عند الاستعداد للإجابة على سؤال.
ومع ذلك، يحرص الباحثون على الإشارة إلى أن هذا ليس سحرًا. لا يمكنك مجرد التوقف عن القراءة في المنتصف وتوقع إجابة مثالية. إذا توقفت مبكرًا جدًا، سينسى الروبوت التفاصيل. وإذا توقفت متأخرًا جدًا، ستفقد ميزة السرعة. وجد الفريق "نقطة مثالية" في الطبقات الوسطى (تحديدًا الطبقة 12 من أصل 36) حيث يفهم الروبوت المعنى جيدًا بما يكفي لحفظه، لكنه لم يتخصص بعد في سؤال معين. كما وجدوا أن مجرد حفظ الملاحظات ليس كافيًا؛ إذ لا يزال يتعين على الروبوت أن يكون قادرًا على النظر إلى جميع الملاحظات ذات الصلة في وقت واحد لربط النقاط ببعضها.
النتائج مثيرة للإعجاب ولكنها محددة. في اختبار يسمى RULER، والذي يتحقق مما إذا كان بإمكان الروبوت العثور على "إبرة في كومة قش" (حقيقة محددة في نص ضخم)، سجل CoMem درجة 97.05، متفوقًا على الطريقة القياسية التي سجلت 78.80. وفي اختبار محادثة طويلة يسمى LoCoMo، سجل CoMem درجة 38.27 مقارنة بـ 34.59 للطريقة القياسية. تشير الورقة البحثية إلى أن هذا النهج هو وسيلة قوية لتنظيم الذاكرة، لكنه ليس حلاً مثاليًا لكل مهمة. على سبيل المثال، لا يزال الروبوت يعاني قليًا مع بعض أنواع الأسئلة المعقدة (مثل بعض مهام "qa2" في اختبار BABILong)، مما يظهر أنه بينما تعد هذه الطريقة خطوة كبيرة للأمام من حيث الكفاءة، إلا أنها لا تجعل الروبوت مثاليًا في كل شيء.
باختدصار، يقترح CoMem أننا لسنا بحاجة لإجبار الروبوت على إعادة قراءة المكتبة بأكملها في كل مرة نسأله فيها سؤالًا. من خلال تقسيم العمل —ترك الطبقات الدنيا تقوم بالعمل الشاق للفهم والطبقات العليا بالقيام بالإجابة المحددة— يمكننا بناء روبوتات تتذكر أكثر، وتفكر بشكل أسرع، وتستخدم طاقة أقل. الأمر يشبه إدراك أنك لست بحاجة لحمل الموسوعة بأكملها في حقيبة ظهرك؛ أنت فقط بحاجة لمعرفة الصفحات التي يجب سحبها عندما تحتاج إليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.