BCMT: Blockwise Causal Memory Transformer
يقدم نموذج BCMT (محول الذاكرة السببية القائم على الكتل) بنية مبتكرة تفصل بين التفاعلات المحلية للرموز ونشر السياق العالمي عبر ذاكرة سببية أسية لملخصات الكتل، محققاً أداءً يضاهي نماذج المحولات الكثيفة في نمذجة السياقات الطويلة مع تحسين إنتاجية التدريب وتقليل استهلاك الذاكرة بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول سرد قصة لصديق، لكن القصة طولها مليون كلمة. في عالم الذكاء الاصطناعي، تستخدم الحواسيب التي تكتب القصص (والتي تسمى النماذج اللغوية) عادةً أداة تسمى "المحول" (Transformer) لفهم الحبكة. فكر في "المحول" كأنه أمين مكتبة فائق التنظيم، لكي يفهم الجملة الحالية، ينظر إلى كل كلمة سبقت إليها في الكتاب بأكمله. هذا الأسلوب يعمل بشكل مذهل في القصص القصيرة، ولكن كلما طال الكتاب، شعر أمين المكتبة بالإرهاق. إذا كان الكتاب يحتوي على 1,000 كلمة، فسيتعين على أمين المكتبة إجراء 1,000 عملية ربط. وإذا كان يحتوي على 10,000 كلمة، فسيقوم بـ 100,000 عملية ربط. الأمر يشبه محاولة مصافحة الجميع في ملعب رياضي في وقت واحد؛ حيث ينمو المجهود بسرعة كبيرة لدرجة أن الحاسوب ينفد منه الذاكرة والوقت، مما يجعل من المستحيل قراءة الكتب الطويلة جداً.
لقد حاول العلماء حل "مشكلة الكتاب الطويل" هذه لسنوات. حاول البعض جعل أمين المكتبة ينظر فقط إلى الصفحات القليلة الأخيرة (مما يؤدي إلى فقدان الصورة الكبيرة)، بينما حاول آخرون بناء بنك ذاكرة خاص حيث يدون أمين المكتبة ملاحظات لتذكر الماضي. لكن هذه الحلول غالباً ما تكون معقدة أو تبطئ عمل الحاسوب بطرق مختلفة. يبقى السؤال الكبير: هل يمكننا بناء حاسوب يفهم القصص الطويلة تماماً مثل "أمين المكتبة الخارق"، ولكن دون الصداع الهائل الناتج عن فحص كل كلمة مقابل كل كلمة أخرى؟
هنا يأتي دور فكرة جديدة تسمى BCMT (محول ذاكرة التتابع الكتلي)، والتي اقترحها الباحث رشيد أريكي. بدلاً من إجبار الحاسوب على النظر إلى الكتاب بأكمله دفعة واحدة، يقوم BCMT بتقسيم القصة إلى كتل صغيرة يمكن التعامل معها، أو "كتل". تخيل أنك تقرأ رواية، ولكن بدلاً من محاولة تذكر كل كلمة من الصفحة 1 إلى الصفحة 500، فإنك تقرأ فصلاً، ثم تكتب ملخصاً سريعاً وذكياً لما حدث، وتضعه في جيبك. بعد ذلك، تقرأ الفصل التالي، وتكتب ملخصاً آخر وتضيفه إلى جيبك.
الجزء الذكي هنا هو أن BMT لا ينسى الفصول القديمة. فهو يستخدم نظام "ذاكرة أسية" خاصاً. فكر في هذا الأمر كأنه صدى يتلاشى؛ الملخص الأخير الذي كتبته يكون عالياً وواضحاً في ذهنك، لكن الملخصات من الفصول السابقة لا تزال موجودة، لكنها تصبح أخف وأخف كلما عدت بالزمن إلى الوراء. هذا يسمح للحاسوب بتذكر التدفق العام للقصة دون الحاجة للاحتفاظ بكل تفصيل من الماضي في ذاكرته النشطة.
اختبرت الورقة البحثية هذه الفكرة باستخدام مهمة لغوية قياسية باستخدام مجموعة بيانات تسمى WikiText-103. ووجد الباحثون أن BCMT يعمل بشكل يقارب طريقة "أمين المكتبة الخارق" التقليدية في التنبؤ بالكلمة التالية في الجملة، حتى عندما يصل سياق النص إلى 1,024 رمزاً (token). ومع ذلك، فإن السحر الحقيقي يكمن في السرعة والكفاءة. نظرًا لأن BCMT لا يتعين عليه فحص كل كلمة مقابل كل كلمة أخرى، فإنه يتدرب بشكل أسرع بكثير. ففي حاسوب مزود ببطاقة رسوميات قياسية، استطاع الأسلوب الجديد معالجة حوالي 204,200 رمز في الثانية، مقارنة بـ 119,900 رمز فقط في الثانية للأسلوب القديم، وهي قفزة هائلة. كما استخدم ذاكرة حاسوب أقل بكثير (حوالي 10.48 جيجابايت بدلاً من 14.37 جيجابايت).
كما أجرى الباحثون اختباراً محدداً للتأكد من أن السرعة لم تكن ناتجة فقط عن تقسيمهم للقصة إلى قطع أصغر. فقد أنشأوا نسخة من النموذج تقوم بتقسيم القصة إلى كتل ولكنها لا تستخدم جيب الذاكرة الخاص. كانت تلك النسخة أداؤها أسوأ، مما يشير إلى أن نظام ذاكرة "الصدى المتلاشي" هو البطل الحقيقي، وليس مجرد عملية تقطيع النص.
باختصار، يقترح BCMT طريقة جديدة لبناء ذكاء اصطناعي يمكنه التعامل مع القصص الطويلة. فهو يفصل بين مهمة فهم "الحي المباشر" (الكتلة الحالية من النص) ومهمة تذكر التاريخ (جيب الذاكرة). وبينما لا يتذكر كل تفصيل بدقة متناهية من الماضي البعيد -بما أن الملخصات القديمة تصبح أخف صوتاً- إلا أنه يقدم طريقة فعالة للغاية للحفاظ على الصورة الكبيرة في الذهن. ويخلص المؤلف إلى أن هذا النهج يعد بديلاً واعداً لجعل الذكاء الاصطناعي أسرع وأكثر قدرة على قراءة النصوص الطويلة، رغم إشارته إلى أنه للمهام التي تتطلب استرجاعاً مثالياً للتفاصيل القديمة جداً، قد تظل طريقة "فحص كل شيء" القديمة هي المطلوبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.