Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models
تقترح هذه الورقة استراتيجية استنتاج مجزأة عمودياً للنماذج اللغوية المتكررة مثل Mamba2 وRWKV وxLSTM، والتي تتيح توليد تضمينات نصية بزمن خطي وذاكرة ثابتة، مما يوفر بديلاً فعالاً من حيث الذاكرة وتنافسياً للنهج القائم على المحولات (transformers) ذي التعقيد التربيعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من الكتب والمقالات والوثائق. تريد بناء أمين مكتبة فائق الذكاء يمكنه العثور فوراً على الكتاب المثالي لأي سؤال تطرحه، حتى لو كان السؤال عن رواية مكونة من 100 صفحة.
في عالم الذكاء الاصطناعي، يُسمى هذا "أمين المكتبة الذكي" نموذج تضمين النص (Text Embedding Model). فهو يحول الكلمات إلى قائمة من الأرقام (بصمة رقمية) لكي يفهم الكمبيوتر المعنى ويجد الأشياء المتشابهة.
ومع ذلك، فإن أفضل أمناء المكتبة الحاليين (بناءً على نماذج Transformer، مثل تلك التي تشغل العديد من روبوتات الدردشة الشهيرة) لديهم مشكلة كبيرة: إنهم يصابون بالإرهاق.
المشكلة: المكتبة "التربيعية"
تخيل نموذج الـ Transformer كأمين مكتبة يقرأ وثيقة من خلال مقارنة كل كلمة بـ كل كلمة أخرى في تلك الوثيقة لفهم السياق.
- إذا كانت الوثيقة تحتوي على 10 كلمات، فسيجري 100 مقارنة.
- إذا كانت تحتوي على 1,000 كلمة، فسيجري 1,000,000 مقارنة.
- إذا كانت تحتوي على 10,000 كلمة، فسيحتاج إلى إجراء 100,000,000 مقارنة!
هذا ما يسمى التعقيد التربيعي (Quadratic Complexity). كلما طالت الوثيقة، امتلأت ذاكرة أمين المكتبة (ذاكرة الكمبيوتر) فوراً، وأصبح بطيئاً للغاية. إنهم ببساطة لا يستطيعون التعامل مع الكتب الطويلة دون نفاذ المساحة.
الحل: أمين المكتبة "المتكرر"
يقترح مؤلفو هذه الورقة البحثية نوعاً مختلفاً من أمناء المكتبة: يعتمد على النماذج المتكررة (Recurrent Models) (تحديداً نوع جديد يسمى Mamba2، جنباً إلى جنب مع RWKV و xLSTM).
بدلاً من مقارنة كل كلمة بكل كلمة أخرى، يقرأ هذا الأمين الوثيقة كلمة تلو الأخرى، تماماً كما يقرأ الإنسان كتاباً. فهو يحتفظ بـ "دفتر ملاحظات" صغير وثابت الحجم (ذاكرة) يلخص فيه ما قرأه حتى الآن.
- السحر: بغض النظر عما إذا كان الكتاب يتكون من 10 صفحات أو 10,000 صفحة، فإن أمين المكتبة يحتاج فقط لإبقاء ذلك الدفتر الصغير مفتوحاً. يظل استهلاك الذاكرة لديه ثابتاً، ولا يشعر بالارتباك أمام النصوص الطويلة.
الابتكار: استراتيجية "الكتل الرأسية"
قد تسأل: "إذا كانوا يقرؤون كلمة تلو الأخرى، أليس ذلك بطيئاً؟ ألا يمكنهم القراءة بشكل أسرع؟"
نعم، القراءة كلمة تلو الأخرى هي عملية بطيئة على الحواسيب الحديثة فائقة السرعة التي تحب القيام بأشياء كثيرة في وقت واحد (المعالجة المتوازية). الاختراق الكبير الذي حققه المؤلفون هو استراتيجية يسمونها الاستدلال المجمع رأسياً (Vertically Chunked Inference).
تخيل الوثيقة كقطار طويل.
- الطريقة القديمة (الأفقية): يحاول أمين المكتبة معالجة القطار بأكمله دفعة واحدة. وإذا كان القطار طويلاً جداً، تنهار المحطة (الذاكرة).
- الطالطريقة الجديدة (الكتل الرأسية): يقوم المؤلفون بتقطيع القطار إلى عربات صغيرة يمكن التحكم بها (كتل).
- يعالجون كل عربة عبر كامل عمق عقل أمين المكتبة (جميع الطبقات) قبل الانتقال إلى العربة التالية.
- والأهم من ذلك، أنهم يمررون "ملاحظة تسليم" (الحالة/State) من عربة إلى أخرى، بحيث لا يضيع المعنى.
التشبيه:
فكر في الأمر كخط تجميع في مصنع.
- نماذج Transformer تحاول بناء السيارة بأكملها دفعة واحدة على طاولة ضخمة. وإذا كانت السيارة ضخمة، تنكسر الطاولة.
- الطريقة الجديدة تبني السيارة في أجزاء. يبنون المحرك، ثم الهيكل، ثم العجلات، ويمررون السيارة المبنية جزئياً إلى الخط التالي. إنهم يحتاجون فقط إلى طاولة عمل صغيرة (ذاكرة ثابتة) لأنهم لا يحملون السيارة بأكملها في وقت واحد. ولكن لأنهم يستخدمون آلات قوية، فإنهم يبنونها بسرعة هائلة أيضاً.
ماذا وجدوا؟
قام الباحثون بأخذ هؤلاء "الأمناء المتكررين" (Mamba2, RWKV, xLSTM) وعلموهم أن يكونوا نماذج تضمين (Embedding models) باستخدام نفس طرق تدريب أفضل نماذج الـ Transformer.
- الأداء: هم بارعون تماماً مثل نماذج الـ Transformer في فهم النصوص. يمكنهم العثور على الإجابات الصحيحة في المكتبة بنفس الدقة.
- الكفاءة: عندما تصبح الوثائق طويلة (مثل 32,000 كلمة)، تتعطل نماذج الـ Transformer أو تتباطأ بشدة لأنها تنفد من الذاكرة. أما النماذج المتكررة؟ فهي تستمر في العمل بنفس السرعة وتستخدم نفس القدر من الذاكرة.
- نقطة التوازن المثالية: وجدوا أنك لست بحاجة لجعل "العربات" (الكتل) ضخمة للحصول على فوائد السرعة. فحتى الكتل الصغيرة تسمح للكمبيوتر بالعمل بسرعة مع الحفاظ على انخفاض استخدام الذاكرة.
لماذا يهم هذا؟
هذا يعد تغييراً جذرياً لكل من يعمل مع الوثائق الطويلة (العقود القانونية، السجلات الطبية، الكتب الكاملة) أو للأشخاص الذين لديهم موارد حاسوبية محدودة (مثل تشغيل الذكاء الاصطناعي على كمبيوتر محمول بدلاً من مزارع خوادم ضخمة).
إنه يثبت أننا لسنا مضطرين للاختيار بين "الذكاء" و"الكفاءة". يمكننا الحصول على أمين مكتبة بارع في فهم القصص الطويلة وفي نفس الوقت كفء بما يكفي ليتسع في جيبك.
باختة القول: تقدم الورقة البحثية طريقة جديدة لمعالجة النصوص تكون بذكاء عمالقة الذكاء الاصطناعي الحاليين، ولكن بكفاءة ذاكرة تشبه دفتر ملاحظات بسيط، مما يجعلها مثالية لعصر الذكاء الاصطناعي ذو السياق الطويل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.