LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining
تقدم الورقة البحثية LoKiFormer، وهي بنية نموذج لغوي كبير مبتكرة تعزز كفاءة ما قبل التدريب وسرعة التقارب من خلال دمج "انتباه الاندماج المحلي" (Local Fusion Attention) لالتقاط الأنماط المحلية و"وحدة ذاكرة المعرفة المنفصلة" (decoupled Knowledge Memory Module) لاسترجاع المعرفة العالمية بشكل صريح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يقرأ ويكتب. هذا الروبوت هو "نموذج لغوي كبير" (LLM)، وهو نوع من الذكاء الاصطناعي الذي أصبح بارعاً للغاية في كل شيء، من كتابة القصص إلى حل المسائل الرياضية. لكن هناك عقبة: تعليم هذه الروبوتات يشبه محاولة ملء مسبح باستخدام ملعقة صغيرة؛ فالأمر يتطلب وقتاً هائلاً وقوة حوسبة ضخمة، كما أن الروبوتات قد ترتبك أحياناً بشأن ما تتعلمه بالفعل.
لفهم السبب، فكر في كيفية قراءة الإنسان للجملة. نحن نفهم فوراً أن الكلمات المجاورة لبعضها البعض عادة ما تكون مرتبطة (مثل "ساخن" و"قهوة")، لكننا نحتاج أيضاً لتذكر حقائق تعلمناها منذ سنوات (مثل "القهوة هي حبة بن"). تحاول نماذج الذكاء الاصطناعي الحالية القيام بكل هذا في آن واحد باستخدام آلية تسمى "الانتباه" (attention)، والتي تنظر إلى كل كلمة في الجملة لترى كيف ترتبط ببعضها البعض. المشكلة هي أن هذا يشبه محاولة قراءة كتاب عبر التحديق في كل حرف على الصفحة في نفس الوقت؛ وهو أمر مرهق وغير فعال للروابط المحلية القصيرة. وأيضاً، عندما يحاول الروبوت تخزين معرفته العامة (مثل الحقائق عن التاريخ أو العلوم)، فإنه يخفي تلك المعرفة في أعماق دماغه بطريقة فوضوية، مما يجعل من الصعب استخراج الحقيقة المناسبة عند الحاجة إليها. يريد العلماء بناء روبوت يتعلم بشكل أسرع، ويستهلك طاقة أقل، ويعرف بالضبط أين يجد معلوماته.
هنا يأتي دور LoKiFormer، وهو تصميم جديد لعقول الذكاء الاصطناعي هذه، يعمل بمثابة ترقية ذكية لنظارات القراءة ولقاعدة بيانات الذاكرة الخاصة بالروبوت. لاحظ الباحثون وراء هذه الورقة البحثية، بقيادة كيوو وو تشين وزيمو ليو، أن الطريقة القديمة في القيام بالأمور كانت تهدر الطاقة. لذا اقترحوا أداتين جديدتين لإصلاح عملية تعلم الروبوت: واحدة للتعامل مع الأمور "المحلية" (الكلمات المتجاورة) وأخرى للتعامل مع الأمور "العالمية" (الحقائق الكبيرة من العالم الحقيقي).
أولاً، عالجوا المشكلة المحلية بشيء يسمى انتباه الدمج المحلي (LFA). تخيل أنك تقرأ جملة. بد instead من أن يحاول الروبوت فهم كيف ترتبط كلمة "قطة" بكل كلمة أخرى في الفقرة فوراً، تمنح تقنية LFA الروبوت "منظاراً محلياً" خاصاً. يقوم هذا المنظار بتكبير بضع كلمات مجاورة فقط ودمجها معاً أولاً. الأمر يشبه حصول الروبوت على ملخص سريع وسهل للحي المباشر قبل أن يحاول فهم المدينة بأكملها. هذا يوفر على الروبوت القيام بعمل غير ضروري. وتظهر الورقة البحثية أنه من خلال إضافة هذه الخطوة البسيطة، يتعلم الروبوت فهم الأنماط المحلية بشكل أسرع، مما يسمح له بتركيز قدراته الذهنية على العلاقات الأكبر والأكثر تعقيداً لاحقاً.
ثانياً، قاموا بإصلاح مشكلة الذاكرة باستخدام وحدة ذاكرة المعرفة (KMM). في النماذج القديمة، كانت معرفة الروبوت تشبه مكتبة حيث الكتب ملتصقة بالرفوف ومختلطة مع تعليمات كيفية القراءة. إذا أراد الروبوت العثين على حقيقة عن "الفيزياء"، كان عليه البحث في المكتبة الفوضوية بأكملها. أما وحدة KMM في نموذج LoKiFormer فهي تشبه خزانة ملفات منظمة ومصنفة بدقة ومنفصلة عن تعليمات القراءة. فهي تخزن الحقائق في خانات محددة يمكن الوصول إليها مباشرة. عندما يحتاج الروبوت لمعرفة شيء عن "الكيمياء"، يمكنه التوجه مباشرة إلى درج "الكيمياء" وسحب الملف الصحيح دون أن يتشتت انتباهه. هذا يفصل بين "تخزين" المعرفة و"استخدامها"، مما يجعل العملية أكثر وضوحاً ومرونة.
نتائج وضع هاتين الأداتين معاً مثيرة للإعجاب. فقد درب الباحثون نموذج LoKiFormer الجديد ووجدوا أنه تعلم بسرعة أكبر بمقدار 1.33 مرة من النماذج القياسية. ولوضع ذلك في السياح: بينما احتاج نموذج قياسي لقراءة 10,000 خطوة تدريب للوصول إلى مستوى معين من الفهم، وصل LoKiFormer إلى نفس المستوى في 7,500 خطوة فقط. هذا توفير هائل في الوقت والطاقة. والأكثر إثارة هو أن نسخة أصغر من نموذجهم (بـ 7 مليارات معلمة) تفوقت على نماذج أكبر بكثير ومشهورة من شركات أخرى، متفوقة عليها في اختبارات فهم اللغة، والاستدلال، وحتى البرمجة.
تشير الورقة البحثية إلى أن هذه البنية الجديدة لا تجعل الروبوت أسرع فحسب، بل تجعله أكثر ذكاءً في استخدام ما يعرفه. فمن خلال فصل القراءة "المحلية" عن الذاكرة "العالمية"، يمكن للنموذج التعامل مع المهام المعقدة بفعالية أكبر. كما أظهر الباحثون أن "خزانة الملفات" (KMM) نظمت نفسها فعلياً أثناء التدريب، حيث أصبحت الأدراج المختلفة خبراء طبيعيين في موضوعات مختلفة مثل التاريخ، الفيزياء، أو الجبر. وهذا يعني أن الروبوت لا يحفظ فحسب، بل يتعلم استرجاع المعلومات بطريقة تشبه كيفية وصول البشر إلى معارفهم الخاصة.
باختصار، يشير LoKiFormer إلى أننا لسنا بحاجة لجعل نماذج الذكاء الاصطناعي أكبر وأكثر تكلفة لنجعلها أفضل. بدلاً من ذلك، من خلال منحها أدوات أفضل للنظر في التفاصيل الصغيرة وطريقة أكثر تنظيماً لتخزين حقائقها الكبيرة، يمكننا بناء ذكاء اصطناعي يتعلم بشكل أسرع، ويتطلب تكلفة أقل للتدريب، ويفهم العالم بوضوح أكبر. إنه تذكير بأن أفضل طريقة لبناء آلة فائقة الذكاء هي أحياناً مساعدتها على تنظيم مكتبها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.