Kilobyte Models: Neural Networks as a Seed and a Quantized Latent
تقدم هذه الورقة البحثية "نماذج الكيلوبايت" (Kilobyte Models)، وهي تقنية ضغط تقوم بتخزين الشبكات العصبية كمتجه كامن مكمم ومدمج وبذرة عددية صحيحة قابلة للتكرار بدلاً من الأوزان الكاملة، مما يتيح كفاءة تخزين فائقة مع الحفاظ على دقة مماثلة للكمّ المفرط للأوزان.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إرسال مخطط هندسي ضخم ومعقد لروبوت إلى صديق لك في الطرف الآخر من العالم. هذا المخطط ضخم جداً لدرجة أن بريده سيستغرق أياماً ليصل، وصندوق بريد صديقك صغير جداً. في عالم الذكاء الاصطناائي، تُسمى هذه "المخططات الهندسية" بالشبكات العصبية، وهي العقول الكامنة وراء كل شيء، بدءاً من فلاتر الصور وصولاً إلى السيارات ذاتية القيادة. عادةً، لإرسال "عقل"، يتعين عليك إرسال كل رقم يجعل هذا العقل يعمل — ملايين أو حتى مليارات الأرقام. وهذه مشكلة كبيرة للأجهزة مثل الساعات الذكية أو الهواتف التي تمتلك مساحات تخزين محدودة أو اتصالات إنترنت بطيئة.
لفترة طويلة، حاول العلماء حل هذه المشكلة عن طريق تقليص حجم الأرقام نفسها (جعلها أقل دقة) أو حذف الأرقام التي تبدو أقل أهمية. لكن هناك طريقة أخرى للتفكير في الأمر: بدلاً من إرسال المخطط بأكمله، ماذا لو أرسلت مجرد "وصفة" صغيرة أو رمزاً سرياً؟ إذا كان لدى صديقك مجموعة قياسية من الأدوات (مولد عشوائي) والوصفة، فيمكنه إعادة بناء نفس الروبوت تماماً في مطبخه الخاص. تعتمد هذه الفكرة على حقيقة أن عقول الذكاء الاصطناعي هذه لا تحتاج فعلياً إلى مليارات الأرقام الفريدة لتعمل؛ فهي غالباً ما تختبئ في مساحة أصغر وأبسط بكثير. السؤال الكبير هو: هل يمكننا تقليص عقل ذكاء اصطناعي ضخم ليصبح بحجم بضع رسائل نصية دون فقدان ذكائه؟
تقدم هذه الورقة البحثية طريقة مبتكرة جديدة تسمى "نماذج الكيلوبايت" (Kilobyte Models) تحاول القيام بذلك بالضبط. فبدلاً من تخزين الأوزان الفعلية (الأرقام التي تجعل الذكاء الاصطناعي يفكر)، تقترح المؤلفة تخزين شيئين صغيرين فقط: "بذرة" عشوائية (مثل رقم البداية في لعبة) ومتجه "كامن" (latent vector) قصير جداً ومضغوط (قائمة تعليمات صغيرة). عندما يحتاج الذكاء الاصطناعي للعمل، يستخدم الجهاز "البذرة" لإعادة توليد "الهيكل" العشوائي الضخم الذي يحتاه، ثم يستخدم قائمة التعليمات الصغيرة لتعديل ذلك الهيكل ليصبح العقل النهائي.
وجد الباحثون أن هذا النهج يعمل بشكل جيد بشكل مفاجئ. في تجاربهم، تمكنوا من تقليص شبكة عصبية لتصبح بحجم بضعة كيلوبايتات فقط — أي بحجم رسالة نصية قصيرة — مع الحفاظ على ذكائها لتكون قريبة جداً من الأصل. على سبيل المثال، قاموا بضغط نموذج يتعرف على الأرقام المكتوبة بخط اليد (MNIST) إلى 2 كيلوبايت فقط، وظل صحيحاً في 98.6% من الإجابات. والأكثر إثارة للإعجاب هو أنهم أظهروا أن هذه الطريقة أفضل بكثير في التعامل مع الضغط الشديد مقارنة بالطرق التقليدية. فبينما قد ينهار نموذج ذكاء اصطناعي قياسي ويصبح عديم الفائدة إذا حاولت تقليصه إلى 4 بت (كمية ضئيلة جداً من البيانات)، ظل "نموذج الكيلوبايت" الخاص بهم قوياً ودقيقاً.
كما استكشفت الورقة استخدام هذا كـ "فرق" (delta) أو تحديث صغير لذكاء اصطناي ضخم مدرب مسبقاً. تخيل أن لديك ذكاءً اصطناعياً فائق الذكاء يعرف كل شيء عن الحيوانات، وتريد منه أن يتعلم خصيصاً عن القطط. بدلاً من إرسال العقل الجديد بالكامل، تقوم فقط بإرسال "رقعة" (patch) بحجم 4 كيلوبايت (البذرة ومتجه الكامن الصغير) التي تخبر العقل الضخم بكيفية تحويل تركيزه. كانت هذه الرقعة أصغر بآلاف المرات من النموذج الكامل، ومع ذلك سمحت للذكاء الاصطناعي بتعلم المهمة الجديدة بفعالية.
ومع ذلك، فإن المؤلفة حريصة على ملاحظة أن هذه الطريقة ليست عصا سحرية لكل شيء. فالطريقة تعمل بشكل أفضل عندما تكون "الوصفة" (المتجه الكامن) كبيرة بما يكفي لحمل التعليمات اللازمة؛ فإذا كانت المهمة صعبة جداً أو الوصفة صغيرة جداً، فقد يرتبك الذكاء الاصطناعي. أيضاً، بينما يكون الملف الذي ترسله صغيراً جداً، إلا أن الكمبيوتر لا يزال عليه إعادة بناء العقل الكامل في ذاكرته ليعمل، لذا فهي لا تجعل الكمبيوتر يعمل بشكل أسرع، بل تجعل حمله أسهل فقط. أخيراً، تعمل هذه الحيلة حالياً للشبكات العصبية القياسية، لكن لم يتم اختبارها بعد على "نماذج اللغات الكبيرة" الضخمة التي تشغل روبوتات الدردشة.
باختصار، تشير الورقة إلى أنه من خلال استبدال تخزين ملايين الأرقام ببذرة صغيرة وقائمة تعليمات قصيرة، يمكننا وضع عقول ذكاء اصطناعي قوية في مساحات صغيرة بقدر بضعة كيلوبايتات. الأمر يشبه إدراك أنك لست بحاجة لإرسال المكتبة بأكملها لصديقك؛ بل تحتاج فقط لإرسال رقم كتاب محدد مع بعض الملاحظات، ويمكنه هو طباعة الكتاب الذي يحتاجه بالضبط باستخدام طابعته الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.