RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers
يقدم RecurrentGPT بنية محول ذات عمق متكرر تكرر طبقة أساسية مشتركة واحدة مع تعديل بوابي، محققةً دقة فائقة وكفاءة في الذاكرة مقارنة بالمحولات العميقة القياسية من خلال المقايضة الفعالة لعدد المعلمات مقابل إعادة استخدام العمق التكيفي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لقد وصل الذكاء الاصطناዊ الحديث إلى نقطة أصبح فيها جعل النماذج أكثر ذكاءً يعني غالباً جعلها أكثر ثقلاً. لفهم جملة أو كتابة قصة، تعتمد هذه الأنظمة على شبكات واسعة من الروابط الرياضية، المعروفة باسم المعلمات (parameters). في التصميمات القياسية، تستخدم كل خطوة من عملية التفكير مجموعة فريدة من هذه الروابط. هذا النهج يعمل بشكل جيد، ولكنه يخلق عبئاً ثقيلاً: لزيادة عمق التفكير، يجب على المهندسين إضافة المزيد من الذاكرة، وهو ما يصبح سريعاً مكلفاً وصعب الإدارة على الأجهزة المادية. هناك توتر متزايد بين الرغبة في التفكير العميق والمعقد وبين الحدود المادية لذاكرة الحاسوب.
لعقود من الزمن، عرف العلماء أن تكرار نفس العملية البسيطة مراراً وتكراراً يمكن أن يحل مشكلات معقدة للغاية. هذه الفكرة، المتجذرة في العمل التأسيسي لألان تورينج، تشير إلى أن النظام لا يحتاج إلى مكتبة ضخمة من الأدوات الفريدة ليفكر؛ بل يمكنه تحقيق الذكاء من خلال تطبيق أداة واحدة مصقولة بشكل متكرر. وبينما ابتعدت نماذج اللغة الحديثة إلى حد كبير عن هذا الأسلوب التكراري لصالح تكديم العديد من الطبقات المختلفة، يسعى نهج جديد إلى إعادة قوة التكرار، ليس عن طريق إبطاء النظام، ولكن بجعل التكرار أكثر ذكاءً. الهدف هو إنشاء نموذج يمكنه "التفكير" بعمق أكبر دون الحاجة إلى تخزين المزيد من الأجزاء الفريدة.
قام باحثون من الجامعة الألمانية بالقاهرة، والجامعة التقنية في ميونيخ، وشركة Cerebras Systems، بتطوير بنية جديدة تسمى RecurrentGPT لحل هذه المشكلة. بدلاً من بناء سلسلة طويلة من الطبقات الفريدة، صمموا نظاماً يتكون من مجموعة صغيرة وثابتة من الطبقات التي يتم إعادة استخدامها عدة مرات. تخيل خط تجميع في مصنع حيث يقوم عامل واحد ماهر جداً بمهمة ما، ثم يمرر المنتج لنفسه لتنقيحه، ثم يمرره لنفسه مرة أخرى. في هذا النظام الجديد، "العامل" هو كتلة مشتركة من عقل النموذج. فهو يعالج المدخلات، ثم يأخذ مخرجاته الخاصة ويعالجها مرة أخرى، ومرة أخرى، لعدد محدد من المرات. هذا يسمح للنموذج بأداء عمل نظام أكبر بكثير مع تخزين جزء ضئيل فقط من الأجزاء الفريدة.
ومع ذلك، فإن مجرد تكرار نفس العملية يخلق مشكلة جديدة: إذا قام العامل بنفس الشيء تماماً في كل مرة، فإن المنتج لن يتغير حقاً. وجد الباحثون أنه بدون آلية لتنويع العملية، ستنهار الخطوات المتكررة لتصبح تحويلاً واحداً غير مفيد. ولإصلاح ذلك، قدموا بوابة ديناميكية (dynamic gate) — وهي آلية اتخاذ قرار متعلم تتحكم في مقدار المعلومات الجديدة التي تحل محل القديمة. تنظر هذه البوابة إلى الحالة الحالية للنموذج، والمدخلات الأصلية، وكمية صغيرة من الضوضاء العشوائية لتقرر بالضبط ما الذي يجب الاحتفاظ به وما الذي يجب تحديثه في كل خطوة. وهذا يضمن أنه على الرغم من استخدام نفس الأوزان بشكل متكرر، إلا أن النموذج يتصرف بشكل مختلف في كل دورة، مما يسمح له بتخصيص تفكيره كلما تعمق أكثر.
النتائج التي حققها هذا النهج مذهلة. فعند اختباره تحت قيود صارمة حيث تم الحفاظ على إجمالي قدرة الحوسبة المستخدمة لتدريب وتشغيل النموذج مساوية للنماذج الأكبر القياسية، أدى النظام الجديد أداءً يضاهي تلك النماذج. وفي اختبار محدد، نجح نموذج يحتوي على ثلاث طبقات فقط من الأوزان الفريدة، مكررة عشر مرات، في مطابقة دقة نموذج قياسي مكون من اثنتي عشرة طبقة. وهذا يعني أن التصميم الجديد حقق نفس الجودة مع استخدام 64 بالمائة أقل من المعلمات الفريدة. وعندما سمح الباحثون للنموذج باستخدام المزيد من قدرة الحوس
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.