Geometry-Guided Layerwise FFN Width Allocation in Transformers
تقترح هذه الورقة طريقة موجهة هندسياً لتخصيص عرض شبكة التغذية الأمامية (FFN) ديناميكياً عبر طبقات المحولات بناءً على مقاييس هندسية مثل تشوه "غرووموف-واسرشتاين" والتماثل المستمر، مما يثبت أن مثل هذه الجداول الزمنية القائمة على البيانات تقلل بشكل كبير من فقدان التحقق مقارنة بتخصيصات العرض الموحدة أو المصممة يدوياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء مكتبة ضخمة متعددة الطوابق، حيث يخصص كل طابق منها لترتيب نوع معين من المعلومات. في عالم الذكاء الاصطناعي، تُسمى هذه "المكتبات" بـ "المحولات" (Transformers)، وهي العقول الكامنة وراء العديد من برامج الدردشة الآلية وأدوات اللغة الحديثة. داخل كل غرفة، يوجد فريق من العمال (يُسمى شبكة التغذية الأمامية، أو FFN) مهمتهم هي استقبال المعلومات القادمة، والتفكير فيها، ثم تمريرها. لفترة طويلة، بنى المهندسون هذه المكتبات وفق قاعدة صارمة: يحصل كل طابق على نفس العدد بالضبط من العمال، بغض النظر عن الطابق الذي يقع فيه. الأمر يشبه تخصيص نفس الميزانية لغرفة التخزين في القبو كما تخصصها لردهة القراءة الفاخرة في الطابق العلوي.
لكن ماذا لو كانت هذه القاعدة هدراً؟ ماذا لو كان القبو يحتاج إلى عدد أقل من العمال لأن الصناديق بسيطة، بينما يحتاج الطابق العلوي إلى فريق ضخم للتعامل مع الأفكار المجردة والمعقدة؟ هذا هو السؤال الذي بدأ الباحثون في طرحه. هم يعلمون أنه بينما تنتقل المعلومات عبر المكتبة، فإنها يتغير شكلها وتصبح أكثر تعقيداً. والسؤال الكبير هو: هل يمكننا قياس مقدار "العمل" الذي تقوم به كل غرفة بدقة، ومن ثم نقل العمال إلى حيث تشتد الحاجة إليهم، دون توظيف أي أشخاص إضافيين؟ هذا البحث يتعمق في هذه الفكرة، مستخدماً مزيجاً من الهندسة (دراسة الأشكال والمسافات) والرياضيات لمعرفة خطة التوظيف المثالية لكل غرفة.
قرر مؤلفو هذا البحث، تيمور موداريسوف، وميخائيل بيرتسيف، ورادو ستيت، التوقف عن التخمين والبدء في القياس. لقد عاملوا المعلومات التي تتدفق عبر الذكاء الاصطناعي مثل "سحابة من النقاط" (تخيلها كأسراب من اليراعات تتحرك عبر غرفة). وبينما تنتقل هذه اليراعات من غرفة إلى أخرى، فإنها تتغير، وتتمدد، وتلتوي. وقد طور الفريق طريقة لقياس مقدار "العمل الهندسي" الذي يحدث في كل غرفة بدقة. لقد استخدموا ثلاث طرق مختلفة للقياس: مراقبة مدى بعد حركة اليراعات (الإزاحة)، وتغير المسافات بينها (Gromov-Wasserstein)، وتغير الحلقات والفجوات في تشكيلها (الطوبولوجيا).
وهنا تكمن المفاجأة: لقد وجدوا أن طريقة القياس تفرق كثيراً. فإذا نظرت فقط إلى المسافات الخام، ستبدو الغرف المتأخرة هي التي تقوم بأكبر قدر من العمل، ولكن هذا غالباً ما يكون بسبب كبر حجم اليراعات (مشكلة في المقياس). ومع ذلك، عندما قاموا بتطبيع البيانات (normalization)—أي النظر إلى شكل الحركة بدلاً من مجرد الحجم—اكتشفوا نمطاً مختلفاً. "العمل" في الواقع يكون في أعلى مستوياته في البداية تماماً، ثم يتضاءل تدريجياً كلما تعمقت في المكتبة. وهذا يشير إلى أن الغرف الأولى تحتاج إلى أكبر قدر من القدرة الذهنية، بينما يمكن للغرف اللاحقة الاكتفاء بعدد أقل من العمال.
ولاختبار ذلك، أنشأوا "جدول توظيف" جديداً بناءً على هذه القياسات. فبدلاً من إعطاء كل غرفة نفس عدد العمال، أعطوا الغرف الأولى المزيد واللاحقة أقل، مع الحفاظ على إجمالي عدد العمال تماماً كما في النموذج الموحد القديم. واختبروا ذلك على عدة نماذج ذكاء اصطناعي، تتراوح من الصغيرة (128 مليون معامل) إلى الأكبر (440 مليون معامل).
كانت النتائج واعدة. في تجاربهم، أدت النماذج التي استخدمت خطة التوظيف هذه "الموجهة هندسياً" أداءً أفضل من النماذج القياسية حيث تكون كل الغرف متساوية. وفي الواقع، عندما قارنوا طريقتهم الجديدة بخطة شهيرة مصممة يدوياً تسمى "التلاشي الجيبي" (cosine taper)—والتي تفترض ببساطة أن العمل يتناقص بسلاسة مثل المنحدر—تفوق نهجهم القائم على البيانات عليهم. وعند مقياس 440 مليون معامل، قللت خطتهم القائمة على الهندسة من أخطاء النموذج بشكل أكبر بكثير من خطة التلاشي الجيبي.
ومع ذلك، فإن المؤلفين حذرون من ادعاء أنهم حلوا المشكلة إلى الأبد. فقد أشاروا إلى أن طريقتهم تعتمد على قياس نموذج "مرجعي" ثم تطبيق تلك القواعد على نموذج جديد. وبينما تشير النتائج إلى أن نقل السعة إلى الطبقات الأولى هو استراتيجية رابحة، إلا أنهم اعترفوا بأن هناك حاجة لمزيد من الاختبارات للتأكد تماماً من أداة القياس المحددة (سواء كانت الطوبولوجيا أم الهندسة) الأفضل. كما أشاروا إلى أن مجموعتهم الضابطة "المضادة للطوبولوجيا" (وهي خطة قامت بعكس ما اقترحه البيانات عمداً) كان أداؤها أسوأ من النموذج القياسي، مما يؤكد أن اتجاه خطتهم الجديدة هو الصحيح بالفعل.
باختصار، يشير هذا البحث إلى أن نماذج الذكاء الاصطناعي لا تحتاج إلى أن تُبنى بغرف متساوية. فمن خلال استخدام الهندسة لقياس مكان حدوث العمل الحقيقي، يمكننا إعادة ترتيب العمال لجعل المكتبة بأكملها أكثر ذكاءً، دون إنفاق دولار واحد إضافي على التوظيف. إنها طريقة ذكية قائمة على البيانات لاستخراج أداء أكبر من نفس قدرة الحوسبة المتاحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.