An Empirical Comparison of Positional Encoding Methods in a Small Character-Level Transformer
تقارن هذه الدراسة تجريبياً بين أربع طرق للترميز الموضعي في نموذج "ترانسفورمر" صغير على مستوى الحروف تم تدريبه على نصوص بأسلوب شكسبير، حيث وجدت أن ترميزات الموضع الدوارة (RoPE) تتفوق باستمرار على الترميزات المتعلمة، والترميز الجيبي، وALiBi من حيث خسارة التحقق وجودة توليد النصوص، رغم أن النتائج محددة بالإطار التجريبي المستخدم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد الحواسيب الحديثة التي تقرأ وتكتب النصوص على نوع محدد من البنية الرقمية يسمى "المحول" (Transformer). وفي قلب هذا النظام، توجد آلية تسمح للآلة بالنظر إلى جميع الكلمات في الجملة دفعة واحدة وتحديد أي منها هو الأكثر أهمية بالنسبة للكلمات الأخرى. ومع ذلك، هناك مشكلة جوهرية في كيفية عمل هذه الآلية: فهي لا تفهم ترتيب الأشياء بشكل طبيعي. فإذا قمت بخلط كلمات الجملة، سترى الآلة نفس المجموعة من العناصر تماماً وستنتج النتيجة ذاتها، رغم أن معنى الجملة قد دُمّر تماماً. ولإصلاح ذلك، يجب على المهندسين حقن معلومات يدوياً حول مكان وجود كل كلمة في التسلسل، لإخبار الآلة أن كلمة "الـ" تأتي قبل "قطة" وليس العكس. ويُعرف هذا الحقن للنظام الترتيبي باسم "الترميز الموضعي" (positional encoding).
لسنوات، اقترح الباحثون طرقاً مختلفة لمنح الآلة هذا الإحساس بالترتيب. فبعض الطرق تُعلم الآلة المواضع من الصفر، بينما تستخدم طرق أخرى أنماطاً رياضية ثابتة لا تتغير أبداً. وتحاول النهج الأكثر حداثة نسج الموضع مباشرة في طريقة مقارنة الآلة بين الكلمات. وقد أُجريت معظم المقارنات بين هذه الطرق على أنظمة ضخمة تحتوي على مليارات المعلمات (parameters)، وتعمل على حواسيب فائقة القدرة. وهذا يترك فجوة في معرفتنا: فنحن لا نعرف كيف تتصرف هذه الطرق المختلفة عندما يكون النظام صغيراً، والبيانات محدودة، وقدرة الحوسبة متواضعة. وهذا هو السؤال الذي سعى "تشايتانيا باتيل"، الباحث في المعهد الهندي للتكنولوجيا في "خاراجبور"، للإجابة عليه.
قام باتيل ببناء نموذج حاسوبي صغير وخفيف الوزن مصمم لتوليد النصوص حرفاً تلو الآخر، باستخدام مجموعة بيانات صغيرة تتكون من مقتطفات من مسرحيات شكسبير. لم يكن النموذج نموذج لغة ضخماً، بل كان نظاماً متواضعاً مكوناً من ثلاث طبقات مع حوالي 1.38 مليون جزء قابل للتدريب، وهو حجم يمكن للعديد من الباحثين والطلاب الوصول إليه. قام الباحث بتدريب أربعة إصدارات مختلفة من هذا النموذج نفسه تماماً، مع تغيير الطريقة المستخدمة فقط لإخبار الآلة بترتيب الحروف. استخدم أحد الإصدارات جدولاً للمواضع المتعلمة، واستخدم آخر نمطاً موجياً ثابتاً، واستخدم ثالث طريقة تقوم بتدوير التمثيلات الداخلية للكلمات بناءً على موضعها، بينما أضاف الرابع عقوبة بسيطة تعتمد على المسافة بين الكلمات. تم تدريب كل نسخة لمدة 2000 خطوة، وتكررت العملية ثلاث مرات بنقاط بداية عشوائية مختلفة لضمان أن النتائج ليست مجرد ضربة حظ.
أظهرت النتائج فائزاً واضحاً ومستمراً. فالطريقة التي تدوّر التمثيلات الداخلية للكلمات، والمعروفة باسم "تضمين الموضع الدوار" (Rotary Positional Embedding)، حققت باستمرار أفضل النتائج، مما يعني أن النموذج ارتكب أخطاء أقل عند التنبؤ بالحرف التالي. وتلتها الطريقة التي تضيف عقوبة قائمة على المسافة، ثم النمط الموجي الثابت، وأخيراً جدول المواضع المتعلمة. ظل هذا التصنيف صحيحاً في كل مرة أُجريت فيها التجربة، بغض النظر عن نقطة البداية العشوائية. كما نظر الباحثون في مدى تباين النتائج بين عمليات التشغيل المختلفة؛ ووجدوا أن النمط الموجي الثابت كان الأكثر استقراراً، حيث لم يظهر أي تغيير تقريباً بين عمليات التشغيل، بينما كان الجدول المتعلم هو الأكثر حساسية، حيث يتأرجح بشدة اعتماداً على كيفية بدء النموذج.
ولرؤية ما إذا كانت هذه النتائج ستصمد مع مزيد من التدريب، أجرى الباحث تجربة أطول لأحد نقاط البداية، حيث مدّد التدريب إلى 4000 خطوة. وحتى مع هذا الوقت الإضافي، ظلت الطريقة الدوارة هي الأفضل أداءً، محتفظة بتفوقها على غيرها. ومع ذلك، يشدد الباحثون على أن هذه النتائج محدودة بصرامة بهذا الإعداد المحدد. فقد استخدمت الدراسة مجموعة بيانات واحدة صغيرة، وحجماً واحداً معيناً للنموذج، وعددًا محدوداً من خطوات التدريب. وهي لا تثبت أن الطريقة الدوارة هي الخيار الأفضل لكل حالة، خاصة بالنسبة للنماذج الضخمة المستخدمة في الصناعة اليوم أو للمهام التي تتضمن أنواعاً مختلفة من النصوص. إن الدراسة ببساطة توضح أنه في بيئة صغيرة ومحدودة الموارد، فإن بعض الطرق لتعليم الآلة الترتيب تعمل بشكل أفضل من غيرها، وأن اختيار الطريقة يمكن أن يؤثر بشكل كبير على مدى تعلم الآلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.