Tensor Seeks Layout: Formalizing Layout Selection for ML Compilers
تقدم هذه الورقة أول دراسة رسمية لاختيار التخطيط في مترجمات تعلم الآلة من خلال صياغته كمسألة تحسين توافقي، وإثبات صعوبته الحسابية، واقتراح خوارزميات مثلى للرسوم البيانية ذات عرض الشجرة المحدود وتشفير (MaxSAT) الموزون للحالات العامة لإثبات أن الاستدلالات البسيطة يمكن أن تضعف الأداء بمقدار يصل إلى 5 أضعاف مقارنة بالحلول المثلى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يعتمد الذكاء الاصطناعي الحديث على نماذج رياضية ضخمة تعالج كميات هائلة من البيانات للتعرف على الكلام، أو ترجمة اللغات، أو توليد الصور. ولتشغيل هذه النماذج بسرعة، يستخدم المهندسون رقائق حاسوبية متخصصة صُممت خصيصاً لهذا العمل الشاق. ومع ذلك، فإن هذه الرقائق لا تكتفي بمجرد تنفيذ التعليمات؛ بل يجب عليها أيضاً نقل البيانات بكفاءة. إن السرعة التي يعمل بها النموذج تعتمد غالباً ليس على القوة الخام للرقاقة، بل على كيفية ترتيب البيانات في ذاكرتها. تخيل مكتبة حيث تُخزن الكتب على الرفوف؛ إذا أراد قارئ العثور على مجموعة محددة من الكتب، فإن الوقت الذي سيستغرقه يعتمد كلياً على ما إذا كانت تلك الكتب مبعثرة عبر ممرات مختلفة أو مجموعة بدقة معاً على رف واحد. وفي عالم الرقائق الحاسوبية، يُسمى هذا الترتيب "تخطيطاً" (Layout). فعندما ينفذ برنامج حاسوبي عملية حسابية، فإنه يتوقع البيانات في ترتيب معين، ولكن الخطوة السابقة في البرنامج قد تكون تركت البيانات في ترتيب مختلف. وإذا لم يتطابق الاثنان، يجب على الحاسوب التوقف وإعادة ترتيب البيانات قبل أن يتمكن من المتابعة، وهي عملية تهدر الوقت والطاقة.
لسنوات عديدة، اعتمدت البرمجيات التي تُجهز هذه النماذج للرقائق على مجموعة من التخمينات التقريبية والقواعد العامة لاتخاذ القرار بشأن كيفية ترتيب هذه البيانات. تعمل هذه القواعد بشكل جيد بما يكفي للمهام البسيطة، ولكن مع ازدياد تعقيد النماذج، بدأت هذه التخمينات في الفشل، مما أدى إلى تباطؤ كبير. وقد سعى فريق من الباحثين من جامعة فيينا التقنية وشركة أمازون لتغيير هذا النهج. فبدلاً من الاعتماد على الحدس، عاملوا مشكلة ترتيب البيانات كأحجية رياضية رسمية. لقد بنوا نموذجاً دقيقاً يحسب التكلفة الفعلية لكل ترتيب ممكن، بما في ذلك الوقت المستغرق لنقل البيانات بين تنسيقات مختلفة. ومن خلال القيام بذلك، تمكنوا من تحديد أفضل طريقة واحدة لتنظيم البيانات لأي نموذج معطى، بدلاً من الأمل في أن تقترب مجموعة من القواعد من النتيجة المطلوبة.
اكتشف الباحثون أن إيجاد هذا الترتيب المثالي مهمة صعبة للغاية. فبلغة علوم الحاسوب، المشكلة معقدة لدرجة أنه لا يمكن لأي حاسوب حلها بسرعة لكل المواقف الممكنة، خاصة مع نمو النماذج. لقد أثبتوا أنه حتى بالنسبة لنسخة مبسطة من المشكلة تتضمن عمليات حسابية أساسية للمصفوفات، فإن عدد الاحتمالات هائل لدرجة أن حاسوبًا قياسيًا سيعاني لإيجاد الإجابة في وقت معقول. وقد استبعد هذا الاكتشاف فكرة وجود خوارزمية واحدة سريعة وعالمية يمكنها حل المشكلة لجميع النماذج المستقبلية. ومع ذلك، وجد الفريق أيضاً طريقاً للمضي قدماً؛ حيث أظهروا أنه بينما تكون المشكلة صعبة بشكل عام، إلا أنها تصبح قابلة للإدارة عندما يشبه هيكل النموذج "شجرة" ذات تفرعات محدودة. وبالنسبة لهذه الهياكل المحددة، والتي تشيع في العديد من التطبيقات الواقعية، صمموا طريقة تجد الحل المثالي بسرعة. أما بالنسبة للهياكل الأكثر تعقيداً التي لا تتوافق مع هذا النمط، فقد طوروا طريقة لترجمة المشكلة إلى تنسيق يمكن للمحللات القوية الموجودة حالياً التعامل معه، مما يسمح لهم بإيجاد أفضل ترتيب ممكن حتى عندما لا يوجد اختصار رياضي مثالي.
ولاختبار أفكارهم، طبق الباحثون طريقتهم الجديدة داخل "مترجم" (Compiler) حقيقي يُستخدم لرقائق "ترينيوم" (Trainium) التابعة لأمازون، والمصممة لتشغيل نماذج الذكاء الاصطناعي. وقارنوا نهجهم الجديد بالأساليب القياسية المستخدمة حالياً في الصناعة، والتي تعتمد على القواعد العامة القديمة. كانت النتائج مذهلة؛ ففي بعض النماذج المعقدة، وخاصة تلك المستخدمة في التعرف على الصور، تسببت القواعد القديمة في جعل النماذج تعمل ببطء يصل إلى خمسة أضعاف السرعة اللازمة. حدث هذا لأن القواعد البسيطة فشلت في رؤية الصورة الكبيرة؛ حيث كانت ترتب البيانات بشكل مثالي لخطوة واحدة، لكنها تخلق فوضى للخطوة التالية، مما يجبر الحاسوب على إضاعة الوقت في إعادة ترتيب البيانات باستمرار. أما الطريقة الجديدة، ومن خلال النظر في تسلسل الخطوات بأكمله دفعة واحدة، فقد تجنبت عمليات إعادة الترتيب المكلفة هذه وحافظت على تدفق البيانات بسلاسة.
ومع ذلك، كشفت الدراسة عن قصور جوهري؛ فبينما يمكن للطريقة الجديدة دائماً إيجاد الترتيب الأمثل رياضياً وفقاً لحساباتها الخاصة، إلا أن هذا لم يترجم دائماً إلى السرعة القصوى على الأجهزة الفعلية. في بعض الحالات، أنتجت الطريقة الجديدة نتيجة مثالية نظرياً ولكنها أدت إلى أداء أسوأ من القواعد القديمة والأبسط. وقد أرجع الباحثون هذا التباين إلى "نموذج التكلفة" نفسه؛ إذ لم يكن البرنامج المستخدم للتنبؤ بالوقت الذي ستستغرقه المهمة دقيقاً تماماً، حيث قلل من تقدير الوقت المطلوب لأنواع معينة من نقل البيانات. ولأن الطريقة الجديدة كانت بارعة جداً في إيجاد أقل تكلفة وفقاً لتوقعاتها المعيبة، فقد اختارت أحياناً ترتيباً يبدو رخيصاً على الورق ولكنه مكلف في الواقع. ويشير هذا الاكتشاف إلى أن العقبة الأكبر أمام التحسينات المستقبلية ليست خوارزميات البحث الأفضل، بل طرق التنبؤ بالوقت الذي ستستغرقه المهام فعلياً.
يوفر هذا العمل مساراً واضحاً للمجال؛ فهو يثبت أن معاملة اختيار التخطيط كمسألة تحسين رسمية هي استراتيجية قابلة للتطبيق وقوية، قادرة على تقديم تسريع هائل حيث تفشل القواعد البسيطة. كما يوضح أن الحد النهائي للأداء ليس القدرة على إيجاد الحل الأفضل، بل دقة التوقعات التي توجه عملية البحث تلك. بالنسبة للنماذج ذات الهياكل المنتظمة والمتوقعة، يعد النهج القائم على "المحلل" (Solver) خياراً متفوقاً بالفعل. أما بالنسبة للنماذج الأكثر فوضوية وتعقيداً، فيجب أن ينتقل التركيز إلى تحسين نماذج التكلفة بحيث يتوافق الأمثل الرياضي مع الواقع الفيزيائي للرقاقة. ومن خلال فصل مشكلة إيجاد الحل الأفضل عن مشكلة التنبؤ بالتكلفة، منح الباحثون مطوري المترجمات أداة جديدة لقياس تقدمهم وهدفاً واضحاً لتركيز جهودهم القادمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.