ONNX-Net: Towards Universal Representations and Instant Performance Prediction for Neural Architectures
تقدم هذه الورقة ONNX-Net، وهي تمثيل عصبي موحد قائم على النصوص ومبني على مرجع ONNX-Bench الذي يضم أكثر من 600 ألف عينة، مما يتيح لمُتنبئ أداء واحد تقييم أي بنيات عصبية بشكل فوري ودقيق عبر مساحات بحث متنوعة دون أن يكون مقيداً بتصاميم قائمة على الخلايا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناي، غالبًا ما تكون الأدوات الأكثر قوة هي الشبكات العصبية، وهي أنظمة تحاكي بشكل فضفاض الدماغ البشري وتتعلم التعرف على الأنماط، أو ترجمة اللغات، أو قيادة السيارات. لعقود من الزمن، حاول العلماء بناء هذه الشبكات يدويًا، عبر تعديل هيكلها مثل ميكانيكي يضبط محركًا. ولكن مع زيادة تعقيد هذه الأنظمة، أصبح الحدس البشري بمثابة عنق زجاجة. أدى هذا إلى ظهور مجال يسمى "البحث في بنية الشبكة العصبية" (neural architecture search)، حيث تُكلف الحواسيب بتصميم شبكاتها الخاصة. والهدف هو السماح للآلات بإيجاد أفضل هيكل ممكن لمهمة محددة. ومع ذلك، فقد اصطدمت هذه العملية بحائط مسدود؛ فلكي تعرف الحاسوب ما إذا كان التصميم جيدًا، يجب عليه بناؤه وتدريبه من الصفر، وهي عملية قد تستغرق أيامًا أو حتى أسابيع على حواسيب فائقة الضخامة. وهذا يجعل عملية البحث بطيئة للغاية ومكلفة، مما يحد من حجم التجارب التي يمكن إجراؤها.
لقد اقترح فريق من الباحثين الآن طريقة لكسر هذا الاختناق، ليس من خلال بناء حواسيب أسرع، بل عبر تغيير كيفية حديثهم عن التصاميم. فقد قدموا نظامًا جديدًا يسمى "ONNX-Net"، والذي يعمل كمترجم عالمي للشبكات العصبية. وبدلاً من إجبار كل تصميم جديد على الدخول في قالب محدد مسبقًا، يقرأ هذا النظام المخطط الهيكلي للشبكة كما لو كان جملة بسيطة. ومن خلال تحويل الرسوم التخطيطية التقنية المعقدة إلى أوصاف نصية بسيطة، درب الباحثون نموذجًا لغويًا للتنبؤ بمدى جودة أداء الشبكة بمجرد قراءة ذلك النص. والنتيجة هي أداة يمكنها التخمين الفوري لنجاح تصميم الشبكة العصبية دون الحاجة مطلقًا إلى بنائها أو تدريبها، مما يوفر كميات هائلة من الوقت والطاقة.
كانت المشكلة الجوهرية التي عالجها الباحثون هي أن المحاولات السابقة لتسريع هذه العملية كانت ضيقة للغاية. فالطرق السابقة كانت تعمل بشكل جيد فقط مع الشبكات المبنية من كتل صغيرة متكررة، مثل تكديس قطع "ليجو" متطابقة. ولكن مع بدء العلماء في تصميم شبكات أكثر مرونة وتعقيدًا، فشلت تلك الطرق القديمة لأنها لم تستطع فهم الأشكال الجديدة غير المنتظمة. علاوة على ذلك، كانت البيانات المستخدمة لتدريب أدوات التنبؤ هذه مشتتة عبر تنسيقات مختلفة، مما جعل من المستحيل إنشاء متنبئ واحد ذكي يمكنه التعامل مع أي نوع من الشبكات. ولحل هذه المشكلة، قام الفريق أولاً ببناء مكتبة موحدة ضخمة تسمى "ONNX-Bench". لقد جمعوا ما يقرب من 650,000 تصميم مختلف للشبكات العصبية من مصادر متنوعة وحولوها جميعًا إلى تنسيق ملف واحد موحد يُعرف باسم "ONNX". هذا التنسيق يشبه لغة عالمية للشبكات العصبية، قادرة على وصف أي هيكل، مهما كان معقدًا أو غير عادي.
بمجرد حصولهم على هذه المجموعة الضخمة من التصاميم الموحدة، واجه الباحثون تحديًا في كيفية تغذية برنامج الحاسوب بهذه المعلومات. أدركوا أن الطريقة الأكثر مرونة لوصف الشبكة ليست من خلال الرسوم البيانية المعقدة أو المصفوفات، بل من خلال اللغة الطبيعية. فقد طوروا طريقة لترجمة التفاصيل التقنية لكل شبكة — ما هي العمليات التي تؤديها، وكيف تتصل أجزاؤها، والإعدادات المحددة لكل مكون — إلى وصف نصي مقروء. تخيل الشبكة كمجموعة من التعليمات: "خذ مدخلًا، مرره عبر مرشح، ثم طبق تصحيحًا، وأخيرًا أخرج نتيجة". كتب الباحثون برامج لتوليد هذه التعليمات لكل شبكة من الـ 650,000 شبكة في مكتبتهم.
ثم استخدموا هذا النص لتدريب نموذج لغوي كبير، وهو نوع من الذكاء الاصطناعي المألوف باللغة البشرية، ليعمل كمُتنبئ بالأداء. وبدلاً من تعلم كتابة الشعر أو الإجابة على الأسئلة، تعلم هذا النموذج قراءة "الجمل" التقنية التي تصف الشبكات العصبية والتنبؤ بدقتها. كانت عملية التدريب فعالة بشكل مفاجئ؛ فقد تعلم النموذج تقديم تنبؤات دقيقة بعد رؤية جزء ضئيل فقط من البيانات المطلوبة مقارنة بالطرق السابقة. في الواقع، حقق نفس مستوى الأداء الذي حققته الأنظمة القديمة باستخدام أقل من واحد بالمئة من بيانات التدريب. وهذا يشير إلى أنه من خلال وصف الشبكات بتنسيق نصي واضح، يمكن للحاسوب استيعاب الميزات الأساسية للتصميم بشكل أسرع من ذي قبل.
كان الاختبار الحقيقي لهذا النهج الجديد هو ما إذا كان بإمكانه التعميم على تصاميم لم يسبق له رؤيتها من قبل. اختبر الباحثون النموذج عن طريق تدريبه على شبكات من عائلة واحدة محددة، ثم طلبوا منه التنبؤ بأداء شبكات مختلفة تمامًا من عائلات أخرى. كانت النتائج مذهلة؛ فقد نجح النموذج في التنبؤ بأداء هذه التصاميم غير المرئية بدقة عالية، وهي قدرة تُعرف باسم "النقل الصفري" (zero-shot transfer). وهذا يعني أن النظام لم يكن بحاجة إلى إعادة التدريب أو التعديل لأنواع الشبكات الجديدة؛ بل اكتفى بتطبيق ما تعلمه من الأوصاف النصية لفهم الهياكل الجديدة. ويمثل هذا قفزة كبيرة للأمام، حيث كانت الأدوات السابقة غالبًا ما تظل حبيسة أنواع الشبكات المحددة التي تدربت عليها ولا تستطيع التكيف مع التصاميم الجديدة الأكثر تعقيدًا.
استكشف الباحثون أيضًا بالضبط ماهية المعلومات التي يحتاجها النموذج لإجراء هذه التنبؤات. لقد قاموا بتفكيك الأوصاف النصية إلى أجزاء مختلفة، مثل أسماء العمليات، وأشكال البيانات المتدفقة من خلالها، والمعلمات المحددة التي وضعها المصمم. ووجدوا أن تضمين تفاصيل حول كيفية اتصال أجزاء الشبكة وأشكال البيانات كان العامل الأكثر حسمًا للنجاح. وبينما كان أداء النموذج جيدًا مع الهيكل الأساسي فقط، فإن إضافة هذه التفاصيل المحددة سمحت له بتقديم تنبؤات أكثر دقة بكثير. وهذا يؤكد أن النهج القائم على النص يلتقط التفاصيل الضرورية لتصميم الشبكة دون الضياع في ضجيج الاختلافات البرمجية غير ذات الصلة.
وعلى الرغم من هذه النجاحات، يحرص الباحثون على توضيح حدود عملهم. فقد تم تدريب واختبار النظام بشكل أساسي على الشبكات المصممة لمهام التعرف على الصور باستخدام مجموعة بيانات محددة تسمى "CIFAR-10". وبينما أن الطريقة قادرة نظريًا على التعامل مع أي شبكة يمكن تحويلها إلى تنسيقهم القياسي، إلا أن النتائج الحالية تقتصر على هذا النطاق المحدد. كما يشير الفريق إلى أنه على الرغم من ضخامة تنوع بيانات التدريب الخاصة بهم، إلا أنها لا تزال مستمدة من معايير موجودة بالفعل ولا تغطي بعد كل نوع ممكن من الشبكات العصبية أو المهام. كما يشيرون أيضًا إلى أنه بينما يعد منهجهم القائم على النص أكثر مرونة من النهجيات القديمة القائمة على الرسوم البيانية، إلا أن تلك الطرق القديمة لا تزال قادرة على التفوق عليهم في سيناريوهات محددة ومقيدة للغاية.
إن إصدار هذا المعيار الجديد والأداة التنبؤية المرافقة له يفتح بابًا لاستكشاف أكثر كفاءة في مجال الذكاء الاصطناعي. فمن خلال توفير طريقة لتقييم التصاميم فورًا دون التكلفة الباهظة للتدريب، يمكن للباحثين الآن اختبار آلاف الأفكار في الوقت الذي كان يستغرقه اختبار عدد قليل منها سابقًا. ويشير هذا العمل إلى أن مستقبل تصميم الشبكات العصبية قد لا يكمن في بناء أجهزة أسرع، بل في إيجاد طرق أفضل لوصف وفهم التصاميم نفسها. ويأمل الباحثون، من خلال جعل أدواتهم وبياناتهم متاحة، في تشجيع الآخرين على بناء طرق بحث لا تقتصر على أنواع معينة من الشبكات، بل يمكنها التكيف مع المشهد المتطور باستمرار للذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.