Structuring Open-Ended NAS: Semi-Automated Design Knowledge Structuring with LLMs for Efficient Neural Architecture Search
تقترح هذه الورقة إطار عمل شبه مؤتمت يستفيد من النماذج اللغوية الكبيرة لهيكلة المعرفة التصميمية في قالب عالي المستوى لإنشاء فضاءات بحث متنوعة، مدمجاً مع خوارزمية FairNAD التي تتميز بالطفرات متعددة الأنواع وحلقات التغذية الراجعة، لاكتشاف بنيات عصبية عالية الأداء بكفاءة تتفوق على الأساليب المتطورة في اختبارات CIFAR وImageNet.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء طباخ آلي مثالي وأكثر كفاءة. في الماضي، كان على المهندسين تصميم كل ترس ورافعة ودائرة كهربائية يدويًا. كان هذا الأمر بطيئًا، ومكلفًا، ومحدودًا بما يعرفه المهندس بالفعل.
لتسريع هذه العملية، اخترع العلماء البحث عن البنية العصبية (Neural Architecture Search - NAS). فكر في هذا كأنه روبوت يحاول بناء روبوتات أخرى من أجلك. ومع ذلك، كان البحث التقليدي عن البنية العصبية (NAS) يشبه إعطاء الروبوت صندوق أدوات صغيرًا ومجهزًا مسبقًا؛ حيث كان بإمكانه فقط خلط ومطابقة الأدوات التي أُعطيت له (مثل مفتاح ربط أو مفك براغي). لم يكن بإمكانه اختراع أداة جديدة أو إدراك أن المطرقة قد تكون أفضل لهذه المهمة المحددة.
ثم جاءت النماذج اللغوية الكبيرة (LLMs)، وهي "الروبوتات فائقة الذكاء" التي يمكنها قراءة ملايين الكتب وكتابة الأكواد البرمجية. حاول الباحثون استخدام هذه النماذج لتصميم الطباخ الآلي. كان هذا أمرًا مثيرًا لأن النموذج اللغوي الكبير يمكنه تخيل أي أداة، وليس فقط الأدوات الموجودة في صندوق الأدوات. ولكن كانت هناك مشكلة: غالبًا ما كان النموذج اللغوي الكبير مرتبكًا؛ فقد كان يستحضر أفكارًا من ذاكرته الواسعة كانت محددة للغاية، أو غريبة جدًا، أو خاطئة تمامًا، مما أدى إلى عملية بحث فوضوية وغير فعالة.
تقدم هذه الورقة البحثية طريقة جديدة تسمى FairNAD لإصلاح هذه الفوضى. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:
1. "المكتبة المنظمة" (هيكلة المعرفة شبه الآلية)
بدلاً من ترك النموذج اللغوي الكبير يجلب الأفكار عشوائيًا من كومة ضخمة وفوضوية من الأوراق (مثل البحث في ساحة خردة)، قام المؤلفون ببناء مكتبة منظمة.
- المشكلة: إذا سألت نموذجًا لغويًا كبيرًا: "أعطني فكرة تصميم"، فقد يقترح شيئًا مثل "استخدم ماسح ضوئي ثلاثي الأبعاد لصورة ثنائية الأبعاد"، وهو أمر عديم الفائدة. أو قد يقترح "استخدم نوعًا معينًا من آلية الانتباه" بنسبة 70% من الوقت، متجاهلاً الأفكار الجيدة الأخرى.
- الحل: أنشأ المؤلفون نظام أرشفة شجري (شجرة السمات). لقد نظموا أفكار التصميم في فئات مرتبة:
- المستوى 1: هل هذا جزء صغير (عملية/Operation)، أم وحدة (كتلة/Block)، أم الروبوت بأكمله (شبكة/Network)؟
- المستوى 2: ما هو؟ (على سبيل المثال: استخراج الميزات، أو التسوية/Normalization).
- المستوى 3: تفاصيل محددة (مثل: التلافيف المجمعة/Grouped convolution).
- التشبيه: تخيل أمين مكتبة لا يسلمك كتابًا عشوائيًا فحسب، بل يسألك أولاً: "هل تحتاج إلى كتاب عن المحركات (Operation) أم الهياكل (Block)؟" ثم يجد لك محرك V8 (فئة فرعية) المحدد الذي تحتاجه. هذا يضمن حصول النموذج اللغيدي الكبير على أفكار عالية الجودة وذات صلة، ويمنعه من التوقف عند مجرد اتجاه واحد (مثل "يجب أن يكون كل شيء عبارة عن Transformer").
2. "الطاهي العادل" (إطار عمل FairNAD)
بمجرد بناء المكتبة، يستخدم المؤلفون عملية بحث خاصة تسمى FairNAD. فكر في هذا كمسابقة طبخ حيث الهدف هو العثور على أفضل وصفة.
المرحلة 1: تذوق "الفكرة العادلة" (الطفرة عبر أخذ عينات الأفكار العادلة)
- المشكلة: عادةً ما تختار خوارزميات البحث "أفضل" الأفكار التي رأتها حتى الآن فقط، متجاهلة الأفكار الغريبة أو الصغيرة.
- الحل: تجبر FairNAD النموذج اللغيدي الكبير على تذوق الأفكار من كل فئة في المكتبة بالتساوي. إنها تضمن أن الفكرة "الصغيرة والفعالة" تحصل على نفس الفرصة التي تحصل عليها الفكرة "الكبيرة والقوية" ليتم اختبارها. هذا يمنع عملية البحث من الوقوع في روتين ثابت.
المرحلة 2: موازنة "باريتو" (الطفرة المدركة لباريتو)
- المشكلة: أحيانًا يكون الروبوت صغيرًا وسريعًا ولكنه ليس ذكيًا جدًا. وفي أحيان أخرى، يكون عبقريًا ولكنه ثقيل جدًا للحركة. غالبًا ما يتجاهل البحث القياسي هذه الروبوتات لأنها ليست الأفضل مطلقًا بعد.
- الحل: تبحث FairNAD في "جبهة باريتو" (Pareto Frontier). تخيل رسمًا بيانيًا حيث يمثل أحد المحاور "السرعة" ويمثل الآخر "الذكاء". تبحث FairNAD تحديدًا عن الروبوتات التي تقع على حافة هذا الرسم البياني—وهي الروبوتات التي تكون الأذكى بقدر ما تستطيع أن تكون بالنسبة لحجمها. إذا كان الروبوت صغيرًا جدًا، يتم "تكبير حجمه" (إضافة طبقات أكثر). وإذا كان كبيرًا جدًا، يتم "ضبطه" (تحسين الإعدادات).
المرحلة 3: "التلميع التكراري" (الطفرة المتكررة المدفوعة بالنموذج اللغيدي)
- المشكلة: بمجرد العثốt على وصفة جيدة، فأنت تريد إتقانها.
- الحل: يأخذ النظام أفضل الروبوتات ويطلب من النموذج اللغيدي الكبير تعديلها مرارًا وتكرارًا، مثل طاهٍ يتذوق ويعدل التوابل حتى تصبح مثالية.
"شبكة الأمان" (حلقة التغذية الراجعة)
- المشكلة: أحيانًا يكتب النموذج اللغيدي الكبير كودًا يتوقف عن العمل، أو يستهلك الكثير من الذاكرة، أو ينشئ روبوتًا بساق واحدة فقط.
- الحل: قبل قبول أي تصميم جديد، يمر عبر فحص من ثلاث خطوات:
- هل يعمل؟ (فحص التنفيذ)
- هل هو كبير جدًا؟ (فحص الميزانية - إذا كان ثقيلاً جدًا، يُطلب من النموذج اللغيدي تصغيره).
- هل هو روبوت حقًا؟ (فحص الهيكل - التأكد من أنه يحتوي على طبقات متعددة وليس مجرد نسخة من القديم).
إذا فشل، يُطلب من النموذج اللغيدي إصلاحه فورًا. هذا يحافظ على تنوع البحث ويمنع النظام من إضاعة الوقت في تصميمات معطلة.
النتائج
اختبر المؤلفون هذا النظام على مهام قياسية للتعرف على الصور (مثل تحديد القطط مقابل الكلاب في الصور).
- النتيجة: وجدت طريقتهم طباخين آليين (شبكات عصبية) أفضل بكثير من الطرق السابقة.
- الدرجة: لقد حسنوا الدقة بمقدار 0.84 نقطة في مجموعة بيانات واحدة، و2.17 نقطة في أخرى، و2.35 نقطة في ثالثة. في عالم الذكاء الاصطناعي، هذه قفزات هائلة.
الملخص
باختصار، تقول هذه الورقة البحثية: "لا تترك ذكاءً اصطناعيًا فائقًا يخمن عشوائيًا فحسب. أعطه نظام أرشفة منظمًا لتنظيم معرفته، واستخدم عملية عادلة متعددة الخطوات لاختبار الأفكار. بهذه الطريقة، لن تحصل على أي تصميم فحسب؛ بل ستحصل على أفضل تصميم ممكن يناسب حدود حجمك وسرعتك".
وتزعم الورقة أن هذا النهج يجعل البحث عن بنيات ذكاء اصطناعي جديدة أسرع، وأكثر تنوعًا، وأكثر نجاحًا مما لو حاولت القيام بذلك باستخدام كومة فوضوية من الأفكار غير المنظمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.