🔬 condensed matter

Architecture-Aware Minimization (A $^2$ M): How to Find Flat Minima in Neural Architecture Search

تقدم هذه الورقة البحثية "التقليل الواعي بالبنية" (A $^2$ M)، وهو إطار عمل مبتكر يستفيد من الخصائص الهندسية لفضاءات البنى العصبية لتوجيه تدرجات البحث عن البنية العصبية القابلة للتفاضل صراحةً نحو النهايات الصغرى المسطحة، مما يحسن بشكل كبير أداء التعميم عبر مختلف المعايير وفضاءات البحث.

المؤلفون الأصليون: Matteo Gambella, Fabrizio Pittorino, Manuel Roveri

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Matteo Gambella, Fabrizio Pittorino, Manuel Roveri

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: البحث عن الوصفة المثالية

تخيل أنك طاهٍ يحاول ابتكار وصفة جديدة ومثالية لكعكة ما. لديك كتاب طبخ ضخم (فضاء البحث عن البنية العصبية أو NAS) يحتوي على مليارات التوليفات الممكنة من المكونات والخطوات.

الهدف: تريد العثور على التوليفة المحددة التي تعطي أفضل مذاق (أعلى دقة).
المشكلة: كتاب الطبخ ضخم جداً لدرجة أنك لا تستطيع تذوق كل كعكة فيه. أنت بحاجة إلى طريقة ذكية للتنقل عبر الكتاب للعثور على أفضل الوصفات دون إضاعة الوقت في الوصفات السيئة.

في عالم الذكاء الاصطناي، هذا "الكتاب" هو قائمة بتصاميم الشبكات العصبية المحتملة. لفترة طويلة، استخدم العلماء طريقة تسمى DARTS للبحث عبر هذا الكتاب. DARTS يشبه الطاهي الذي يتذوق الكعكة، ثم يجري تعديلاً طفيفاً على الوصفة، ثم يتذوقها مرة أخرى، ويستمر في التعديل حتى تصبح الكعكة لذيذة.

المشكلة الخفية: "المنحدر" مقابل "الهضبة"

اكتشف مؤلفو هذه الورقة شيئاً مذهلاً حول "تضاريس" هذه الوصفات. لقد أدركوا أن ليست كل الوصفات الجيدة متساوية.

القمة الحادة (المنحدر): تخيل أنك وجدت وصفة تصنع كعكة لذيذة. لكن إذا غيرت مكوناً واحداً فقط بشكل طفيف (مثل استبدال السكر بالعسل)، ستتحول الكعكة إلى قطعة صلبة كالقرميد. هذه "قمة حادة". إنها تعمل بشكل رائع تماماً كما هي مكتوبة، لكنها هشة. إذا تغيرت ظروف العالم الحقيقي قليلاً، ستفشل الكعكة.
الهضبة المسطحة: الآن، تخيل وصفة أخرى. إنها تصنع كعكة لذيذة. إذا استبدلت السكر بالعسل، أو أضفت رشة إضافية من الدقيق، ستظل الكعكة لذيذة جداً. هذه منطقة "مسطحة". إنها قوية وموثوقة.

الاكتشاف: وجد المؤلفون أنه في عالم الذكاء الاصطناي، فإن الشبكات الأفضل أداءً (التي تتعميم جيداً على البيانات الجديدة) هي عادة ما تكون مستقرة فوق هذه الهضاب المسطحة. أما الشبكات السيئة أو المتوسطة، فغالباً ما تكون عالقة على قمم حادة أو جزر معزولة حيث يمكن لأي تغيير بسيط أن يفسدها.

الحل: A2M (الباحث عن الاستقرار)

تقدم الورقة أداة جديدة تسمى A2M (التقليل الواعي بالبنية - Architecture-Aware Minimization).

فكر في طريقة البحث القديمة (DARTS) كمتسلق يبحث فقط عن أعلى نقطة على الخريطة. قد يتسلق قمة جبل شاهقة وحادة جداً. القمة عالية، لكن الوقوف عليها خطر.

A2M تشبه المتسلق الذي يمتلك بوصلة خاصة. هذه البوصلة لا تبحث عن الارتفاع فحسب؛ بل تبحث عن الاستواء (التسطح).

عندما يجد المتسلق نقطة مرتفعة، تسأل A2M: "هل هذا منحدر حاد، أم أنها هضبة واسعة وآمنة؟"
إذا كان منحدرًا، تقول A2M: "لا، لنواصل السير."
إذا كانت هضبة مسطحة، تقول A2M: "هذا هو المكان المنشود! إنها مرتفعة، ومستقرة أيضاً."

كيف تعمل (تشبيه "اختبار المذاق")

للعثور على هذه الهضبات المسطحة، تستخدم A2M حيلة ذكية مستوحاة من مفهوم يسمى "التقليل الواعي بالحدة" (Sharpness-at-Aware Minimization أو SAM)، والذي كان يُستخدم في الأصل لتعديل المكونات (الأوزان) لكعكة ما، وليس بنية الوصفة نفسها.

إليك العملية:

الأساس: يمتلك الذكاء الاصطناي وصفة (بنية) حالية.
اختبار "ماذا لو": قبل اتخاذ قرار بشأن ما إذا كانت هذه الوصفة هي الأفضل، تقوم A2M بإنشاء 3 أو 4 نسخ "قريبة" منها. إنها تجري تغييرات عشوائية طفيفة (مثل استبدال مكون واحد).
التحقق: تتذوق هذه النسخ القريبة.
- إذا كان مذاق النسخ القريبة سيئاً للغاية، فإن الوصفة الأصلية تقع على "قمة حادة". إنها هشة للغاية.
- إذا كان مذاق النسخ القريبة لا يزال رائعاً، فإن الوصفة الأصلية تقع على "هضبة مسطحة". إنها قوية.
الحركة: تستخدم A2M هذه المعلومات لتوجيه البحث نحو تلك الهضبات المسطحة والمستقرة. إنها توجه البحث صراحةً لتجنب المنحدرات الهشة.

النتائج: لماذا يهم هذا الأمر؟

اختبر المؤلفون هذه الأداة الجديدة "الباحثة عن الاستقرار" (A2M) على معايير قياسية للذكاء الاصطناي (مثل CIFAR-10 و CIFAR-100 و ImageNet).

النتيجة: من خلال إضافة "فحص الاستواء" هذا إلى طرق البحث الحالية، وجدوا شبكات أفضل بكثير في التعرف على الصور في العالم الحقيقي.
الأرقام: في المتوسط، حققوا تحسناً في الدقة بنسبة تتراوح بين 3.6% إلى 4.6%. في عالم الذكاء الاصطناي، هذه قفزة هائلة. إنه يشبه الانتقال من طالب بمستوى "جيد" إلى طالب بمستوى "ممتاز" بمجرد تغيير طريقة دراسته.
الكفاءة: الجزء الأفضل؟ لم يتطلب الأمر نظاماً جديداً بالكامل. يمكنك ببساطة "توصيل" هذه القاعدة الجديدة بأدوات البحث الحالية في الذكاء الاصطناي، وستصبح أكثر ذكاءً واستقراراً على الفور.

الملخص

المشكلة: غالباً ما تجد طرق البحث في الذكاء الاصطناي حلولاً "هشة" تعمل بشكل مثالي في المختبر ولكنها تفشل في العالم الحقيقي لأنها حساسة جداً للتغييرات الصغيرة.
الرؤية: أفضل الحلول توجد في المناطق "المسطحة" من فضاء التصميم حيث لا تضر التغييرات الصغيرة في الأداء.
الحل: A2M هي قاعدة جديدة تخبر محرك بحث الذكاء الاصطناي أن يتجاهل القمم الحادة والهشة، ويبحث بدلاً من ذلك عن الهضبات الواسعة والمستقرة.
النتيجة: نحصل على نماذج ذكاء اصطناي ليست دقيقة فحسب، بل قوية وموثوقة أيضاً، وذلك عبر ترقية بسيطة للأدوات الحالية.

باختاً، تعلم A2M الذكاء الاصطناي التوقف عن البحث عن أعلى قمة جبلية مهتزة، والبدء في البحث عن السهول المرتفعة والواسعة والآمنة، حيث الإطلالة رائعة أيضاً، لكنك لن تسقط من فوقها.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التقليل الواعي بالبنية (A2M): كيف تجد النهايات الصغرى المسطحة في البحث عن بنية الشبكات العصبية."

1. بيان المشكلة

أصبح البحث عن بنية الشبكات العصبية (NAS) معيارًا لتصميم شبكات عصبية فعالة، وتعتبر طرق البحث عن البنية القابلة للتفاضل (D-NAS) مثل DARTS شائعة بشكل خاص نظرًا لكفاءتها. ومع ذلك، غالبًا ما تعاني هذه الطرق من انهيار الأداء وضعف التعميم، حيث تؤدي البنية التي يتم العثور عليها خلال مرحلة الاسترخاء المستمر إلى أداء أسوأ بكante بشكل ملحوظ عند تحويلها إلى صيغة منفصلة (discretized).

بينما تم دراسة الخصائص الهندسية لمساحات أوزان الشبكة العصبية (مشاهد الخسارة) بشكل جيد — وتحديدًا مفهوم أن النهايات الصغرى المسطحة (flat minima) تعمم بشكل أفضل من النهايات الحادة — فإن الخصائص الهندسية لمساحات البنية (architecture spaces) لا تزال غير مستكشفة إلى حد كبير. تعالج الورقة النقص في الفهم المتعلق بـ:

البنية الطوبولوجية لمساحات البنية المنفصلة (مثل NAS-Bench-201، DARTS).
ما إذا كانت البنى عالية الأداء تتكتل في مناطق "مسطحة" مشابهة لمساحة الأوزان.
كيفية توجيه عملية البحث صراحةً نحو هذه المناطق المسطحة لتحسين التعميم.

2. المنهجية

تقترح الورقة نهجًا ذا شقين: أولًا، تحليل هندسي لمساحات البنية، وثانيًا، خوارزمية تحسين جديدة بناءً على ذلك التحليل.

أ. التحليل الهندسي لمساحات البنية

قدم المؤلفون مقاييس مبتكرة لقياس هندسة مساحات البنية:

جوارات البنية (Architecture Neighborhoods): قاموا بتعريف "نصف قطر" $R$ $R$ بناءً على الحد الأدنى من التعديلات على ترميز البنية (على سبيل المثال، تغيير عملية أو تعديل الاتصال).
- NAS-Bench-201: تم تعريفه كتغيير رقم صحيح واحد في تسلسل العمليات.
- DARTS: تم تعريفه إما بتغيير عملية على حافة أو إجراء "تعديل اتصال" (إزالة حافة وإضافة حافة جديدة للحفاظ على قيود صحة الخلية).
مسارات ودوال الحواجز الدقة (Accuracy Paths and Barriers): قاموا ببناء "مسارات" بين بنيتين من خلال إنشاء شجرة من تسلسلات التعديل الأقصر. قاموا بحساب حاجز الدقة ( $B$ $B$ ) بين نقطتين كفرق بين متوسط دقة نقاط النهاية وأقل دقة تمت مواجهتها على طول المسار.
- الفرضية: يجب أن تقبع البنى عالية الأداء في مناطق مسطحة (حواجز منخفضة)، بينما تكون البنى الضعيفة معزولة بحواجز عالية.

ب. خوارزمية A2M (التقليل الواعي بالبنية)

بناءً على الرؤى الهندسية، يقترح المؤلفون A2M، وهو إطار عمل للتحسين القائم على التدرج يستهدف صراحةً النهايات الصغرى المسطحة في مساحة البنية.

المفهوم الأساسي: تعمل A2M على تكييف التقليل الواعي بالحدة (SAM) من مساحة الأوزان إلى مساحة البنية.
الآلية: بدلاً من تقليل الخسارة عند بارامترات البنية الحالية $\alpha$ ، تقوم A2M بتقليل أسوأ حالة خسارة ضمن جوار بنصف قطر $\rho_\alpha$ .
تحديث التدرج: اشتق المؤلفون تحليليًا قاعدة تحديث تدرج جديدة لبارامترات البنية $\alpha$ $α$ ضمن إطار التحسين ثنائي المستوى لـ DARTS. يتضمن التحديث:
1. إزاحة $\alpha$ في اتجاه التدرج (إزاحة SAM).
2. حساب التدرجات عند النقطة المزاحة وعند النقاط المضطربة ( $\alpha \pm \epsilon$ ) لتقريب الانحناء (حد الدرجة الثانية).
3. تحديث $\alpha$ باستخدام تقريب الفرق المحدود للمشتق من الدرجة الثانية، مما يؤدي فعليًا إلى معاقبة النهايات الصغرى الحادة.
التكامل: تعمل A2M كـ "إضافة" (plug-in) لطرق D-NAS الحالية القائمة على DARTS، حيث تتطلب معلمة فائقة واحدة إضافية ( $\rho_\alpha$ ) وزيادة طفيفة في التكلفة الحسابية (حوالي 1.1x–1.3x).

3. المساهمات الرئيسية

التوصيف الهندسي: تقدم الورقة أول تحديد كمي منهجي لهندسة مساحة البنية، كاشفة أن البنى عالية الدقة تتكتل في مناطق مسطحة ذات حواجز دقة منخفضة، بينما تكون البنى دون المستوى معزولة في مناطق حادة وعالية الحواجز.
خوارماية A2M: تقديم أول خوارزمية توجه تدرجات D-NAS تحليليًا نحو المناطق المسطحة في مساحة البنية (بشكل متميز عن مساحة الأوزان).
مقاييس المسار والحواجز: تعريف "مسارات الدقة" و"الحواجز" كأدوات لتصور وقياس سلاسة مشهد البنية.
التحقق التجريبي: تجارب مكثفة تثبت أن استهداف المسطحات في مساحة البنية يؤدي إلى تعميم متفوق عبر عدة اختبارات ومساحات بحث.

4. النتائج التجريبية

قيم المؤلفون A2M على NAS-Bench-201 ومساحة بحث DARTS عبر ثلاثة مجموعات بيانات: CIFAR-10، وCIFAR-100، وImageNet-16-120.

النتائج الهندسية:
- التكتل: النماذج عالية الأداء (مثل >90% على CIFAR-10) لديها جيران بدقة متشابهة جدًا (تكتل ضيق)، مما يشير إلى أحواض مسطحة.
- الحواجز: المسارات التي تربط بين البنى عالية الأداء تظهر حواجز دقة أقل بكثير مقارنة بالمسارات بين البنى منخفضة الأداء.
- المتانة: أظهرت البنى التي وجدتها A2M انخفاضات أصغر في الأداء عند اضطرابها (جوارات نصف قطر 1) مقارنة بنماذج DARTS القياسية.
مكاسب الأداء: تم تطبيق A2M على سبعة من متغيرات DARTS الأكثر تقدمًا (بما في ذلك $\beta$ -DARTS، وPC-DARTS، وSDARTS، إل_خ).
- متوسط التحسن: عبر جميع الطرق ومجموعات البيانات، حسنت A2M دقة الاختبار بمقدار:
  - +3.60% على CIFAR-10
  - +4.60% على CIFAR-100
  - +3.64% على ImageNet-16-120
- انتصارات محددة:
  - على NAS-Bench-201، حققت A2-PC-DARTS زيادة في الدقة بمقدار 2.15 ضعف على ImageNet-16-120 مقارنة بالنسخة القياسية.
  - على مساحة بحث DARTS، حققت الطرق المعززة بـ A2 باستمرار أعلى دقات اختبار (على سبيل المثال، وصلت A2-DARTS-PT إلى 97.42% على CIFAR-10).

5. الأهمية والتوجهات المستقبلية

تحول في النموذج: تثبت هذه الورقة أن المسطحات هي خاصية حرجة لمساحات البنية، وليس فقط لمساحات الأوزان. إن التحسين من أجل تسطح البنية هو استراتيجية قابلة للتطبيق وفعالة لحل فجوة التعميم في D-NAS.
الفائدة العملية: تعد A2M بديلاً خفيف الوزن وسهل الاستبدال لأطر عمل D-NAS الحالية، حيث تقدم تحسينات فورية في الأداء دون الحاجة إلى إعادة تصميم كاملة لخوارزمية البحث.
العمل المستقبلي:
- توسيع التحليل الهندسي ليشمل التغييرات الهيكلية الكبرى (إضافة أو إزالة العقد).
- تكييف البحث الواعي بالتسطح مع الـ NAS المنفصل (مثل الطرق التطورية أو القائمة على التعزيز) حيث لا تتوفر التدرجات بشكل مباشر.
- التحقيق في العلاقة بين تسطح البنية وخصائص المتانة الأخرى (مثل المتانة ضد الهجمات العدائية، والتعميم خارج التوزيع - OOD).
- تقليل العبء الحسابي لخطوة تحديث A2M.

في الختام، تجسر A2M الفجوة بين الفهم النظري لمشاهد الخسارة والتطبيق العملي لـ NAS، مثبتة أن توجيه البحث نحو المناطق المسطحة في مساحة البنية ينتج شبكات عصبية أكثر متانة وقدرة على التعميم.