🤖 machine learning

On the Architectural Complexity of Neural Networks

تقدم هذه الورقة إطاراً نظرياً موحداً لتحليل وبناء الشبكات العصبية العميقة من خلال نمذجة عمليات التنسور (tensor) بشكل صريح، مما يكشف عن الروابط التاريخية بين التعقيد الهيكلي والطفرات النوعية، مع تحديد وإطلاق مجموعة بيانات تضم أكثر من 3,000 بنية عالية التعقيد لم تُستكشف بعد.

المؤلفون الأصليون: Nicholas J. Cooper, François G. Meyer, Michael L. Roberts, Carlos Zapata-Carratalá, Lijun Chen, Danna Gurari

نُشر 2026-05-07✓ Author reviewed ⓘ

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nicholas J. Cooper, François G. Meyer, Michael L. Roberts, Carlos Zapata-Carratalá, Lijun Chen, Danna Gurari

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن بناء شبكة عصبية عميقة (DNN) يشبه بناء مصنع ضخم ومعقد. على مدار الأربعين عامًا الماضية، قام المهندسون ببناء هذه المصانع عن طريق تكديس قطع "ليجو" قياسية (طبقات) بطرق مختلفة. نحن نعلم أن هذه المصانع تعمل بشكل رائع، لكننا لم نمتلك حقًا مخططًا يشرح بالضبط كيف تتشابك هذه القطع عند مستواها الأكثر جوهرية. لقد كنا ننظر إلى المصنع من الخارج، ونخمن كيف تدور التروس في الداخل.

تقدم هذه الورقة البحثية مخططًا جديدًا فائق التفصيل يسمى الإطار التوليفي الهرمي (Hierarchical Combinatorial Framework). هي لا تكتفي بالنظر إلى المصنع فحسب؛ بل تفككه وصولاً إلى المستوى الجزيئي لكيفية نقل البيانات وخلطها.

إليك تفصيل اكتشافهم باستخدام تشبيهات بسيطة:

1. المخطط الجديد: من "الصناديق السوداء" إلى "التروس الشفافة"

تعاملت معظم النظريات السابقة مع طبقات الشبكة العصبية كأنها "صناديک سوداء". كانت تقول: "هذا الصندوق يأخذ صورة ويعطيك تسمية"، دون شرح الآلات الداخلية.

يقترح المؤلفون طريقة جديدة لرؤية هذه الشبكات باستخدام المجمعات التوليفية الهرمية (HCCs). فكر في هذا كأنه مجموعة من دمى "الماتريوشكا" الروسية المتداخلة:

العناصر (اللبنات): البيانات الخام (الأرقام).
الشرائح (الأكوام): تجميع تلك الأرقام في صفوف أو أعمدة.
الأنماط (الأرفف): تنظيم تلك الأكوام في أبعاد محددة (مثل الارتفاع، العرض، اللون).
التنسورات/الموترات (الصناديق): الحاويات الفعلية ثلاثية الأبعاد (أو أعلى) التي تحمل البيانات.
العمليات (الخلاطات): الآلات التي تدمج هذه الصناديق (مثل ضرب المصفوفات).
البنية (أرضية المصنع): كيفية اتصال كل هذه الخلاطات والصناديق ببعضها البعض.

الابتكار الرئيسي هنا هو أنهم صاغوا بشكل صريح "عمليات التنسور" (الخلاطات). تجاهلت النظريات السابقة الشكل والهيكل المحدد لهذه الخلاطات. تقول هذه الورقة: "دعونا نعد بالضبط كم عدد التروس الموجودة في الخلاط وكيف تتشابك مع بعضها البعض".

2. الدرس التاريخي: لماذا تنجح البنى الجديدة

استخدم المؤلفون مخططهم الجديد للنظر إلى تاريخ الشبكات العصبية عبر 40 عامًا. قاموا بقياس "تعقيد" البنى الشهيرة (مثل "البرسيبترون" الأصلي، والشبكات العصبية الالتفافية CNN، وشبكات ResNet، والمحولات Transformers) عن طريق عد أنواع محددة من الاتصالات.

التشبيه: تخيل قياس تعقيد سيارة.

عام 1986 (FCNN): دراجة هوائية. بسيطة، ذات ترس واحد.
عام 1998 (CNN): سيارة مزودة بنظام نقل حركة. لديها تروس أكثر (عمليات من رتب أعلى) للتعامل مع تضاريس مختلفة.
عام 2016 (ResNet): سيارة مزودة بشاحن توربيني وصمام تجاوز (وصلات تخطي). إنها تضيف المزيد من الأجزاء للمحرك لجعله يعمل بسلاسة أكبر.
عام 2017 (Transformer): محرك نفاث. يستخدم نوعًا مختلفًا تمامًا وأكثر تعقيدًا من الاحتراق (خلاط ثلاثي المسارات بدلاً من خلاط ثنائي المسارات).

النتيجة: في كل مرة يتم فيها اختراع بنية "رائدة"، لم يكن الأمر مجرد تعديل بسيط؛ بل كان قفزة إلى مستوى أعلى من التعقيد. وجدت الورقة أن النماذج الأكثر نجاحًا كانت هي الأولى التي قدمت "ترسًا" جديدًا أو طريقة جديدة لخلط البيانات لم تُستخدم من قبل.

3. الاكتشاف: كون من المصانع غير المبنية

هذا هو الجزء الأكثر إثارة. أدرك المؤلفون أنه بينما كنا نبني باستخدام خلاطات ثنائية المسارات (عمليات ثنائية) وخلاطات ثلاثية المسارات، فإن هناك كونًا كاملاً من الخلاطات رباعية المسارات، وخماسية المسارات، وحتى الخلاطات ذات المسارات الأعلى التي تجاهلناها تمامًا.

تساءلوا: "ماذا لو بنينا مصنعًا باستخدام هذه الخلاطات فائقة التعقيد؟"

باستخدام إطار عملهم، لم يكتفوا بالتخمين؛ بل قاموا بتوليد 3,028 تصميمًا جديدًا للمصانع بشكل منهجي باستخدام هذه الخلاطات ذات التعقيد الأعلى. لم يكتفوا بالنظرية؛ بل بنوا هذه التصاميم واختبروها.

النتيجة:
وجدوا أن بعض هذه التصاميم "الغريبة" وعالية التعقيد كانت فعالة بشكل مذهل.

التشبيه: تخيل شاحنة توصيل قياسية (MobileNetV2) مشهورة بصغر حجمها وكفاءتها. قام المؤلفون ببناء مركبة جديدة باستخدام خلاطاتهم المعقدة. هذه المركبة الجديدة كانت أصغر (تستخدم 10% فقط من الأجزاء) ولكنها استطاعت حمل حمولة أكبر (حققت دقة أعلى) من الشاحنة الشهيرة.
وتحديدًا، تفوق أحد نماذجهم المكونة من 5 طبقات على نموذج شهير مكون من 30 طبقة، رغم استخدامه لجزء ضئيل من المعلمات (parameters).

4. بنية "النجمة الحمراء" (Red Star)

سلطوا الضوء على تصميم واحد محدد (النجمة الحمراء) الذي كان بطلًا في هذا المجال.

استخدم "وصلة تخطي" (إرسال البيانات حول الخلاط) لكنه دمجها مع خلاط رباعي المسارات شديد التعقيد.
أعاد استخدام الأجزاء (الأوزان) بطرق ذكية، مثل الميكانيكي الذي يعيد استخدام برغي من جزء في المحرك لإصلاح جزء آخر.
أثبت أنك لست بحاجة إلى شبكة ضخمة وعميقة للحصول على نتائج رائعة؛ بل تحتاج فقط إلى النوع الصحيح من الخلط المعقد.

الملخص

هذه الورقة البحثية تشبه منح المهندسين مجموعة جديدة من الأدوات لفهم وبناء الشبكات العصبية.

الأداة: لغة رياضية دقيقة لوصف كيفية خلط البيانات بالضبط، وليس فقط كيفية تدفقها.
الرؤية: يُظهر التاريخ أن الاختراقات تحدث عندما نخترع أنواعًا جديدة من "الخلاطات".
التجربة: بنوا آلاف التصاميم الجديدة باستخدام هذه الخلاطات المعقدة وغير المستكشفة.
المفاجأة: بعض هذه التصاميم الجديدة فعالة للغاية، حيث تتفوق على المعايير الصناعية الحالية باستخدام موارد أقل بكثير.

تخلص الورقة إلى أن مستقبل الشبكات العصبية قد لا يتعلق بجعلها أعمق أو أعرض، بل بجعلها أكثر تعقيدًا من الناحية الهيكلية بطرق لم نجربها بعد. لقد أتاحوا أكثر من 3,000 تصميم جديد من تصميماتهم ليدرسها ويستخدمها أي شخص.

ملخص تقني: حول التعقيد الهيكلي للشبكات العصبية

بيان المشكلة

حققت الشبكات العصبية العميقة (DNNs) نجاحًا تجريبيًا كبيرًا من خلال انتشار البنى المتنوعة والمعقدة. ومع ذلك، تعتمد الأطر النظرية الموحدة الموجودة (مثل التعلم العميق الهندسي، والتعلم العميق الفئوي) على تجريدات عالية المستوى لعمليات التنسور (Tensor)، حيث غالبًا ما تعاملها كدوال معلمية سوداء أو تحويلات خطية مجردة. هذا التجريد يحجب الهيكل الهرمي المعقد لعمليات التنسور — وتحديدًا المعلومات منخفضة المستوى المتعلقة بكيفية اقتران التنسورات، وتقطيعها، وتحويلها. ونتيجة لذلك، هناك فجوة في الفهم النظري لكيفية تطور التعقيد الهيكلي بمرور الوقت، ونقص في الطرق المنهجية لبناء بنى جديدة بناءً على أنواع جديدة من عمليات التنسور. علاوة على ذلك، يقتصر البحث عن البنية العصبية (NAS) حاليًا على تغيير الروابط بين مجموعات ثابتة من العمليات الموجودة، مما يفشل في استكشاف فضاء البنى المبنية من عمليات تنسور أساسية جديدة.

المنهجية

يقدم المؤلفون إطار عمل توافقي هرمي موحد يعتمد على المعقدات التوافقية الهرمية (HCCs). يقوم هذا الإطار بنمذجة هيكل عمليات التنسور بشكل صريح بدلاً من تجريدها. يبني الإطار معقدًا توافقيًا هرميًا من الرتبة الخامسة لتمثيل الشبكات العصبية، منظمًا كما يلي:

الرتبة 0 — العناصر: مجموعة أساسية من المتغيرات ذات القيم الحقيقية.
الرتبة 1 — الشرائح (Slices): مجموعات مرتبة مشتقة من العناصر.
الرتبة 2 — الأنماط (Modes): تقسيمات الشرائح، والتي تمثل أبعاد التنسور.
الرتبة 3 — التنسورات: تنسورات معممة معرفة كخلايا ثلاثية (3-cells). وخلافًا للمصفوفات متعددة الأبعاد القياسية، يمكن لهذه التنسورات أن تمثل "تنسورات متعرجة" (مصفوفات غير مكتملة) و"تنسورات فائقة" (خرائط من المؤشرات المتعددة إلى عناصر متعددة) من خلال استخدام تقسيمات المجموعات المرتبة والترتيبات الضعيفة الصارمة.
الرتبة 4 — العمليات: تنقسم هذه المستويات إلى نوعين:
- خرائط الأنماط (Mode Maps): دوال بين التنسورات تحافظ على هياكل فضاء الشرائح (مثل التسطيح، وفك التعبئة، والتقطيع).
- عمليات التنسور: آليات لدمج عدة تنسورات (مثل ضرب المصفوفات، وحاصل الضرب هادامارد، والإسقاط متعدد الرؤوس). يتم تعريف هذه العمليات عبر مصفوفات عمليات التنسور (TOMs)، التي تشفر علاقات الحدوث بين تنسورات المدخلات وأنماط التنسور الناتج، بما في ذلك عمليات الاختزال (Summations).
الرتبة 5 — الشبكات العصبية: تتكون من خرائط الأنماط وعمليات التنسور، وتُمثل بواسطة مصفوفات معادلات التنسور (TEMs) التي تصف الهيكل العلاقي بين العمليات والتنسورات.

يقدم الإطار مقاييس محددة لقياس التعقيد الهيكلي:

تعقيد العمليات ( $C_{op}$ ): عدد العمليات.
تعقيد التنسور ( $C_T$ ): عدد التنسورات.
تعقيد التعددية ( $C_\alpha$ ): أقصى عدد من المعاملات في عملية واحدة.
تعقيد الترتيب ( $C_O$ ): أقصى عدد من الأنماط في عملية ما.
تعقيد الاقتران-التعددية ( $C_A$ ): أقصى حجم للاقتران (الأنماط المشتركة بين المدخلات).

يستفيد المؤلفون من هذا الإطار لإجراء مهمتين رئيسيتين: تحليل استرجاعي لـ 40 عامًا من تطور الشبكات العصبية العميقة، وتوليد منهجي لبنى جديدة.

المساهمات الرئيسية

إطار عمل توافقي هرمي: يبني البحث أول إطار عمل ينمذج صراحةً هيكل عمليات التنسور، مما يسمح بمعلمة فضاء واسع من البنى وتشكيل مفاهيم مثل مخططات البنية كعلاقات حدوث.
التحليل الاسترجاعي للتعقيد: طبق المؤلفون الإطار لتحليل ثماني بنى تأسيسية (FCNN, CNN, ResNet, Transformer, Poly-Net, MO-Net, ViM, TT-Net). وقد حددوا "بصمة تعقيد" لكل منها وتتبعوا تطور هذه البصمات عبر العقود الأربعة الماضية.
التوليد المنهجي للبنى الجديدة: بالانتقال إلى ما وراء حدود البنى المعروفة، قام المؤلفون بشكل منهجي بتوليد مجموعة بيانات تضم 3,028 بنية جديدة ذات تعقيد أعلى. تم بناء هذه البنى عن طريق أخذ عينات من مصفوفات عمليات تنسور (TOMs) ومصفوفات معادلات تنسور (TEMs) جديدة ذات تعددية ( $C_\alpha$ ) وتعقيد اقتران ( $C_A$ ) أعلى مما تم استكشافه سابقًا.
التفكيك النظري: يقدم البحث براهين نظرية (مثل النظرية A.35) تثبت أنه تحت شروط معينة (التجميعية والتوزيعية للعمليات الأساسية)، يمكن تفكيك عمليات التنسور ذات التعددية العالية إلى تسلسلات من العمليات الثنائية، والعكس صحيح، حيث يمكن أن تكون تسلسلات العمليات الثنائية مكافئة لعمليات ذات تعددية أعلى.

النتائج

تطور التعقيد الهيكلي

يكشف تحليل البنى التاريخية عن اتجاه واضح: ترتبط التحولات الهيكلية الرائدة بزيادات في أنواع محددة من التعقيد.

تمثل FCNNs الخط المرجعي بتعقيد منخفض.
أدخلت CNNs تعقيدًا أعلى في الترتيب ( $C_O$ ) عبر الالتفاف (Convolution).
زادت ResNets من تعقيد التنسور والعمليات ( $C_T, C_{op}$ ) عبر وصلات التخطي (Skip connections).
شكلت Transformers أول زيادة كبيرة في تعقيد التعددية ( $C_\alpha$ )، باستخدام عمليات ثلاثية لآلية الانتباه الذاتي (Self-attention).
رفعت البنى ما بعد الترانسفورمر (Poly-Net, MO-Net, ViM, TT-Net) مستوى التعقيد، حيث استكشف بعضها تعقيد اقتران أعلى ( $C_A > 2$ ) وتعددية أعلى ( $C_\alpha > 3$ ).
تشير الدراسة إلى أن العديد من البنى عالية التعقيد تم اكتشافها بالصدفة أو وصفها باستخدام ترميزات ذات تعقيد أقل؛ ويكشف الإطار عن بصماتها الحقيقية ذات التعقيد الأعلى.

أداء البنى الجديدة

تم تقييم مجموعة البيانات المكونة من 3,028 بنية تم أخذ عينات منها في مهام تصنيف الصور (CIFAR-10, CIFAR-100, Tiny ImageNet).

كفاءة المعلمات: أظهرت العديد من البنى المأخوذة كفاءة ملحوظة في عدد المعلمات والعمق.
إنجاز محدد: حققت بنية "النجمة الحمراء" (العينة $\star$ ) التي تتكون من 5 طبقات وحوالي 198,000 معلمة فقط (152,000 من المرحلة الأساسية، و46,342 من الكتلة المبتكرة) دقة بلغت 65.52% على CIFAR-100.
المقارنة: تجاوز هذا الأداء بنية MobileNetV2 (دقة 64.29%)، وهي بنية خفيفة الوزن مستخدمة على نطاق واسع تحتوي على 2.5 مليون معلمة، وذلك باستخدام أقل من 10% فقط من عدد معلمات MobileNetV2.
الكفاءة: تشير النتائج إلى أن استكشاف عمليات التنسور ذات التعقيد الأعلى يمكن أن ينتج نماذج أكثر كفاءة بشكل ملحوظ من النماذج الحالية ذات الحالة الراهنة الخفيفة.

الأهمية والادعاءات

يزعم البحث تقديم أول لغة موحدة للتحليل الصارم وبناء الشبكات العصبية بناءً على الهيكل الصريح لعمليات التنسور. وتكمن أهميته في:

كشف التعقيد الخفي: يكشف البحث أن تطور التعلم العميق مدفوع بزيادات في مقاييس تعقيد محددة (خاصة التعددية وتعددية الاقتران) التي كانت محجوبة سابقًا بسبب التجريدات عالية المستوى.
تحديد الحدود: يحدد حدود فئات التعقيد الهيكلي المعروفة، ويسلط الضوء على أن فئات كبيرة من البنى ذات التعقيد الأعلى (مثل $C_A > 2$ ) ظلت غير مستكشفة إلى حد كبير.
البناء المنهجي: ينتقل البحث من أسلوب التجربة والخطأ أو البحث القائم على الروابط (NAS) إلى البناء المنهجي للبنى من عمليات تنسور جديدة.
كفاءة الموارد: تثبت النتائج التجريبية أن استكشاف فضاءات التعقيد الأعلى هذه يمكن أن يؤدي إلى بنى ليست مبتكرة فحسب، بل أيضًا أكثر كفاءة في عدد المعلمات من النماذج الحالية، مما يتحدى الافتراض بأن الأداء يتطلب أعدادًا هائلة من المعلمات.

يخلص المؤلفون إلى أن إطار عملهم يتيح استكشاف مساحات جديدة من البنى المبنية من عمليات تنسور ذات تعقيد أعلى، مما يوفر مسارًا نحو تصميمات الجيل القادم من الشبكات العصبية عالية الكفاءة. وقد تم إصدار مجموعة البيانات والبرمجيات علنًا لتسهيل المزيد من الأبحاث في هذا المجال.