Lattice theory and algebraic models for deep convolutional learning based on mathematical morphology

ملخص تقني: نظرية الشبكات (Lattice Theory) والنماذج الجبرية للتعلم التلافيفي العميق القائم على المورفولوجيا الرياضية

بيان المشكلة
تتناول الورقة البحثية الافتقار إلى إطار جبري صارم لفهم البنية الداخلية لشبكات التعلم التلافيفي العميقة (CNNs)، وشبكات ResNets، وهياكل المشفر-فك التشفير (encoder–decoder) مثل UNet. بينما تستخدم النهج الحالية الهندسة الحدية (tropical geometry) (لشبكات ReLU)، أو التحليل التوافقي (للتحيز الطيفي)، أو نظرية الفئات (للبنية التركيبية)، إلا أنها غالبًا ما تفتقر إلى أساس نظري موحد للمؤثرات (operator-theoretic foundation) قائم على الخصائص الجبرية المحددة للعمليات المستخدمة. المشكلة المركزية هي تحديد ما إذا كانت مسارات الـ CNN القياسية (التلافيف الخطية + ReLU + max-pooling) تمتلك الخصائص الجبرية للمؤثرات المورفولوجية (تحديدًا التلازمات/adjunctions والتربيع/idempotency)، وإذا لم تكن كذلك، فإن تحديد الأسباب الجبرية الدقيقة لسلوكها واقتراح بدائل متسقة نظريًا.

المنهجية
يستخدم المؤلف المورفولوجيا الرياضية ونظرية الشبكات (Lattice Theory) كأدوات تحليلية رئيسية. المحرك النظري الأساسي هو نظرية التمثيل الشامل MMBB (Matheron–Maragos–Banon–Barrera)، التي توصف المؤثرات الثابتة تجاه الإزاحة (TI) على الشبكات الكاملة.

تتقدم المنهجية من خلال الخطوات التالية:

1. تحديد الشبكة (Lattice Identification): تقوم الورقة برسم خرائط لعمليات التعلم العميق القياسية إلى شبكات كاملة محددة. وهي تميز بين الشبكة النقطية $(\text{Fun}(E, \mathbb{R}), \leq)$، والشبكة نصفية فوريه (Fourier inf-semilattice) $(L_n, \leq_F)$، والشبكة نصفية الوسيطية (median inf-semilattice) $(\text{Fun}(E, \mathbb{R}), \preceq)$.
2. تصنيف المؤثرات: يتم تحليل العمليات القياسية (التلافيف، ReLU، max-pooling) كمؤثرات مورفولوجية (تآكل/erosions، تمدد/dilations، فتح/openings، إغلاق/closings) ضمن هذه الشبكات.
3. تحليل التلازم (Adjunction Analysis): تبحث الورقة فيما إذا كانت أزواج العمليات تشكل تلازمات (وصلات غالوا/Galois connections). وتفحص تحديدًا الطبيعة "عابرة للشبكات" (cross-lattice) للـ CNNs القياسية، حيث يعمل التلفيف كتآكل في شبكة فوريه، بينما يعمل الـ max-pooling كتمدد في الشبكة النقطية.
4. نظرية النقطة الثابتة والتربيع (Fixed-Point and Idempotency Theory): تحلل الورقة خصائص التقارب للهياكل الطبقية. وتعرف التربيع ($\Phi \circ \Phi = \Phi$) كخاصية محددة للفتحات المورفولوجية (morphological openings) وتختبر ما إذا كانت الطبقات القياسية والمقترحة تحقق ذلك.
5. البناء الجبري: بناءً على التحليل، تصمم الورقة طبقات جديدة (النوع الأول، الثاني، الثالث) تلتزم بصرامة بمبادئ نظرية الشبكات، مما يضمن التربيع ووجود تلازمات معرفة جيدًا.

المساهمات الرئيسية

• C1. تكافؤ جبر Max-Times: تثبت الورقة أن تلازم max-times (دوال الهيكلة الضربيه) هو تلازم مورفولوجي معياري لخرائط الميزات الموجبة (مثل post-softmax). وتثبت تكافؤه الجبري مع تلازم max-plus الكلاسيكي عبر تحويل (log/exp).
• C2. تمثيل Banon–Barrera للمؤثرات الموقعة: يوسع المؤلف إطار MMBB ليشمل المؤثرات غير المتناقصة (الضرورية لنواة CNN الموقعة) باستخدام تفكيك sup-generating الخاص بـ Banon–Barrera (1993). يقوم هذا بتفكيك أي مؤثر TI إلى حد أعلى (supremum) من تركيبات inf من التآكلات والتضادات التمددية (anti-dilations).
• C3. الأساس المورفولوجي للتلفيف: توصف الأساس المورفولوجي لنواة التلفيف $k$ بأنها متماثلة مع المستوي الفائق العمودي على $k$ في $\mathbb{R}^N$. وتدخل المصفوفة المميزة $A_k$ ومفهوم الأساس الافتراضي للإشارات المكممة، مما يوفر تمثيلًا جبريًا دقيقًا للشبكات الثنائية ومنخفضة البت.
• C4. البنية عابرة للشبكات في CNNs القياسية: النتيجة الرئيسية هي أن مسار الـ CNN القياسي (التلفيف + ReLU + Max-Pooling) هو مؤثر عابر للشبكات. التلفيف هو تآكل في شبكة فوريه، بينما max-pooling هو تمدد في الشبكة النقطية. وبناءً على ذلك، فإن تركيبهم ليس فتحة مورفولوجية في أي من الشبكتين، وهو ليس تربيعيًا. وقد تم تحديد عدم التربيع هذا كمصدر جبري لقوة التمثيل في عمق الـ CNNs القياسية.
• C5. عدم محلية التلازم لـ ReLU: تثبت الورقة أن التلازم العلوي لـ ReLU في الشبكة النقطية هو مؤثر عالمي (غير محلي) (هوية على الدوال غير السالبة عالميًا، و$-\infty$ بخلاف ذلك). وهذا يعني أنه لا يمكن لأي تآكل مورفولوجي محلي أن يشكل زوج تلازم مع ReLU، مما يفسر سبب عدم قدرة ReLU على أن تكون جزءًا من فتحة مورفولوجية قياسية.
• C6. تحليل التمدد لتنشيط التجميع (APD Factorisation): توحد الورقة ReLU وdecimated max-pooling في مؤثر تمدد واحد، $\Psi^{\text{APD}}_{R;\alpha}$. وتستنتج التلازم العالمي الصحيح لهذا المؤثر، وهو عبارة عن رفع عينات (upsampling) ثابت جزئي متبوع بإزاحة انحياز (bias shift).
• C7. المؤثرات ذاتية الثنائية والتنشيطات الموقعة: يقدم المؤلف الشبكة نصفية الوسيطية والمؤثرات ذاتية الثنائية (التآكلات والفتحات التي تتبادل مع السالب). يوفر هذا إطارًا متسقًا رياضيًا لخرائط الميزات الموقعة (مثل بقايا ResNet)، حيث تفشل ReLU القياسية في الحفاظ على الثنائية الشبكية.
• C8. ثلاثة تصميمات طبقات تربيعية: تحدد الورقة وتصف ثلاث عائلات من الطبقات الشبيهة بالـ CNN والتي تعد فتحات مورفولوجية حقيقية:
  • النوع الأول: طبقة max-plus مورفولوجية نقية (الشبكة النقطية).
  • النوع الثاني: طبقة Wiener طيفية (شبكة فوريه، تربيعية في الحد $\epsilon \to 0$).
  • النوع الثالث: فتحة ذاتية الثنائية (الشبكة الوسيطية).

النتائج والمقترحات الهيكلية

• تقارب ResNets المورفولوجية: بالنسبة لطبقات النوع الأول، تثبت الورقة أن تكرار الطبقة يتقارب إلى نقطة ثابتة في خطوة واحدة بسبب التربيع. وفي المقابل، فإن التكرار المتبقي الساذج $\Phi(f) + f$ (بدون التقريب المحدد $F \approx \gamma - \text{id}$) يتباعد.
• هيكلية UResNet: تقترح الورقة UResNet، وهي تعديل لـ UNet حيث تحمل وصلات التخطي (skip connections) بقايا القبعة العالية (top-hat residue) ($f - \gamma(f)$) بدلاً من الميزات المدمجة. يسمح هذا التصميم للمفكك (decoder) بتحقيق إعادة بناء دقيقة من مقياس إلى آخر لمدخلات المشفر من خلال التعويض الجبري عن المعلومات المفقودة أثناء الفتحة المورفولوجية.
• مجموعات النقطة الثابتة: توصف مجموعات النقطة الثابتة لهذه الطبقات. بالنسبة للنوع الأول، المجموعة هي صورة الفتحة. بالنسبة للنوع الثالث (ذاتي الثنائية)، تكون مجموعة النقطة الثابتة مغلقة تحت عملية السالب، مما يجعلها مناسبة لتوزيعات البيانات المتماثلة.
• التجميع والهرميات: يتم توحيد max-pooling، والتلفيف بخطوة (strided convolution)، وهرم لابلاس (Laplacian pyramid) تحت نظرية الهرم المزدوج لـ Goutsias–Heijmans، مما يظهر أنها جميعًا حالات لأزواج تآكل-تمدد تلازمية في الشبكات المناسبة.

الأهمية والادعاءات

تدعي الورقة أنها توفر المحتوى النظري للمؤثرات الخاص بالشبكات الذي يغيب حاليًا عن كل من النهج الفئوي والحسابي. تكمن أهميتها في:

1. التفسير الجبري للعمق: توفر سببًا جبريًا دقيقًا لكون الـ CNNs القياسية قوية: طبقاتها ليست تربيعية لأنها تركيبات عابرة للشبكات. يضيف العمق قوة تمثيلية حقيقية لأن التركيب ليس مجرد إسقاط بسيط.
2. لغة موحدة: تقدم لغة موحدة لتحليل CNNs وResNets وUNets من حيث مؤثرات الشبكة، والتلازمات، والأسس المورفولوجية، بغض النظر عما إذا كان الممارس يستخدم صراحةً طبقات مورفولوجية.
3. أساس نظري لهياكل جديدة: تقترح هياكل جديدة (APMO, UResNet) ذات أساس نظري متين، تقدم بدائل للتصاميم القياسية تضمن التربيع وخصائص إعادة البناء الدقيقة.
4. توضيح ReLU: تثبت بصرامة أن ReLU هي عملية إغلاق (وليس تمددًا بمعناه في max-plus) مع تلازم غير محلي، مما يميزها عن التمددات المورفولوجية القياسية ويوضح قيود تكوين التلازمات معها.

تذكر الورقة صراحةً أنها لا تصمم أو تدرب أو تختبر طبقات جديدة حسابيًا؛ بل توفر الإطار الجبري الذي يدعم كلاً من الشبكات العصبية المورفولوجية وهياكل الـ CNN القياسية عند النظر إليها من منظور مورفولوجي. وتضع تعلم الأسس المورفولوجية كعملية ضمنية في التدريب القياسي، حيث يختار الانحدار الاشتقاقي (gradient descent) حوض جذب في فضاء دوال الهيكلة.