ملخص تقني: حقل الانتشار: نظرية الركيزة الهندسية للتعلم العميق

1. بيان المشكلة

يعامل التعلم العميق الحديث الشبكات العصبية في المقام الأول كدوال طرفية (endpoint functions) تربط المدخلات بالمخرجات، ويتم تحسينها عبر خسائر مرتبطة بمهام محددة (LeCun et al., 2015). وبينما حقق هذا النهج نجاحاً كبيراً، إلا أن الآليات الداخلية لانتشار المعلومات لا تزال غير مفهومة بشكل كافٍ. يترك هذا النهج الهندسة الخاصة بتمثيلات الطبقات ومسارات الحالة الداخلية غير محددة، حيث يكتفي بتقييد سلوك الحدود (الربط بين المدخل والمخرج)، مما يؤدي إلى فجوات تتجلى في قضايا تتراوح من المتانة ضد الهجمات العدائية (Szegedy et al., 2013) والتعلم داخل السياق (Brown et al., 2020) إلى النسيان الكارثي في التعلم المستمر (Kirkpatrick et al., 2017).

المشكلة المركزية التي يتناولها البحث هي أن الإشراف الطرفي لا يحدد حقل الانتشار الداخلي بشكل فريد. يمكن لنموذجين أن يكونا "متكافئين طرفياً" (أي يحققان خسارة مهمة متطابقة تقرياً) بينما يمتلكان هياكل هندسية داخلية متباينة تماماً، بما في ذلك مسارات الحالة الخفية وعوامل جاكوبي المحلية. وبناءً على ذلك، فإن قوانين القياس (scaling laws) القياسية تصف قياس خسارة الطرف النهائي، ولكنها لا تصف بالضرورة قياس جودة الانتشار الداخلي.

2. المنهجية: إطار عمل حقل الانتشار

يقترح المؤلفون منظور "حقل الانتشار"، مستلهمين ذلك من التحول من الميكانيكا القائمة على القوة إلى نظريات الحقول الهندسية في الفيزياء (مثل النسبية العامة ونظرية يانغ-ميلز). بدلاً من رؤية الطبقات كخطوات حسابية منفصلة، يُنظر إلى الشبكة كحقل مُعرف بمجموعة من مسارات الحالة الخفية وعوامل جاكوبي المحلية عبر العمق.

2.1 التعريفات الجوهرية

• حقل الانتشار ($\Phi_\theta$): يُعرف بمجموعة الحالات الخفية $\{h_0, \dots, h_L\}$ وعوامل جاكوبي المحلية $\{J_0, \dots, J_{L-1}\}$، حيث $J_\ell = \partial h_{\ell+1} / \partial h_\ell$. بالنسبة لنماذج التدفق المستمر، يشمل هذا المسار $h(t)$ والحقل المتجهي $f_\theta(h, t)$.
• التكافؤ الطرفي: يكون النموذجان متكافئين طرفياً إذا كان الفرق بين خسارتي المهمة أقل من حد التسامح $\epsilon$. يثبت البحث (الفرضية 2.3) أن التكافؤ الطرفي لا يستلزم تكافؤ الحقل؛ إذ يمكن للنماذج أن تمتلك دقة متطابقة ولكنها تختلف بمراحل في بنية المسار وجاكوبي.
• مسافة الحقل: مقياس $d_{field}$ يحدد التباين بين مسارات الحالة الخفية وبنى جاكوبي لنموذجين.

2.2 المقاييس القابلة للرصد

لجعل حقل الانتشار قابلاً للقياس، قدم المؤلفون مقاييس هندسية منفصلة يمكن حسابها في الشبكات القياسية:

• طول المسار: الإزاحة الكلية للتمثيل عبر العمق.
• الانحناء المنفصل: مؤشر تقريبي لانحناء مسار الحالة الخفية.
• محاذاة السرعة: اتساق اتجاه الانتشار عبر الطبقات.
• حساسية المسار: التباين في الحالات الخفية أو المخرجات عند تقديم نفس المدخل عبر مسارات ملاحظة مختلفة (على سبيل المثال، ترتيبات رقع الصور المختلفة أو النوافذ الزمنية).
• اتساق الحل (Solver Consistency): استقرار الحالات النهائية عند استخدام أحجام خطوات أو حلول عددية مختلفة لنفس الحقل الأساسي.
• درجات الاحتفاظ (FRS/JRS): في التعلم المستمر، هي مقاييس تقيس انحراف مسارات الحالة الخفية (FRS) وعوامل جاكوبي المحلية (JRS) بين النماذج القديمة والجديدة.

2.3 أهداف التحسين

يقدم البحث أهدافاً واعية بالحقل لتنظيم الهندسة الداخلية:

• اتساق المسارات المتعددة ($L_{reveal}$): يقلل الاختلافات في الحالات الخفية/اللوجيت (logits) عبر مسارات الملاحظة المختلفة.
• اتساق الحل ($L_{solver}$): يضمن بقاء الحالات النهائية متسقة تحت عمليات التقطيع الرقمي المختلفة.
• نعومة جاكوبي ($L_{jac}$): ينظم نعومة معاملات الانتشار المحلية.
• تنظيم الحفاظ على الحقل (FPR): في التعلم المستمر، يضيف FPR قيوداً للحفاظ على المسارات الخفية وحقول جاكوبي للمهام السابقة، مكملاً لأساليب إعادة التشغيل (replay) أو التقطير (distillation) القياسية.

3. المساهمات الرئيسية والنتائج التجريبية

يقدم البحث أدلة تجريبية عبر أنظمة محكومة، مهام واقعية، وإعدادات التعلم المستمر.

3.1 الأنظمة المحكومة (تدفق المعلم والمعادلات التفاضلية الجزئية)

• عدم التحديد: في تجارب تدفق المعلم (teacher-flow)، أظهرت النماذج ذات دقة الطرف المتطابقة (0.9975) أخطاء في استعادة المسار تختلف بمقدار 58.7 ضعفاً (3.52 مقابل 0.06) عند تطبيق الإشراف على الحقل.
• استعادة القانون: في مهام استقراء المعادلات التفاضلية الجزئية (PDE)، فشل الملاءمة الطرفية القياسية في استعادة قانون الانتشار الأساسي (MSE = 1.217 عند $T=2.0$)، بينما حققت نماذج الحقل من نوع المولد (generator-style) خطأً أقل بكثير (MSE = 0.195) وحافظت على تطور الطاقة.
• الاستنتاج: تحديد الطرف النهائي يحدد فئة سلوكية متكافئة ولكنه يفشل في استعادة قانون الانتشار الأساسي.

3.2 مهام المسارات المتعددة الحقيقية

• محاذاة المهمة: تحسن الأهداف الواعية بالحقل من القدرة على التعميم (الدقة خارج التوزيع OOD، ودقة المسار غير المرئي) والمعايرة فقط عندما تكون متوافقة مع بنية المهمة.
  • النجاح: في Tiny-ImageNet، حسن الهدف الكامل الواعي بالحقل الدقة (0.097 $\to$ 0.118)، والدقة خارج التوزيع، والمعايرة مع تقليل حساسية المسار.
  • الفشل (الانهيار): في CIFAR-100، أدى فرض اتساق الحقل إلى تقليل حساسية المسار ولكنه تسبب في انهيار الحقل، مما أدى لتدهور الدقة من 0.0405 إلى 0.0093. وهذا يثبت أن انخفاض حساسية المسار ليس كافياً للأداء التمييزي؛ بل يجب أن يحتفظ الحقل بثرى اتجاهي كافٍ.
• مقايضات التحسين: يكشف تحليل التدرج عن صراعات بين أهداف المهمة وأهداف الحقل (تصل إلى 3-6% من كسور التدرج السالبة). لا تقوم عملية الانتشار العكسي (backpropagation) القياسية تلقائياً بإيجاد المقايضة المثلى بين المهمة والحقل؛ بل يتطلب الأمر خوارزميات متخصصة (مثل LocalFieldMatch) للتنقل عبر حدود باريتو (Pareto frontier).

3.3 التعلم المستمر

• الاحتفاظ بالحقل مقابل الوظيفة: في Split CIFAR-100، نجح تنظيم الحفاظ على الحقل (FPR) بمفرده في الحفاظ على مقاييس الحقل الداخلية (JRS = 0.033) ولكنه فشل في الحفاظ على دقة الطرف (AA = 0.037). وعلى العكس من ذلك، حافظت طرق إعادة التشغيل القياسية (DER++) على الدقة (AA = 0.135) ولكنها سمحت بانحراف الحقل (JRS = 0.177).
• التكامل: أدى الجمع بين FPR و DER++ (أي DER++ + FPR-Full) إلى تحسين كلا البعدين في آن واحد، مما زاد من الدقة المتوسطة (0.125 $\to$ 0.136) والنقل الخلفي (Backward Transfer) مع تقليل انحراف الحقل. وهذا يشير إلى أن الاحتفاظ بالحقل والاحتفاظ بالوظيفة هما هدفان متكاملان وليس بديلين.

4. الأهمية والادعاءات

يزعم البحث أنه وضع جودة حقل الانتشار كخاصية قابلة للقياس والتدريب في الشبكات العصبية، وهي خاصية توجد خارج نطاق أداء الطرف النهائي.

• التحول النظري: يعيد صياغة التعلم العميق من تحسين خريطة ثابتة (مدخل-مخرج) إلى إدارة ركيزة هندسية ديناميكية داخلية.
• قابلية التحديد: يثبت أن الإشراف الطرفي غير كافٍ لتحديد حقل الانتشار الداخلي بشكل فريد، مما يستلزم أهدافاً واعية بالحقل للمهام التي تنطوي على اعتماد على المسار أو عمليات طويلة الأمد.
• الفائدة العملية: يمكن للأهداف الواعية بالحقل تعزيز المتانة والتعميم في مجالات معينة (مثل مهام المسارات المتعددة) ولكنها تتطلب توازناً دقيقاً لتجنب "انهيار الحقل"، حيث تسعى الشبكة لتحقيق الاتساق الهندسي على حساب القدرة التمييزية.
• التعلم المستمر: يقترح أن النسيان يحدث على مستوى الحقل (إعادة كتابة قوانين الانتشار الداخلية) وأن الحفاظ على هذه الهندسة يكمل استراتيجيات الاحتفاظ التقليدية على مستوى الوظيفة.

يختتم المؤلفون بـ "مبدأ اتجاهي شبيه بـ Kakeya": يجب أن تقلل حقول الانتشار المفيدة من حساسية المسار الزائفة مع الحفاظ على ثراء اتجاهي كافٍ للتمييز. يشير هذا العمل إلى أن أبحاث التعلم العميق المستقبلية يجب أن تقيس وتحسن هندسة الانتشار الداخلي بشكل صريح، وليس فقط المخرج النهائي.