ملخص تقني: التجميع التكيفي للجودة متعدد المقاييس لتعلم الأمامي-الأمامي (Forward–Forward)

1. بيان المشكلة

تقدم خوارزمية "الأمامي-الأمامي" (Forward–Forward - FF)، التي قدمها هينتون، بديلاً ذا صلة بيولوجياً لانتشار الراجع (Backpropagation) عبر استخدام ممرين أماميين (واحد للبيانات الحقيقية وواحد للبيانات السلبية) لتدريب الطبقات بشكل مستقل. يزيل هذا النهج الحاجة إلى تخزين التنشيطات الوسيطة لحساب التدرج، مما يقلل من استهلاك الذاكرة ويتجنب مشكلة "نقل الأوزان" (weight transport). ومع ذلك، تعاني خوارزمية FF الأساسية من فجوات أداء كبيرة مقارنة بالنماذج القائمة على انتشار الراجع (على سبيل المثال، ~92% مقابل ~98% على مجموعة بيانات MNIST).

حدد المؤلفون أن فجوة الأداء هذه لا تنبع من مفهوم FF الجوهري، بل من أربعة خيارات تصميمية محددة ومفرطة في البساطة في التنفيذ الأصلي:

1. الجودة أحادية المقياس: تحسب الخوارزمية الأصلية "الجودة" (مقياس جودة التنشيط) كقيمة عددية واحدة (مجموع مربعات التنشيطات)، مما يفشل في التقاط المعلومات عند مستويات مختلفة من التجريد.
2. أخذ العينات السلبية الثابت: يتم توليد العينات السلبية عبر الخلط العشوائي، مما يؤدي إلى إشارات تدريب تكون إما سهلة للغاية أو صعبة بشكل مدمر، وتفتقر إلى التقدم القائم على المنهج الدراسي (curriculum-based).
3. العتبات الثابتة: يتم تطبيق عتبة واحدة ثابتة ($\theta$) عبر جميع الطبقات وطوال عملية التدريب بأكملها، متجاهلة حقيقة أن توزيعات التنشيط تتغير مع عمق الشبكة وتقدم التدريب.
4. معدلات التعلم الثابتة: يفشل استخدام معدل تعلم ثابت في مراعاة عدم الاستقرار في مراحل التدريب المبكرة حيث لا تزال درجات الجودة والعتبات في طور الاستقرار.

2. المنهجية: التجميع التكيفي للجودة متعدد المقاييس (AMSGA)

يقترح البحث إطار عمل AMSGA، الذي يحتفظ بالهيكل الأساسي لـ FF (المعتمد على الطبقات وغير المعتمد على انتشار الراجع) مع استبدال خيارات التصميم الضعيفة الأربعة بآليات تكيفية.

أ. تجميع الجودة متعدد المقاييس

بدلاً من مقياس جودة واحد، تحسب AMSGA الجودة عند ثلاثة مقاييس وتجمعها باستخدام أوزان تعتمد على العمق:

• الجودة المحلية ($g_{local}$): متوسط مربع التنشيط لكل عصبون. يلتقط هذا المقياس الميزات الدقيقة ومنخفضة المستوى، ويتم ترجيحه بقوة في الطبقات المبكرة.
• الجودة المتوسطة ($g_{inter}$): يتم تجميع العصبونات في أقسام، ويتم حساب متوسط مربع التنشيط داخل كل مجموعة. يوفر هذا إشارة متوسطة المستوى مستقرة.
• الجودة العالمية ($g_{global}$): متوسط مربع التنشيط عبر جميع العصبونات والعينات، مما يلتقط الطاقة الإجمالية للطبقة. يتم ترجيح هذا المقياس بقوة أكبر في الطبقات الأعمق.
• مخطط الوزن: الجودة النهائية $g(h, l)$ عند الطبقة $l$ هي مزيج خطي:
  $$g(h, l) = w_{local}(l) \cdot g_{local} + 0.35 \cdot g_{inter} + w_{global}(l) \cdot g_{global}$$
  حيث تتحول الأوزان خطياً من تفضيل البنية المحلية في الطبقات المبكرة إلى النشاط العالمي في الطبقات الأعمق.

ب. التنقيب التكيفي عن العينات السلبية مع التعلم المنهجي

يتم ضبط اختيار العينات السلبية ديناميكياً بناءً على تقدم التدريب ($p = \text{current epoch} / \text{total epochs}$):

• المرحلة المبكرة ($p < 0.3$): تركز على "القرب من الحدود"، باختيار عينات سلبية قريبة من عتبة القرار لضمان استقرار التعلم الأولي.
• المرحلة المتوسطة ($0.3 \le p < 0.7$): توسع نطاق الصعوبة وتدخل عينات سلبية "صعبة جداً" (ذات درجات جودة عالية) بنسبة 40% لصقل التمثيلات.
• المرحلة المتأخرة ($p \ge 0.7$): تعمل على صقل النموذج بقوة عبر توسيع النطاق وزيادة معدل أخذ العينات من العينات الصعبة جداً إلى 50%.
• آلية السلامة: إذا أسفرت معايير الاختيار عن عدد قليل جداً من العينات، تضمن الخوارزمية حداً أدنى لحجم الدفعة (batch size) عن طريق إضافة أصعب العينات المتبقية.

ج. العتبات التكيفية المعتمدة على الطبقة

لم تعد العتبة $\theta$ ثابتاً عالمياً، بل يتم تكييفها بناءً على عمق الطبقة ($l$) وتقدم التدريب ($p$):
$$\theta(l, p) = \theta_0 \times \left(1 + 0.15 \frac{l}{L}\right) \times (1 + 0.3 p)$$
يضمن هذا أن الطبقات الأعمق (التي تتعامل مع ميزات أكثر تجريداً) ومراحل التدريب المتأخرة (حيث تكون التمثيلات أكثر دقة) تستخدم عتبات أعلى، مما يحافظ على المعايرة الصحيحة لحد القرار.

د. جدولة معدل التعلم

لمنع عدم الاستقرار أثناء مرحلة استقرار درجات الجودة والعتبات، تستخدم AMSGA مرحلة "إحماء" (warm-up) (زيادة معدل التعلم خطياً لأول 10% من التدريب) تليها "تخميد جيب التمام" (cosine annealing) لبقية التدريب. هذا أمر بالغ الأهمية في FF لتجنب التحديثات الكبيرة والمزعزعة للاستقرار قبل استقرار النظام.

3. المساهمات الرئيسية

1. آلية تجميع مبتكرة: تقديم تجميع الجودة متعدد المقاييس الذي يستفيد من الإشارات المحلية والمتوسطة والعالمية مع ترجيح يعتمد على العمق.
2. التدريب القائم على المنهج الدراسي: تنفيذ استراتيجية تنقيب عن العينات السلبية التكيفية التي تطور صعوبة العينات بالتزامن مع تقدم التدريب.
3. المعايرة الديناميكية: استبدال العتبات الثابتة بعتبات تكيفية تعتمد على الطبقة والمرحلة.
4. استراتيجية الاستقرار: دمج مرحلة الإحماء وتخميد جيب التمام المصممة خصيصاً لديناميكيات قواعد التعلم المحلية الفريدة.
5. التحقق من الأداء: إثبات أن هذه التعديلات تغلق بشكل كبير فجوة الأداء بين FF وانتشار الراجع دون التضحية بكفاءة الذاكرة أو الصلاحية البيولوجية للخوارزمية.

4. النتائج التجريبية

أُجريت التجارب على MNIST و Fashion-MNIST باستخدام بنيات المدركات المتعددة الطبقات (MLP).

• MNIST:

  • خوارزمية FF الأساسية: 92.00% دقة الاختبار.
  • AMSGA: 94.45% دقة الاختبار.
  • التحسن: +2.45%.
  • حقق النموذج فجوة تدريب-اختبار أقل من 0.1%، مما يشير إلى قدرة قوية على التعميم.

• Fashion-MNIST:

  • خوارزمية FF الأساسية: 81.00% دقة الاختبار.
  • AMSGA: 84.50% دقة الاختبار.
  • التحسن: +3.5%.

• الكفاءة الحسابية:

  • تفرض AMSGA عبئاً حسابياً ضئيلاً. زاد الوقت لكل حقبة (epoch) بشكل طفيف فقط (من 2.5 ثانية إلى 2.7 ثانية على MNIST) رغم التعقيد المضاف لمنطق التجميع والتنقيب.
  • تحتفظ الطريقة بمزايا FF الأساسية: لا يوجد تمرير خلفي، لا تخزين عالمي للتدرج، وتحسين على مستوى الطبقة.

5. الأهمية والادعاءات

يجادل البحث بأن قيود قواعد التعلم المحلية (مثل FF) ليست متأصلة في المفهوم نفسه، بل هي نتيجة لخيارات تصميم "افتراضية غير طموحة". من خلال معالجة كيفية قياس الجودة، وكيفية اختيار العينات السلبية، وكيفية تشكيل ديناميكيات التدريب، يثبت المؤلفون أن التعلم القابل للتحقق بيولوجياً يمكن أن يكون منافساً لانتشار الراجع في المعايير القياسية.

يدعي المؤلفون أن AMSGA تمثل خطوة نحو جعل التعلم القابل للتحقق بيولوجياً "منافساً حقاً، وليس مجرد مثير للاهتمام نظرياً". ويؤكدون أنه بينما لا تزال هناك فجوة مقارنة بنماذج انتشار الراجع الحديثة في المهام الأكثر صعوبة، فإن مكاسب الأداء المحققة هنا تثبت أن الفجوة ناتجة إلى حد كبير عن ديناميكيات التدريب بدلاً من عدم القدرة الجوهرية للقواعد المحلية على تعلم تمثيلات معقدة. يشير العمل إلى أن التحسينات المستقبلية قد تكمن في صقل كيفية تضمين معلومات التسمية (label) وكيفية إدارة استقلالية الطبقات، بدلاً من التخلي عن نموذج التعلم المحلي.