ملخص تقني: سد الفجوة بين التشابه الوظيفي والتمثيلي عبر المعلومات القابلة للاستخدام

بيان المشكلة

يعتمد مجال التعلم العميق بشكل كبير على مقارنة التمثيلات العصبية الداخلية لفهم كيفية معالجة الأنظمة المختلفة للمعلومات، ونقل المعرفة، وتنظيم البنى. ومع ذلك، تفتقر الأدبيات الحالية إلى إطار عمل موحد لتعريف وقياس "التشابه" بين التمثيلات. تُقسم النهج الحالية عادةً إلى فئتين غير معرفتين بدقة:

1. التشابه الوظيفي (Functional Similarity): تقييم ما إذا كانت التمثيلات تدعم نفس السلوكيات اللاحقة (على سبيل المثال، عبر عملية "خياطة النماذج" أو "المجسات الخطية").
2. التشابه التمثيلي (Representational Similarity): تقييم ما إذا كانت التمثيلات تشفر معلومات المدخلات بنفس الطريقة البنيوية (على سبيل المثال، عبر تقنيات CKA أو RSA أو تحليل Procrustes).

لقد تمت دراسة هذه المفاهيم بشكل منعزل، مما أدى إلى انفصال بين الأساليب الوظيفية (التي تركز على أداء المهمة) والمقاييس الهندسية (التي تركز على محاذاة فضاء الميزات). علاوة على ذلك، تفتقر المقاييس القياسية غالبًا إلى أساس نظري صارم فيما يتعلق بـ "ما هي" المعلومات التي تتم مقارنتها فعليًا أو "كيف" تؤثر قدرة المراقب (النموذج التنبؤي) على عملية القياس.

المنهجية

يقترح المؤلفون إطار عمل موحد يرتكز على نظرية المعلومات القابلة للاستخدام (Xu et al., 2020). تحد هذه النظرية من تدفق المعلومات إلى "عائلة تنبؤية" محددة $\mathcal{V}$، مع الإقرار بأن ليس كل اعتماد إحصائي في التمثيل قابل للاستغلال من قبل نموذج لاحق ذي قدرة محدودة.

الإطار النظري

يعيد البحث تعريف التشابه من خلال منظور المعلومات المتبادلة الشرطية والأغطية ماركوف (Markov blankets):

• التشابه الوظيفي: يكون التمثيلان $Z_1$ و $Z_2$ متشابهين وظيفيًا بالنسبة لمهمة $Y$ إذا شكلا أغطية ماركوف متبادلة. وهذا يعني أن $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$. يصيغ المؤلفون "خياطة النماذج" (Model Stitching) كآلية لتقدير ذلك: إذا كان بالإمكان خياطة $Z_1$ داخل $Z_2$ دون فقدان في الأداء، فإن $Z_1$ يحتوي على جميع المعلومات المتعلقة بالمهمة الموجودة في $Z_2$. ومن الأهمية بمكان، أنهم يثبتون أن هذه العلاقة غير متماثلة بطبيعتها؛ حيث يتطلب التشابه الوظيفي القوي عملية خياطة ثنائية الاتجاه.
• التشابه التمثيلي: يُعرف بأنه التشابه الوظيفي حيث تكون المهمة $Y$ هي المدخل $X$ نفسه ($I(X; Z_2 | Z_1) = 0$). وهذا يعني أن التمثيلات تحتوي على معلومات متطابقة عن المدخلات.
• التسلسل الهرمي للتدريج (Hierarchy of Granularity): يضع المؤلفون علاقة رتيبة: التشابه في مهمة معقدة يضمن التشابه في أي مهمة مشتقة أكثر بساطة. وبناءً على ذلك، فإن التشابه التمثيلي (إعادة بناء المدخلات) هو الشرط الأقوى، وهو ما يضمن التشابه الوظيفي لجميع المهام المشتقة.

المنهجية التجريبية

للتحقق من هذه الادعاءات النظرية، أجرى المؤلفون دراسة تجريبية واسعة النطاق شملت:

• النطاق: 58 نموذجًا مدربًا عبر 14 بنية مختلفة (بما في ذلك النماذج الخطية، والشبكات العصبية الالتفافية مثل ResNet وDenseNet وShuffleNet وMobileNet) و6 مجموعات بيانات (MNIST وCIFAR-10/100 وSVHN وTiny-ImageNet وImageNet).
• المقارنات: 12,459 مقارنة متميزة بين الطبقات.
• عائلات الخياطة (Stitching Families): استخدمت الدراسة ثلاث عائلات محددة من "الخياطات" (العائلات التنبؤية $\mathcal{V}$) لاختبار تأثير القدرة التعبيرية:
  1. التحويل الأفيني (Affine): خرائط خطية غير مقيدة.
  2. التحويل المتعامد + القياس المتماثل (Orthogonal + Isotropic Scaling): قيود تشبه تحليل Procrustes.
  3. التحويل المتعامد (Orthogonal): قيود دوران صارمة.
• المقاييس: قارن المؤلفون بين المقاييس القياسية (CKA وRSA وSVCCA) وبين درجات المعلومات القابلة للاستخدام المقترحة (خطأ إعادة البناء المعياري).

المساهمات الرئيسية

1. إطار موحد عبر المعلومات القابلة للاستخدام: يربط البحث نظريًا بين خياطة النماذج والمعلومات المتبادلة الشرطية القابلة للاستخدام. ويوضح أن التشابه الوظيفي ليس خاصية مطلقة بل يتم تعريفه بالنسبة لقدرة العائلة التنبؤية $\mathcal{V}$.
2. إعادة تفسير المقاييس القياسية: يظهر المؤلفون تجريبيًا ونظريًا أن المقاييس الهندسية القياسية (CKA وRSA وProcrustes) ليست مقاييس عشوائية، بل هي مقدرات محددة للمعلومات القابلة للاستخدام تحت قيود معينة (مثل التحويلات المتعامدة).
3. التسلسل الهرمي للتشابه:
   • عدم التماثل: أثبتوا أن عملية الخياطة غير متماثلة بطبيعتها؛ حيث إن استخدام خياط أحادي الاتجاه غير كافٍ لإثبات التشابه الوظيفي. غالبًا ما يحتوي أحد التمثيلات على معلومات التمثيل الآخر دون العكس.
   • الكفاية مقابل الضرورة: أظهروا أن التشابه التمثيلي هو شرط كافٍ ولكنه ليس ضروريًا للتشابه الوظيفي. يمكن للتمثيلات أن تكون متشابهة وظيفيًا (تحل نفس المهمة) بينما تكون متباينة تمثيليًا (تشفر متغيرات مزعجة مختلفة).
   • تدريج المهمة: أكدوا أن التشابه التمثيلي (إعادة بناء المدخلات) هو حد أقصى للتدريج، وهو ما يضمن التشابه الوظيفي لجميع المهام الأكثر بساطة.

النتائج التجريبية

• عدم تماثل الخياطة: كشف تحليل 12,459 زوجًا عن توزيع ذي ذيل ثقيل في فروق الدقة بين الخياطات الأمامية والعكسية، مما يؤكد أن التشابه الوظيفي غالبًا ما يكون غير متماثل. إذ يحتوي أحد التمثيلات غالبًا على معلومات التمثيل الآخر دون العكس.
• رتابة التشابه التمثيلي: أثبتت الدراسة أن درجات التشابه التمثيلي تزدد مع زيادة القدرة التعبيرية للعائلة التنبؤية. فالتمثيلات التي تبدو متباينة تحت قيود Procrustes الصارمة (المتعامدة) غالبًا ما تبدو متطابقة تقريبًا تحت التحويلات الأفينية الأكثر تعبيرًا.
• توافق المقاييس: أظهرت المقايسة ارتباطًا قويًا مع درجات المعلومات القابلة للاستخدام المقترحة. وتحديدًا، توافق CKA ($R^2=0.937$) وRSA ($R^2=0.912$) وثيقًا مع التشابه التمثيلي المستمد من الخياطات (Orthogonal + Scaling)، مما يدعم الفرضية القائلة بأن هذه المقاييس تعمل كوكلاء للمعلومات القابلة للاستخدام تحت مجموعات تحويل محددة.
• التحقق من التسلسل الهرمي: باستخدام مجموعة بيانات CIFAR-100 (الفئات الدقيقة مقابل الفئات العامة الأكثر اتساعًا)، أكد المؤلفون أن التشابه الوظيفي في المهمة العامة يضع حدًا علويًا ثابتًا للتشابه في المهمة الدقيقة.
• كفاية التشابه التمثيلي: مع اقتراب التشابه التمثيلي من 1.0، تقاربت احتمالية التشابه الوظيفي مع 1.0. ومع ذلك، لوحظ تشابه وظيفي عالٍ بشكل متكرر حتى مع انخفاض التشابه التمثيلي، مما يؤكد أن التشابه التمثيلي ليس شرطًا ضروريًا.

الأهمية والادعاءات

يزعم البحث حل الانفصال بين التشابه الوظيفي والتمثيلي من خلال ربطهما بنظرية المعلومات القابلة للاستخدام. ويجادل المؤلفون بأن التشابه ليس خاصية جوهرية للتمثيلات وحدها، بل هو نسبي بالنسبة للقيود الحسابية للعائلة التنبؤية المستخدمة للمقارنة.

من خلال توحيد هذه المفاهيم، يوفر البحث تبريرًا نظريًا صارمًا لسبب عمل المقاييس القياسية وتحت أي ظروف تفشل. إنه ينقل النموذج من البحث عن مقياس تشابه "عالمي" إلى التعريف الصريح للعائلة التنبؤية $\mathcal{V}$ التي تحدد معنى كلمة "متشابه" لتطبيق معين. ويخلص العمل إلى أنه بينما يضمن التشابه التمثيلي التشابه الوظيفي عبر جميع المهام، فإن العكس ليس صحيحًا، مما يسلط الضೆ على أن النماذج يمكنها تحقيق أداء مهام متطابق من خلال تمثيلات داخلية مختلفة جوهريًا.