ملخص تقني: محاذاة راشومون (Rashomon Alignment)

بيان المشكلة

تعتمد الطرق الحالية لتقييم التشابه الوظيفي بين نماذج تعلم الآلة على المقاييس التوزيعية. تقارن هذه المقاييس مخرجات النماذج على البيانات المتاحة في العالم الحقيقي (مجموعات الاختبار) لتحديد درجة الاتفاق. ومع ذلك، يرى المؤلفون أن مثل هذه المقاييس تعاني من قصورين حرجين:

1. الصلاحية البيئية (Ecological Validity): هي تعكس فقط التشابه في مناطق فضاء المدخلات التي تغطيها البيانات المتاحة. إذا كانت عينة البيانات غير ممثلة للتوزيع الحقيقي الكامن، فإن تقدير التشابه سيكون ضعيفاً.
2. الحساسية لانزياح المفاهيم (Concept Drift Sensitivity): حتى لو كانت دقيقة للبيانات الحالية، فإن هذه المقاييس تصبح قديمة إذا تغير توزيع البيانات (انزياح المتغيرات المصاحبة/Covariate Shift)، لأنها لا تأخذ في الاعتبار المحاذاة الهيكلية لحدود القرار عبر كامل فضاء الحالات.

تفشل مقاييس التشابه الوظيفي الموجودة في التمييز بين النماذج التي تتفق على نقاط بيانات محددة ولكنها تُعرّف حدود قرار مختلفة هيكلياً في أما- أخرى. وبناءً على ذلك، فإن الاعتماد فقط على الدقة التنبؤية أو الاتفاق التوزيعي يمكن أن يكون مضللاً، حيث يخفي اختلافات هيكلية جوهرية بين النماذج.

المنهجية: محاذاة راشومون (RA)

يقترح البحث إطار عمل محاذاة راشومون (RA)، وهو إطار جديد لتقييم التشابه الوظيفي يتضمن منظوراً هندسياً. تُعرف RA بأنها احتمال أن ينتج نموذجان، $M_A$ و $M_B$، نفس التنبؤ لحالة $x$ مختارة عشوائياً من توزيع مرجعي $Q$. ويميز المؤلفون بين نوعين بناءً على اختيار $Q$:

1. محاذاة راشومون التوزيعية (dRA)

• التوزيع المرجعي ($Q$): توزيع توليد البيانات $P(X)$.
• التقدير: يتم حسابه باستخدام عينة من البيانات المرصودة (مثل مجموعة اختبار محجوزة).
• الخصائص: تعكس الاتفاق في المناطق التي توجد فيها بيانات حقيقية. وهي حساسة لمدى تمثيل العينة وللتغيرات في توزيع البيانات. وهي مُقدر غير متحيز للاتفاق على مستوى المجتمع تحت $P(X)$.

2. محاذاة راشومون الهندسية (gRA)

• التوزيع المرجعي ($Q$): التوزيع الموحد $U(F)$ على فضاء الحالات $F$ (المُعرَّف بنطاقات المتغيرات).
• التقدير: يتم حسابه باستخدام عينة اصطناعية $X_{syn}$ مسحوبة بانتظام من فضاء الحالات (عادةً ضمن الصندوق المحيط لميزات التدريب).
• الخصائص: تُقدر التشابه عبر كامل فضاء الحالات، بشكل مستقل عن أي توزيع بيانات محدد. وهي تقيس نسبة فضاء الحالات التي تتطابق فيها دالات القرار.
• الثبات: نظرًا لأن $X_{syn}$ يتم إنشاؤها بشكل مستقل عن بيانات التدريب أو الاختبار، فإن gRA ثابتة تجاه التغيرات في $P(X)$ طالما ظلت دالات القرار الأساسية ثابتة.

العلاقة النظرية

يؤكد البحث أن dRA و gRA مرتبطان عبر تغيير في القياس. الفجوة بينهما ($|dRA^* - gRA^*|$) تقيس مدى فشل البيانات المرصودة في تمثيل فضاء الحالات الكامل. يشير ارتفاع dRA مع انخفاض gRA إلى أن النماذج تتفق حيث توجد البيانات ولكنها تختلف في أماكن أخرى، وهو نوع من الاتفاق يتسم بالهشاشة تحت تأثير انزياح التوزيع.

الإعداد التجريبي

للتحقق من صحة المنهجية، أجرى المؤلفون دراسة تجريبية واسعة النطاق:

• مجموعات البيانات: 92 مجموعة بيانات متنوعة من مستودع UCI لتعلم الآلة، تغطي مجالات مختلفة، وأحجاماً متفاوتة (من 32 إلى أكثر من 4,600 حالة)، وأبعاداً مختلفة (من 4 إلى 649 ميزة)، وأنواعاً مختلفة من الميزات.
• النماذج: مقارنة بين أشجار القرار المقلمة (pruned) وغير المقلمة (unpruned). تم اختيار هذا السيناريو لأن النماذج تشترك في نفس لغة الفرضيات (حدود قابلة للمقارنة مباشرة) ولكنها تظهر ميولاً مختلفة فيما يتعلق بالإفراط في التخصيص (overfitting)، مما يضمن وجود مزيج من الأزواج المتوافقة وغير المتوافقة.
• البروتوكول: تحقق تبادلي خماسي الطيات (5-fold cross-validation). لكل طية، تم تدريب النماذج، وسُجلت ثلاثة مقاييس: فرق الدقة، dRA (على قسم الاختبار)، و gRA (على 1,000 حالة اصطناعية موحدة).

النتائج الرئيسية

أسفرت التجارب عن أربعة رؤى أساسية:

1. التكامل بين gRA والدقة:

   • يوجد ارتباط إيجابي متوسط ($r = 0.514$) بين gRA وفرق الدقة.
   • ومع ذلك، فإن المقاييس ليست فائضة عن الحاجة. حددت الدراسة حالات حرجة حيث امتلكت النماذج gRA منخفضاً مع فرق دقة منخفض (حدود مختلفة هيكلياً ولكنها تتوازن بالصدفة في مجموعة الاختبار) و gRA مرتفعاً مع فرق دقة مرتفع (حدود متشابهة ولكن الخلاف يتركز في مناطق محددة من مجموعة الاختبار).
   • يوضح هذا أن التركيز فقط على الأداء التنبؤي يمكن أن يكون مضللاً؛ إذ تكشف gRA عن التشابهات أو الاختلافات الهيكلية التي لا تستطيع الدقة وحدها كشفها.

2. التكامل بين gRA و dRA:

   • كانت قيم dRA عموماً أعلى وأكثر تركيزاً من قيم gRA، مما يشير إلى أن النماذج تميل إلى الاتفاق بشكل أكبر على البيانات المرصودة مقارنة بـكامل فضاء الحالات.
   • يوجد ارتباط قوي ($r = 0.745$) بين gRA و dRA، ولكن لوحظت انحرافات كبيرة.
   • النتيجة الحاسمة: أظهرت عدة مجموعات بيانات dRA مرتفعاً مع gRA منخفض. في هذه الحالات، اتفقت النماذج على قسم الاختبار ولكنها اختلفت بشكل كبير عبر معظم فضاء الحالات. الاعتماد فقط على dRA في مثل هذه السيناريوهات سيؤدي إلى المبالغة في تقدير التشابه الهيكلي للنماذج.
   • على العكس من ذلك، لم تظهر أي مجموعة بيانات gRA مرتفعاً مع dRA منخفضاً، وهو ما يتوافق مع العلاقة النظرية التي تنص على أن الاتفاق الموحد يستلزم الاتفاق على أي عينة فرعية.

3. تحليل الأرباع:

   • قام التحليل بتقسيم مجموعات البيانات إلى أربعة أرباع بناءً على وسيط gRA والفرق المطلق في الدقة.
   • الربع الأكثر ازدحاماً كان فرق دقة مرتفع / gRA منخفض، مما يؤكد أن التقليم غالباً ما يغير الحدود بشكل كبير في المشكلات المعقدة.
   • سلط الربع فرق دقة مرتفع / gRA مرتفع الضوء على الحالات التي وجد فيها توافق عالمي رغم وجود تباينات في دقة الاختبار، مما يؤكد أن الخلاف كان مركزاً في المنطقة المحددة لمجموعة الاختبار.

الأهمية والادعاءات

يزعم البحث أن محاذاة راشومون توفر رؤية شاملة لمحاذاة حدود القرار بشكل مستقل عن توزيعات بيانات محددة. تكمن أهمية العمل في:

• تقديم منظور هندسي: تجاوز التشابه التوزيعي لتقييم التشابه الوظيفي عبر كامل فضاء الحالات.
• كشف الانقسامات الخفية: إثبات أن المقاييس التوزيعية (والدقة) يمكن أن تخفي الاختلافات الهيكلية بين النماذج، خاصة في حالات انزياح المتغيرات أو عندما تكون البيانات غير ممثلة.
• الفائدة العملية: يقترح المؤلفون إمكانية استخدام RA في اختيار النماذج، وبناء المجموعات (ensembles) (عبر اختيار نماذج متنوعة)، وتعزيز القابلية للتفسير لخوارزميات تعلم الآلة.

يتبنى المؤلفون موقفاً متواضعاً، مشيرين إلى أن RA يكمل الدقة ولا يحل محلها. ويقترحون أن العمل المستقبلي يتضمن تطبيق RA على خوارزميات أخرى وتحسين طرق أخذ العينات من فضاء الحالات.