ملخص تقني: تشابك الاستنباط والاستنتاج: تعميم النطاق عبر عمليات نقل التمثيلات

بيان المشكلة

يعالج تعميم النطاق (Domain Generalization - DG) فشل نماذج التنبؤ المدربة على توزيع مصدر في التعميم إلى توزيع هدف غير مرئي. تعتمد النهج السببية القياسية غالبًا على افتراضات هيكلية قوية، مثل وجود مجموعة فرعية من الميزات الثابتة أو غياب المتغيرات المربكة غير الملحوظة، لتحديد المتنبئات الثابتة. ومع ذلك، تشير الاختبارات المعيارية (مثل DomainBed) إلى أن الطرق الحالية غالبًا ما تفشل في التفوق على الحد الأدنى من المخاطر التجريبية (ERM)، ويرجع ذلك جزئيًا إلى عدم التطابق بين الهياكل المفترضة وضرورات التعميم في العالم الحقيقي.

التحدي الجوهري المحدد في هذا العمل هو تشابك الاستنباط والاستنتاج (abduction–deduction entanglement). يمكن تحليل أي قاعدة تنبؤ $P(Y|X)$ إلى خطوة استنباط (استنتاج المتغيرات غير الملحوظة $\tilde{U}$، مثل المربكات، من $X$ الملحوظ) وخطوة استنتاج (التنبؤ بـ $Y$ بمعلومية $X$ و $\tilde{U}$). وبينما يمكن تحديد عملية التنبؤ المشتركة من البيانات، فإن خرائط الاستنباط والاستنتاج الفردية ليست محددة؛ فهي متشابكة لأن ناتج ضربهما يجب أن يساوي قاعدة التنبؤ الملحوظة. تحاول طرق DG التقليدية غالبًا إزالة هذا التشابك من خلال فرض الثبات على كلتا الخريطتين أو إيجاد مجموعة فرعية من الميزات حيث يكون كلاهما ثابتًا. تجادل هذه الورقة بأن هذا الثبات الصارم غالبًا ما يكون غير ضروري، وأن التشابك نفسه يمكن استغلاله.

المنهجية

1. الإطار النظري: تحليل الاستنباط والاستنتاج

يقترح المؤلفون افتراضًا هيكليًا حيث تكون خريطة الاستنتاج (الآلية السببية التي تولد التسمية $Y$ من $X$ و $\tilde{U}$ غير الملحوظ) ثابتة عبر النطاقات، بينما تختلف خريطة الاستنباط (توزيع $\tilde{U}$ بمعلومية $X$).

• التحليل: $P(Y|X) = \sum_{\tilde{u}} P(\tilde{u}|X) \cdot P(Y|X, \tilde{u})$.
• التمثيل البارامتري: يفترض المؤلفون تمثيلًا مدربًا مسبقًا ومجمدًا $\phi(X)$ (مثل نموذج أساسي). يقومون بتمثيل خريطة الاستنباط كإخراج softmax-linear وخريطة الاستنتاج كإخراج sigmoid-linear لـ $\phi(X)$.
  • الاستنباط: $\vec{P}(\tilde{u}|x) \approx \text{softmax}(A_s^\top \phi(x))$
  • الاستنتاج: $\vec{P}(y|x, \tilde{u}) \approx \text{sigmoid}(D^\top \phi(x))$
    حيث $A_s$ هي معاملات خاصة بالنطاق، و $D$ هو معامل مشترك وثابت.

2. عمليات نقل التمثيلات (Representation Transplants)

للتنقل عبر عدم القدرة على تحديد خرائط الاستنباط والاستنتاج، يقدم المؤلفون عمليات نقل التمثيلات.

• أساس النقل ($L$): يتم تعريف مؤثر خطي $L$ يعمل كمعكوس يساري لمعاملات الاستنباط ($A_s^\top L = I$) ويقع في الفضاء الصفري لمعامل الاستنتاج ($D^\top L = 0$).
• مؤثر النقل ($T_{s \to s'}$): يقوم هذا المؤثر بتبديل مكون الاستنباط للتمثيل من النطاق $s$ إلى النطاق $s'$ مع الحفاظ على مكون الاستنتاج.
  • $T_{s \to s'} W = (I + L(A_s^\top - A_{s'}^\top)) W$
• النتيجة: يسمح هذا ببناء عائلة من توزيعات الهدف المحتملة. من خلال نقل التمثيلات المصدرية إلى فضاء الهدف، يمكن إنشاء توزيعات هدف مرشحة تتوافق مع بيانات المصدر وافتراض ثبات الاستنتاج.

3. التحسين القوي السببي (Causal Robust Optimization - CRO)

يصيغ المؤلفون DG كـ لعبة متعلم-خصم تسمى التحسين القوي السببي (CRO):

• الخصم: بالنظر إلى متعلم حالي $h$، يبحث الخصم عن "أسوأ حالة" لتوزيع هدف محتمل (يتم تمثيله بواسطة أساس النقل ومعاملات الاستنباط) يزيد من مخاطر $h$. يتضمن ذلك تحسين معاملات النقل مع مراعاة قيود الملاءمة وعقوبة الإغلاق (مسافة Hausdorff) لضمان بقاء التمثيلات المنقولة ضمن دعم بيانات المصدر.
• المتعلم: يقوم المتعلم بتحديث $h$ لتقليل أقصى مخاطرة عبر مجموعة التوزيعات المستهدفة العدائية التي تم إنشاؤها حتى الآن.
• التقارب: تنتهي اللعبة عندما تتقارب أسوأ حالة للمخاطر. تحت الافتراضات المثالية (بيانات لانهائية، حلول عالمية)، يكون الحل هو الأمثل في حالة المينيمكس (minimax-optimal) عبر مجموعة التوزيعات المستهدلة ذات الهيكل المحتمل.

المساهمات الرئيسية

1. إعادة صياغة التشابك: بدلاً من معاملة عدم القدرة على تحديد الاستنباط والاستنتاج كمشكلة يجب حلها عن طريق إزالة التشابك، تقترح هذه الورقة تمثيل (parameterizing) التشابك. يسمح هذا بالبحث الهيكلي في توزيعات الهدف المحتملة دون اشتراط الثبات الصارم لخريطة الاستنباح.
2. نقل التمثيل: تقديم مؤثر خطي منخفض الرتبة على التمثيلات المجمدة يتلاعب بمحتوى الاستنباط مع الاحتفاظ بمحتوى الاستنتاج. يوفر هذا آلية ملموسة للنقل الجزئي.
3. التمثيلات الثابتة كنتيجة: توضح الورقة أن التمثيلات الثابتة (هدف شائع في DG) تظهر كـ نتيجة هيكلية لتمثيل الاستنباط والاستنتاج ووجود أساس نقل، وليس كهدف تعلم أولي.
4. خوارزمية CRO: خوارزمية عملية تنفذ تحسين (min-max) على مجموعة التوزيعات المحددة بمعاملات النقل، مما يوفر ضمانًا أمثلًا في حالة المينيمكس تحت افتراضات هيكلية محددة.

النتائج التجريبية

تم تقييم الطريقة على اختبارات تركيبية وواقعية باستخدام بروتوكول DomainBed (ترك نطاق واحد خارج التدريب، والتحقق من نطاق التدريب).

• MNIST الملون (تركيبي): في الخلية التشخيصية حيث يكون الارتباط بين اللون والتسمية متعاكسًا مع المصدر ($\rho = -0.-9$)، تنهار المعايير القياسية (ERM, IRM, GroupDRO، إلخ) إلى دقة $\approx 10\%$ (أسوأ من العشوائية). تحقق CRO دقة 76%، حيث نجحت في تحديد ميزة الشكل الثابت عن طريق فصل ميزة اللون الزائفة في فضاء الاستنباط وميزة الشكل في فضاء الاستنتاج.
• PACS (واقعي): في اختبار التعرف على الأشياء هذا، حيث يكون افتراض ثبات الاستنتاج تقريبيًا فقط (بسبب تحولات الأسلوب)، تؤدي CRO أداءً تنافسيًا (84.6% كمتوسط)، مما يضاهي مجموعة المعايير الواسعة، لكنها لا تتفوق على أفضل المؤدين (SagNet, CORAL). يعزو المؤلفون ذلك إلى الانتهاك الجزئي لافتراض ثبات الاستنتاج.
• OfficeHome (واقعي): تتصدر CRO متوسط الأداء (69.3%) وتتصدر ثلاث خلايا من أصل أربع في حالات ترك نطاق واحد. يشير المؤلفون إلى أن بنية الـ 65 فئة تجعل إشارة الاستنباط غنية بما يكفي للبحث العدائي دون الإفراط في استخدام المعاملات.
• التحقق الهيكلي: تم إنشاء مجموعة بيانات "أسئلة أخلاقية" تركيبية للتحقق من المقدمات الهيكلية. أكدت التشخيصات أن تحليل الاستنباط والاستنتاج يكتمل تجريبيًا، وأن خرائط الاستنباط متميزة عبر النطاقات، وأن ثبات الاستنتاج يتحقق، وأن أساس نقل صالح موجود.

الأهمية والادعاءات

تدعي الورقة أن نقل التمثيل يوفر تمثيلًا بارامتريًا صغيرًا ومنظمًا لعدم القدرة على تحديد الاستنباط والاستنتاج المتأصلة في الاستدلال السببي. من خلال احتضان التشابك بدلاً من التخلص منه، تحقق خوارزمية CRO المقترحة أمثل مخاطرة مستهدفة في حالة المينيمكس عبر مجموعة من التوزيعات السببية المحتملة.

تكمن الأهمية في:

1. الصرامة النظرية: تقديم ضمان رسمي للأمثلية في حالة المينيمكس تحت افتراضات هيكلية محددة (ثبات الاستنتاج، الإغلاق تحت النقل) حيث تفتقر الطرق السابقة غالبًا لهذه الضمانات أو تعتمد على افتراضات لا يمكن التحقق منها.
2. الفعالية العملية: إثبات قدرة هذا النهج على استعادة الميزات الثابتة في سيناريوهات "تعلم الاختصار" (Colored MNIST) حيث تفشل طرق DG السببية الأخرى، مع البقاء منافسة في الإعدادات المعقدة من العالم الحقيقي.
3. منظور جديد: تحويل التركيز من البحث عن الميزات الثابتة مباشرة إلى تمثيل فضاء الآليات السببية الصالحة (أزواج الاستنباط والاستنتاج) المتوافقة مع البيانات الملحوظة.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن افتراض الإغلاق (أن التمثيلات المنقولة لها صور سابقة في نطاق الهدف) هو افتراض هيكلي ولا يمكن التحقق منه تجريبيًا بدون بيانات الهدف. كما يقرون بأن ضمان المينيمكس يعتمد على ظروف مثالية (بيانات لانهائية، تحسين عالمي) وأن الأداء يتدهور تدريجيًا وبشكل خطي عند تخفيف هذه الشروط.