Learning Robust Intervention Representations with Delta Embeddings

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم تمثيلات التدخل القوية باستخدام التضمينات التفاضلية (Delta Embeddings)" (ICLR 2026).

1. بيان المشكلة

تتناول الورقة البحثية قصوراً حرجاً في التعلم العميق: عدم قدرة النماذج على التعميم في سيناريوهات خارج التوزيع (OOD)، لا سيما عندما يتغير توزيع البيانات الأساسي نتيجة لتغيرات في فئات الأشياء أو في تركيبات (الفعل-الشيء).

• السياق: بينما حقق "تعلم التمثيل السببي" (CRL) خطوات واسعة في فك تشابك المتغيرات الكامنة، يركز معظم العمل الحالي على استعادة حالة المشهد (المتغيرات $z$) بدلاً من التدخلات (الأفعال $a$) نفسها.
• الفجوة: تعتمد النماذج الحالية غالباً على الارتباطات الزائفة بين الأشياء والأفعال. وعند مواجهة أشياء جديدة أو اقترانات (فعل-شيء) غير مرئية (إزاحة تركيبية/Compositional Shifts) أو فئات أشياء جديدة تماماً (إزاحة نظامية/Systematic Shifts)، يتدهور الأداء بشكل كبير.
• الهدف: يهدف المؤلفون إلى تعلم تمثيل للتدخل نفسه يكون:
  1. ثابتاً (Invariant) تجاه المشهد البصري (مستقلاً عن الشيء).
  2. متفرقاً (Sparse) (يؤثر فقط على عدد قليل من الآليات السببية).
  3. قوياً (Robust) تجاه إزاحات التوزيع، مما يمكن الوكلاء من التنبؤ بنتائج الأفعال على أشياء غير مرئية.

2. المنهجية: التضمينات التفاضلية السببية (CDE)

المقترح الجوهري هو التضمين التفاضلي السببي (Causal Delta Embedding - CDE)، وهو إطار عمل يمثل التدخل كفرق متجهي بين التمثيلات الكامنة للحالة "قبل" والحالة "بعد".

2.1 الأساس النظري

بناءً على النموذج السببي الهيكلي (SCM) حيث يتم توليد الملاحظة $x$ بواسطة متغيرات كامنة $z$ (على مستوى المشهد $z_s$ وعلى مستوى الشيء $z_n$)، يقوم الفعل $a$ بالتدخل في متغيرات أشياء محددة $z_a$.
يعرّف المؤلفون التضمين التفاضلي $\delta_a$ كالتالي:
$$\delta_a = \phi(\tilde{x}) - \phi(x)$$
حيث $\phi$ هو مشفر (Encoder) يحول الصور إلى فضاء كامن، و $x$ هي الصورة قبل التدخل، و $\tilde{x}$ هي الصورة بعد التدخل.

لكي يكون $\delta_a$ تضميناً تفاضلياً سببياً صالحاً، يجب أن يستوفي ثلاثة خصائص مشتقة من الافتراضات السببية (ICIC و Sparse Mechanism Shift):

1. الاستقلالية (Independence): يجب أن يكون $\delta_a$ مستقلاً عن خصائص المشهد والأشياء التي لم تتأثر بالفعل.
2. التفرق (Sparsity): يجب أن يكون $\delta_a$ متفرقاً، بحيث يؤثر فقط على الآليات السببية المحددة التي غيرها الفعل.
3. الثبات (Invariance): يجب أن يظل تمثيل الفعل (مثل "فتح") ثابتاً بغض النظر عن الشيء الذي يتم التعامل معه (مثل باب مقابل صندوق).

2.2 بنية النموذج

تقترح الورقة نوعين من النماذج (الشكل 3):

• نموذج التفاضل السببي العالمي (Global Causal Delta Model): يستخدم عموداً فقرياً من نوع Vision Transformer (ViT) (مدرب مسبقاً باستخدام DINO أو MAE أو CLIP). يقوم باستخراج رمز الـ [CLS] العالمي، ويمرره عبر مسقط سببي (Causal Projector - MLP)، ويحسب الفرق بين رموز "قبل" و"بعد" لتشكيل $\delta$.
• نموذج التفاضل القائم على الرقع (Patch-Wise Delta Model): مصمم للمشاهد المعقدة التي تحتوي على أشياء متعددة. بدلاً من الرمز العالمي، يقوم بحساب التضمينات التفاضلية لكل رقعة صورة (Patch). ثم يطبق استراتيجية تجميع Top-K، حيث يختار الـ $k$ من الرقع ذات أكبر تغير في معيار L2 (بافتراض أن الفعل محلي)، لحساب الخسارة النهائية.

2.3 هدف التعلم

يتم تدريب النموذج من البداية إلى النهاية (End-to-End) باستخدام دالة خسارة متعددة الأهداف:
$$\mathcal{L}_{total} = \mathcal{L}_{CE} + \alpha_{contrast}\mathcal{L}_{contrast} + \alpha_{sparsity}\mathcal{L}_{sparsity}$$

1. خسارة الإنتروبيا المتقاطعة ($\mathcal{L}_{CE}$): خسارة التصنيف القياسية لضمان أن التضمين التفاضلي يتنبأ بتسمية الفعل الصحيحة.
2. الخسارة التباينية الخاضعة للإشراف ($\mathcal{L}_{contrast}$): تفرض خاصية الثبات؛ فهي تجذب تضمينات نفس فئة الفعل لتكون أقرب لبعضها البعض، وتدفع الفئات المختلفة بعيداً عن بعضها، بغض النظر عن سياق الشيء.
3. منظم التفرق ($\mathcal{L}_{sparsity}$): عقوبة $\ell_1$ على متجه التفاضل لفرض خاصية التفرق، مما يشجع النموذج على تغيير أبعاد قليلة فقط في الفضاء الكامن.

3. المساهمات الرئيسية

1. التضمين التفاضلي السببي (CDE): إطار عمل مبتكر ينقل التركيز من تعلم المتغيرات السببية إلى تعلم التدخلات السببية مباشرة كمتجهات تفاضلية (Delta Vectors) في الفضاء الكامن.
2. استراتيجية التعلم متعددة الأهداف: صياغة محددة لخسارة تجمع بين التعلم التصنيفي، والتعلم التبايني، وتنظيم التفرق لفرض الاستقلالية، والثبات، والتفرق دون إشراف صريح على الرسم البيفي السببي.
3. أداء SOTA في حالات OOD: يحقق الأسلوب أرقاماً قياسية جديدة في تحدي Causal Triplet، متفوقاً بشكل كبير على النماذج المرجعية في كل من البيئات الاصطناعية والواقعية.
4. الاكتشاف الدلالي: يكتشف النموذج تلقائياً هياكل دلالية في فضاء التدخل، وتحديداً العلاقات المتضادة في الاتجاه (Anti-parallel relationships) (على سبيل المثال، متجه "فتح" هو بالضبط سالب متجه "إغلاق") دون إشراف صريح.

4. النتائج التجريبية

قيم المؤلفون نموذج CDE على معيار Causal Triplet، والذي يغطي ثلاثة إعدادات:

• الشيء الواحد الاصطناعي (ProcTHOR):
  • النتيجة: قلل نموذج Global CDE فجوة التعميم OOD من ~0.56 (النماذج المرجعية) إلى 0.21.
  • دقة OOD: حقق 75% في الإزاحات النظامية (أشياء غير مرئية)، مقارنة بـ ~47-54% للطرق السابقة المتطورة (SOTA).
• الأشياء المتعددة الاصطناعية (ProcTHOR):
  • تفوق نموذج Patch-Wise على جميع النماذج المرجعية، بما في ذلك طرق "Oracle-mask" التي تستخدم أقنعة التجزئة (Segmentation Masks) الحقيقية.
  • دقة OOD: بلغت 48% (باستخدام عمود ViT-CLIP الفقري) مقابل 30% لنماذج ResNet المرجعية.
• العالم الحقيقي (Epic-Kitchens):
  • أظهر متانة في البيئات المعقدة وغير المنضبطة مع حركة الكاميرا والانسداد (Occlusion).
  • دقة OOD: بلغت 34% (ViT-CLIP) مقابل 27% لأفضل نموذج مرجعي (GroupViT).

دراسات الاستئصال (Ablation Studies):

• إزالة الخسارة التباينية (Contrastive Loss) أدت إلى انخفاض قدره 7 نقاط في دقة OOD، مما يثبت ضرورتها للثبات.
• إزالة خسارة التفرق (Sparsity Loss) أدت إلى انخفاض قدره نقطتان.
• استخدام أعمدة Viት الفقارية (DINO/MAE/CLIP) تفوق بشكل كبير على ResNet-18، مما يسلط الضوء على أهمية استخراج الميزات المتفككة.

5. الأهمية والعمل المستقبلي

الأهمية:

• المتانة: يوفر CDE طريقة مبدئية للتعامل مع إزاحات التوزيع من خلال نمذجة آلية التغيير بدلاً من المشهد الثابت.
• التعميم: يُمكّن الوكلاء من تطبيق الأفعلة المتعلمة على أشياء جديدة تماماً، وهي خطوة حاسمة للروبوتات في العالم الحقيقي والذكاء الاصطناني المتجسد (Embodied AI).
• القابلية للتفسير: يشير اكتشاف متجهات الأفعال المتضادة في الاتجاه إلى أن النموذج يتعلم بنية هندسية قابلة للتفسير بشرياً لفضاء الأفعال.

القيود والتوجهات المستقبلية:

• الدقة في العالم الحقيقي: رغم التحسن، لا تزال الدقة المطلقة في مجموعات البيانات الواقعية (Epic-Kitchens) منخفضة (~34%)، مما يشير إلى تحديات تتعلق بالضجيج العالي والانسداد.
• استقلال السياق: يفترض التضمين التفاضلي "العالمي" الحالي أن الفعل متماثل عبر جميع السياقات، وهو ما قد لا ينطبق على التحولات المعقدة التي تعتمد على السياق.
• العمل المستقبلي: يقترح المؤلفون توسيع نطاق CDE ليشمل تدفقات الفيديو للتعامل مع الديناميكيات الزمنية، ومعالجة زيادة الضجيج والانسداد، واستقصاء الخصائص التركيبية للتدخلات متعددة الخطوات.

باخت-صار، تقدم هذه الورقة تقدماً كبيراً في تعلم التمثيل السببي من خلال إثبات أن نمذجة التدخلات كمتجهات تفاضلية متفرقة وثابتة هي استراتيجية فعالة للغاية لتحقيق تعميم قوي في البيئات الديناميكية.