ملخص تقني: تعلم الترتيب السببي للتنبؤ بالبيانات الجدولية في سياق التعلم (In-Context)

1. بيان المشكلة

حققت بنيات التعلم في السياق (In-context learning)، مثل نماذج التأسيس الجدولية (TFMs)، أداءً تنبؤياً قوياً على البيانات الجدولية من خلال التدريب المسبق واسع النطاق. ومع ذلك، فإن هذه النماذج هي نماذج ترابطية في المقام الأول؛ فهي تعتمد على الهياكل الارتباطية بدلاً من الاتجاهية السببية الصريحة. وبناءً على ذلك، يمكن أن تكون تنبؤاتها غير موثوقة في ظل تغير التوزيع (distribution shifts) أو التدخلات (interventions)، حيث قد تستغل الارتباطات الإحصائية غير السببية التي لا يمكن تعميمها.

بينما توجد طرق اكتشاف سببي راسخة لاستعادة الرسوم البيانية الموجهة غير الحلقية (DAGs)، إلا أنها غالباً ما تكون خاصة بمجموعة بيانات معينة، ومكلفة حوسبياً، ومنفصلة عن بنيات التنبؤ الحديثة. وفي المقابل، تعتمد أساليب الاكتشاف السببي المجمعة (amortized) الحديثة على تدريب تحت إشراف باستخدام رسوم بيانية اصطناعية، مما يتطلب تسميات سببية حقيقية (ground-truth). هناك فجوة في دمج اكتشاف البنية السببية بشكل منهجي في بنيات التنبؤ ضمن إطار عمل للتعلم في السياق غير الخاضع للإشراف يمكنه التعامل مع البيانات المفقودة والتدخلات.

2. المنهجية: TABORDER

يقترح المؤلفون TABORDER، وهي بنية قائمة على المحولات (Transformer) مصممة لاستنتاج ترتيب المتغيرات السببية وأداء تنبؤات قوية في آن واحد. الابتكار الجوهري هو استخدام الانتباه المقيد بالترتيب السببي (causal order-constrained attention).

تصميم البنية

يعمل TABORDER كنظام محول مزدوج يعالج مجموعة بيانات $D$ مع مؤشرات للقيم المفقودة يمثلها القناع $M$:

1. التضمين (Embedding): يتم تضمين كل خلية $x_i^{(r)}$ ومؤشر فقدانها في تمثيل متجهي.
2. فرع استنتاج الترتيب: يقوم محول (Transformer) بمعالجة الانتباه الذاتي متعدد الرؤوس لمعالجة التضمينات لاستنتاج درجة عددية $s_i$ لكل متغير $X_i$. تشير الدرجات الأقل إلى موقع أبكر في الترتيب السببي. يتم حساب متوسط هذه الدرجات عبر الصفوف لإنتاج ترتيب عالمي $\hat{\pi}$.
3. فرع التنبؤ المقيد بالترتيب: يقوم محول ثانٍ بنمذجة التوزيع الشرطي لكل خلية. ومن الأهمية بمكان أن انتباهه العمودي مقيد بقناع مشتق من الدرجات المتعلمة $s$. وتحديداً، يمكن للمتغير $X_i$ أن ينتبه فقط للمتغيرات $X_j$ حيث $s_j \leq s_i$. هذا يفرض تحليلاً مرتباً للتوزيع المشترك:
   $$p_\theta(x^{(r)} | D, \pi) = \prod_{k=1}^d p_\theta(x_{\pi(k)}^{(r)} | x_{\pi(1:k-1)}^{(r)}, D)$$
   هذا يمنع النموذج من استخدام الميزات "عكس السببية" (المسببات المستقبلية) للتنبؤ بهدف ما، مما يقلل من الحساسية للارتباطات الزائفة.

التعامل مع البيانات المفقودة وعدم اليقين

يأخذ النموذج في الاعتبار صراحةً فقدان البيانات في المسببات السببية. تحت فرضية نموذج الضوضاء المضافة (ANM) ($X_i = f(X_{pa(i)}) + N_i$)، يقوم النموذج بفك التشفيد لمتوسط شرطي $\hat{\mu}$ وتباين $\hat{\sigma}^2$.

• زيادة التباين: إذا كان أحد المسببات السببية مفقوداً، فإن النموذج يزيد من التباين التنبئي للمتغير المستهدف بمقدار قابل للتعلم $\delta_{i,j}$. هذا يلتقط زيادة عدم اليقين عندما تكون المدخلات ذات الصلة غير ملاحظة.
• هدف التدريب: يتم تدريب النموذج من البداية إلى النهاية عن طريق تعظيم الاحتمالية (log-likelihood) للمدخلات المقنعة. يربط الهدف بين تعلم الترتيب والتنبؤ: فالترتيبات التي تفسر البيانات المقنعة بشكل أفضل (عن طريق تقليل التباين المتبقي) تحصل على احتمالية أعلى.

التبرير النظري

يبرر المؤلفون النهج القائم على الاحتمالية تحت إطار نموذج الضوضاء المضافة (ANM). وقد أثبتوا أنه بالنسبة للنماذج المضافة السببية، فإن الترتيب الأمثل للاحتمالية يتوافق مع الترتيب الطوبولوجي للرسم البياني الموجه غير الحلقي (DAG) الحقيقي. علاوة على ذلك، أثبتوا نظرية تتعلق بـ عدم تماثل الاحتمالية المدركة للفقدان: إن مراعاة الفقدان عبر زيادات التباين تزيد من الفجوة الاحتمالية بين الاتجاه السببي الصحيح والاتجاهات غير الصحيحة، مما يسهل تحديد الترتيبات السببية حتى في وجود بيانات مفقودة.

3. المساهمات الرئيسية

1. دمج الاكتشاف السببي والتنبؤ: يربط TABORDER بين تعلم البنية السببية والتنبؤ بالبيانات الجدولية في السياق من خلال استنتاج الترتيبات السببية بشكل غير خاضع للإشراف ضمن إطار عمل محول تنبؤي.
2. الانتباه المقيد بالترتيب: تقديم قناع انتباه قابل للتفاضل ومتعلم، يقيد تدفق المعلومات ليسبق المتغيرات في ترتيب سببي متعلم، مما يضمن أن التنبؤات تعتمد فقط على المسببات المحتملة.
3. التعلم المدرك للفقدان: تصميم آلية حيث تؤدي البيانات المفقودة في المسببات السببية إلى زيادة صريحة في التباين التنبئي، وهو ما يساعد نظرياً وتجريبياً في التمييز بين الاتجاهات السببية.
4. التعلم غير الخاضع للإشراف: على عكس أساليب الاكتشاف السببي المجمعة، لا يتطلب TABORDER رسوماً بيانية سببية حقيقية أثناء التدريب؛ بل يتعلم الترتيبات المثلى فقط من خلال تعظيم الاحتمالية على البيانات المقنعة.

4. النتائج التجريبية

قيم المؤلفون TABORDER على بيانات اصطناعية ذات هياكل سببية معروفة وعلى معايير من العالم الحقيقي.

• استنتاج الترتيب السببي: في البيانات الاصطناعية المولدة من نماذج ANM غير الخطية لعمليات غاوس (Gaussian process)، حقق TABORDER تباعداً طوبولوجياً ($d_{TOP}$) مقارباً لخوارزميات الاكتشاف السببي المتخصصة (مثل CAM، SCORE، NOTEARS) ولكنه يستنتج الترتيبات في وقت قريب من اللحظي عبر تمريرة أمامية واحدة. وفي مجموعة بيانات Sachs لإشارات البروتين في العالم الحقيقي، اكتشف TABORDER ترتيبات سببية بتباعد منخفض ($d_{TOP} \approx 0.21$) مقارنة بالرسم البياسي المتفق عليه، متفوقاً على النماذج المرجعية الأخرى.
• الأداء التنبؤي والاستكمال (Imputation): في مهام استكمال القيم المفقودة (معايير OpenML CC18 و CTR23)، حقق TABORDER أداءً تنافسياً، لا سيما عند معدلات فقدان عالية ($\geq 40\%$)، متفوقاً على الطرق القياسية مثل KNN و MICE و GAIN.
• القوة تجاه التدخلات: في سلسلة مكونة من ثلاثة متغيرات ($X \to Y \to Z$) مع تدخل على آلية $Y \to Z$، حافظ TABORDER على دقة التنبؤ بالوسيط $Y$ بمعلومية $X$ و $Z$. في المقابل، تدهور أداء نماذج TFMs القياسية (مثل TABPFN) و XGBoost بشكل كبير، لأنها تعتمد على الارتباط غير السببي المكسور بين $Y$ و $Z$.
• الرؤى البيولوجية: في مجموعة بيانات Sachs تحت ظروف تدخل مختلفة، استنتج TABORDER ترتيبات تعكس إعادة تنظيم بيولوجية منطقية. على سبيل المثال، تسبب التدخلات في المستويات العليا (مثل تثبيط PKC) تغييرات عالمية في الترتيب المستنتج، بينما تسبب التدخلات في المستويات الدنيا تغييرات موضعية، مما يتماشى مع ديناميكيات مسارات الإشارات المعروفة.

5. الأهمية والادعاءات

يزعم البحث أن TABORDER يوفر نهجاً مبدئياً لجعل التعلم في السياق للبيانات الجدولية أكثر قوة تجاه تغير التوزيع والتدخلات من خلال نمذجة الاتجاهية السببية صراحةً.

• القوة (Robustness): من خلال فرض أن التنبؤات تعتمد فقط على السوابق في ترتيب سببي متعلم، يتجنب النموذج استغلال الارتباطات الزائفة التي تفشل تحت تأثير التدخل.
• الكفاءة: على عكس الاكتشاف السببي الكلاسيكي الذي يحل مشاكل التحسين لكل مجموعة بيانات، يستنتج TABORDER البنية بكفاءة عبر تمريرة أمامية واحدة، مما يجعله قابلاً للتوسع للمهام اللاحقة.
• التأسيس النظري: يضع العمل أساساً مفاده أن تعظيم الاحتمالية في وجود بيانات مفقودة يمكن أن يعمل كوكيل للاكتشاف السببي تحت افتراضات ANM القياسية، مما يوفر أساساً نظرياً لتعلم الترتيب غير الخاضع للإشراف.

يقر المؤلفون بالقيود، مشيرين إلى أن التنفيذ الحالي يركز على الترتيبات الطوبولوجية بدلاً من الرسوم البيانية الموجهة الكاملة (DAGs) ويفترض ميزات ذات قيم حقيقية. ويقترحون أنه بينما الطريقة قوية، فإن الهياكل المستنتجة هي فرضيات تتطلب التحقق من المجال، وأن العمل المستقبلي يمكن أن يستكشف مقدمات تدريب أغنى وبيانات مختلطة الأنواع.