🤖 machine learning

Causally-Guided Diffusion for Stable Feature Selection

تقدم هذه الورقة البحثية نموذج "الانتشار الموجه سببيًا لاختيار السمات المستقر" (CGDFS)، وهو إطار عمل يستفيد من نماذج الانتشار وأخذ عينات لانجفنز الموجهة بالتقرن لإجراء استدلال خلفي مدرك للاستقرار، وبالتالي اختيار مجموعات فرعية من السمات القوية التي تحافظ على أداء تنبؤي عالٍ عبر تحولات التوزيع من خلال إعطاء الأولوية للثبات السببي على الارتباطات الزائفة.

المؤلفون الأصليون: Arun Vignesh Malarkkan, Xinyuan Wang, Kunpeng Liu, Denghui Zhang, Yanjie Fu

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Arun Vignesh Malarkkan, Xinyuan Wang, Kunpeng Liu, Denghui Zhang, Yanjie Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول ابتكار الوصفة المثالية لحساء سيكون مذاقه لذيذًا بغض النظر عن مكان تقديمه — سواء في كوخ جبلي وسط الثلوج، أو بلدة ساحلية رطبة، أو مدينة صاخبة.

المشكلة: المكون "المزيف"
معظم طرق الطهي التقليدية (اختيار الميزات القياسي) تعمل كالتالي: يتذوقون الحساء في الكوخ الجبلي ويقولون: "آه! إبر الصنوبر هي ما تجعل مذاقه رائعًا!" لذا، يقررون أن إبر الصنوبر عنصر أساسي.

ولكن عندما تأخذ نفس الوصفة إلى الشاطئ، يكون طعم إبر الصنوبر سيئًا لأن المياه والمكونات المحلية مختلفة. "نكهة إبر الصنوبر" كانت تعمل فقط بسبب مصادفة سعيدة (ارتباط زائف) في الجبال، وليس لأنها مكون جيد في الأصل. في علم البيانات، يُسمى هذا انزياح التوزيع (Distribution Shift). لقد تعلم النموذج خدعة لا تعمل إلا في بيئة محددة، وفشل في كل مكان آخر.

الحل: طاهي الـ CGDFS (طاهي الانتشار الموجه سببيًا)
يقترح مؤلفو هذه الورقة طريقة جديدة تسمى CGDFS (الانتشار الموجه سببيًا لاختيار الميزات المستقر). بدلًا من مجرد البحث عن المكون الذي يبدو طعمه الأفضل الآن، هم يريدون العثور على المكونات التي سيكون طعمها جيدًا في كل مكان.

إليك كيف يعمل CGDFS، باستخدام ثلاث استعارات بسيطة:

1. "كتاب وصفات يعتمد على التعهيد الجماعي" (الانتشار المسبق - Diffusion Prior)

تخيل أنك لا تخمن المكونات التي ستختارها فحسب. بدلاً من ذلك، تسأل 1000 طاهٍ خبير مختلف ليكتبوا لك وصفات الحساء المفضلة لديهم. بعضها بسيط، وبعضها معقد، وبعضها يستخدم السمك، وبعضها يستخدم الخضروات.

ما يفعله CGDFS: إنه يجمع "مجموعة" ضخمة من مجموعات الميزات المرشحة (مثل هذه الوصفات الـ 1000).
السحر: يستخدم نموذج الانتشار (Diffusion Model) (وهو نوع من الذكاء الاصطناعي يتعلم الأنماط عن طريق إضافة وإزالة الضجيج ببطء) لدراسة هذه الوصفات. إنه يتعلم بنية الحساء الجيد. يدرك أنه: "أوه، الطهاة الذين يستخدمون الجزر عادةً ما يستخدمون البصل أيضًا، لكن نادرًا ما يستخدمون كلاً من الشوكولاتة والملح معًا".
الفائدة: بدلًا من التخمين العشوائي للمكونات، أصبح لدى الذكاء الاصطناعي الآن "حدس" (مُسبّق) حول تركيبات المكونات التي من المرجح أن تعمل جيدًا معًا. إنه يفهم العلاقات بين الميزات.

2. "اختبار التذوق المتنقل" (احتمالية الاستقرار - Stability Likelihood)

الآن، لديك قائمة بالوصفات المحتملة. كيف تختار الأفضل منها؟

الطريقة القديمة: تتذوق الحساء في الكوخ الجبلي. إذا كان جيدًا، تختاره.
طريقة CGDFS: تأخذ الحساء إلى الجبل، والشاطئ، والصحراء، والمدينة. تتذوقه في كل هذه البيئات المختلفة.
الهدف: أنت لا تبحث فقط عن الحساء الذي طعمه الأفضل في مكان واحد. أنت تبحث عن الحساء الذي يكون طعمه جيدًا باستمرار في كل مكان. إذا كانت الوصفة رائعة في الجبال ولكنها سيئة في الصحراء، فإن CGDFS يرفضها. هو يحتفظ فقط بالوصفات التي تكون مستقرة عبر جميع البيئات.

3. "التنزه الموجه" (أخذ عينات لانجيفين الملدنة - Annealed Langevin Sampling)

العثور على الوصفة المثالية يشبه محاولة العثور على أعلى قمة في سلسلة جبال ضخمة وضبابية تحتوي على مليارات المسارات الممكنة.

المشكلة: إذا كنت تمشي فقط نحو أكثر التلال انحدارًا تراها (التحسين الجشع)، فقد تعلق فوق تلة صغيرة تبدو وكأنها القمة، لكنها ليست كذلك.
حل CGDFS: تخيل متنزهاً لديه دليلان:
1. الدليل (أ) (الانتشار المسبق): "مهلًا، لا تذهب في ذلك الاتجاه! التضاريس هناك عادة ما تكون سيئة للحساء. التزم بالوديان حيث تعيش الوصفات الجيدة عادةً".
2. الدليل (ب) (اختبار الاستقرار): "لكن انتظر، إذا ذهبت إلى هناك، فسيكون طعم الحساء سيئًا في الصحراء. ارجع أدراجك!"
العملية: يتخذ المتنزه خطوات صغيرة وحذرة، مستمعًا إلى كلا الدليلين. هو لا يختار مسارًا واحدًا فحسب؛ بل يستكشف مسارات عديدة، ويجمع مجموعة من الوصفات "الجيدة". تسمى هذه العملية أخذ العينات (Sampling).

النتيجة النهائية: "قائمة الإجماع" (Consensus Menu)

بدلًا من اختيار وصفة واحدة والقول: "هذه هي الحقيقة الوحيدة"، ينظر CGDFS إلى كل الوصفات الجيدة التي وجدها أثناء التنزه.

يسأل: "كم مرة ظهرت الجزر في أفضل الوصفات؟" (تكرار عالٍ = مهم جدًا).
يسأل: "كم مرة ظهرت إبر الصنوبر؟" (تكرار منخفض = ربما كانت مجرد ضربة حظ).

من خلال تجميع هذه النتائج، يقدم لك CGDFS قائمة بالمكونات التي تتميز بـ المتانة (Robustness). حتى لو تغيرت البيئة (تغير الطقس، أو تغيرت البيانات)، فسيظل حساؤك (نموذج الذكاء الاصطناعي الخاص بك) رائع المذاق لأنك اخترت المكونات بناءً على قيمتها الحقيقية والمستقرة، وليس مجرد مصادفة سعيدة.

لماذا يعد هذا أمرًا بالغ الأهمية؟

الذكاء الاصطناعي القديم: "تعلمت أن 'ملكية المنزل' تتنبأ بـ 'مخاطر الائتمان' لأن الأثرياء في هذه المدينة تحديدًا يمتلكون منازل". (يفشل عند الانتقال إلى مدينة جديدة).
ذكاء CGDFS الاصطناعي: "تعلمت أن 'مستوى الدخل' يتنبأ بـ 'مخاطر الائتمان' لأن هذه العلاقة تظل ثابتة في المدينة، والضواحي، والمناطق الريفية". (يعمل في كل مكان).

باخت حفظ، CGDFS يمنع الذكاء الاصطناعي من حفظ الحيل ويبدأ في تعلم القواعد الحقيقية للعبة، مما يجعله أكثر موثوقية عندما يتغير العالم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الانتشار الموجه سببيًا لاختيار الميزات المستقر" (CGDFS).

1. بيان المشكلة

التحدي: تعمل طرق اختيار الميزات التقليدية (مثل LASSO، والمعلومات المتبادلة، والغابات العشوائية) على تحسين الأداء التنبؤي في ظل توزيع بيانات تدريب واحد. ونتيجة لذلك، غالبًا ما تختار هذه الطرق ميزات زائفة ترتبط بالهدف فقط بسبب ظروف بيئية محددة. وعند نشر هذه النماذج في بيئات جديدة تعاني من انزياح التوزيع (distribution shifts)، يتدهور أداؤها بشكل كبير لأن الميزات المختارة تفتقر إلى الثبات السببي (causal invariance).

قصور الحلول الحالية:

الطرق القائمة على الارتباط: تفشل في التمييز بين الميزات السببية المستقرة والارتباطات الزائفة غير المستقرة.
تقليل المخاطر الثابتة (IRM) / التنبؤ السببي الثابت (ICP): رغم أنها منهجيات مبدئية، إلا أنها تواجه عقبتين رئيسيتين:
1. التحسين غير المحدب (Non-convex Optimization): تخلق الأهداف القائمة على الاستقرار مساحات ذات تضاريس غير محدبة للغاية حيث تتعثر طرق التدرج في نقاط مثلى محلية ضعيفة.
2. التعقيد التوافقي (Combinatorial Complexity): اختيار الميزات هو بطبيعته عملية منفصلة ( $2^p$ من المجموعات الفرعية الممكنة)، مما يجعل تطبيق تقنيات التحسين المستمر مباشرة أمرًا صعبًا دون فقدان التبعيات الهيكلية.

الهدف: تطوير إطار عمل لاختيار الميزات يحدد المجموعات الفرعية من الميزات التي ليست تنبؤية فحسب، بل أيضًا مستقرة عبر بيئات متعددة، مع التعامل بفعالية مع الطبيعة التوافقية لمساحة البحث وقياس عدم اليقين.

2. المنهجية: إطار عمل CGDFS

يقترح المؤلفون الانتشار الموجه سببيًا لاختيار الميزات المستقر (CGDFS)، والذي يعيد صياغة اختيار الميزات كعملية استدلال تقريبي للحالة اللاحقة (approximate posterior inference) على المجموعات الفرعية للميزات. بدلاً من البحث عن مجموعة فرعية مثلى واحدة، يقوم CGDFS بأخذ عينات من توزيع المجموعات الفرعية المحتملة.

يتكون إطار العمل من ثلاثة مكونات أساسية:

أ. تمثيل الميزات والانتشار القبلي (Diffusion Prior)

الاسترخاء المستمر (Continuous Relaxation): بدلاً من تحسين متجه ثنائي منفصل $z \in \{0,1\}^p$ ، يستخدم CGDFS قناع اختيار مستمر $s \in [0,1]^p$ . وهذا يسمح بالاستدلال القائم على التدرج.
بناء مجمع الأقنعة (Mask Pool Construction): يتم إنشاء مجمع متنوع من الأقنعة المرشحة باستخدام طرق استدلالية متنوعة (الاختيار العشوائي، LASSO، المعلومات المتبادلة، الغابة العشوائية، إلخ) لالتقاط التحيزات الهيكلية المختلفة.
نموذج الانتشار كنموذج قبلي متعلم: يتم تدريب نموذج انتشار قائم على الدرجة (score-based diffusion model) على مجمع الأقنعة هذا.
- العملية الأمامية (Forward Process): تضيف ضوضاء غاوسية إلى الأقنعة الصالحة.
- العملية العكسية (Reverse Process): يتعلم النموذج التنبؤ بالضوضاء، مما يؤدي فعليًا إلى تعلم دالة الدرجة (score function) $\nabla_s \log p(s)$ .
- الدور: يلتقط هذا النموذج القبلي المتعلم التبعيات الهيكلية المعقدة (التكرار، التكامل) بين الميزات، مما يوجه البحث نحو المناطق المعقولة في المساحة التوافقية دون الحاجة إلى تعداد صريح.

ب. الاحتمالية القائمة على الاستقرار (Stability-Based Likelihood)

تقيم دالة الاحتمالية المجموعات الفرعية للميزات بناءً على معيارين عبر $E$ من البيئات المتميزة:

الأداء التنبؤي: متوسط الخسارة $\bar{\ell}(s)$ عبر البيئات.
الاستقرار (المتانة): تباين الخسارة $\text{Var}_e(\ell_e(s))$ عبر البيئات.

تُعرف دالة الهدف $U(s)$ كالتالي:
$U(s) = \bar{\ell}(s) + \lambda_{var} \cdot \text{Var}_e(\ell_e(s))$
يتم تعريف الاحتمالية ضمنيًا كـ $p(D|s) \propto \exp(-U(s))$ . يضمن هذا أن المجموعات الفرعية ذات التباين العالي (غير المستقرة عبر البيئات) يتم معاقبتها، حتى لو كان متوسط دقتها مرتفعًا.

ج. أخذ عينات الحالة اللاحقة الموجهة (Annealed Langevin Dynamics)

لتقريب الحالة اللاحقة $p(s|D) \propto p(D|s)p(s)$ ، يستخدم CGDFS ديناميكيات لانجفان الملدنة (Annealed Langevin Dynamics):
$s^{(k+1)} = s^{(k)} + \eta_k \left( \nabla_s \log p(s^{(k)}) + \beta \nabla_s \log p(D|s^{(k)}) \right) + \sqrt{2\eta_k}\epsilon^{(k)}$

تفكيك التدرج: يجمع التحديث بين درجة النموذج القبلي (المنطق الهيكلي من نموذج الانتشار) وتدرج الاحتمالية (الاستقرار والأداء من المتنبئات الخاصة بكل بيئة).
التوجيه السببي (التحيز الناعم): يدمج إطار العمل درجات التنبؤ السببي الثابت (ICP) ليس كقيود صارمة، بل كتحيز ناعم أثناء بناء مجمع الأقنعة. الميزات ذات درجات الثبات الأعلى تكون أكثر عرضة للظهور في مجمع التدريب لنموذج الانتشار، مما يوجه النموذج القبلي بمهارة نحو الهياكل السببية دون فرض قواعد جامدة.
أخذ العينات: يتم تشغيل سلاسل مستقلة متعددة لالتقاط عدم اليقين في الحالة اللاحقة.

د. التجزئة والتجميع (Discretization and Aggregation)

ترددات الاشتمال اللاحقة (Posterior Inclusion Frequencies): بدلاً من اختيار عينة واحدة، يجمع الأسلوب النتائج من عينات لاحقة متعددة. لكل ميزة $j$ ، يتم حساب التردد $\pi_j$ الذي تظهر به ضمن أفضل $k$ من الميزات المختارة عبر جميع العينات.
الاختيار النهائي: تتكون المجموعة الفرعية النهائية للميزات من $k$ الميزات ذات أعلى ترددات اشتمال، مما يوفر اختيارًا مستقرًا وقابلًا للتفسير يعكس عدم اليقين.

3. المساهمات الرئيسية

الصياغة الاحتمالية: إعادة صياغة اختيار الميزات تحت انزياح التوزيع كاستدلال تقريبي للحالة اللاحقة، والابتعاد عن التقديرات النقطية الحتمية نحو توزيع فوق المجموعات الفرعية.
الانتشار القائم على النموذج القبلي: تقديم نموذج انتشار قائم على البيانات لتعلم نموذج قبلي مهيكل للأقنعة، مما يسمح باستكشاف قابل للتوسع للمساحة التوافقية والتقاط تبعيات الميزات (التكرار/التكامل).
الاحتمالية الواعية بالاستقرار: تعريف احتمالية تعمل على تحسين الدقة وتباين البيئات بشكل مشترك، مما يحول الثبات السببي إلى تحيز استقرائي ناعم.
أخذ العينات الموجه: تطوير إجراء أخذ عينات "لانجفان" موجه وملدن يجمع بين النموذج القبي المتعلم وهدف الاستقرار، متجنبًا عثرات التحسين المنفصل.
التكامل السببي الناعم: إظهار كيفية دمج الإشارات السببية (ICP) كتوجه ناعم ضمن إطار عمل احتمالي، مما يجعل النظام قويًا تجاه الافتراضات السببية غير الكاملة.

4. النتائج التجريبية

قيم المؤلفون CGDFS على 12 مجموعة بيانات حقيقية (جداول) (من UCI وOpenML) تغطي مهام التصنيف والانحدار، مع إنشاء انزياحات توزيع اصطناعية.

الأداء التنبؤي (RQ1): حقق CGDFS باستمرار أعلى F1-macro (للتصنيف) وأقل MSE (للانحدار) مقارنة بالنماذج المرجعية (LASSO، MI، الغابة العشوائية، اختيار الاستقرار، Greedy Forward، وICP).
المتانة والاستقرار (RQ2): أظهر CGDFS تباينًا أقل بكثير في الأداء عبر البيئات مقارنة بالطرق الأخرى. لقد نجح في الموازنة بين الدقة العالية والاستقرار، بينما كانت طرق مثل ICP تقلل التباين على حساب متوسط الدقة.
دراسة الاستئصال (Ablation Study) (RQ3):
- إزالة النموذج القبلي للانتشار: أدى ذلك إلى تدهور كبير في الأداء، مما يثبت أن النموذج القبلي ضروري للتنقل في المساحة التوافقية.
- استبدال أخذ العينات بالتحسين (Grad-Stab): أدى إلى تباين أعلى وحساسية أكبر للقيم الأولية، مما يسلط الض الضوء على فائدة أخذ عينات من حلول متعددة عالية الاحتمالية.
- إزالة التوجيه السببي (ICP): ظل الأداء تنافسيًا، مما يؤكد أن احتمالية الاستقرار هي المحرك الأساسي، بينما يعمل ICP كمسرع مفيد.
عدم اليقين والقابلية للتفسير (RQ4): وفرت ترددات الاشتمال اللاحقة مقياسًا كميًا لعدم يقين الميزات. أظهر CGDFS تداخلًا أعلى في الميزات المختارة عبر بذور عشوائية مختلفة مقارنة بالنماذج المرجعية، مما يشير إلى قدرة أكبر على التكرار.

5. الأهمية والتأثير

الذكاء الاصطناعي القوي (Robust AI): يعالج CGDFS فجوة حرجة في نشر الذكاء الاصطناعي في البيئات الديناميكية الواقعية حيث تنزاح توزيعات البيانات. فهو يوفر طريقة مبدئية لاختيار الميزات التي تعمم لما وراء مجموعة بيانات التدريب.
ما وراء الحتمية: من خلال معاملة اختيار الميزات كمسألة استدلال احتمالي، يقر المنهج بعدم اليقين المتأصل في البيانات عالية الأبعاد، متجنبًا هشاشة اختيار مجموعة فرعية واحدة "مثلى".
القابلية للتوسع: يسمح استخدام نماذج الانتشار والاسترخاء المستمر للمنهج بالتوسع إلى مجموعات بيانات عالية الأبعاد حيث يكون البحث التواففي التقليدي أو الاكتشاف السببي الصارم غير ممكن حسابيًا.
القابلية للتطبيق العملي: لا يتطلب إطار العمل بيانات تدخلية أو رسومًا بيانية سببية صريحة، مما يجعله قابلًا للتطبيق على البيانات الرصدية في مجالات مثل الرعاية الصحية، والتمويل، والعدالة الخوارزمية حيث غالبًا ما تكون الهياكل السببية غير معروفة.

باختصار، يمثل CGDFS تقدمًا مهمًا في التعلم الآلي المستقر من خلال توحيد مبادئ الثبات السببي، ونماذج الانتشار التوليدية، والاستدلال البايزي لحل مشكلة اختيار الميزات تحت انزياح التوزيع.