🤖 machine learning

Bounding the Causal Impact of ML-assisted Decision-Making via Counterfactual Correctness

تقترح هذه الورقة طريقة لتحديد الهوية الجزئي تستفيد من بيانات التجارب العشوائية المحكومة السابقة وافتراضات الرتابة فيما يتعلق بصحة الحالات المقابلة للواقع وثقة المجموعات الفرعية لبناء حدود على الأثر السببي لنماذج تعلم الآلة المحدثة، مما يعالج عدم جدوى إجراء تجارب متكررة لكل عملية تحديث للنموذج.

المؤلفون الأصليون: Jonathan Zhang, Erik Skalnes, Jacob Chen, Michael Oberst

نُشر 2026-07-27

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jonathan Zhang, Erik Skalnes, Jacob Chen, Michael Oberst

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الكرة البلورية ومختبر الكرة البلورية

تخيل أنك طبيب، أو قاضٍ، أو معلم. لديك أداة جديدة وقوية: ذكاء اصطناعي (AI) يتنبأ بالمستقبل. قد يخمن ما إذا كان المريض مصاباً بمرض ما، أو إذا كان المتهم سيعود لارتكاب الجريمة، أو إذا كان الطالب سيفشل في الفصل الدراسي. لكن الجزء الصعب هنا هو: مجرد كون الذكاء الاصطناعي جيداً في "التخمين" لا يعني بالضرورة أنه جيد في "تغيير" المستقبل نحو الأفضل. ربما يكون التخمين صحيحاً، لكن الطبيب يصاب بالذعر ويقدم علاجاً غير ضروري. وربما يكون التخمين خاطئاً، فيقوم القاضي بسجن شخص بريء.

لمعرفة ما إذا كانت أدوات الذكاء الاصطناعي هذه تساعد البشر حقاً، يقوم العلماء عادةً بإجراء "تجربة عشوائية منضبطة" (RCT). فكر في هذا الأمر كأنه اختبار تذوق. تقسم مجموعة من الناس إلى نصفين: نصف يحصل على نصيحة الذكاء الاصطناعي، والنصف الآخر يتخذ قراراته بمفرده. ثم ترى من سيحصل في النهاية على نتائج أفضل. لكن هناك عقبة: نماذج الذكاء الاصطناعي يتم تحديثها باستمرار، تماماً مثل البرامج على هاتفك. إذا قمت بتحديث النموذج لجعله أكثر ذكاءً، فلا يمكنك إجراء اختبار تذوق جديد ومكلف في كل مرة. لذا، يواجه العلماء لغزاً: لدينا نتائج الذكولة الاصطناعي "القديم"، ونعلم أن الذكاء الاصطناعي "الجديد" يقدم تخمينات أفضل. ولكن كيف نعرف ما إذا كان الذكاء الاصطني الجديد سينقذ الأرواح أو يحسن العدالة دون إجراء تجربة جديدة بالكامل؟ تتناول هذه الورقة البحثية هذا المشكل تحديداً، حيث تقدم طريقة لتقدير تأثير ذكاء اصطناعي جديد باستخدام البيانات التي نمتلكها بالفعل، دون الحاجة للبدء من الصفر.

عمل المحقق في عالم "ماذا لو"

في هذه الدراسة، يعمل الباحثون كمحققين يحاولون حل لغز باستخدام أدلة من مسرح جريمة ماضٍ. إنهم يبحثون في نوع معين من الذكاء الاصطناعي الذي يساعد البشر في اتخاذ قرارات عالية المخاطر. الفكرة الجوهرية هي استخدام "الواقع المضاد" (counterfactuals) — وهو مصطلح معقد يعني سيناريوهات "ماذا لو". إنهم يسألون: "لو استخدمنا هذا الذكاء الاصطناعي الجديد والأكثر ذكاءً على هؤلاء الأشخاص من التجربة القديمة، ماذا كان سيحدث؟"

يقترح المؤلفون طريقة جديدة ذكية لرسم "شبكة أمان" حول الإجابة. فبدلاً من إعطاء تخمين واحد محفوف بالمخاطر حول أداء الذكاء الاصطناعي الجديد، يقومون بحساب نطاق — حد أدنى وحد أقصى. فكر في الأمر كالتنبؤ بالطقس؛ بدلاً من قول: "ستمطر في الساعة 2:00 تماماً"، تقول: "ستمطر في وقت ما بين 1:30 و2:30". الهدف هو جعل هذا النطاق الزمني أصغر وأكثر دقة قدر الإمكان.

المكون السري: أن تكون على صواب أمر مهم

يكمن السحر في طريقتهم في قاعدتين جديدتين أضافوهما إلى كتاب قواعد المحقق.

القاعدة الأولى: مكافأة "التخمين الصحيح"
تخيل طالباً يؤدي اختباراً. إذا قال الذكاء الاصطناعي: "الإجابة هي أ"، واتبع الطالب تلك النصيحة، وتبين أن "أ" كانت بالفعل الإجابة الصحيحة، فإن الطالب يحصل على درجة جيدة. يفترض الباحثون أنه إذا قدم الذكاء الاصطناعي الجديد تخميناً صحيحاً، فإن النتيجة ستكون على الأقل بجودة نتيجة تخمين ذكاء اصطناعي قديم أقل دقة ولكنه كان خاطئاً. الأمر يشبه قول: "إذا سلكت الطريق الصحيح، فلن ينتهي بك المطاف في مكان أسوأ مما لو سلكت طريقاً خاطئاً". وهذا ما يسمى "الصحة المضادة للواقع".

القاعدة الثانية: الثقة في المرشد الأكثر ذكاءً
القاعدة الثانية تتعلق بالثقة. إذا كان الذكاء الاصطناعي الجديد أكثر دقة بشكل عام من القديم، فإن الناس (مثل الأطباء أو القضاة) سيثقون به أكثر. إذا قال الذكاء الاصطناعي "انطلق"، وكان عادةً على حق، فسوف ينطلق الناس. وإذا قال "توقف"، وكان عادةً على حق، فسوف يتوقفون. يفترض الباحثون أنه عندما يكون الذكاء الاصطناعي على حق، فإن الدقة العالية تؤدي إلى نتائج أفضل. ولكن عندما يكون الذكاء الاصطناعي مخطئاً، فإن الدقة العالية (وبالتالي زيادة الثقة) يمكن أن تؤدي في الواقع إلى نتائج أسوأ لأن الناس يتبعون النصيحة السيئة بشكل أعمى.

خريطة "المسارات المتفرعة"

لوضع هذه القواعد موضع التنفيذ، أنشأ المؤلفون خريطة بها "فروع" مختلفة لكل شخص في التجربة. لكل شخص، يتحققون مما يلي:

هل قدم الذكاء الاصطناعي الجديد نفس التنبؤ الذي قدمته النماذج القديمة؟ إذا كان الأمر كذلك، فينظرون في كيفية تغير الأداء.
هل كان تنبؤ الذكاء الاصطناني الجديد صحيحاً؟ إذا خمن الذكاء الاصطناعي الجديد الإجابة الصحيحة (ونحن نعلم ذلك لأن لدينا "البيانات الحقيقية" من البيانات الماضية)، فإنهم يستخدمون قاعدة "التخمين الصحيح" لتضييق تقديرهم.
هل كان التنبؤ محايداً؟ أحياناً يقول الذكاء الاصطناعي: "لا أعرف، قرر أنت". في هذه الحالات، يُفترض أن النتيجة هي نفسها كما لو لم يكن هناك ذكاء اصطناعي على الإطلاق.

من خلال الجمع بين هذه الفروع، يمكنهم حساب نطاق "أكثر إحكاماً" لتأثير الذكاء الاصطناعي الجديد. وفي محاكاتهم، أنتجت هذه الطة الجديدة نطاقاً أضيق بكثير من الطرق السابقة. على سبيل المثال، في أحد الاختبارات، قالت الطريقة القديمة إن النتيجة يمكن أن تكون في أي مكان بين 0.43 و0.76 (فجوة واسعة قدرها 0.33). أما الطريقة الجديدة فقد ضيقت النطاق إلى 0.43 و0.76؟ مهلاً، بالنظر إلى البيانات، أعطت الطريقة الجديدة عرضاً قدره 0.331 مقارنة بـ 0.704 للطريقة القديمة في التجربة الأولى. وفي حالة أخرى، ضغطت الطريقة الجديدة النطاق إلى عرض قدره 0.121، بينما كانت الطريقة القديمة لا تزال عالقة عند 0.362.

المحاكاة: قاعة محكمة افتراضية

لاختبار فكرتهم، لم يكتفِ المؤلفون بالقيام بالرياضيات على الورق؛ بل بنوا قاعة محكمة افتراضية. استخدموا بيانات حقيقية من دراسة حيث تم تزويد القضاة بدرجات تقييم المخاطر للمتهمين. قاموا بمحاكاة سيناريو يتم فيه تقديم نموذج ذكاء اصطناعي جديد.

لقد أنشأوا "حقيقة أرضية" — قائمة سرية توضح من منهم سيفشل فعلياً في المثول أمام المحكمة إذا تم إطلاق سراحه. وهذا شيء لا نعرفه عادة في الحياة الواقعية، لكن بالنسبة للمحاكاة، استطاعوا رؤيته. ثم أجروا الحسابات:

التجربة 1 و2: اختبروا أنظمة تنبيه جديدة أكثر عدوانية (تحدد المزيد من الأشخاص). أعطت الطريقة القديمة نطاقات واسعة وغير مفيدة. أما الطريقة الجديدة، باستخدام قواعد "الصحة"، فقد أعطت حدوداً أكثر إحكاماً ومعلوماتية.
التجربة 3 و4: اختبروا ما يحدث إذا لم تكن هناك تجربة سابقة على الإطلاق، فقط بيانات تاريخية. مرة أخرى، قدمت الطريقة الجديدة حدوداً أضيق، خاصة عندما كان الذكاء الاصطناعي الجديد متحفظاً (يحدد عدداً أقل من الناس).
التجربة 5: حاولوا كسر طريقتهم عبر إخفاء بعض الإجابات "الحقيقية" (محاكاة للبيانات المفقودة). وحتى في هذه الحالة، اتسعت الحدود قليلاً (من 0.140 إلى 0.204)، لكنها ظلت تحتوي على الإجابة الحقيقية، مما أظهر أن الطريقة قوية ومتينة.

الحكم النهائي

لا تدعي الورقة البحثية أنها حلت مشكلة تقييم الذكاء الاصطناعي للأبد. فهي تعترف بأنه إذا كان افتراض "الصحة" خاطئاً (على سبيل المثال، إذا تجاهل الطبيب تنبؤاً صحيحاً للذكاء الاصطناعي)، فقد تفشل الطريقة. كما تشير أيضاً إلى أنه إذا كانت النتيجة "الحقيقية" مفقودة للكثير من الناس، فإن الحدود ستصبح أوسع.

ومع ذلك، تشير المحاكاة إلى أنه من خلال استخدام الفكرة البسيطة المتمثلة في أن "أن تكون على صواب أفضل من أن تكون على خطأ"، يمكننا الحصول على صورة أوضح لكيفية أداء الذكاء الاصطناعي الجديد. الأمر يشبه الترقية من عدسة واسعة وضبابية إلى عدسة زووم حادة ودقيقة. لا يمكننا رؤية المستقبل بشكل مثالي، لكن يمكننا رؤيته بدقة أكبر بكثير مما سبق. يوضح المؤلفون أنه من خلال الاستفادة من حقيقة أننا غالباً ما نعرف "الإجابة الصحيحة" بعد وقوع الحدث، يمكننا تقديم تخمينات أذكى حول التأثير المستقبلي لأدوات الذكاء الاصطناعي الخاصة بنا دون الحاجة إلى إجراء تجارب جديدة لا تنتهي.

ملخص تقني: حصر الأثر السببي لاتخاذ القرار بمساعدة تعلم الآلة عبر الصحة المقابلة للواقع

بيان المشكلة

يتم نشر نماذج التعلم الآلي التنبؤية (ML) بشكل متزايد في المجالات عالية المخاطر (مثل الرعاية الصحية، والعدالة الجنائية) لمساعدة صانعي القرار البشريين. وبينما توفر التجارب العشوائية المنضبطة (RCTs) أدلة عالية الجودة حول الأثر السببي لتدخلات محددة في تعلم الآلة، إلا أن هناك فجوة حرجة: غالباً ما يكون من غير الممكن إجراء تجارب عشوائية منضبطة جديدة لكل تحديث أو عملية إعادة تدريب للنموذج. وبناءً على ذلك، إذا تم تطوير نموذج جديد ذي دقة تنبؤية أعلى بعد تجربة عشوائية منضبطة أولية، فلا يوجد دليل سببي مباشر فيما يتعلق بتأثيره اللاحق على النتائج (مثل بقاء المريض على قيد الحياة، أو تكرار الجريمة).

حاولت الأعمال السابقة معالجة ذلك عبر أطر تحديد جزئي. على سبيل المثال، يفترض نيرسيان وآخرون [2025] أن النتائج لا تختلف بين النماذج ذات التنبؤات المتفقة، بينما خفف تشين وأوبرست [2025] هذا الافتراض بالسماح باختلافات في النتائج على مستوى الفرد بناءً على مقاييس الأداء العالمية (مثل الدقة)، مدفوعين بثقة المستخدم. ومع ذلك، تفشل هذه الأطر في دمج صحة التنبؤ على مستوى الفرد. ففي العديد من السيناريوهات، من المعقول توقع أن يؤدي التنبؤ الصحيح إلى نتائج غير سيئة مقارنة بالتنبؤ غير الصحيح، وهو المفهوم الذي يسميه المؤلفون "الصحة المقابلة للواقع" (Counterfactual Correctness).

المنهجية

يقترح المؤلفون نهج تحديد جزئي لبناء حدود لأثر النموذج الجديد غير المختبر ( $\pi_e$ ) باستخدام بيانات من تجربة عشوائية منضبطة سابقة تضمنت مجموعة من النماذج المختبرة ( $T$ ).

الإطار السببي

يتم نمذجة عملية توليد البيانات كنموذج سببي هيكلي (SCM) ممثل برسم بياني موجه غير حلقي (DAG). المتغيرات الرئيسية تشمل:

$D$ : ذراع التجربة العشوائية المنضبطة (التحكم مقابل العلاج).
$\Pi$ : النموذج المستخدم للتنبؤ.
$X$ : المتغيرات المصاحبة/الميزات.
$Z$ : "التسمية الحقيقية" (الحقيقة الأرضية)، المرصودة لجميع الأفراد في التجربة العشوائية المنضبطة.
$\hat{Z}$ : التسمية المتوقعة.
$M$ : مقياس أداء (مثل الدقة) مشروط بـ $X$ و $\Pi$ .
$A$ : إجراء صانع القرار (غير مرصود/كامن).
$Y$ : النتيجة اللاحقة.

الهدف هو تقدير $E[Y(\pi_e)]$ ، أي النتيجة المتوقعة لو تم نشر النموذج غير المختبر $\pi_e$ .

الافتراضات الهيكلية

لاستخلاص الحدود، يقدم المؤلفون أربعة افتراضات رئيسية:

الصحة المقابلة للواقع (الافتراض 3.1): التنبؤات الصحيحة لا تسبب ضرراً. رسمياً، بالنسبة لتسمية حقيقية ثابتة $z$ ، إذا تنبأ النموذج بـ $z$ (بشكل صحيح)، فإن النتيجة تكون على الأقل بجودة التنبؤ بـ $z' \neq z$ (بشكل غير صحيح)، مع ثبات العوامل الأخرى.
- الاختبار (Falsification): يمكن اختبار ذلك من خلال مقارنة نتائج نموذجين مختبرين على مجموعة البيانات حيث يكون أحدهما صحيحاً والآخر خاطئاً.
رتابة الأداء المشروط (الافتراض 3.2): النتائج المحتملة رتيبة بالنسبة لأداء النموذج، بشرط الصحة.
- إذا كان التنبؤ صحيحاً ( $\hat{z}=z$ )، فإن الأداء الأعلى يؤدي إلى نتائج أفضل (أو مساوية).
- إذا كان التنبؤ غير صحيح ( $\hat{z} \neq z$ )، فإن الأداء الأعلى يؤدي إلى نتائج أسوأ (أو مساوية) (مما يعكس زيادة الثقة في نموذج خاطئ بثقة عالية).
- الاختبار (Falsification): يتم الاختبار بمقارنة النماذج ذات مستويات الأداء المختلفة ولكن مع تنبؤات متطابقة على مجموعة البيانات حيث يكون التنبؤ صحيحاً.
التنبؤ المحايد (الافتراض 3.3): يوجد تنبؤ "محايد" (مثل الإحالة إلى البشر) حيث لا يؤثر أداء النموذج على النتيجة. وهذا يربط ذراع التحكم بتقييم النماذج الجديدة.
النتائج المحدودة (الافتراض 3.4): متغير النتيجة $Y$ محصور ضمن نطاق معلوم $[Y_{min}, Y_{max}]$ .

حدود التحديد الجزئي

يحدد المؤلفون تقسيمات لمساحة النموذج والمتغيرات بناءً على ما إذا كانت النماذج المختبرة تتفق مع النموذج غير المختبر $\pi_e$ وترتيب أدائها. كما يقدمون محدد الفروع ( $b_L, b_U$ ) الذي يخصص كل زوج من $(x, z)$ لواحد من أربعة فروع منطقية:

محايد: $\pi_e$ يقوم بالتنبؤ المحايد.
رتيب (Monotonic): $\pi_e$ يتفق مع النماذج المختبرة، ويسمح ترتيب الأداء بالحصر عبر الرتابة.
صحيح: $\pi_e$ يقوم بالتنبؤ الصحيح، ولكن لا يوجد نموذج مختبر يتفق معه (أو أنها جميعاً "أفضل" بطريقة لا تساعد في الحد الأدنى). هنا، يعتمد الحد على افتراض أن التنبؤ الصحيح ليس أسوأ من أي تنبؤ غير صحيح.
افتراضي (Default): تراجع محافظ إلى $Y_{min}$ (الحد الأدنى) أو $Y_{max}$ (الحد الأعلى).

يتم بناء الحدود الناتلة $L(\pi_e)$ و $U(\pi_e)$ عن طريق أخذ التوقع للحدود النقطية عبر توزيع $X$ و $Z$ .

التقدير

يقدم البحث مقدرات متسقة وتتوزع تقاربياً بشكل طبيعي لهذه الحدود. تعالج استراتيجية التقدير ثلاثة تحديات:

تقدير التوقعات الشرطية $E[Y|X, Z, \Pi]$ عبر نماذج العوامل المزعجة (nuisance models).
التعامل مع معاملات الـ max/min غير الناعمة (مثل اختيار أسوأ/أفضل أداء في مجموعة).
تقدير مقاييس الأداء ( $M$ ) من بيانات محدودة بدلاً من افتراض المعرفة المطلقة.

يقترح المؤلفون مقدراً معززاً بوزن الانحدار العكسي (AIPW). وتحت شروط هامشية محددة (تضمن وجود فصل كافٍ بين أداء النماذج والنتائج) ومعدلات تقارب لدوال العوامل المزعجة، يتم إثبات اتساق مقدراتها وتوزعها التقاربي الطبيعي، مما يسمح ببناء فترات ثقة صالحة.

المساهمات الرئيسية

توسيع الأطر السببية: يوسع هذا العمل إطار تشين وأوبرست [2025] من خلال دمج صحة التنبؤ على مستوى الفرد. ويفترض أنه إذا تنبأ نموذج جديد بشكل صحيح، فإن النتيجة لن تكون أسوأ مما لو كان التنبؤ غير صحيح.
دمج أداء المجموعات الفرعية: على عكس العمل السابق الذي يعتمد على مقاييس الأداء العالمية، يدمج هذا الإطار أداء التنبؤ الشرطي للمجموعات الفرعية، مما يعكس الحدس بأن صانعي القرار يطورون قواعد استدلالية حول الأماكن التي يعمل فيها النماذج جيداً أو سيئاً.
التقدير القائم على البيانات: يقدم المؤلفون مقدرات متسقة للحدود لا تتطلب معرفة مسبقة بمقاييس أداء النموذج؛ بل يتم تقديرها من البيانات.
حدود أكثر إحكاماً: تُظهر النتائج النظرية والتجريبية أن دمج الصحة المقابلة للواقع يؤدي إلى حدود أكثر إحكاماً (أكثر إفادة) مقارنة بطرق التحديد الجزئي السابقة.

النتائج التجريبية

يقيم المؤلفون طريقتهم باستخدام محاكاة شبه اصطناعية تعتمد على مجموعة بيانات إماي وآخرون [2023] المتعلقة بقرارات الكفالة.

الإعداد: يقومون بمحاكاة سلوك القضاة ونتائج المتهمين (الفشل في المثول أمام المحكمة) تحت نماذج تنبيه مختلفة.
المقارنة: يقارنون حدودهم بالحدود المستمدة من تشين وأوبرست [2025].
النتائج:
- في جميع التجارب (تغيير عتبات التنبيه، إعادة التدريب، وغياب التجارب العشوائية المنضبطة)، أنتجت الطريقة المقترحة حدوداً أضيق باستمرار (على سبيل المثال، عرض قدره 0.12 مقابل 0.36 في إحدى التجارب).
- احتوت الحدود باستمرار على النتيجة المتوقعة الحقيقية.
- تشير دراسات الاستئصال (Ablation studies) إلى أن التحسن مدفوع أساساً بافتراض الصحة المقابلة للواقع وليس فقط بتصنيف الأداء حسب المتغيرات المصاحبة.
- تظل الطريقة قوية (وإن كانت بحدود أوسع) حتى عندما تكون التسميات الحقيقية ( $Z$ ) مفقودة جزئياً، بشرما إذا تحققت آليات محددة حول كيفية فقدان البيانات.

الأهمية والادعاءات

يزعم البحث تقديم حل عملي لتقييم الأثر السببي لنماذج تعلم الآلة المحدثة عندما يكون إجراء تجارب عشوائية منضبطة جديدة أمراً غير ممكن. ومن خلال الاستفادة من وجود تسميات الحقيقة الأرضية في التجارب السابقة، تستخدم الطريقة المعلومات "الاتجاهية" التي توفرها صحة التنبؤ لتضييق الحدود السببية.

يتسم المؤلفون بالتواضع في ادعاءاتهم، حيث يقرون بالقيود:

اختبارات الفساد (Falsification Tests): هي اختبارات قائمة على التوقع؛ قد لا يتم اكتشاف الانتهاكات على مستوى الفرد.
البيانات المفقودة: للطريقة قيود عندما تكون التسميات الحقيقية ( $Z$ ) مفقودة، رغم أنهم يناقشون آليات للتعامل مع ذلك.
المخرجات المستمرة: الإطار الحالي يفترض تنبؤات منفصلة؛ تتطلب المخرجات المستمرة عملية "تجزئة" (discretization) أو تطبيقاً مبسطاً.
البيانات الرصدية: يعتمد الإطار الحالي على بيانات التجارب العشوائية المنضبطة (RCT)؛ وقد تمت الإشارة إلى دمج البيانات الرصدية كتوجه مستقبلي.

في النهاية، يوفر هذا العمل إطاراً صارماً قائماً على الافتراضات للانتقال لما وراء الدقة التنبؤية والاستدلال حول الأثر السبدي اللاحث لأنظمة الذكاء الاصطناعي في بيئات اتخاذ القرار عالية المخاطر.