ملخص تقني: تقييم التدخلات القائمة على التنبؤ مع وضع صانعي القرار البشريين في الاعتبار

بيان المشكلة

تنتشر أنظمة القرار الآلية (ADS) بشكل متزايد لدعم اتخاذ القرار البشري في السياقات ذات العواقب الوخيمة مثل العدالة الجنائية، والرعاية الصحية، والتعليم. وبينما يركز بحث تعلم الآلة غالبًا على تقييم دقة النماذج التنبؤية مقابل مجموعات بيانات مرجعية، فإن هذه التقييمات تفشل في استيعاب التفاعل المعقد بين البشر والخوارزميات. وتحديدًا، تعتمد التصميمات التجريبية الحالية لتقييم التدخلات القائمة على التنبؤ على افتراضات تبسيطية حول صنع القرار البشري لاستخلاص التقديرات السببية.

تتمثل المشكلة الجوهرية المحددة في أن خيارات تصميم تجريبي معينة يمكن أن تسبب تحيزات معرفية لدى صانعي القرار البثريين، مما يغير أحجام التأثير الملحوظة بشكل كبير. تفترض النماذج القائمة حاليًا نموذج "الاستقلالية عن الحالة" حيث لا يؤثر الوضع العلاجي لأحد موضوعات القرار على موضوع آخر (التزامًا بافتراض قيمة المعالجة المستقرة للوحدة أو SUTVA). ومع ذلك، تجادل هذه الورقة بأن صانعي القرار البشريين (مثل القضاة) يمتلكون حالات داخلية تتطور بناءً على تعرضهم للتوصيات الخوارزمية، مما يخلق تبعيات عبر موضوعات القرار تؤدي إلى انتهاك فرضية SUTVA وتؤدي إلى تقدير متحيز لأثر المعالجة.

المنهجية

الإطار النظري

يقترح المؤلفون نموذجًا سببيًا جديدًا لاتخاذ القرار البشري المدعوم خوارماثيًا يأخذ في الاعتبار صراحةً الحالة الداخلية لصانع القرار. وبخلاف النموذج القياسي المستقل عن الحالة، يقوم هذا الإطار بفهرسة القرارات ليس فقط حسب موضوع القرار ($i$) بل وأيضًا حسب صانع القرار ($k$).

يقدم النموذج متغيرين كامنين:

1. $J_{i,k}$: استجابة القاضي $k$ لوحدة المعالجة $i$، والتي تمثل احتمالية اتباع القاضي للتوصية الخوارزمية.
2. $\epsilon_{i,k}$: متغير عشوائي مستمد من توزيع برنولي بمعلمة $J_{i,k}$، يشير إلى ما إذا كان القاضي سيمتثل للتوصية أم لا.

يُعرَّف دالة القرار $D_{i,k}$ كدالة لقرار القاضي الافتراضي $\lambda_k(X_i)$ والتوصية الخوارزمية $\bar{D}(\hat{Y}_i)$، والمعدلة بواسطة الاستجابة $J_{i,k}$.

نماذج التحيز المعرفي

تصيغ الورقة ثلاثة نماذج محددة للتحيز المعرفي تجعل استجابة القاضي ($J_{i,k}$) ديناميكية ومعتمدة على خيارات التصميم التجريبي:

1. نموذج التعرض للمعالجة: تزديد الاستجابة مع زيادة متوسط التعرض للمساعدة التنبؤية. قد يعتمد القضاة على معلومات متسقة بدلاً من تعديل البروتوكولات لكل حالة، مما يؤدي إلى امتثال أعلى بعد التعرض المتكرر.
2. نموذج قيود القدرة: تنخفض الاستجابة مع زيادة معدل التنبؤات الإيجابية (عالية المخاطر). في البيئات عالية المخاطر، قد يصل صانعو القرار إلى عتبة يصبحون بعدها أقل استجابة لمزيد من التنبيهات "عالية المخاطة".
3. نموذج الثقة المنخفضة: تنخفض الاستجابة مع زيادة معدل الخطأ الملحوظ للخوارذج. إذا لاحظ القضاة النتائج الفعلية ورصدوا أخطاء التنبؤ (مثل الإيجابيات الكاذبة)، فإن ثقتهم وامتثالهم اللاحق يتضاءلان.

التحليل التجريبي

يثبت المؤلفون رياضيًا أنه بموجب هذه النماذج، فإن القرار $D_{i,k}$ ليس مستقلًا شرطيًا عن التعيينات العلاجية السابقة $(Z_{1,k}, \dots, Z_{i-1,k})$ بالنظر إلى المعالجة الحالية $Z_{i,k}$. وهذا يشكل انتهاكًا لفرضية SUTVA.

ولإثبات التأثير العملي، تقارن الورقة بين مخططين للعشوائية:

• العشوائية الموحدة: يتم توزيع الحالات عشوائيًا على المستوى الفردي (مستوى واحد)، مما يؤدي إلى تعرض مختلط لكل قاضٍ.
• العشوائية ثنائية المستوى: يتم توزيع القضاة على مجموعات علاجية (على سبيل المثال، قاضٍ واحد يرى حالات معالجة بنسبة 100%، وآخر بنسبة 0%)، مما يخلق ملفات تعريف تعرض متميزة.

التجارب شبه الاصطناعية

يتحقق المؤلفون من نتائجهم النظرية باستخدام بيانات من تجربة عشوائية محكومة (RCT) حقيقية أجراها إيماي وآخرون [2020] بخصوص درجات تقييم السلامة العامة (PSA) في مقاطعة دان، ويسكونسن. يقومون بمحاكاة عدة قضاة وتطبيق نماذج التحيز الثلاثة لتوليد تسلسلات قرار بديلة. ويلاحظون كيف يغير تعديل خيارات التصميم التجريبي (تعيين المعالجة، عتبات النموذج، والدقة) من متوسط أثر المعالجة (ATE) المقدر.

المساهمات الرئيسية

1. صياغة الاستجابة الديناميكية: تنتقل الورقة إلى ما هو أبعد من افتراض أن استجابة القاضي هي سمة ثابتة ومتأصلة. فهي تصيغ كيفية كون الاستجابة دالة ديناميكية لخيارات التصميم التجريبي، وتحديدًا تعيين المعالجة ($Z$)، ومعدلات التنبؤ الإيجابي للنموذج ($P(\hat{Y}=1)$)، وصحة النموذج ($P(\hat{Y}=Y)$).
2. إثبات انتهاك SUTVA: يقدم المؤلفون براهين رياضية تظهر أن النماذج السلوكية المقترحة تسبب تداخلاً بين موضوعات القرار، مما ينتهك فرضية SUTFA المستخدمة عادة في الاستدلال السببي. وهذا يبطل المقدرات القياسية التي تفترض الاستقلال.
3. إثبات انحياز التقدير: توضح الورقة أن مخططات العشوائية القياسية (المستوى الواحد) يمكن أن تؤدي إلى تقليل أو زيادة تقدير متوسط أثر المعالجة (ATE) اعتمادًا على نموذج التحيز النشط. فعلى سبيل المثال، تحت نموذج التعرض للمعالجة، تؤدي العشوائية الموحدة إلى تقليل تقدير ATE، بينما تحت نموذج قيود القدرة، قد تؤدي إلى زيادته.
4. المحاكاة التجريبية: باستخدام تجارب شبه اصطناعية مبنية على إيماي وآخرون [2020]، يوضح المؤلفون أن تعديل خيارات التصميم (مثل نسبة الحالات المعالجة لكل قاضٍ أو عتبة النموذج) يمكن أن يغير تقديرات الأثر السببي بمقدار يصل إلى 10 أضعاف لمجموعات ديموغرافية محددة.

النتائج

• انتهاك SUTVA: يؤكد التحليل النظري أنه عندما تعتمد استجابة القاضي على التعرض التاريخي، فإن الحالة العلاجية لحالة واحدة تؤثر على القرار في الحالات اللاحلة التي يتعامل معها نفس القاضي. تفشل اختبارات التبديل القياسية المستخدمة في الدراسات السابقة (مثل إيماي وآخرون، 2020) في اكتشاف هذا التداخل لأنها تحافظ على متوسط نسبة المعالجة، مما يجعل ترتيب الحالات غير ذي صلة بالإحصائية المختبرة.
• اتجاه التحيز:
  • التعرض للمعالجة: تؤدي العشوائية الموحدة إلى تقليل تقدير أثر المعالجة مقارنة بالعشوائية ثنائية المستوى. وتتسع الفجوة كلما أصبح القضاة أكثر حساسية للتعرض السابق واختلاف القرارات الافتراضية عن الموصى بها.
  • قيود القدرة: تؤدي العشوائية الموحدة إلى زيادة تقدير أثر المعالجة. وتزديد الفجوة مع ارتفاع معدلات التنبؤ الإيجابي.
  • الثقة المنخفضة: تؤدي دقة الخوارزمية المنخفضة إلى تقليل الاستجابة وتقليل تقدير أثر المعالجة، مما يؤثر بشكل خاص على مقاييس صحة القرار.
• نتائج المحاكاة: في التجارب شبه الاصطناعية، أدى تغيير نظام التعرض للمعالجة (على سبيل المثال، تخصيص 100% من الحالات لقاضٍ مقابل 50%) إلى انحرافات كبيرة في ATE المقاس. وتحديدًا، بالنسبة للموضوعات من الإناث غير البيض، تباين الأثر السببي المقدر على القرارات بعامل قدره 10 اعتمادًا على نظام التعرض.

الأهمية والادعاءات

تدعي الورقة أن الصلاحية العلمية لمخططات تقييم التدخل القائمة على التنبو في نشر أنظمة القرار الآلية (ADS) معرضة للخطر حاليًا بسبب تجاهل الطبيعة الديناميكية لصنع القرار البشري. ومن خلال التعامل مع التدخلات القائمة على التنبؤ كمشكلات تنبؤ معزولة بدلاً من تدخلات سياساتية، يخاطر الباحثون باستخلاص استنتاجات خاطئة حول فعالية هذه الأنظمة.

يجادل المؤلفون بأن التصميمات التجريبية المستقبلية يجب أن تأخذ في الاعتبار "الإنسان في الحلقة" (human-in-the-loop) كعنيد ديناميكي يتشكل سلوكه بواسطة التجربة نفسها. ويقترحون أن:

• العشوائية القياسية أحادية المستوى غير كافية لتقدير التأثير السببي للأنظمة التنبؤية عند نشرها كسياسات كاملة النطاق.
• ضرورة استخدام تصميمات العشوائية ثنائية المستوى (العشوائية على مستوى صانع القرار) أو التصميمات متعددة العوامل لتقدير آثار المعالجة بدقة في ظل وجود تحيز القاضي.
• تمتد هذه النتائج إلى ما وراء العدالة الجنائية لتشمل مجالات أخرى مثل الرعاية الصحية والتعليم، حيث من المرجح وجود تحيزات معرفية وتأثيرات تداخل مماثلة.

يعمل هذا العمل كدعوة للعمل للمجتمع البحثي لتنقيح النماذج التجريبية لتعكس واقع التفاعل بين الإنسان والخوارزمية بشكل أفضل، مما يضمن أن التقديرات السببية تعكس التأثير الحقيقي للتدخلات التنبؤية على النتائج النهائية.