🤖 machine learning

Actions Have Consequences: Detecting Outcome Performativity using Intervention Testing

تقدم هذه الورقة "كشف اختبار (أ/ب) للأداء الناتجي" (OPAB)، وهو إطار عمل رسمي يستخدم اختبار التدخل للكشف عن الحالات التي تؤثر فيها التنبؤات سببياً على نتائجها الخاصة، مع اشتقاق والتحقق من حدود تعقيد العينة لتحديد الإعدادات التي يكون فيها هذا الكشف ممكناً أو مستحيلاً بسبب قيود البيانات.

المؤلفون الأصليون: Brandon Gower-Winter, Georg Krempl

نُشر 2026-07-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Brandon Gower-Winter, Georg Krempl

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك خبير في الأرصاد الجوية. عادةً، تكتفي بالنظر إلى السحب وتقول: "سوف تمطر". وتوقعاتك لا تغير الطقس؛ فالسماء تفعل ما تشاء بغض النظر عما تقوله. ولكن ماذا لو كان بإمكان توقعاتك تغيير الطقس؟ ماذا لو أنك في اللحظة التي تصرخ فيها "مطر!" للحشد، بدأت السحب تتجمع لأن الناس بدأوا بفتح مظلاتهم، وتحولت اتجاهات الرياح؟ في عالم الذكاء الاصطناعي، هذه الظاهرة الغريبة حقيقية، وتسمى الأدائية الناتجة (Outcome Performativity). يحدث هذا عندما تساعد تخمينّات الكمبيوتر حول المستقبل في خلق ذلك المستقبل بالفعل. فكر في ذكاء اصطناعي لبنك يتنبأ بمن سيتعثر في سداد القرض. إذا قال الذكاء الاصطناعي: "هذا الشخص يمثل مخاطرة"، ورفض البنك منحه القرض، فقد يفلس هذا الشخص بالفعل بسبب حرمانه من المال. لقد تسبب التوقع في النتيجة.

هذه مشكلة معقدة للعلماء لأنها تخلق حلقة مفرغة. إذا تعلم الذكاء الاصطناعي من بيانات تغيرت نتائجها بسبب توقعاته الخاصة، فقد يصاب بالارتباك، ظانًّا أنه عبقري بينما هو في الواقع مجرد "نبيّ يحقق نبوءاته بنفسه". السؤال الكبير هو: كيف يمكننا رصد هذا السلوك قبل أن نطلق العنان للذكاء الاصطناعي في العالم الحقيقي؟ نحن بحاجة إلى طريقة لاختبار ما إذا كانت توقعاتنا تحرك الخيوط سراً. وهنا يأتي دور منهج جديد يسمى OPAB (كشف الأدائية الناتجة عبر اختبار أ/ب)، والذي يعمل مثل محقق علمي ليرى ما إذا كان الذكاء الاصطناعي يتحكم في اللعبة سراً.

أدوات المحقق: OPAB

يقدم البحث طريقة تسمى OPAB، وهي في الأساس تجربة "ماذا لو" لتوقعات الذكاء الاصطناعي. لفهم كيفية عملها، تخيل أنك تدير مقصف مدرسة. تريد أن تعرف ما إذا كان إخبار الطلاب بأن "البيتزا سيئة" يجعلهم يأكلون بيتزا أقل فعلياً.

في تجربة عادية، قد تسأل الطلاب فقط عن رأيهم في البيتزا وترى كم سيأكلون. لكن هذا الأمر معيب لأن الطلاب الذين يعتقدون أن البيتزا سيئة قد يكونون أصلاً من أصحاب الأذواق الصعبة. التوقع (رأيهم) والنتيجة (الأكل) متشابكان معاً.

تقوم OPAB بفك هذا التشابك باستخدام تقنية تسمى اختبار التدخل (Intervention Testing). بد instead من ترك الطلاب يقررون ما يشعرون به، يقوم مدير المقصف برمي عملة معدنية لكل طالب. "صورة": تخبرهم "البيتزا رائعة!"، "كتابة": تخبرهم "البيتزا سيئة جداً!". أنت تفرض التوقع، متجاهلاً تماماً ما يعتقده الطالب أو من يكون. ثم تراقب ما يحدث. إذا كانت المجموعة التي قيل لها "البيتزا رائعة" تأكل أكثر بكثير من المجموعة التي قيل لها "البيتزا سيئة"، فقد أمسكت بالذكاء الاصطناعي (أو مدير المقصف) متلبساً. التوقع تسبب في تغيير السلوك.

قواعد اللعبة: متى يمكننا الإمساك بها؟

لم يكتف المؤلفون ببناء الكاشف فحسب، بل توصلوا أيضاً إلى تحديد عدد الطلاب (أو نقاط البيانات) التي تحتاجها لإجراء هذه التجربة لتكون متأكداً من أنك لا ترى مجرد صدفة. هم يسمون هذا تعقيد العينة (Sample Complexity).

فكر في الأمر كأنك تحاول سماع همسة في غرفة صاخبة. إذا كانت الهمسة عالية جداً (تأثير قوي)، فقد تحتاج فقط إلى عدد قليل من الأشخاص لسماعها. أما إذا كانت الهمسة تكاد لا تُسمع (تأثير ضئيل)، فقد تحتاج إلى استاد رياضي كامل لتكون متأكداً من أنك سمعتها ولم تتخيلها فقط.

يستعرض البحث ثلاثة "سيناريوهات" أو قواعد مختلفة لكيفية تأثير الذكاء الاصطناعي على العالم:

القاعدة البسيطة: التوقع يغير النتيجة مباشرة، مثل مفتاح سحري.
قاعدة النموذج: التوقع يغير النتيجة بناءً على التفاصيل المحددة للشخص (مثل عمره أو موقعه).
قاعدة الخطأ: التوقع يغير النتيجة فقط إذا ارتكب الذكاء الاصطناعي خطأً (مثل إخبار شخص سليم بأنه مريض).

لكل من هذه الحالات، استنتج المؤلفون صيغاً رياضية لحساب الحد الأدنى من "رميات العملة" (التدخلات) المطلوبة. ووجدوا أنه إذا كان التأثير صغيراً جداً، فإن عدد الأشخاص الذين تحتاج لاختبارهم يرتفع إلى ما لا نهاية. وهذا يخلق ما يسمونه مناطق عدم التمييز (Regions of Indistinguishability). وهي إعدادات يكون فيها التأثير دقيقاً للغاية، أو تكون تكلفة الاختبار عالية جداً، بحيث يستحيل عملياً التمييز ما إذا كان الذكاء الاصطناعي يؤدي دوراً أدائياً أم لا. إنه يشبه محاولة سماع سقوط دبوس في وسط إعصار؛ مهما سألت من أشخاص، لن تتمكن من التأكد.

الاختبار في العالم الحقيقي: متجر الأزياء

ليروا ما إذا كانت نظريتهم ستصمد، اختبر المؤلفون طريقة OPAB على مجموعة بيانات حقيقية من موقع أزياء يسمى ZOZOTOWN. تتبعت هذه المجموعة العناصر التي عُرضت للمستخدمين وما إذا كانوا قد نقروا عليها. والأهم من ذلك، بالنسبة لبعض المستخدمين، تم اختيار موقع العنصر (يسار، منتصف، أو يمين) بشكل عشوائي، تماماً مثل رمي العملة في قصة المقصف.

قاموا بتقسيم البيانات إلى رجال ونساء. وعندما طبقوا OPAB على بيانات الرجال، انطلق جرس الإنذار في الكاشف: موقع العنصر غير بالفعل ما إذا كان الناس سينقرون أم لا (أدائية ناتجة). ولكن عندما اختبروا بيانات النساء، ظل الكاشف صامتاً. هذا يشير إلى أنه بالنسبة للنساء، لم يكن ترتيب العناصر مهماً، ولكن بالنسبة للرجال، كان كذلك. هذا يثبت أن OPable يمكنها رصد هذه التأثيرات الخفية في العالم الحقيقي.

الحدود والمستقبل

يحرص البحث على الإشارة إلى أن هذه ليست عصا سحرية تحل كل شيء. فالطريقة تعمل بشكل أفضل عندما تمتلك قدراً كافياً من البيانات. إذا كان التأثير ضئيلاً، أو إذا كانت البيانات غير متوازنة للغاية (مثل وجود نقرات أكثر بكثير على عنصر واحد من غيره)، فقد يخطئ الكاشف. كما يشير المؤلفون إلى أن هذه الطريقة هي أداة "أوفلاين" (خارج نطاق التشغيل الفوري)، مما يعني أنها تُستخدم بشكل أفضل قبل إطلاق نظام ذكاء اصطناعي جديد، أثناء مرحلة الاختبار، بدلاً من محاولة إصلاحه بعد تشغيله بالفعل.

وقارنوا طريقتهم بطريقة قديمة تعمل "أونلاين" (أثناء التشغيل) تنتظر حتى يعمل الذكاء الاصطناعي ثم تتحقق مما إذا كانت النتائج قد تغيرت. ووجدوا أن طريقة "رمي العملة" الخاصة بهم (OPAB) كانت أكثر كفاءة وموثوقية، حيث رصدت المشكلة بعدد أقل بكثير من نقاط البيانات.

في النهاية، يمنحنا هذا البحث طريقة للنظر خلف الستار. فهو يخبرنا أنه بينما لا يمكننا دائماً رصد كل تأثير دقيق قد يمارسه الذكاء الاصطناعي، لدينا خريطة رياضية توضح لنا بالضبط مناطق الخطر ومقدار البيانات التي نحتاجها لنكون آمنين. إنها خطوة حاسمة نحو ضمان أن أدوات الذكاء الاصطناعي ستساعدنا بدلاً من أن تخدعنا دون قصد في خلق المشكلات التي كان من المفترض أن تحلها.

ملخص تقني: كشف أدائية النتائج باستخدام اختبار التدخل

تعريف المشكلة

في العديد من المجالات الحرجة مثل الرعاية التلطيفية، وتخصيص الائتمان، وأنظمة التوصية، يمكن للتنبؤات التي تولدها نماذج تعلم الآلة (ML) أن تؤثر سببياً على النتائج التي تهدف إلى التنبؤ بها. هذه الظاهرة، المعروفة باسم أدائية النتيجة (Outcome Performativity)، تحدث عندما تعتمد النتيجة المتحققة $Y$ لمثال ما $X$ ليس فقط على السمات $X$ ولكن أيضاً على التنبؤ $\hat{Y}$ المخصص لذلك المثال. على سبيل المثال، قد يؤدي تخصيص أسعار فائدة مرتفعة للمدينين ذوي المخاطر العالية إلى زيادة احتمالية التعثر في السداد، أو قد يؤدي تخصيص الرعاية التلطيفية بدلاً من الرعاية العلاجية إلى التأثير على بقاء المريض على قيد الحياة.

بينما تفترض الأبحاث الحالية حول التنبؤ الأدائي وجود مثل هذه الحلقات الارتدادية مسبقاً (a priori)، تعالج هذه الورقة الفجوة في كشف أدائية النتيجة، لا سيية في الأطر غير المتصلة بالإنترنت (offline settings) (أثناء جمع البيانات أو قبل نشر النموذج). يمكن أن تؤدي أدائية النتيجة غير المكتشفة إلى نماذج تفاقم التحيز أو تعاني من تدهور في الأداء. الطرق الحالية لتحديد هذه التأثيرات عبر الإنترنت موجودة، ولكن هناك عمل محدود في تحديدها "أوفلاين"، وهو أمر بالغ الأهمية لأسباب أخلاقية ومالية قبل نشر النموذج.

المنهجية: كشف أدائية النتيجة عبر اختبار A/B (OPAB)

يقترح المؤلفون كشف أدائية النتيجة عبر اختبار A/B (OPAB)، وهو طريقة لاختبار التدخل غير المتصل بالإنترنت مستوحاة من التجارب العشوائية المحكومة (RCTs) واختبارات A/B.

الآلية الجوهرية

إن اختبار الفرضيات القياسي الذي يقارن توزيعات النتائج مشروطة بتنبؤات المصنف ( $P(Y|\hat{Y}=0)$ مقابل $P(Y|\hat{Y}=1)$ ) غير كافٍ لأن التنبؤات $\hat{Y}$ نفسها تعتمد على السمات $X$ ، مما يخلق متغيرات مربكة. لكسر هذا الاعتماد، يقوم OPAB بإجراء تدخل "do" (do-intervention) على التنبؤات.

التخصيص العشوائي: بدلاً من استخدام متنبئ مدرب $\phi(X)$ ، يقوم OPAB بتخصيص تنبؤات $\hat{y} \in \{0, 1\}$ عشوائياً للأمثلة $X$ باحتمالية متساوية (Bernoulli(0.5)). هذا يفك الارتباط بين $\hat{Y}$ و $X$ .
الملاحظة: يقوم النظام بمراقبة النتائج $Y$ لهذه التنبؤات المخصصة عشوائياً.
اختبار الفرضيات: يقوم OPAB باختبار عدم التشابه إحصائياً بين توزيعات النتائج لمجموعات التدخل:
$H(P(Y | \text{do}(\hat{Y}=0)), P(Y | \text{do}(\hat{Y}=1))) \leq \delta$
إذا كانت التوزيعات مختلفة بشكل كبير (حيث $H$ هو اختبار مثل Chi-Squared أو Fisher's Exact، و $\delta$ هو عتبة المعنوية)، يتم اكتشاف أدائية النتيجة.

فئات الافتراضات

تستنتج الورقة حدود تعقيد العينة (الحد الأدنى من عدد التدخلات $N$ المطلوبة) تحت ثلاث فئات متميزة من افتراضات أدائية النتيجة:

أدائية النتيجة البسيطة: يعتمد احتمال النتيجة فقط على التنبؤ $\hat{y}$ ، مع تجريد فضاء السمات $X$ .
أدائية النتيجة القائمة على النموذج: تعتمد النتيجة على موقع المثال في فضاء السمات والتنبؤ، ويتم نمذجتها كإزاحة خطية في فضاء السمات بناءً على أوزان التنبؤ.
أدائية النتيجة القائمة على سوء التصنيف: تحدث أدائية النتيجة فقط عندما لا يتطابق التنبؤ $\hat{y}$ مع النتيجة "المرغوبة" $\bar{y}$ . ويحكم المعلمات $\gamma_0$ و $\gamma_1$ احتمال تحقق النتيجة المرغوبة رغم سوء التصنيف.

المساهمات الرئيسية

صياغة الكشف غير المتصل بالإنترنت: تصيغ الورقة استخدام اختبار التدخل (OPAB) لكشف أدائية النتيجة قبل نشر النموذج، مما يميزها عن الطرق التي تتطلب نموذجاً منشوراً لمراقبة حلقات التغذية الراجعة.
حدود تعقيد العينة: يستنتج المؤلفون حدوداً نظرية لعدد العينات ( $N$ ) المطلوبة لاكتشاف أدائية النتيجة للفئات الثلاث من الافتراضات. تكشف هذه الحدود أن الكشف يصبح صعباً بشكل متزايد (يتطلب $N \to \infty$ ) كلما اقترب الفرق في الاستجابة الأدائية بين مجموعات التنبؤ من الصفر.
مناطق عدم التمييز: المفهوم الرئيسي الذي تم تقديمه هو "منطقة عدم التمييز". وهي إعدادات المعلمات حيث يكون العدد المخصص من التدخلات غير كافٍ للاكتشاف الموثوق لأدائية النتيجة. يسلط هذا الضوء على القيود العملية في السيناريوهات التي تكون فيها العينات نادرة، أو مكلفة، أو مقيدة أخلاقياً.
التحقق التجريبي: تم التحقق من صحة الطريقة باستخدام بيانات اصطناعية محقونة بالأدائية عبر ست مجموعات بيانات حقيقية للتصنيف الثنائي (سرطان الثدي، السكري، تعداد البالغين، Kickstarter، تيتانيك، القروض) ودراسة حالة واقعية لمجموعة بيانات Open Bandits (OBD).

النتائج

فعالية الكشف: ينجح OPAB في اكتشاف أدائية النتيجة في سيناريوهات مختلفة. تزدما معدلات الكشف مع زيادة عدد التدخلات ( $N$ ).
عدم التمييز: تؤكد التجارب وجود مناطق عدم التمييز. على سبيل المثال، في أدائية النتيجة البسيطة، إذا كانت معلمات استجابة الأداء $\alpha_0$ و $\alpha_1$ متطابقة تقريباً، فإن أحجام العينات الكبيرة ( $N=10,000$ ) تفشل في اكتشاف الأدائية.
خصوصيات مجموعة البيانات:
- في مجموعة بيانات Open Bandits، اكتشف OPAB أدائية النتيجة في المجموعة الفرعية "للرجال" (حيث أثر وضع العناصر على النقرات) ولكن ليس في المجموعة الفرعية "للنساء".
- عدم توازن الفئات: تشير النتائج إلى أن عدم توازن الفئات يؤثر بشكل كبير على الكشف. تسمح مجموعات البيانات المتوازنة بكشف أكثر كفاءة، بينما تتطلب مجموعات البيانات غير المتوازنة للغاية (مثل معدلات النقر في OBD) عدداً أكبر أسيّاً من العينات لاكتشاف التأثيرات الدقيقة.
المقارنة مع الطرق المتصلة بالإنترنت: في مقارنة مع طريقة كشف عبر الإنترنت (Adam Detection، القائمة على مراقبة تحولات معدل الإيجابيات الحقيقية)، يحقق OPOP معدلات كشف أعلى وأكثر اتساقاً باستخدام 10% فقط من العينات المطلوبة من الطريقة عبر الإنترنت. كما أن OPAB محصن ضد مشكلات انزياح المفهوم (concept drift) التي تؤثر على الطرق عبر الإنترنت.

الأهمية والادعاءات

تدعي الورقة أن OPAB يوفر أداة عملية وفعالة من حيث العينة للممارسين لتحديد أدائية النتيجة قبل نشر النماذج، مما قد يمنع نشر الأنظمة التي تضر بالنتائج عن غير قصد أو تعزز التحيز.

تقدم صياغة حدود تعقيد العينة رؤية نقدية: هناك إعدادات يكون فيها اكتشاف أدائية النتيجة غير ممكن عملياً بسبب العدد الباهظ من التدخلات المطلوبة. وهذا له تداعات كبيرة في المجالات عالية المخاطر (مثل الرعاية الصحية) حيث قد يكون اختبار التدخل غير أخلاقي أو مكلفاً للغاية. في مثل هذه الحالات، إذا وقع الإعداد ضمن "منطقة عدم التمييز"، فقد يحتاج الممارسون إلى الاعتماد على طرق غير تدخلية (والتي يُشار إلى أنها أقل كفاءة في العينات) أو قبول خطر عدم اكتشاف أدائية النتيجة.

يخلص المؤلفون إلى أنه بينما يعد OPAB فعالاً، فإنه يعتمد على افتراض التوحيد عبر فضاء السمات ولا يأخذ في الاعتبار زمن التحقق (verification latency) أو الملصقات الضوضائية (noisy labels). يهدف العمل المستقبلي إلى معالجة هذه القيود.