💬 NLP

Compared to What? Baselines and Metrics for Counterfactual Prompting

تجادل هذه الورقة بأن تقييمات التلقين بالتحليل المقابل المعيارية غالبًا ما تعزو حساسية النموذج إلى عوامل محددة بسبب فشلها في مراعاة الحساسية العامة للتغيرات في الصيغة السطحية، وتقترح إطارًا قويًا يقارن التدخلات المستهدفة بنماذج مرجعية من إعادة الصياغة للتمييز بين التأثيرات الحقيقية والضجيج العرضي.

المؤلفون الأصليون: Zihao Yang, Mosh Levy, Yoav Goldberg, Byron C. Wallace

نُشر 2026-05-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zihao Yang, Mosh Levy, Yoav Goldberg, Byron C. Wallace

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول معرف ل ما إذا كان دليل معين (مثل جنس المريض) يؤثر حقاً في قرار مشتبه به (نموذج ذكاء اصطناعي). أنت تغير ذلك الدليل الواحد في قصة ما، وترى ما إذا كان المشتبه به سيغير رأيه.

هذه الورقة البحثية تجادل بأن معظم المحققين يرتكبون خطأً فادحاً: فهم ينسون التحقق مما إذا كان المشتبه به يغير رأيه لمجرد أنك أعدت كتابة القصة، حتى لو ظل المعنى كما هو.

إليك تفصيل نتائج الورقة باستخدام تشبيهات بسيطة:

1. المشكلة الجوهرية: "فخ إعادة الصياغة"

تخيل أنك تختبر ما إذا كان هناك قاضٍ منحاز ضد الأشخاص الذين يُدعون "بوب".

الطريقة القديمة: تأخذ ملف قضية عن "بوب" وتغير الاسم إلى "أليس". يغير القاضي حكمه. تستنتج: "آها! القاضي منحاز ضد بوب!"
رؤية الورقة: ولكن انتظر! ماذا لو غير القاضي حكمه لمجرد أنك غيرت الكلمات في الملف، وليس الاسم؟ ربما يكره القاضي الجمل الطويلة، أو ربما يرتبك بسبب الصياغة الجديدة.

يطلق المؤلفون على هذا اسم "فخ إعادة الصياغة" (Paraphrase Trap). لقد وجدوا أنه عندما تعيد صياغة جملة لتؤدي نفس المعنى تماماً (إعادة صياغة حميدة)، فإن الذكاء الاصطناعي يغير إجابته بنفس القدر الذي يغيره فيه التغيير الجراحي لعامل حساس مثل الجنس أو العرق.

التشبيه:
الأمر يشبه اختبار ما إذا كانت السيارة حساسة للون الطلاء.

الاختبار المستهدف: تدهن السيارة باللون الأحمر. يتوقف المحرك. تظن: "اللون الأحمر يعطل المحرك!"
اختبار التحقق من الواقع: ثم تأخذ سيارة زرقاء وتعيد طلاءها باللون الأزرق (مجرد درجة مختلفة من اللون الأزرق، نفس المعنى). يتوقف المحرك أيضاً.
الاستنتاج: المحرك ليس حساساً لـ "اللون الأحمر"؛ هو فقط حساس لأي شخص يلمس طلاء السيارة.

2. الحل: "المجموعة الضابطة" للذكاء الاصطناعي

لإصلاح ذلك، يقترح المؤلفون قاعدة جديدة لاختبار الذكاء الاصطناعي: يجب أن تقارن "تغييرك الخاص" بـ "تغيير ممل".

التغيير الخاص: استبدال "ذكر" بـ "أنثى" في قصة طبية.
التغيير الممل: إعادة كتابة القصة باستخدام كلمات مختلفة مع الحفاظ على نفس المعنى تماماً (وتغيير نفس عدد الحروف/الكلمات).

إذا غير الذكاء الاصطناعي رأيه في "التغيير الممل" بنفس القدر الذي غيره في "التغيير الخاص"، فإن "التغيير الخاص" لم يفعل أي شيء مميز في الواقع. لقد كان مجرد ضجيج.

3. ما وجدوه (تجربة "MedPerturb")

عاد المؤلفون إلى دراسة شهيرة زعمت أن نماذج الذكاء الاصطناعي تعاني بشدة من الانحياز ضد بعض الأجناس في التشخيصات الطبية. أعادوا إجراء الاختبارات باستخدام مجموعة التحكم الجديدة "التغيير الممل".

النتيجة: "الانحياز" اختفى في معظمه.
الخلاصة: عندما أخذوا في الاعتبار حقيقة أن نماذج الذكاء الاصطناعي حساسة بشكل عام لأي تغييرات في النص، تلاشى الحساسية تجاه الجنس تحديداً. من بين 120 اختباراً، أظهر 5 اختبارات فقط تأثيراً حقيقياً، وكانت تلك مرتبطة بإضافة "لغة ملونة" (مثل علامات التعجب)، وليس الجنس.

التشبيه: الأمر يشبه إدراك أن الميزان ليس معطلاً لأنه يزن الريشة بشكل مختلف عن الصخرة؛ بل هو فقط يتأرجح كلما لمسته. الدراسات السابقة ظنت أن الميزان معطل بالنسبة للريش؛ أدرك المؤلفون أن الميزان يتأرجح لكل شيء.

4. أدوات أفضل للمهمة (تشبيه "المسطرة")

تجادل الورقة أيضاً بأن الأدوات التي يستخدمها الباحثون لقياس هذه التغييرات غالباً ما تكون غير دقيقة للغاية.

الأداة غير الدقيقة (المقاييس الإجمالية): تخيل محاولة قياس الرياح عن طريق عد كم مرة انقلبت الطائرة الورقية. إذا انقلبت الطائرة مرة واحدة، تقول "رياح!". إذا لم تنقلب، تقول "لا توجد رياح". هذا يغفل النسيم الخفيف الذي يجعل الطائرة تتأرجح دون أن تنقلب.
- مصطلح الورقة: معدل الانقلاب (Flip Rate)، المعلومات المتبادلة (Mutual Information).
الأداة الدقيقة (المقاييس لكل عينة): تخيل استخدام جهاز قياس سرعة الرياح (anemometer) حساس يقيس سرعة الرياح بدقة، حتى لو لم تنقلب الطائرة الورقية.
- مصطلح الورقة: JSD، KL Divergence.
الأداة الاتجاهية (الانحدار): هذا لا يخبرك فقط بمقدار هبوب الرياح، بل في أي اتجاه هبت.
- مصطلح الورقة: معاملات الانحدار (Regression Coefficients).

النتيجة: "الأدوات الدقيقة" (JSD/KL) و"الأدوات الاتجاهية" (الانحدار) هي أفضل بكثير في العثور على الانحياز الحقيقي. "الأدوات غير الدقيقة" غالباً ما تفشل في رصد التأثيرات الصغيرة الحقيقية أو ترتبك بسبب عدم توازن الفئات (مثل عندما تكون 99% من الإجابات هي "نعم").

5. مثال حقيقي: اختبار "الأستاذ مقابل الممرضة"

لإثبات نجاح طريقتهم، اختبروا انحيازاً معروفاً: فكرة أن الذكاء الاصطناعي يربط "الأستاذ" بالرجال و"الممرضة" بالنساء.

أخذوا سير ذاتية لأساتذة وممرضات واستبدلوا جنسهم.
الأداة غير الدقيقة: لم ترَ سوى تغيير ضئيل جداً وغير مرئي في الإجابة النهائية "نعم/لا".
الأداة الدقيقة: رأت تحولاً واضحاً في ثقة الذكاء الاصطناعي الداخلية.
الأداة الاتجاهية: أكدت أن تحويل السيرة الذاتية إلى "أنثى" قلل بشكل منهجي من ثقة الذكاء الاصطناعي في أن الشخص أستاذ.

أثبت هذا أن طريقتهم يمكنها العثور على الانحياز الحقيقي عندما يكون موجوداً، لكنها تصفي "الانحياز الزائف" الذي نتج فقط عن كون الذكاء الاصطناعي شديد الحساسية لتغييرات النص.

ملخص نصيحة الورقة

إذا كنت تريد اختبار ذكاء اصطناعي بحثاً عن الانحياز، فلا تكتفِ بتغيير كلمة واحدة وانظر ماذا يحدث. يجب عليك:

استخدام مجموعة ضابطة: قارن تغييرك بإعادة كتابة "مملة" تغير نفس مقدار النص.
مطابقة الحجم: تأكد من أن إعادة الكتابة "المملة" تغير نفس عدد الكلمات التي غيرها "تغييرك الخاص".
استخدام مساطر حساسة: لا تكتفِ بعدّ انقلابات "نعم/لا"؛ انظر إلى التحولات الطفيفة في ثقة الذكاء الاصطناعي.
التحقق من الاتجاه: استخدم الرياضيات لمعرفة ما إذا كان التغيير يدفع الذكاء الاصطناعي في اتجاه محدد ومنحاز.

الخلاصة النهائية: العديد من الدراسات السابقة ادعت أن الذكاء الاصطناعي منحاز لأنها لم تدرك أن الذكاء الاصطناعي كان يتفاعل فقط مع حقيقة أنه تم "لمس" النص. بمجرد حساب "حساسية اللمس" هذه، غالباً ما يختفي الدليل على الانحياز — أو يصبح أكثر وضوحاً وتحديداً.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مقارنةً بماذا؟ القواعد المرجعية والمقاييس للتحفيز المضاد للواقع (Counterfactual Prompting)."

1. بيان المشكلة

يُعد التحفيز المضاد للواقع (Counterfactual prompting) طريقة قياسية لتقييم النماذج اللغوية الكبيرة (LLMs)، حيث يقوم الباحثون بتعديل المدخلات جراحياً (على سبيل المثال، استبدال "ذكر" بـ "أنثى") لعزل تأثير عامل محدد (مثل التحيز الجنسي) على مخرجات النموذج. الافتراض الأساسي هو أن أي تغيير ملحوظ في المخرجات يمكن عزوه سببياً إلى التغيير الدلالي المستهدف.

يجادل المؤلفون بأن هذا الافتراض معيب لأنه ينتهك مبدأ الاستدلال السببي المتمثل في "عدم صلة تباين المعالجة" (Treatment Variation Irrelevance).

المشكلة: كل تعديل مضاد للواقع هو "معالجة مركبة". فهو يجمع بين المتغير محل الاهتمام (مثل الجنس) وبين تغيرات سطحية عرضية (مثل اختيارات كلمات محددة، عدد الرموز "tokens"، أو صياغة الجمل).
النتيجة: من المعروف أن النماذج اللغوية الكبيرة حساسة للصياغات والرموز العشوائية (حساسية التحفيز). لذلك، قد يكون انقلاب المخرجات ناتجاً عن تغير في بنية النص بدلاً من المعنى الدلالي للاضطراب.
الفجوة الحالية: غالباً ما تفسر الأعمال السابقة آثار الاضطراب الخام (على سبيل المثال، معدل انقلاب الإجابة بنسبة 15%) كدليل على التحيز أو عدم الأمانة دون مقارنتها بتوزيع "العدم" (null distribution) للتغيرات الناجمة عن تعديلات حميدة تحافظ على المعنى.

2. المنهجية

يقترح المؤلفون إطار عمل صارماً للتمييز بين الآثار المستهدفة (الناتجة عن المتغير محل الاهتمام) والحساسية العامة للنموذج (الناتجة عن ضجيج تعديل النص).

أ. التصميم التجريبي

الاضطراب المستهدف ( $D_{targeted}$ ): التدخل القياسي (مثل تبديل الجنس، أو تغيير الأسلوب).
الاضطراب المرجعي ( $D_{benign}$ ): حالة ضبط مصممة لمحاكاة التغيرات السطحية للمستهدف دون تغيير المتغير الدلالي.
- إعادة الصياغة المعدلة بالرموز (Token-Adjusted Paraphrase): هو المرجع الأساسي. يقوم نموذج لغوي كبير بإعادة صياغة المدخلات للحفاظ على الدلالات مع تغيير نسبة من الرموز تطابق نسبة تعديل الرموز في الاضطراب المستهدف. هذا يتحكم في حقيقة أن حساسية النموذج تتناسب مع عدد الرموز المتغيرة.
- الجملة الثابتة: مرجع ثانوي حيث يتم إدراج جملة غير ذات صلة بالموضوع في مقدمة التحفيز.
الاختبار الإحصائي: بدلاً من مقارنة المقاييس الخام، يستخدم المؤلفون اختبارات إحصائية لتحديد ما إذا كان التباعد في الحالة المستهدفة يتجاوز بشكل كبير التباعد في حالة المرجع.
- مقاييس لكل عينة: اختبارات t المقترنة للفروق بين تباعد الحالة المستهدفة وحالة المرجع.
- المقاييس التجميعية: اختبارات "بوتستراب" (bootstrap) غير معلمية للفرق في الإحصائيات التجميعية.
- الانحدار (Regression): يُستخدم للاختبارات الفرضية الاتجاهية لتقدير حجم وإشارة التأثير المنهجي.

ب. المقاييس التي تم تقييمها

تقيم الورقة ثلاث فئات من المقاييس لقياس تباعد المخرجات:

المقاييس التجميعية:
- معدل الانقلاب (Flip Rate): نسبة الحالات التي تتغير فيها الإجابة الفئوية.
- المعلومات المتبادلة (Mutual Information - MI): تقيس اتساق الاستجابات عبر الظروف المختلفة.
- معامل فاي ( $\phi$ ): يميز بين الاتفاق والتباين المنهجي.
- القصور: هذه المقاييس ضعيفة القدرة (low-power) ويمكن أن تنهار في حالات عدم توازن الفئات.
مقاييس التوزيع لكل عينة:
- تباعد كولباك - ليبلر (KL Divergence): يقيس الإزاحة في توزيع الاحتمالات حول خيارات الإجابة.
- تباعد جينسن - شانون (JSD): نسخة متناظرة ومحدودة من تباعد KL.
- الميزة: تلتقط هذه المقاييس التحولات التوزيعية الدقيقة حتى عندما لا يتم تجاوز حدود القرار النهائي.
معاملات الانحدار:
- تقدير الإزاحة الاتجاهية ( $\beta$ ) عندما تكون الاضطرابات ذات ترميز مُوقع (على سبيل المثال، +1 للأنثى، -1 للذكر). وهذا يحدد كلاً من حجم واتجاه التحيز.

3. المساهمات الرئيسية

التصحيح المنهجي: يثبت أن نتائج التحفيز المضاد للواقع تفتقر إلى التفسير المنطقي دون وجود مرجع يطابق حجم التغيير. فغالباً ما تعكس الآثار الملحوظة حساسية التحفيز العامة بدلاً من حساسية العامل المحدد.
اقتراح إطار عمل: يقدم إطاراً للاختبار الإحصائي يقارن الاضطرابات المستهدفة مقابل مراجع إعادة الصياغة المطابقة للرموز.
تحليل المقاييس: يثبت تجريبياً أن مقاييس التوزيع لكل عينة (JSD, KL) والانحدار هي أكثر قوة بكثير من المقاييس التجميعية (Flip Rate, MI, $\phi$ )، خاصة في مجموعات البيانات غير المتوازنة.
المصدر المفتوح: إطلاق حزمة cfprompt بلغة بايثون لتنفيذ هذا الإطار.

4. النتائج الرئيسية

أ. مراجعة MedPerturb (التحيز الطبي)

الادعاء الأصلي: زعمت دراسة سابقة أن النماذج اللغية الكبيرة حساسة جداً لجنس المريض وتلميحات الأسلوب في فرز الحالات الطبية.
النتيجة الجديدة: عند المقارنة مع مراجع إعادة الصياغة المطابقة للرموز:
- اضطرابات الجنس: كانت الآثار الملحوظة (مثل معدل انقلاب بنسبة 14.9% لتبديل الجنس) غير متمايزة إحصائياً عن آثار إعادة الصياغة المرجعية (14.1%).
- الاستنتاج: من بين 120 اختباراً، وصلت 5 اختبارات فقط إلى مستوى الدلالة (وجميعها تتعلق بتلميحات الأسلوب "الملونة" في نموذج أصغر). الادعاء بأن النماذج حساسة تحديداً لجنس المريض غير مدعوم إلى حد كبير؛ إذ كانت الآثار على الأرجب مجرد ضجيج ناتج عن الحساسية النصية العامة.

ب. اختبارات التحقق (Sanity Checks)

الاستدعاء (التحكم الإيجابي - Positive Control): عندما تم تغيير المهمة صراحة لتصبح "هل هذا المريض ذكر؟"، اكتشف الإطار تأثيراً ضخماً وهاماً، مما أثبت أنه ليس متحفظاً بشكل مفرط.
الدقة (التحكم السلبي - Negative Control): لم يؤدِ تغيير عمر المريض بسنة واحدة (اضطراب طفيف) إلى أي تأثير معنوي مقارنة بالمرجع، مما أكد دقة الإطار.

ج. Bias-in-Bios (التحيز المهني)

السياق: اختبار ما إذا كانت النماذج تربط بين "الأستاذ" والرجال و"الممرضة" والنساء.
النتائج:
- المقاييس التجميعية: أظهرت معدلات انقلاب صغيرة وغير معنوية تقريباً (مثلاً +0.7%)، مما قد يؤدي لاستنتاج "عدم وجود تحيز".
- مقاييس التوزيع لكل عينة (JSD/KL): رصدت تحولات توزيعية ذات دلالة إحصائية ( $p \approx 10^{-7}$ ).
- الانحدار: كشف عن تحيز اتجاهي واضح ( $\hat{\beta} \approx -0.5$ )، مما يشير إلى أن تحويل السيرة الذاتية إلى أنثى يقلل بشكل منهجي من احتمالية (log-odds) تصنيف "أستاذ".
- الرؤية: التحيز موجود ولكنه يعمل تحت حد القرار (تتحرك قيم الـ logits دون تغيير الإجابة الثنائية). فقط الانحدار والمقاييس التوزيعية استطاعت توصيف ذلك.

د. تكرار تجربة Q-Pain (التحيز العرقي)

عند تكرار دراسة حول التفاوتات العرقية في إدارة الألم، وجد المؤلفون أن 4 من أصل 5 آثار ديموغرافية معنوية كان لها آثار مرجعية مقابلة ومعنوية (إعادة الصياغة). وهذا يشير إلى أن النتائج الأصلية للتحيز العرقي قد تكون مشوبة بالارتباط بالحساسية النصية العامة.

5. الأهمية والتوجيهات العملية

تغير هذه الورقة بشكل جذري كيفية إجراء التحفيز المضاد للواقع لتقييم النماذج اللغوية الكبيرة.

المرجع (الـ Null Baseline) إلزامي: يجب على الباحثين تضمين اضطراب مرجعي (تحديداً إعادة صياغة مطابقة للرموز) لإنشاء توزيع العدم. بدون ذلك، قد تكون نتائج "التحيز" مجرد نواتج ثانوية لحساسية التحفيز.
اختيار المقياس مهم:
- تجنب الاعتماد فقط على معدل الانقلاب (Flip Rate) أو المعلومات المتبادلة (MI)، لأنها تفتقر إلى القدرة وتفشل في حالات عدم توازن الفئات.
- استخدم JSD/KL لرصد التحولات التوزيعية.
- استخدم الانحدار لتحديد اتجاه وحجم التأثيرات.
مطابقة الرموز (Token Matching): يجب أن تطابق المراجع عدد الرموز التي تم تغييرها في الاضطراب المستهدف، حيث أن حساسية النموذج تتناسب مع حجم التعديل.
الآثار المترتبة: العديد من الادعاءات السابقة حول تحيز النماذج اللغوية الكبيرة أو عدم أمانتها قد تكون مبالغاً فيها أو تم نسبها خطأً. التحيزات الحقيقية والدقيقة موجودة بالفعل (كما ظهر في Bias-in-Bios) ولكنها تتطلب أدوات إحصائية أكثر تطوراً لاكتشافها.

باختصار، تجادل الورقة بأن التحفيز المضاد للواقع ليس أداة تشخيصية "جاهزة للاستخدام"؛ بل يتطلب ضوابط إحصائية صارمة للفصل بين الإشارة (حساسية العامل الحقيقي) والضجيج (الحساسية النصية العامة).