AI evaluation may bias perceptions: The importance of context in interpreting academic writing
تُثبت هذه الورقة أن استخدام المعايير المجمعة للكشف عن النصوص المُنشأة بواسطة الذكاء الاصطناعي في الكتابة الأكاديمية يُدخل تحيزات كبيرة عبر مختلف الدول والمجالات، وتجادل بأن المعايير الخاصة بالسياق ضرورية للتقييم الدقيق والعادل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك حَكم في برنامج للمواهب، ومهمتك هي اكتشاف أي من المغنيين يستخدمون "صندوق صوت سحري" (الذكاء الاصطناعي) ليبدوا مثاليين. تجادل الورقة البحثية التي كتبها شانغ وو وراندول ياو بأن الطريقة الحالية التي نحاول بها رصد "صناديق الصوت السحرية" هذه معطلة لأنها تتجاهل الخلفيات الطبيعية للمغنيين.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
المشكلة: المقاس الواحد لا يناسب الجميع
وجد الباحثون أن معظم الطرق الحالية تستخدم "قائمة مرجعية ذهبية موحدة" للحكم على الجميع. تم بناء هذه القائمة من خلال مراقبة كيفية تغيير الذكاء الاصطناعي للنصوص، بافتراض أن جميع الكتابات البشرية تبدأ من نفس النقطة.
التشبيه:
تخيل أنك تحكم في مسابقة طبخ. لديك قائمة مرجعية بـ "المكونات المشبوهة" التي قد يستخدمها طهاة الذكاء الاصطناعي.
- الخلل: أنت تطبق هذه القائمة نفسها على طباخ فرنسي، وطباخ ياباني، وطباخ مكسيكي.
- الواقع: الطباخ الفرنسي يستخدم طبيعياً مكونات مثل "الزبدة" و"الكراث". الطباخ الياباني يستخدم طبيعياً "صلصة الصويا" و"الميسو".
- الخطأ: إذا كانت قائمتك تقول: "إذا استخدمت الزبدة، فأنت تغش"، فستتهم الطباخ الفرنسي ظلماً بأنه يستخدم الذكاء الاصطناعي، رغم أنه يستخدم الزبدة منذ قرون. وفي الوقت نفسه، قد تغفل عن الطباخ المكسيكي الذي يستخدم مجموعة مختلفة من المكونات التي لا تكتشفها قائمتك.
في الورقة البحثية، "المكونات" هي كلمات محددة (مثل "بشكل ملحوظ"، "استخدام"، أو "تعزيز"). وتظهر الدراسة أن بعض الدول والمجالات الأكاديمية تستخدم هذه الكلمات طبيعياً طوال الوقت، قبل وجود الذكاء الاصطناعي بفترة طويلة.
التجربة: اختبار "السفر عبر الزمن"
لإثبات ذلك، نظر الباحثون في الأوراق العلمية من عام 2021 (قبل أن تصبح أدوات الكتابة بالذكاء الاصطناعي شائعة).
- التوقع: بما أنه لم يكن أحد يستخدم الذكاء الاصطناعي بعد، يجب أن يجد "كاشف الذكاء الاصطناعي" صفر استخدام للذكاء الاصطناعي.
- النتيجة مع الطريقة القديمة (المعيار المجمع): أصيب الكاشف بالجنون. ادعى أن الباحثين في الولايات المتحدة والمملكة المتحدة يستخدمون الذكاء الاصطناعي بكثافة، بينما استخدم الباحثون في روسيا أو البرازيل القليل جداً منه.
- الواقع: كان هذا إنذاراً كاذباً. كان الكاشف مرتبكاً فقط لأن الأسلوب الذي يكتب به العلماء الأمريكيون والبريطانيون يشبه بطبيعته أسلوب الذكاء الاصطناعي. لقد كان يخطئ بين "اللكنة البريطانية" و"صوت الروبوت".
الحل: قوائم مرجعية مخصصة
ابتكر الباحثون طريقة جديدة: معايير مرجعية خاصة بكل دولة ومجال.
بدلاً من قائمة مرجعية واحدة ضخمة للجميع، صنعوا 234 قائمة مرجعية صغيرة ومخصصة.
- قائمة لـ "الرياضيات في الولايات المتحدة".
- قائمة لـ "الاقتصاد في الصين".
- قائمة لـ "علم النفس في ألمانيا".
التشبيه:
الآن، بدلاً من سؤال الطباخ الفرنسي: "هل استخدمت الزبدة؟" (وهو أمر طبيعي بالنسبة له)، يسأل الحَكم: "هل استخدمت كمية إضافية من الزبدة عما تستخدمه عادةً؟"
- إذا استخدم الطباخ الفرنسي كميته المعتادة من الزبدة، يقول الحَكم: "نظيف".
- إذا استخدم الطباخ الفرنسي فجأة ضعف كمية الزبدة، يقول الحَكم: "مشبوه".
النتائج: من يتم اتهامه ظلماً؟
عندما طبقوا هذه القوائم المرجعية المخصصة على الأوراق من عام 2025 (عندما كان الذكاء الاصطناعي يُستخدم فعلياً)، وجدوا أن الطريقة القديمة كانت ترسم خريطة مشوهة للعالم:
- المبالغة في التقدير (اتهامات كاذبة): جعلت الطريقة القديمة يبدو أن الباحثين في الدول الناطقة بالإنجليزية (مثل الولايات المتحدة والمملكة المتحدة) وفي مجالات مثل الاقتصاد والعلوم الإنسانية هم الأكثر استخداماً للذكاء الاصطناعي.
- لماذا؟ لأن أسلوب كتابتهم الطبيعي يبدو بالفعل "شبيهاً بالذكاء الاصطناعي" بالنسبة للكاشف العام.
- التقليل من التقدير (تجاهل الكشف): جعلت الطريقة القديمة يبدو أن الباحثين في روسيا، البرازيل، اليابان، وأوروبا الشرقية، وفي مجالات مثل الرياضيات والعلوم الفيزيائية، يستخدمون القليل جداً من الذكاء الاصطناعي.
- لماذا؟ لأن أسلوب كتابتهم الطبيعي مختلف جداً عن "أسلوب الذكاء الاصطناعي" لدرجة أن الكاشف لم يتعرف على الذكاء الاصطناعي حتى عندما كان موجوداً.
لماذا هذا مهم؟
تخلص الورقة إلى أنه إذا استمررنا في استخدام طريقة "المقاس الواحد للجميع"، فإننا سنقوم بـ:
- معاقبة العلماء ظلماً من الدول الناطقة بالإنجليزية أو العلوم الاجتماعية بجعلهم يبدون وكأنهم يغشون.
- الإفلات من العقاب لمن قد يستخدمون الذكاء الاصطناي فعلياً، ببساطة لأن أسلوب كتابتهم مختلف.
- خلق عدم مساواة: هذا يعزز فكرة أن بعض المجموعات "أقل أصالة" من غيرها، ليس لأنهم كذلك، بل لأن شريط القياس معطل.
الخلاصة:
للحكم بإنصاف ما إذا كان العالم يستخدم الذكاء الاصطناعي، لا يمكنك فقط النظر إلى الكلمات التي يستخدمونها. يجب أن تفهم من هم و ماذا يكتبون عادةً. يجب أن تعرف ما إذا كانوا بطبيعتهم "طباخي زبدة" قبل أن تتهمهم باستخدام صندوق صوت سحري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.