Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable
تُثبت هذه الورقة أن أدوات كشف النصوص التي تعمل بالذكاء الاصطناعي الحالية غير قابلة للتطبيق في تحديد استخدام النماذج اللغوية الكبيرة في مراجعات النظراء لأنها تُصنف بشكل متكرر المراجعات المكتوبة بشرياً والتي تم تنقيحها بواسطة الذاء الاصطناعي على أنها ناتجة بالكامل عن الذكاء الاصطناعي، مما يؤدي إلى اتهامات باطلة بسوء السلوك الأكاديمي وتقديرات غير موثوقة لانتهاكات السياسات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل لعبة عالية المخاطر من مراجعة الأقران (Peer Review) كأنها مسابقة عالمية لتذوق الطعام للأوراق العلمية.
في هذه المسابقة، يقرأ حكام خبراء (المراجعون) وصفة جديدة (الورقة البحثية) ويكتبون نقداً: "هذا الطبق لذيذ"، أو "هذه الصلصة مالحة جداً". مؤخراً، دخلت أداة جديدة إلى المطبخ: طهاة الذكاء الاصطناعي (نماذج اللغات الكبيرة).
لقد وضع بعض منظمي المسابقات (المؤتمرات والمجلات) قاعدة جديدة:
"يمكنك استخدام طاهي الذكاء الاصطناعي فقط لتصحيح القواعد اللغوية، وتنعيم جملك، وجعل أسلوب كتابتك أكثر انسيابية. ولكن يجب أن تكتب أنت الأفكار والآراء والحجج بنفسك."
هذه هي "سياسة التلميع فقط" (Polishing-Only Policy). الأمر يشبه قول: "يمكنك استخدام محضرة الطعام لتقطيع البصل، لكن لا يمكنك ترك الروبوت يطهو الوجبة بأكملها".
السؤال الكبير الذي تطرحه هذه الورقة هو: "هل يمكننا حقاً كشف الأشخاص الذين يكسرون هذه القاعدة؟"
قام المؤلفون ببناء مختبر تحقيق ضخم لاختبار ما إذا كان بإمكان كواشف الذكاء الاصطناعي الحالية التمييز بين:
- الطاهي البشري: كتب المراجعة بالكامل.
- طاهي الذكاء الاصطناعي: كتب المراجعة بالكامل (انتهاك صريح للقاعدة).
- الطاهي الهجين: كتب المراجعة، لكنه استخدم الذكاء الاصطناعي لتلميع القواعد (وهو أمر مسموح به).
إليكم ما وجدوه، باستخدام تشبيهات بسيطة:
1. مشكلة "الإنذار الخاطئ" (إنذار الحريق الذي ينطلق بسبب قطعة توست)
اختبر الباحثون خمسة أنواع مختلفة من "كواشف الذكاء الاصطناعي" (مثل أجهزة كشف الدخان المتطورة).
- الخبر الجيد: إذا ترك المراجع الذكاء الاصطناعي يكتب المراجعة بالكامل، كانت الكواشف بارعة في كشف ذلك. كانت تصرخ "حريق!" في كل مرة تقريباً.
- الخبر السيئ: عندما كتب المراجع المراجعة بنفسه وطلب من الذكاء الاصطناعي فقط "تصحيح القواعد" (التلميع المسموح به)، كانت الكواشف لا تزال تصرخ "حريق!" بنسبة تتراوح بين 3% إلى 6% من الوقت.
التشبيه: تخيل حارس أمن في حفلة موسيقية. إذا تسلل شخص بفرقة موسيقية كاملة (مراجعة مولدة بالذكاء الاصطناعي)، سيمسك به الحارس. لكن إذا أحضر أحد المعجبين "ريشة جيتار" صغيرة (مراجعة مُلمعة بالذكاء الاصطناعي)، فقد يخطئ الحارس ويظنها فرقة كاملة ويطرده من الحفل.
- النتيجة: إذا طبقت المؤتمرات هذه القاعدة باستخدام هذه الكواشف، فستتهم مراجعين أبرياء بالخداع زوراً. في مؤتمر كبير يضم 75,000 مراجعة، يعني معدل خطأ صغير أن آلاف الأشخاص قد يُتهمون ظلماً بسوء السلوك الأكاديمي.
2. تأثير "الحرباء"
نظرت الورقة أيضاً في المراجعات "المُحوّمة بشرياً" (Humanized). وهذا يحدث عندما يحاول شخص خداك عبر تمرير مراجعته المكتوبة بالذكاء الاصطناعي عبر أداة "تحويلها للأسلوب البشري" (مثل وضع قناع تنكري على الذكاء الاصطناعي).
- النتيجة: ارتبكت الكواشف. توقفت عن كشف مراجعات الذكاء الاصطناعي السيئة، لكنها بدأت أيضاً في تصنيف المزيد من المراجعات البشرية المُلمّعة كأنها مزيفة. لقد كانت فوضى عارمة.
3. محاولة خداك باستخدام "السياق"
فكر المؤلفون: "مهلاً! لدينا ميزة! لدينا الورقة الأصلية التي تدور حولها المراجعة. ربما يمكننا استخدام ذلك لكشف الذكاء الاصطناعي".
- الفكرة: إذا كتب الذكاء الاصطناعي المراجعة، فقد يبدو مشابهاً جداً لأسلوب الورقة، أو قد يفتقد إلى لمسة دقيقة قد يلاحظها البشر.
- الواقع: حاولوا استخدام نص الورقة للمساعدة في الكشف. ساعد ذلك قليلاً، لكن ليس بما يكفي. لم تستطع الكواشف التمييز بشكل موثوق بين مراجعة "بشرية + تلميع" ومراجعة "ذكاء اصطناعي كامل". الأمر يشبه محاولة معرفة ما إذا كانت أغنية من تأليف بشر أو روبوت بمجرد النظر إلى النوتة الموسيقية؛ أحياناً تبدو متطابقة تماماً.
4. ادعاء "الـ 21% السحري"
تشير الورقة إلى قصة إخبارية حديثة حيث زعمت إحدى الشركات أن 21% من المراجعات في مؤتمر رئيسي كُتبت بالكامل بواسطة الذكاء الاصطناعي.
- رأي الورقة: يقول المؤلفون: "تمهلوا قليلاً". نظرًا لأن الكواشف سيئة جداً في التمييز بين "الذكاء الاصطناعي الكامل" و"البشري المُلمّع بالذكاء الاصطناعي"، فإن رقم 21% هذا من المرجح أن يكون خاطئاً. فمن المحتمل أن يتضمن العديد من المراجعين الذين استخدموا الذكاء الاصطناعي فقط لتصحيح قواعدهم اللغوية. "الغزو بالذكاء الاصطناعي" قد يكون أصغر بكثير مما تم الإبلاغ عنه، أو أن الكواشف ببساطة مليئة بالضجيج ولا تعطي رقماً حقيقياً.
الخلاصة الكبرى
تخلص الورقة إلى أننا لا نستطيع حالياً فرض "سياسة التلميع فقط".
الأمر يشبه محاولة فرض قاعدة تقول "يمكنك استخدام الآلة الحاسبة للجمع، ولكن ليس للضرب"، لكن آلتك الحاسبة معطلة لدرجة أنها تظن أحياناً أن الجمع هو عملية ضرب.
- إذا منعت الذكاء الاصطناعي تماماً: قد تفوتك الأشخاص الذين استخدموه لكتابة العمل بالكامل (لأن الكواشف ليست مثالية).
- إذا سمحت بالتلميع: لن تتمكن من كشف الأشخاص الذين يغشون فعلياً، لأن الكواشف ستكشف أيضاً الأبرياء الذين قاموا فقط بتلميع عملهم.
الخلاية للجميع:
حتى نبني "أدوات تحقيق" أكثر ذكاءً، علينا أن نكون حذرين جداً بشأن اتهام الناس بالخداع بناءً على كواشف الذكاء الاصطناعي. التكنولوجيا ليست جاهزة بعد لساحات المحاكم في مراجعة الأقران الأكاديمية. أفضل نصيحة للمراجعين؟ إذا استخدمت الذكاء الاصطناعي لتلميع عملك، كن واضحاً جداً في تعليماتك للذكاء الاصطناعي ("لا تضف أفكاراً جديدة، فقط صحح القواعد") وراجع النتيجة بنفسك بدقة!
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.