What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions

في المكتبة الشاسعة للمعرفة البشرية، يُفترض أن تكون كل دراسة منشورة لبنة في بناء الحقيقة. ولكن أحياناً، تُسحب بعض اللبنات. عندما تقرر مجلة ما أن ورقة بحثية معيبة أو مزورة أو ببساطة خاطئة، فإنها تصدر سحباً (retraction)، مما يسحب المقال فعلياً من رفوف العلم. لعقود من الزمن، تتبع الباحثون عمليات السحب هذه لفهم كيفية فشل النظام. ومؤخراً، ظهر سبب جديد في إخطارات السحب: "محتوى مُنشأ بواسطة الكمبيوتر". يُطبق هذا الملصق عندما يجد تحقيق ما أن الورقة كُتبت، كلياً أو جزئياً، بواسطة آلة بدلاً من بشر. ومع ازدياد قوة أدوات الذكاء الاصطناعي وسهولة الوصول إليها، نما هذا السبب بسرعة، مما دفع الكثيرين للاعتقاد بأنه يشير إلى موجة جديدة من سوء الاستخدام مدفوعة بالذكاء الاصطناعي التوليدي. والسؤال هو ما إذا كان هذا الملصق يشير حقاً إلى طفرة في الأوراق المكتوبة بالذكاء الاصطناعي، أم أنه يرصد شيئاً آخر تماماً.

قام باحث يدعى يوناس ماندالونس (Jonas Mandalunes) بالتحقيق في ماهية ما يرصده هذا الملصق بالضبط. وباستخدام قاعدة بيانات ضخمة تضم أكثر من 66,000 سجل سحب، ركزت الدراسة على 9,161 ورقة بحثية تحمل سبب "المحتوى بمساعدة الكمبيوتر أو المنشأ بواسطة الكمبيوتر". كان الهدف هو معرفة ما إذا كانت هذه الأوراق تتصرف بشكل مختلف عن الأوراق المسحوبة الأخرى من حيث المدة التي بقيت فيها مطبوعة قبل سحبها، وما هي المشكلات الأخرى التي واجهتها، وعدد مرات الاستشهاد بها بعد سحبها. وتكشف النتائج أن القصة وراء هذا الملصق أكثر تعقيداً وتحديداً بكثير من مجرد طفرة في إساءة استخدام الذاء الاصطناعي.

أول ما أظهرته البيانات كان قفزة هائلة في الأرقام، لكنها لم تكن صعوداً ثابتاً عبر عالم العلم بأكم له. فقبل عام 2020، كان هذا السبب شبه معدوم، حيث ظهر في 28 ورقة فقط. ومع ذلك، بحلول عام 2023، كان هذا السبب يمثل ما يقرب من 42 بالمائة من جميع عمليات السحب المسجلة في ذلك العام. بدا هذا الانفجار المفاجئ وكأنه موجة مدمرة من الاحتيال الناتج عن الذكاء الاصطناعي. ومع ذلك، عندما نظر الباحث عن كثب، وجد أن الموجة لم تكن قادمة من كل مكان؛ بل كانت متركزة بالكامل تقريباً في مكان واحد محدد: دار نشر واحدة تُعرف باسم "هيندوي" (Hindawr). في الواقع، 70 بالمائة من جميع الأوراق التي تحمل هذا الملصق جاءت من دار النشر هذه. وكانت هذه الدار قد خضعت مؤخراً لتحقيق داخلي واسع النطاق في برامج "الأعداد الخاصة" التابعة لها، مما كشف عن تلاعب واسع النطاق في عملية مراجعة الأقران. وتشير الدراسة إلى أن الملصق يرصد في الغالب تداعيات عملية تنظيف محددة وكبيرة النطاق لهذه العملية، بدلاً من كونه وباءً عاماً للكتابة بالذكاء الاصطناعي عبر كافة المجالات العلمية.

كان هناك افتراض شائع آخر وهو أن هذه الأوراق المنشأة بواسطة الكمبيوتر يتم ضبطها بشكل أسرع بكثير من الأعمال الاحتيالية الأخرى. ولأن الآلات يمكنها إنتاج النصوص بسرعة، بدا من المنطقي أن أخطاءها ستُكتشف بسرعة أيضاً. بدت الأرقام الخام داعمة لهذا، حيث أظهرت أن الأوراق "المنشأة بواسطة الكمبيوتر" لديها نطاق زمني أضيق بكثير قبل السحب مقارنة بالجداول الزمنية المتنوعة والفوضوية للأوراق المسحوبة الأخرى. ومع ذلك، كان هذا التوقيت الضيق وهماً ناتجاً عن تركيز البيانات. فعندما قارن الباحث هذه الأوراق فقط بالأوراق الأخرى من نفس دار النشر ونفس السنوات، تلاشى الفرق في التوقيت. لم تكن الأوراق "المنشأة بواسطة الكمبيوتر" تُضبط بشكل أسرع؛ بل كانت مجرد جزء من دفعة من الأوراق التي تمت مراجعتها وسحبها جميعاً في نفس الوقت خلال التحقيق الخاص بدار النشر تلك. وبمجرد إزالة دار النشر المهيمنة من المقارنة، اختفت فكرة أن هذه الأوراق لها جدول زمني فريد وسريع تماماً.

كما بحثت الدراسة في العلاقة بين هذا الملصق و"مصانع الأوراق" (paper mills)، وهي منظمات تبيع تأليفاً مزيفاً ومخطوطات مفبركة. في البداية، أظهرت البيانات رابطاً قوياً: 71 بالمائة من الأوراق "المنشأة بواسطة الكمبيوتر" تحمل أيضاً علامة "مصنع أوراق"، مقارنة بـ 9 بالمائة فقط من الأوراق المسحوبة الأخرى. وهذا يشير إلى أن الملصق كان علامة موثوقة لهذه العمليات الإجرامية. ولكن مرة أخرى، تغيرت الصورة عند فرز البيانات حسب دار النشر والسنة. فقبل عام 2023، كان الرابط غير موجود. وفي عامي 2023 و2024، أصبح الرابط قوياً جداً، ولكن داخل دور نشر محددة فقط. وفي دور النشر الكبيرة الأخرى، انقلبت العلاقة فعلياً، حيث كانت الأوراق "المنشأة بواسطة الكمبيوتر" أقل عرضة للارتباط بمصانع الأوراق مقارنة بالأوراق المسحوبة الأخرى. هذا التباين الشديد يعني أنه لا توجد قاعدة واحدة عالمية تربط الملصق بمصانع الأوراق؛ بل يعتمد الارتباط كلياً على من يقوم بالتحقيق ومتى.

أخيراً، نظر الباحث فيما إذا كانت هذه الأوراق تُستشهد بها بشكل أقل بعد سحبها، مما يشير إلى أن المجتمع العلمي كان ينتبه للتحذير. للوهلة الأولى، بدا أن الأوراق "المنشأة بواسطة الكمبيوتر" تُستشهد بها أقل بكثير من الأوراق المسحوبة المماثلة. لكن هذا الفرق كان سببه الأساسي أن مجموعة التحكم من الأوراق قد حظيت باستشهادات مكثفة حتى قبل سحبها. وعندما طابق الباحث الأوراق بدقة بناءً على عدد الاستشهادات التي حصلت عليها بالفعل، تلاشى الفرق في الاستشهادات بعد السحب تقريباً. وكانت الفجوة الصغيرة المتبقية غير ذات دلالة إحصائية، مما يشير إلى أن المجتمع العلمي يعامل هذه الأوراق دون تمييز عن غيرها من الأعمال المسحوبة بمجرد مراعاة سمعتها السابقة.

ولعل النتيجة الأكثر دلالة جاءت من البحث عن كلمات محددة في ملاحظات السحب. بحث الباحث عن ذكر لأدوات ذكاء اصطناعي محددة، مثل "ChatGPT" أو "نماذج اللغة الكبيرة"، في البيانات الوصفية للأوراق. ومن بين آلاف السجلات، احتوت 21 ورقة فقط على مثل هذه المصطلات المحددة. والأكثر دهشة هو أنه لم تكن أي من الأوراق التي تحمل ملصق "المحتوى المنشأ بواسطة الكمبيوتر" وتذكر أداة ذكاء اصطناعي محددة هي في الواقع عن تلك الأداة نفسها؛ بل كانت دراسات عن الذكاء الاصطناعي، وليست أوراقاً مكتوبة بواسطة الذكاء الاصطناعي. والورقة الوحيدة التي ذكرت رسوماً بيانية منشأة بالذكاء الاصطناعي لم تحمل حتى ملصق "المحتوى المنشأ بواسطة الكمبيوتر". وهذا يشير إلى أن الملصق لا يُطبق لأن إخطارات السحب تقول صراحة "هذا كُتب بواسطة آلة". بدلاً من ذلك، يُطبق الملصق بناءً على تحقيقات أوسع في نزاهة الورقة، غالباً جنباً إلى جنب مع نتائج تتعلق بخلل في مراجعة الأقران.

تخلص الدراسة إلى أن ملصق "المحتوى المنشأ بواسطة الكمبيوتر" في قاعدة بيانات السحب ليس مؤشراً موثوقاً لسوء استخدام الذكاء الاصطناعي التوليدي. إنه سجل لتحقيق محدد وضخم في برامج الأعداد الخاصة لدار نشر واحدة، حيث طُبق الملصق على نطاق واسع من القضايا بما في ذلك مصانع الأوراق وإخفاقات مراجعة الأقران. وتظهر البيانات أن الملصق لا يشير إلى نوع فريد من الأوراق التي تُضبط بشكل أسرع أو تُعامل بشكل مختلف من قبل المجتمع العلمي. وحتى يتمكن الباحثون من قراءة ملاحظات السحب الفعلية والتحقق من محتوى الأوراق، فإن استخدام هذا الملصق كمقياس للاحتيال الناتج عن الذكاء الاصطناعي سيؤدي إلى رؤية مشوهة للمشكلة. القصة الحقيقية ليست غزو مفاجئ للعلوم المكتوبة بالذكاء الاصطناعي، بل هي عملية تنظيف مركزة لسير عمل نشر معين استخدم بالصدفة ملصقاً واسع النطاق لوصف نتائجه.