Benchmark Evaluation of the WordBinary AI-Text Detection Model on 9,000 AI-Generated Texts and 2,000 Pre-2015 Human Academic-Paper Samples
تفيد هذه الدراسة بأن نموذج كشف النصوص المولدة بواسطة الذكاء الاصطناعي "WordBinary" حقق دقة تصنيف مثالية (100%) على معيار محدد يضم 11,000 عينة تتكون من 9,000 نص مولد بواسطة الذكاء الاصطناعي و2,000 ورقة أكاديمية بشرية تعود لما قبل عام 2015، مع الإقرار بأن هذه النتائج تتطلب مزيداً من التحقق المستقل واختبارات أوسع قبل تعميمها كدقة عالمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة وصاخبة حيث يكتب الجميع قصصاً ومقالات وتقارير. لفترة طويلة، كنا نعرف من كتب ماذا: كان هناك إنسان يجلس مع قلم أو لوحة مفاتيح وينشئ الكلمات. ولكن مؤخراً، انتقل نوع جديد من "الكُتّاب الأشباح" إلى المكتبة. هؤلاء هم أنظمة الذكاء الاصطناعي (AI)، وهي برامج حاسوبية قوية يمكنها قراءة ملايين الكتب ثم كتابة قصصها الخاصة التي تبدو تماماً كما لو أن إنساناً كتبها. وقد خلق هذا نوعاً من الغموض: إذا التقطت كتاباً جديداً، فكيف تعرف ما إذا كان إنساناً هو من كتبه أم أن روبوتاً فعل ذلك؟
هذا هو عالم "كشف النصوص المولدة بالذكاء الاصطناعي". فكر في الأمر كأنه أمين مكتبة ذكي جداً يحاول تمييز الفرق بين رسالة مكتوبة بخط اليد وبين نسخة مطبوعة من آلة. الهدف هو الإمساك بالقصص التي كتبها الروبوت دون اتهام البشر عن طريق الخطأ. إذا كان أمين المكتبة متلهفاً جداً، فقد يصرخ "مزيف!" في وجه واجب مدرسي لشخص حقيقي، وهذا أمر غير عادل ويسبب المشاكل. وإذا كان بطيئاً جداً، فقد يفوت الروبوت تماماً. يتسابق العلماء لبناء أدوات كشف تكون حادة بما يكفي لتمييز الذكاء الاصطناعي، وفي الوقت نفسه لطيفة بما يكفي لحماية البشر.
الآن، دعونا نتعرف على المحقق الجديد في المدينة: نظام يسمى WordBinary. قرر باحث يدعى كيا كوران وضع هذا المحقق في اختبار ضخم ليرى مدى جودته حقاً. لم يكتفِ باختباره على بضع جمل؛ بل ألقى بجبل من النصوص عليه. تضمن الاختبار 11,000 قطعة كتابية مختلفة. ولجعل المعركة عادلة، قسم الجبل إلى كومتين.
الكومة الأولى كانت "كومة الروبوت". احتوت على 9,000 نص كُتبت بالتأكيد بواسطة الذكاء الاصطناعي. ولكن الجزء الخدعة هنا هو أن هذه لم تكن مجرد نصوص روبوتية عادية ومملة. فبعضها كُتب بواسطة نماذج ذكاء اصطناعي شهيرة مثل OpenAI وClaude وGemini. وحتى الأكثر تحدياً: بعض نصوص الروبوت هذه تم "أنسنتها". تخيل روبوتاً يكتب قصة، ثم يقوم إنسان (أو روبوت آخر) بمراجعتها بقلم أحمر، وتغيير الكلمات، وإصلاح القواعد، ومحاولة جعلها تبدو أكثر طبيعية. تضمن الاختبار كلاً من نصوص الروبوت الخام والنسخ "المؤنسنة" لمعرفة ما إذا كان بإمكان المحقق تمييزها أيضاً.
الكومة الثانية كانت "كومة البشر". احتوت على 2,000 عينة من أوراق أكاديمية حقيقية كتبها بشر. وللتأكد من أنها كتابات بشرية قديمة الطراز، اختار الباحث فقط الأوراق المنشورة قبل عام 2015. لماذا 2015؟ لأن ذلك كان قبل أن تصبح أدوات الكتابة الحديثة والقوية جداً بالذكاء الاصطناعي شائعة. جاءت هذه الأوراق من خمسة مجالات مختلفة: علوم الحاسوب، والاقتصاد، والإحصاء، والفيزياء، والرياضيات.
إذاً، ماذا حدث عندما نظر WordBinary إلى هذا الجبل المكون من 11,000 نص؟ كانت النتائج لا تقل عن كونها مثالية.
لقد أصاب المحقق في كل شيء تماماً. حدد جميع نصوص الذكاء الاصطناعي الـ 9,000 بشكل صحيح على أنها مكتوبة بواسطة آلة. لم يفتحه أي منها، حتى تلك التي تمت "أنسنتها" لتبدو أكثر شبهاً بالبشر. وفي الوقت نفسه، حدد جميع الأوراق الأكاديمية البشرية الـ 2,000 بشكل صحيح على أنها مكتوبة بواسطة بشر. لم يتهم أي كاتب بشري عن طريق الخطأ.
في عالم الإحصاء، يعد هذا أمراً ضخماً. حسب الباحث أن النظام كان دقيقاً بنسبة 100% في هذا الاختبار المحدد. لقد أمسك بكل روبوت وحمى كل إنسان. حتى نصوص الروبوت "المؤنسنة"، والتي عادة ما تكون الأصعب في الكشف، تم رصدها بنسبة 100% من الوقت. أعطى النظام نصوص الروبوت درجات ذكاء اصطناعي عالية جداً (غالباً بين 98% و100%)، بينما حصلت النصوص البشرية على درجات منخفضة جداً (غال% غالباً أقل من 1%). أعلى درجة حصلت عليها ورقة بشرية كانت 1.07% فقط، وهي تشبه همسة شك، وليست صرخة اتهام.
ومع ذلك، فإن الباحث حذر جداً من القول بأن هذه هي نهاية القصة. فبينما فاز WordBinary بهذه اللعبة المحددة بشكل مثالي، يحذرنا الباحث من الاعتقاد بأنه يستطيع الفوز في كل لعبة للأبد. كان الاختبار أشبه بمباراة تجريبية على ملعب مثالي مع لاعبين معروفين. يشير الباحث إلى أننا لا نعرف ما إذا كان قد تم تدريب WordBinary على هذه النصوص نفسها بالضبط من قبل، وهو ما سيكون يشبه قيام طالب بحفظ إجابات الاختبار. كما أننا لا نعرف كيف سيتعامل مع النصوص بلغات أخرى، أو ما إذا كان سيصاب بالارتباك أمام إنسان استخدم الذكاء الاصطناعي فقط لتصحيح إملائه.
يخلص البحث إلى أن WordBinary واعد للغاية وقد أدى عمله بلا شائبة في هذه المجموعة المحددة من 11,000 عينة. ولكن، تماماً مثل محقق يحل قضية كبيرة واحدة، لا يزال بحاجة لإثبات قدرته على حل أنواع مختلفة من الألغاز في العالم الحقيقي قبل أن نثق به لاتخاذ القرارات النهائية بمفرده. في الوقت الحالي، هو أداة قوية جداً، لكنه ليس عصا سحرية تحل كل شيء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.