💬 NLP

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

تقدم هذه الورقة البحثية EVIL-Detect، وهو إطار عمل تجميعي متعدد الإشارات مع دمج واعٍ بالصراع، والذي حقق المركز الأول في المهمة المشتركة 6 لـ NLPCC 2026 من خلال الكشف الفعال عن النصوص المولدة بواسطة النماذج اللغوية الكبيرة، والمكتوبة بشرياً، والمعدلة بواسطة النماذج اللغوية الكبيرة في السيناريوهات الصينية.

المؤلفون الأصليون: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

نُشر 2026-08-12

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل الإنترنت كمكتبة ضخمة تعج بالحركة، حيث تُكتب الكتب بواسطة البشر وأيضاً بواسطة نوع جديد من أمناء المكتبة فائق السرعة: الذكاء الاصطناعي. لفترة طويلة، كان هؤلاء الأمناء (الذكاء الاصطناعي) -الذين يُطلق عليهم نماذج اللغات الكبيرة (LLMs)- قادرين فقط على كتابة ملاحظات بسيطة، ولكن الآن أصبح بإمكانهم كتابة قصص ومقالات ومقالات كاملة تبدو تماماً كما لو أن إنساناً كتبها. هذا سلاح ذو حدين؛ فمن ناحية، هو قوة خارقة للإبداع، ومن ناح أخرى، يجعل من الصعب معرفة من كتب النص فعلياً. إذا قدم طالب مقالاً، فكيف نعرف ما إذا كان هو من كتبه، أم أن الذكاء الاصطناعي هو من كتبه، أم أنه طلب من الذكاء الاصطناعي المساعدة في صقل مسودته الأولية؟ هذا هو اللغز الكبير الذي يحاول العلماء حله: بناء "جهاز كشف الكذب" للنصوص يمكنه تمييز الفرق بين الإنسان، والروبوت، والفريق المشترك بين الإنسان والروبوت.

في هذه القصة، قام فريق من الباحثين من الصين ببناء أداة جديدة تسمى EVIL-Detect لحل هذا اللغز. لم يكتفوا ببناء كاشف واحد، بل بنوا "فرقة تحرٍ" تعمل معاً للإمساك بالحقيقة. تم اختبار نظامهم في مسابقة كبرى تسمى NLPCC 2026، حيث واجه تحدياً صعباً: التمييز بين ثلاثة أنواع من النصوص: الكتابة البشرية الخالصة، والكتابة الآلية الخالصة، والنصوص التي كتبها بشر ثم قام الذكاء الاصطناعي بتعديلها أو صقلها. وبينما حاولت الطرق الأخرى تخمين الإجابة بعقل واحد، استخدم EVIL-Detect نهج الفريق، حيث دمج أدلة مختلفة للوصول إلى الإجابة الصحيحة. وفي النتيجة النهائية، حقق نظامهم درجة macro-F1 بلغت 0.8888، محتلاً المركز الأول في التقييم الرسمي.

المشكلة: لغز "الثلاث طرق"

كانت معظم الكواشف القديمة تشبه المفاتيح الثنائية: يمكنها فقط قول "بشري" أو "ذكاء اصطناعي". لكن العالم الحقيقي أكثر تعقيداً. غالباً ما يستخدم الناس الذكاء الاصطناعي لتصحيح قواعدهم اللغوية أو لجعل كتابتهم تبدو أفضل، وهذا يخلق فئة ثالثة: النصوص المنقحة بواسطة النماذج اللغوية الكبيرة (LLM-refined text). تخيل أن طالباً كتب مسودة (بشري)، ثم طلب من الذكاء الاصطناعي "جعل هذا يبدو أكثر احترافية" (منقح)، أو أن ذكاءً اصطناعياً كتب قصة كاملة من الصفر (ذكاء اصطناعي). التحدي يكمل في أن النص "المنقح" يبدو مزيجاً من الاثنين، مما يجعل اكتشافه أمراً صعباً للغاية.

وجد الباحثون أنك إذا حاولت تعليم الكمبيوتر تخمين الفئات الثلاث معاً، فسيصاب بالارتباك. في اختباراتهم، أدت طريقة قياسية حاولت تعلم الفئات الثلاث مباشرة أداءً سيئاً للغاية، حيث سجلت 0.1690 فقط. كان الأمر يشبه محاولة تعليم كلب التحدث بثلاث لغات في وقت واحد؛ فقد استسلم ببساساً.

الحل: فرقة التحري (EVIL-Detect)

بدلاً من عقل واحد كبير، بنى الفريق EVIL-Detect (والذي يرمز إلى التعلم المتكامل لرؤية التعديل من أجل الكشف - Edit-aware View-Integrated Learning for Detection). فكر في هذا النظام كفريق من أربعة محققين مختلفين، كل منهم ينظر إلى النص من خلال نظارات مختلفة. هم لا يكتفون بالتصويت فحسب، بل يتحدثون مع بعضهم البعض ويحلون خلافاتهم للوصول إلى حكم نهائي.

إليك المحققون الأربعة وما يبحثون عنه:

"محقق التعديل" (التدريب الخاضع للإشراف): تم تدريب هذا المحقق لقياس مدى تغيير النص. إنه ينظر إلى الفرق بين أسلوب الإنسان الأصلي والنسخة النهائية. إذا كان النص بشرياً خالصاً، فإن التغيير يكون صفراً. إذا كان ذكاءً اصطناعياً خالصاً، فإن التغيير يكون ضخماً. أما إذا كان "منقحاً"، فإن التغيير يكون في المنتصف. يعطي هذا المحقق درجة على مقيء من 0 إلى 1، ليخبر الفريق بمدى "تعديل" النص.
"محقق الصفر-الخطوة" (EchoPrompt): لا يحتاج هذا المحقق إلى التدريب على بيانات محددة. إنه يستخدم خدعة ذكية: يسأل النص، "هل يبدو هذا وكأن روبوتاً قد قاله؟" من خلال مقارنة مدى احتمالية أن تقوم نماذج ذكاء اصطناعي مختلفة بتوليد هذا النص. إذا بدا النص وكأنه مخرجات طبيعية لروبوت، يرفع هذا المحقق راية حمراء لـ "المحتوى المولّد بواسطة الذكاء الاصطناعي".
"محقق عدد الكلمات" (الإحصاء المعجمي): ينظر هذا المحقق إلى التفاصيل الصغيرة والمملة: كم مرة تظهر كلمات أو مجموعات معينة من الحروف. البشر والروبوتات يميلون لاستخدام "بصمات" لغوية مختلفة. يقوم هذا المحقق بعد هذه الأنماط ليرى ما إذا كان النص يميل نحو العادات البشرية أم عادات الآلة.
"محقق كتاب القواعد" (قواعد النص): هذا هو شبكة الأمان. يبحث عن علامات واضحة لا يرتكبها البشر، مثل بقايا أكواد الكمبيوتر (وسوم HTML مثل <div> أو <html>) أو جمل غير مكتملة تبدو وكأن الروبوت انقطع في منتصفها. إذا رأى ذلك، فإنه يصنف النص فوراً كذكاء اصطناعي.

كيف يعملون معاً: "الاجتماع الواعي بالصراع"

سحر EVIL-Detect ليس فقط في امتلاك أربعة محققين، بل في كيفية تعاملهم عندما يختلفون. أحياناً يعتقد "محقق التعديل" أن النص "منقح"، بينما يعتقد "محقق عدد الكلمات" أنه "ذكاء اصطناعي".

بدلاً من مجرد حساب متوسط أصواتهم (وهو ما يشبه الديمقراطية حيث يتم تجاهل رأي الأقلية)، يستخدم الفريق استراتيجية دمج واعي بالصراع (Conflict-Aware Fusion). لديهم مجموعة من القواعد لحل النزاعات:

إذا اتفق محققان، فإنهما يذهبان مع تلك الإجابة.
إذا اختلفا، فإنهما ينظران في الأدلة المحددة. على سبيل المثال، إذا كان "محقق التعديل" غير متأكد بين "بشري" و"منقح"، فإن الفريق يتحقق من "محقق الصفر-الخطوة" ليرى ما إذا كانت هناك علامات قوية على الذكاء الاصطناعي.
أخيراً، يحصل "محقق كتاب القواعد" على الكلمة الأخيرة. إذا كان النص يحتوي على كود برمجي واضح، فإن النظام يتجاوز كل شيء ويسميه ذكاءً اصطناعياً.

النتائج: الفوز بالمسابقة

عندما اختبر الفريق نظامهم على بيانات المسابقة الرسمية، والتي تضمنت أمثلة صعبة وغير مرئية مصممة لكسر الكواشف، حقق EVIL-Detect أداءً رائعاً للغاية.

في مجموعة الاختبار الأولى (testp1)، سجل درجة macro-F1 بلغت 0.8913.
في مجموعة الاختبار الثانية الأكثر صعوبة (testp2)، سجل 0.8888.

كان النظام بارعاً بشكل خاص في رصد نصوص الذكاء الاصطناعي الخالصة (سجل 0.9219 في تلك الفئة) وقام بعمل جيد مع النصوص "المنقحة" الصعبة (سجل 0.8407). وجد الباحثون أن "محقق التعديل" كان أقوى عضو منفرد في الفريق، لكن النظام لم يصل إلى المركز الأول إلا لأن المحققين الآخرين ساعدوا في إصلاح الأخطاء التي ارتكبها المحقق الرئيسي.

ماذا تعلموا (وماذا رفضوا)

اختبرت الورقة أيضاً بعض الأفكار الأخرى لمعرفة ما إذا كانت ستنجح، ووجدوا أن بعض الطرق الشائعة فشلت بالفعل في هذا التحدي الثلاثي.

التدريب المباشر فشل: حاولوا تدريب نموذج ذكاء اصطناعي واحد ليقوم فقط بـ "تخمين" الفئات الثلاث مباشرة. كانت النتيجة كارثية، حيث سجل 0.1690 فقط. أثبت هذا أنه لا يمكنك مجرد إلقاء البيانات على نموذج وتوقع أن يفهم الفروق الدقيقة بين "بشري"، و"ذكاء اصطناعي"، و"منقح" دون مساعدة.
الكواشف القديمة عانت: جربوا أيضاً طريقة تسمى "Binoculars"، وهي جيدة للكشف الثنائي البسيط، لكنها سجلت 0.3928 فقط هنا. لم تستطع التعامل مع تعقيد الفئات الثلاث.

يشير الباحثون إلى أن سر النجاح لم يكن في "نموذج خارق" واحد، بل في مجموعة متعددة الإشارات (multi-signal ensemble). فمن خلال الجمع بين "قوة التعديل" (مقدار التغيير)، و"الاحتمالية" (هل يبدو كآلة؟)، و"أنماط الكلمات"، أنشأوا نظاماً قوياً بما يكفي للتعامل مع الواقع الفوضوي لكيفية استخدام الناس للذكاء الاصطناست اليوم.

باختصار، يظهر EVIL-Detect أنه للإمساك بالحقيقة في عالم يجمع بين البشر والذكاء الاصطناعي، تحتاج إلى فريق من المتخصصين الذين يمكنهم الجدال، والتفاوض، والتدقيق في عمل بعضهم البعض، بدلاً من الاعتماد على مجرد تخمين واحد.

ملخص تقني: EVIL-Detect لمهمة NLPCC 2026 المشتركة 6

تعريف المشكلة
تتناول الورقة البحثية تحدي اكتشاف النصوص التي تم إنشاؤها أو تحسينها بواسطة النماذج اللغوية الكبيرة (LLMs) ضمن سيناريوهات صينية واقعية. بينما تركز الأدبيات الحالية بشكل أساسي على التصنيف الثنائي (التمييز بين النص المكتوب بشرياً [HWT] والنص المُنشأ بواسطة نموذج لغوي كبير [LGT])، تقدم المهمة المشتركة رقم 6 في NLPCC 2026 مشكلة تصنيف أكثر تعقيداً تتكون من ثلاث فئات:

HWT: نص مكتوب بشرياً بالكامل.
LGT: نص مُنشأ بالكامل بواسطة نموذج لغوي كبير.
HLT: نص تم تحسينه بواسطة نموذج لغوي كبير (نص مكتوب بشرياً تم صقله أو إعادة كتابته بواسطة نموذج لغوي كبير).

يشير المؤلفون إلى أن هذا الإعداد يعكس الكتابة المدعومة بالذكاء الاصطناعي في العالم الحقيقي، ولكنه يفرض تحديات كبيرة بسبب الانزياح القوي عن التوزيع الأصلي (OOD) بين بيانات التدريب (المستمدة من CUDRT) وبيانات التقييم (المستمدة من DetectRL-X)، والتي تتضمن مجالات، ومولدات، ومخططات توليد غير مرئية. وقد وُجد أن التكيف المباشر للمصنفات الثنائية أو الضبط الدقيق الخاضع للإشراف القياسي (SFT) مع إعداد الفئات الثلاث كان غير قوي بما يكفي، حيث حققت بعض نهج SFT المرجعية درجات macro-F1 منخفضة تصل إلى 0.1690.

المنهجية: EVIL-Detect
يقترح المؤلفون نظام EVIL-Detect (التعلم المتكامل لرؤية التعديل - Edit-aware View-Integrated Learning for Detection)، وهو إطار عمل للجمع بين الإشارات المتعددة مصمم للتعامل مع المتصل بين HWT وHLT وLGT. تدمج بنية النظام أربعة مصادر مختلفة للأدلة من خلال استراتيجية دمج واعية بالصراع:

وحدة التدريب الخاضعة للإشراف (انحدار مدى التعديل):
- مستوحاة من EditLens، تعامل هذه الوحدة الاكتشاف كمسألة انحدار مستمرة بدلاً من التصنيف المنفصل.
- تُعرف محور هدف مدى التعديل حيث يكون HWT هو 0، وLGT هو 1، وHLT هي قيمة $d(h, t)$ تمثل المسافة بين المصدر البشري والنص المحسن.
- تم تنفيذ نسختين:
  - EditLens: تستخدم مسافات الـ $n$ -gram الناعمة لعدد الحروف على المستوى السطحي. يستخدم التكوين الأمثل (rank044) رتب $n$ -gram من 1 إلى 7 مع أوزان متزايدة خطياً.
  - Soft-EditLens: تستخدم المطابقة الناعمة على مستوى العبارات الدلالية عبر التضمينات (embeddings) لالتقاط التعبيرات المحفوظة رغم الاستبدال المعجمي. وتنتج كلاً من درجة انحدار مستمرة ومؤشر وعاء ترتيب (ordinal bucket index).
- تستخدم كلتا النسختين نماذج Qwen مع التكيف منخفض الرتبة (LoRA).
وحدة الاكتشاف بأسلوب التعلم الصفري (Zero-Shot):
- تستخدم EchoPrompt، وهي طريقة لا تتطلب تدريباً تقوم بحساب درجات تباين الاحتمالية (likelihood-contrast scores) بين النماذج الموجهة بالتعليمات والنماذج الأساسية.
- بدلاً من التنبؤات المستقلة، تقوم عدة فروع من النماذج/الأوامر (باستخدام Qwen3.5 وQwen2.5) بتوليد "أصوات دعم LGT" ثنائية لتعمل كدليل مساعد.
وحدة إحصاءات التكرار المعجمي:
- تبني معاجم تكرار لكل فئة من مجموعة التدريب لتحديد الـ $n$ -grams المميزة.
- تحسب احتمالات مشروطة بالملصق (label-conditional probabilities) ممهدة ومجموع درجات لوغاريتم الأرجحية (مثل LGT-مقابل-HWT، وAI-مقابل-HWT) لتوفير أدلة سطحية خفيفة الوزن.
وحدة الدمج واتخاذ القرار:
- التكامل الواعي بالصراع: لا يستخدم النظام المتوسط الموحد. بدلاً من ذلك، يستخدم حدود قرار معايرة لتحويل درجات EditLens إلى ملصقات أساسية. إذا اختلف حدان معايران، يتم تفعيل المصلح $R(\cdot)$ .
- يستخدم المصلح درجات انحدار/وعاء Soft-EditLens وأصوات دعم LGT المجمعة لحل الصراعات بين أزواج فئات محددة (مثل HWT/HLT، HLT/LGT).
- قواعد النصوص عالية الدقة: كإجراء وقائي أخير، تقوم قواعد محافظة بتصحيح آثار معينة، مثل علامات الهيكلية HTML/XML أو بقايا السكربت (التي تشير إلى LGT) وآثار إعادة الكتابة الصريحة (التي تشعي إلى HLT).

المساهمات الرئيسية

تحليل إعداد الفئات الثلاث الصيني: تحلل الورقة أداء طرق الاكتشاف التمثيلية في السياق المحدد لـ HWT وLGT وHLT، مما يثبت أن التكيف المباشر للطرق الثنائية يفشل تحت انزياحات OOD.
إطار عمل EVIL-Detect: اقتراح إطار عمل تجميعي واعٍ بالصراع يدمج انحدار مدى التعديل، وأدلة الاحتمالية من التعلم الصفري، والإحصاءات المعجمية، والتصحيحات القائمة على القواعد.
أداء الحالة الراهنة (State-of-the-Art): حقق النظام درجة macro-F1 بلغت 0.8888 على مجموعة الاختبار الرسمية (testp2)، محتلاً المركز الأول في المهمة المشتركة رقم 6 لـ NLPCC 2026.

النتائج التجريبية

الأداء: حقق النظام macro-F1 قدره 0.8913 في testp1 و0.8888 في testp2.
الأداء حسب الفئة: كان اكتشاف LGT هو الأقوى (F1 $\approx$ 0.92)، بينما ظلت HLT هي الفئة الأكثر تحدياً (F1 $\approx$ 0.84)، وهو ما يتوافق مع طبيعتها المتوسطة.
دراسات الاستئصال (Ablation Studies):
- حقق مكون EditLens وحده 0.8411 macro-F1.
- أدى إضافة التكامل الواعي بالصراع وقواعد النصوص إلى تحسين الدرجة إلى 0.8816.
- قلل نظام الدمج الكامل (0.8888) من أخطاء الارتباك بشكل كبير، وتحديداً تقليل أخطاء LGT $\to$ HLT من 59 إلى 30 وأخطاء HLT $\to$ LGT من 58 إلى 28 مقارنة بمرجع EditLens فقط.
- أدت التصميمات البديلة، مثل مصنفات SFT التوليدية المباشرة (مثل GLM-4-9B، Qwen3.5-9B)، إلى أداء ضعيف (macro-F1 < 0.19)، مما يؤكد صحة اختيار المؤلفين لاستخدام نمذجة مدى التعديل كإشارة أساسية بدلاً من الاعتماد فقط على التصنيف التوليدي.

الأهمية
تدعي الورقة أن الاكتشاف القوي للفئات الثلاث في بيئات OOD الواقعية لا يمكن أن يعتمد على إشارة واحدة. بدلاً من ذلك، فإن دمج نمذجة قوة التعديل، وأدلة الاحتمالية، والإشارات المعجمية، والتصحيحات عالية الدقة يوفر المعلومات التكميلية اللازمة للتمييز بين النص البشري، والمُنشأ آلياً، والمُحسن آلياً. يسلط العمل الضوء على ضرية استراتيجيات حل الصراع عند دمج الإشارات غير المتجانسة لمهام اكتشاف النصوص دقيقة التفاصيل.