Interpretable Predictability-Based AI Text Detection: A Replication Study
تقدم هذه الورقة تكراراً وتوسيعاً لنظام AuTexTification 2023 الخاص بنسبة المؤلف، حيث تُثبت أن دمج النماذج متعددة اللغات الأحدث مع السمات الأسلوبية على مستوى المستند وتحليل SHAP يحسن أداء الكشف عبر اللغات، مع تسليط الضوء على الحاجة الماسة إلى توثيق واضح لضمان التكرار الموثوق.
المؤلفون الأصليون:Adam Skurla, Dominik Macko, Jakub Simko
تخيل أنك محقق يحاول حل لغز: من الذي كتب هذه القصة؟ هل كان بشرياً ذا صوت فريد، أم روبوتاً متطوراً (ذكاء اصطناعي) يقلد البشر؟
هذه الورقة البحثية تشبه "تقرير ميداني لمحقق" حاول فيه المؤلفون إعادة بناء وتحسين أداة محددة تُستخدم لحل هذا اللغز. لقد نظروا في نظام من مسابقة عام 2023، وحاولوا نسخه تماماً، فوجدوا بعض الأشياء مفقودة أو معطلة، ثم قاموا ببناء نسخة أفضل وأكثر شفافية.
إليك تفاصيل رحلتهم، باستخدام تشبيهات بسيطة:
1. المهمة: نسخ المخطط الأصلي (إعادة الإنتاج)
بدأ المؤلفون بمحاولة إعادة بناء آلة صنعها باحثون آخرون في عام 2023. فكر في الأمر كأنك تحاول خبز كعكة باستخدام وصفة وصورة للمنتج النهائي، ولكن بدون مطبخ الطاهي الأصلي.
المشكلة: عندما حاولوا خبز الكعكة، لم يكن طعمها مطابقاً تماماً. لماذا؟
مكونات مفقودة: بعض "الدقيق" الأصلي (نماذج ذكاء اصطناعي محددة للغة الإسبانية) قد اختفى من الإنترنت. اضطروا لاستخدام بديل.
أفران مختلفة: الوصفة الأصلية قالت "اخبز حتى ينضج"، لكن الكود الذي وجدوه كان يخبز لوقت ثابت.
أخطاء في القياس: الطريقة التي عدّوا بها "السكر" (السمات اللغوية) كانت مختلفة قليلاً لأن "أكواب القياس" (أدوات البرمجيات) تغيرت بمرور الوقت.
الدرس المستفاد: لا يمكنك حقاً نسخ تجربة علمية ما لم يشارك الفريق الأصلي كل التفاصيل الدقيقة، وصولاً إلى النسخة المحددة من البرنامج الذي استخدموه.
2. الترقية: محركات جديدة وعدسات مكبرة أفضل
بمجرد حصولهم على آلة تعمل، قرروا ترقيتها. أرادوا معرفة ما إذا كانت التكنولوجيا الأحدث يمكنها القيام بعمل أفضل.
المحرك (نماذج الذكاء الاصطناعي): استخدمت الآلة الأصلية محركاً قديماً (GPT-2) لتخمين مدى "قابلية التنبؤ" بالجملة. استبدل المؤلفون هذا المحرك بمحركات أحدث وأذكى (مثل Qwen و mGPT).
تشبيه: تخيل أن المحرك القديم كان دراجة تحاول اللحاق بسيارة. المحركات الجديدة هي سيارات رياضية عالية الأداء؛ يمكنها رصد الاختلافات الدقيقة بين الكتابة البشرية وكتابة الذكاء الاصطناعي بشكل أسرع وأكثر دقة.
العدسة المكبرة (السمات الأسلوبية): كانت الأداة الأصلية تنظر إلى النص من خلال عدسة مكبرة عادية. أضاف المؤلفون 26 عدسة جديدة (سمات) للنظر إلى النص عن كثب.
بدأوا في عد أشياء مثل: كم عدد علامات التعجب الموجودة؟ ما طول الجمل؟ ما مدى تكرار الكلمات؟
تشبيه: إذا كان الذكاء الاصطناعي هو "مُزور"، فقد يكتب قواعد لغوية مثالية، لكنه قد يستخدم نفس بنية الجملة مراراً وتكراراً، أو يتجنب الكلمات العاطفية المعقدة. هذه العدسات الجديدة ترصد تلك "العلامات" الصغيرة التي فاتته الأداة القديمة.
3. النتيجة: أداة واحدة لجميع اللغات
كان النظام الأصلي يحتاج إلى أداة مختلفة للإنجليزية وأخرى للإسبانية. كان الأمر يشبه امتلاك مفتاحين مختلفين لقفلين مختلفين.
الاختراق النوعي: ابتكر المؤلفون "مفتاحاً رئيسياً" (تكوين متعدد اللغات). وجدوا إعداداً واحداً يعمل بالبراعة ذاتها للإنجليزية كما هو الحال للإسبانية.
لماذا هذا مهم: هذا يوفر الوقت والمال. فبدلاً من بناء كاشف مخصص لكل لغة في العالم، يمكننا استخدام كاشف واحد ذكي وقابل للتكيف للعديد من اللغات.
4. الـ "لماذا" (القابلية للتفسير)
معظم كواشف الذكاء الاصطناعي هي "صناديق سوداء". تضع نصاً، فتخرج لك نتيجة، لكن ليس لديك أدنى فكرة عن السبب. إنه يشبه قاضياً يقول "مذنب" دون شرح الأدلة.
تحليل SHAP: استخدم المؤلفون تقنية تسمى SHAP (والتي تعني "تفسيرات شابلي المضافة"). فكر في هذا كـ قلم تحديد (Highlighter) يضيء بالضبط الأجزاء التي جعلت النص مشبوهاً لدى الذكاء الاصطناعي.
الاكتشاف: وجدوا أن "العدسات" الجديدة (الـ 26 سمة الإضافية) كانت مهمة جداً بالفعل. لم يكن الذكاء الاصطناعي يخمن فحسب، بل كان ينتبه لأشياء مثل طول الجملة وتنوع الكلمات. هذا يجعل النظام موثوقاً لأننا نستطيع رؤية الأدلة.
الملخص: ماذا تعلموا؟
إعادة الإنتاج صعبة: إذا لم يشارك العلماء كودهم وإعداداتهم الدقيقة، فلن يتمكن الآخرون من التحقق من عملهم. التفاصيل الصغيرة تفرق.
الأحدث هو الأفضل: استخدام نماذج ذكاء اصطناعي حديثة لتحليل النصوص يجعل الكشف أقوى بكثير.
الأسلوب مهم: حتى مع وجود ذكاء اصطنا-ي قوي، فإن النظر إلى "أسلوب" الكتابة (كيفية بناء الجمل، علامات الترقية، إلخ) لا يزال يمثل قوة خارقة لكشف التزييف.
مقاس واحد يناسب الجميع: يمكننا بناء كاشف ذكي واحد يعمل لعدة لغات دون الحاجة لتعديله لكل لغة على حدة.
باخت-صار: أخذ المؤلفون مجموعة أدوات تحقيق قديمة ومعطلة قليلاً، وأصلحوا الأجزاء المفقودة، وأضافوا عدسات عالية التقنية، وابتكروا أداة واحدة شفافة يمكنها كشف كتابات الذكاء الاصطناعي باللغتين الإنجليزية والإسبانية، مع توضيح كيفية كشفها لنا.
فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "التعرف على النصوص القائم على القابلية للتنبؤ والقدرة على التفسير: دراسة إعادة إنتاج".
1. بيان المشكلة
أدى التقدم السريع في النماذج اللغوية الكبيرة (LLMs) إلى جعل النصوص المولدة آلياً عصية على التمييز بشكل متزايد عن الكتابة البشرية، مما فرض تحديات كبيرة في مجالات التعليم، والصحافة، والأمن. وبينما ركزت الأبحاث المبكرة على الكشف الثنائي (بشري مقابل ذكاء اصطناعي)، انتقل المجال نحو إسناد النموذج (تحديد المولد المحدد).
ومع ذلك، تواجه النهج الحالية ثلاث مشكلات رئيسية:
قابلية إعادة الإنتاج: تفتقر العديد من الدراسات إلى التفاصيل الكافية أو الكود البرمجي الذي يسمح بإعادة إنتاج النتائج بدقة.
طبيعة الصندوق الأسود: تفتقر النماذج العصبية المتطورة غالبًا إلى القابلية للتفسير، مما يجعل من الصائع فهم سبب اتخاذ قرار معين.
خصوصية اللغة: تتطلب العديد من الأنظمة تكوينات منفصلة للغات مختلفة، مما يعيق القدرة على التوسع.
تعالج هذه الورقة هذه المشكلات من خلال إعادة إنتاج وتوسيع النظام الهجين من مهمة AuTexTification 2023 المشتركة، مع التركيز على قابلية إعادة الإنتاج، وتأثير اختيار النموذج الأساسي، ودمج السمات الأسلوبية (stylometric) القابلة للتفسير.
2. المنهجية
تتبع الدراسة تصميماً تجريبياً يتكون من ثلاث مراحل تعالج ثلاثة أسئلة بحثية (RQs):
المرحلة 1: إعادة الإنتاج (RQ1)
الهدف: إعادة إنتاج النظام الأصلي لـ Przybyla et al. (2023).
الإعداد: حاول المؤلفون إعادة إنتاج بنيتي "Hybrid" و "Hybrid+"، اللتين تجمعان بين:
سمات القابلية للتنبؤ: احتمالات مستوى الرمز (token-level) المستمدة من النماذج التوليدية (كانت في الأصل GPT-2).
التمثيلات السياقية: النماذج اللغوية الدقيقة (FLM) باستخدام RoBERTa.
السمات اللغوية: تكرار الكلمات، وصحة القواعد، والإحصائيات على مستوى المستند.
التحديات: تعذر إعادة الإنتاج الرقمي الدقيق بسبب:
الاختلافات في تقسيم البيانات (قائم على الموضوع مقابل عشوائي).
عدم توفر نماذج GPT-2 الإسبانية الأصلية، مما استلزم الاستبدال.
الغموض في استخراج السمات (مثل أحجام نافذة السياق، وإصدارات مكتبة spaCy).
النتيجة: نجح المؤلفون في إعادة إنتاج المسار العملي (pipeline) وحددوا عوامل تقنية محددة (تقسيم البيانات، إصدارات النماذج) تسبب التباين في الأداء، مما يسلط الضوء على الحاجة إلى توثيق صارم.
المرحلة 2: تأثير النموذج الأساسي (RQ2)
الهدف: تحديد ما إذا كان يمكن لتكوين موحد متعدد اللغات أن يحل محل النماذج الخاصة بكل لغة دون التضحية بالأداء.
التغييرات:
النماذج التوليدية: استبدال GPT-2 بنماذج أحدث متعددة اللغات (Qwen, mGPT, LLaMA, BLOOM) لحساب السمات الاحتمالية.
المشفرات (Encoders): استبدال RoBERT الخاص باللغات المحددة بمشفرات متعددة اللغات (XLM-RoBERTa, mDeBERTa-v3).
الاختيار: قيم المؤلفون ثلاث مجموعات من النماذج (XGLM, mGPT, Large) واختاروا mDeBERTa-v3 كالمشفر المشترك ومجموعة Large (بما في ذلك Qwen2.5-3B, LLaMA-3.2-3B) للسمات الاحتمالية.
المرحلة 3: التوسيع الأسلوبي (RQ3)
الهدف: تعزيز الأداء والقابلية للتفسير عبر إضافة سمات أسلوبية على مستوى المستند.
التوسيع: تمت إضافة 26 سمة جديدة عبر سبع فئات:
التنوع المعجمي (مثل نسبة نوع إلى رمز - Type-Token Ratio).
بنية الجملة (مثل تباين الطول).
أنماط التكرار (تكرار الـ bigram/trigram).
العلامات الوظيفية (كلمات التحوط، كلمات الانتقال).
مقاييس القراءة واستخدام علامات الترقيم.
التحليل: تم استخدام SHAP (SHapley Additive exPlanations) لتحليل أهمية السمات وتفسير قرارات النموذج.
3. المساهمات الرئيسية
إعادة إنتاج منهجية: تحليل نقدي لنظام AuTexTification 2023، حيث تبين أن تفاصيل التنفيذ الطفيفة (تقسيم البيانات، إصدارات المكتبات) تؤثر بشكل كبير على قابلية إعادة الإنتاج.
تكوين موحد متعدد اللغات: إثبات أن تكوينًا واحدًا موحدًا باستخدام نماذج حديثة متعددة اللغات (mDeBERTa-v3 + مجموعة Large التوليدية) يحقق أداءً مقارباً أو أفضل من الخطوط المرجعية الخاصة بكل لغة لكل من الإنجليزية والإسبانية.
تعزيز القابلية للتفسير: توسيع مجموعة السمات بـ 26 مؤشراً أسلوبياً وإثبات، عبر تحليل SHAP، أن هذه السمات ليست فعالة فحسب، بل توفر أيضاً رؤى شفافة حول عملية اتخاذ القرار في النموذج.
العلم المفتوح: الكود البرمائي للتنفيذ متاح للجمهور لضمان قابلية إعادة الإنتاج مستقبلاً.
4. النتائج الرئيسية
إعادة الإنتاج: لم يتم تحقيق إعادة إنتاج رقمي دقيق (فروق تترا-وح بين 0.008 و 0.070 في درجة F1)، ويرجع ذلك أساساً إلى الاختلافات في تقسيم البيانات وعدم توفر بعض النماذج. ومع ذلك، تم الحفاظ على الاتجاهات الجوهرية.
الأداء متعدد اللغات: حقق التكوين الموحد متعدد اللغات (mDeBERTa-v3 + مجموعة Large) متوسط Macro F1 قدره 0.717 (Hybrid) و 0.675 (Hybrid+)، متفوقاً على الخط المرجعي الخاص باللغة في تكوين Hybrid ومساوياً له في Hybrid+.
تأثير السمات الأسلوبية:
أدت إضافة الـ 26 سمة الجديدة إلى تحسين نموذج LingRF (اللغوي فقط) بشكل كبير، مع مكاسب وصلت إلى +21.6% للمهمة الفرعية الأولى باللغة الإسبانية.
في نموذج LingRF + PredOut المدمج، قدمت السمات الموسعة أفضل النتائج الإجمالية (على سبيل المثال، 0.912 F1 للمهمة الفرعية الأولى بالإنجليزية)، متفوقة على الكاشف المتطور mdok في مهام الكشف الثنائي.
القابلية للتفسير: أكد تحليل SHAP أن السمات الأسلوبية الجديدة (التنوع المعجمي، بنية الجمة، العلامات الوظيفية) هي من بين أكثر المتنبئات أهمية، حيث تكمل الإشارات الاحتمالية بدلاً من استبدالها.
5. الأهمية والخاتمة
تؤكد هذه الدراسة أن تصميم السمات وشفافية التنفيذ لا يقلان أهمية عن بنية النموذج في اكتشاف النصوص المولدة بالذكاء الاصطناعي.
العملية: تثبت الدراسة أن نظاماً واحداً موحداً متعدد اللغات يمكنه التعامل بفعالية مع لغات ومهام فرعية متعددة، مما يقلل من الأعباء الهندسية لصيانة مسارات عمل خاصة بكل لغة.
القابلية للتفسير: من خلال دمج السمات الأسلوبية، ينتقل النظام من مجرد "توقعات الصندوق الأسود" إلى السماح للباحثين بتحديد علامات أسلوبية محددة (مثل التكرار، وتعقيد الجملة) التي تميز النصوص المولدة آلياً عن النصوص البشرية.
العمل المستقبلي: يقترح المؤلفون أنه بينما تعد النماذج العصبية قوية، إلا أنه يجب استكمالها بسمات لغوية قابلة للتفسير. يجب أن يركز البحث المستقبلي على تحديد السمات الأسلوبية العالمية التي يمكن تعميمها عبر مختلف المولدات والمجالات.
تخلص الورقة إلى أن التقدم الموثوق في اكتشاف الذكاء الاصطناعي لا يتطلب نماذج أفضل فحسب، بل يتطلب أيضاً توثيقاً صارماً، وتقسيمات بيانات معيارية، وهندسة سمات شفافة.