Who Wrote the Book? Detecting and Attributing LLM Ghostwriters
تقدم هذه الورقة البحثية GhostWriteBench، وهي مجموعة بيانات من النصوص الطويلة التي تم إنشاؤها بواسطة النماذج اللغوية الكبيرة الرائدة لاختبار إسناد التأليف، وتقترح TRACE، وهو أسلوب بصمة قابل للتفسير وخفيف الوزن يحقق أداءً هو الأفضل في فئته في اكتشاف وتحديد هوية كُتّاب النصوص الوهميين من النماذج اللغوية الكبيرة عبر سيناريوهات متنوعة وخارج نطاق التوزيع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدخل مكتبة ضخمة حيث قام شخص ما سرًا باستبدال آلاف الكتب بكتب مزيفة ومتقنة. ليست مجرد تزوير عادي؛ بل كتبها "كتّاب شبح" هم في الواقع روبوتات ذكاء اصطناعي فائقة الذكاء. المشكلة هي أن هذه الروبوتات أصبحت بارعة لدرجة أن كتبها تبدو، وتُشعر، وتُقرأ تمامًا مثل ما يكتبه البشر.
هذه الورقة البحثية تشبه فريقًا من المحققين الرقميين الذين يتدخلون لحل اللغز: "من الذي كتب هذا الكتاب حقًا؟"
إليك قصة تحقيقهم، مقسمة إلى أجزاء بسيطة:
1. المشكلة: وباء "الكتب المزيفة"
في الماضي، إذا أردت كشف شيء مزيف، قد تبحث عن أخطاء مطبعية أو قواعد لغوية غريبة. لكن الذكاء الاصطناعي الحديث (نماذج اللغات الكبيرة - LLMs) يكتب بسلاسة شديدة لدرجة أن تلك الحيل لم تعد تجدي نفعًا.
والأسوأ من ذلك، أن معظم أدوات التحري السابقة كانت مثل المصابيح اليدوية التي لا تعمل إلا في الظلام. فقد كانت تخبرك "هذا ذكاء اصطناعي" مقابل "هذا بشري"، لكنها لم تكن تستطيع إخبارك أي ذكاء اصطناعي محدد هو من كتبه. فإذا كتب ذكاء اصطناعي كتابًا عن الفضاء، ثم عرضت عليه كتابًا عن الطبخ، فإن الأدوات القديمة ستصاب بالارتباك وتفشل. كما أنها ركزت غالبًا على الجمل القصيرة، وليس الروايات الكاملة.
2. مستودع الأدلة الجديد: GHOSTWRITEBENCH
لكشف هؤلاء المزورين الرقميين، بنى الباحثون مستودع أدلة جديدًا ضخمًا يسمى GHOSTWRITEBENCH.
- الحجم: بدلًا من النظر في تغريدات أو فقرات قصيرة، جمعوا أكثر من 300 كتاب كامل (كل منها حوالي 50,000 كلمة). هذا يشبه قراءة مكتبة كاملة من الروايات!
- التنوع: استخدموا 10 نماذج مختلفة من "أفضل نماذج الذكاء الاصطناعي" (أبطال الكتابة الحاليين) لكتابة هذه الكتب.
- الفخ: نصبوا اختبارًا مخادعًا. فقد طلبوا من المحققين تحديد المؤلف حتى عندما يكتب الذكاء الاصطناعي عن موضوع لم يسبق له رؤيته (مثل ذكاء اصطناعي تدرب على الخيال العلمي وفجأة يكتب كتابًا عن التاريخ) أو عندما يكون الذكاء الاصطناعي نموذجًا لم يقابلوه من قبل.
3. أداة التحري: TRACE
لم يكتفِ الباحثون ببناء قاعدة بيانات فحسب؛ بل اخترعوا أداة خارقة جديدة تسمى TRACE.
تخيل أن لكل مؤلف (بشري أو ذكاء اصطناعي) بصمة رقمية فريدة.
- المكتشفات القديمة حاولت تخمين المؤلف من خلال النظر في ما هي الكلمات المستخدمة (مثل عد كم مرة ظهرت كلمة "الـ").
- أما TRACE فينظر إلى كيف يفكر المؤلف.
التشبيه: تخيل شخصين يسيران في غابة.
- الشخص (أ) يخطو دائمًا بقدمه اليسرى، ثم اليمنى، ثم يتوقف لفترة وجيزة.
- الشخص (ب) يقفز، ثم يخطو خطوة صغيرة، ثم يخطو خطوتين.
حتى لو كان كلاهما يرتدي نفس الحذاء ويسلك نفس المسار، فإن إيقاعهما مختلف.
TRACE يستمع إلى "إيقاع" النص. هو لا يهتم بالكلمات نفسها؛ بل يهتم بـ الانتقال بينها. يتساءل: "عندما اختار هذا الذكاء الاصطناعي كلمة 'قطة'، ما هو احتمال تفكيره في كلمة 'كلب' تالية؟ وكيف تغير هذا الاحتمال للكلمة التالية؟"
إنه ينشئ خريطة حرارية (صورة ثنائية الأبعاد ملونة) لهذه الانتقالات. تمامًا كما أن لبصمة الإنسان نتوءات ومنحنيات، فإن كل نموذج ذكاء اصطناعي ينشئ نمطًا فريدًا، فوضويًا، وملونًا يصعب تزويره للغاية.
4. لماذا يُعد TRACE نقطة تحول؟
اختبر الباحثون TRACE مقابل جميع "المصابيح اليدوية" الأخرى ووجدوا أنه الوحيد الذي يمكنه التعامل مع المواقف الصعبة:
- اختبار "المؤلف غير المرئي": عرضوا على TRACE كتابًا كتبه ذكاء اصطناعي لم يقابله من قبل. وبينما تاهت الأدوات الأخرى، قال TRACE: "أنا لا أعرف بالضبط من هو هذا، لكني أعرف أنه ليس أحد الذين رأيتهم من قبل". إنه بارع في اكتشاف المجهول.
- اختبار "البيانات المنخفضة": عادةً، يحتاج المحققون إلى مكتبة ضخمة من العينات لتعلم أسلوب المشتبه به. لكن TRACE احتاج فقط إلى صفحات قليلة (3 إلى 5 كتب) لتعلم "إيقاع" الذكاء الاصطناعي ثم اكتشافه في رواية كاملة.
- اختبار "الصندوق الأسود": لا يحتاج TRACE لرؤية الكود الداخلي للذكاء الاصطناعي (الذي غالبًا ما يكون سرًا). هو فقط يقرأ الكتاب المكتمل، مثل محقق يقرأ رسالة ليكتشف أسلوب كاتبها.
5. الحكم النهائي
تخلص الورقة البحثية إلى أن TRACE هو المعيار الذهبي الجديد. فهو خفيف الوزن (لا يحتاج إلى حاسوب خارق لتشغيله)، وقابل للتفسير (يمكننا بالفعل رؤية الأنماط التي وجدها)، ومتين (يعمل حتى عندما يحاول الذكاء الاصطناعي التخفي عبر تغيير المواضيع أو الأنواع الأدبية).
باختصار: إذا كان كتّاب الظل من الذكاء الاصطناعي يحاولون التسلل إلى المكتبة وسرقة حقوق المؤلفين، فإن TRACE هو كاميرا المراقبة التي لا تكتفي بالنظر إلى الوجه، بل تستمع إلى نبض الكتابة الفريد للإيقاع للإمساك بهم متلبسين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.