Beyond Public Access in LLM Pre-Training Data
باستخدام مجموعة بيانات تم الحصول عليها قانونياً مكونة من 34 كتاباً محمياً بحقوق الطبع والنشر من إصدارات "O'Reilly Media"، توظف هذه الدراسة هجوم استدلال العضوية "DE-COP" لتكشف أن نموذج "GPT-4o" من شركة "OpenAI" يُظهر تعرُّفاً ذا دلالة إحصائية على المحتوى المدفوع (AURO C 0.82)، في حين لا يُظهر نموذج "GPT-4o Mini" الأصغر حجماً ذلك، مما يسلط الضوء على الحاجة إلى قدر أكبر من الشفافية المؤسسية وأطر ترخيص رسمية لبيانات تدريب الذكاء الاصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
السؤال الكبير: هل أكل الذكاء الاصطناعي "الكعكة" المحجوزة خلف جدار الدفع؟
تخيل طالباً ضخماً (الذكاء الاصطناعي) يدرس من أجل امتحان نهائي ضخم. لكي يتعلم، يحتاج هذا الطالب إلى قراءة ملايين الكتب. بعض هذه الكتب مجانية وموجودة على رف مكتبة عامة (بيانات عامة). أما الكتب الأخرى، فهي مغلقة خلف جدار دفع، ولا تتوفر إلا للأشخاص الذين يدفعون رسوم اشتراك (بيانات غير عامة).
السؤال الكبير الذي تطرحه هذه الورقة هو: هل غش الطالب؟ هل تسلل إلى القسم المغلق في المكتبة ليقرأ الكتب المدفوعة، رغم أنه لم يكن من المفترض به ذلك؟
التجربة: "اختبار التذوق"
لم يكتفِ الباحثون بسؤال الذكاء الاصطناعي: "هل قرأت هذا؟" لأن الذكاء الاصطناعي قد يكذب أو يقول "لا أعرف". بدلاً من ذلك، صمموا اختبار تذوق ذكياً.
- الإعداد: أخذوا 34 كتاباً من "O'Reilly Media" (وهي دار نشر تقنية شهيرة). كل كتاب يحتوي على فصل "عينة مجانية" (عام) وبقية الكتاب خلف جدار دفع (غير عام).
- الخدعة: أخذوا فقرة من كتاب وسألوا الذكاء الاصطناعي أن يختار الفقرة "الحقيقية" التي كتبها إنسان من بين أربعة خيارات. الخيارات الثلاثة الأخرى كانت فقرات مزيفة كتبها ذكاء اصطناعي آخر، تبدو مشابهة جداً ولكنها ليست الأصلية.
- المنطق: إذا كان الذكاء الاصطناعي قد "رأى" الفقرة الحقيقية من قبل أثناء تدريبه، فيجب أن يكون قادراً على تمييزها بسهولة، مثل التعرف على أغنية سمعتها مئات المرات. وإذا لم يكن قد رآها، فسيكون مجرد تخمين عشوائي (مثل اختيار بطاقة من مجموعة أوراق اللعب).
النتائج: من اجتاز الاختبار؟
اختبر الباحثون ثلاث نسخ مختلفة من "طلاب" الذكاء الاصطناعي من شركة OpenAI:
- الطالب القديم (GPT-3.5 Turbo): توقف هذا الطالب عن الدراسة منذ عامين. عند اختباره على الكتب، لم يكن أداؤه أفضل من التخمين العشوائي. بدا وكأنه لا يملك أي ذاكرة عن الكتب المدفعة.
- الطالب الصغير (GPT-4o Mini): هذا نموذج أحدث، ولكنه أصغر وأقل قوة. على الرغم من أنه تم تدريبه في نفس وقت "الطالب الكبير"، إلا أنه أدى أيضاً مثل المخمن العشوائي. لم يستطع التمييز بين النص الحقيقي والنص المزيف.
- الطالب الكبير (GPT-4o): هذا هو الأحدث والأكثر قوة. هذا الطالب برز بوضوح. فقد استطاع تحديد الفقرات الحقيقية المكتوبة بواسطة بشر من الكتب المدفوعة بشكل أفضل بكثير من التخمين العشوائي.
- النتيجة: أعطى الباحثون له درجة 0.82 (حيث 0.5 تعني التخمين العشوائي و1.0 تعني المثالية). وهذا يشير إلى أن "الطالب الكبير" قد تعرف بالفعل على المحتوى الذي لم يكن من المفترض أن يصل إليه.
مشكلة "السفر عبر الزمن" (تنبيه)
كان الباحثون حذرين. فقد تساءلوا عما إذا كان "الطالب الكبير" قد أصبح ببساطة أكثر ذكاءً في تمييز أي كتابة بشرية، وليس فقط الكتب المحددة التي اختبروها.
وللتحقق من ذلك، نظروا في كتب نُشرت بعد توقف الذكاء الاصطناعي عن الدراسة. كان "الطالب الكبير" لا يزال بارعاً جداً في تمييز الكتابة البشرية في هذه الكتب الجديدة أيضاً. هذا يعني أن الذكاء الاصطناعي أصبح بشكل عام أفضل في تمييز النص البشري الآن. ومع ذلك، فإن حقيقة كونه أفضل حتى في تمييز الكتب القديمة المحددة تشير إلى أنه من المرجح أنه رآها أثناء تدريبه.
لماذا النتائج ليست مؤكدة بنسبة 100%
الورقة البحثية صادقة بشأن حدودها. فكر في الأمر كأنك تحاول سماع همسة في غرفة مزدحمة:
- حجم العينة الصغير: اختبروا 34 كتاباً فقط. الأمر يشبه محاولة تخمين نكهة بيتزا كاملة من خلال تذوق ثلاث شرائح فقط. النتائج واعدة، لكن "فاصل الثقة" (مقياس إحصائي لليقين) واسع.
- حجم النموذج مهم: حقيقة أن "الطالب الصغير" (Mini) لم يتعرف على الكتب قد تعني فقط أنه صغير جداً بحيث لا يستطيع تذكرها، وليس أنه لم يرها. "الطالب الكبير" لديه ذاكرة أكبر، لذا قد يحتفظ بالمعلومات حتى لو لم يكن من المفترض أن يحصل عليها.
الخلاصة الرئيسية
تشير الدراسة إلى أن أكثر نماذج OpenAI تقدماً (GPT-4o) تعلمت على الأرجح من كتب محمية بحقوق الطبع والنشر كانت خلف جدار دفع، وهو ما لم يكن ينبغي لها الوصول إليه.
يجادل المؤلفون بأن هذا يسلط الضوء على الحاجة إلى الشفافية. تماماً كما يجب أن يتمكن الطالب من سرد الكتب التي درسها من أجل الامتحان، يجب على شركات الذكاء الاصطناعي أن تكون قادرة على إظهار البيانات التي استخدمتها بالضبط لتدريب نماذجها. إذا كانوا يستخدمون محتوى مدفوعاً دون إذن أو دفع، فإن ذلك يخلق مشكلة للناس الذين يكتبون تلك الكتب، مما قد يضر بجودة المحتوى المتاح على الإنترنت على المدى الطويل.
باختًا: يبدو أن "الطالب الكبير" قد ألقى نظرة خلسة على الكتب المغلقة، بينما لم يفعل "الطالب الصغير" و"الطالب القديم" ذلك. ولكن نظرًا لأن حجم الفصل الدراسي كان صغيرًا، فنحن بحاجة إلى النظر في المزيد من الأدلة قبل اعتباره غشاً مؤكداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.