Auditing Chinese Web-scale Corpora via Sampled BPE Token Statistics
تقدم هذه الورقة البحثية Sampled-BPE، وهو مسار تدقيق خفيف الوزن على مستوى الرمز (token-level) يحدد بكفاءة التلوث في مجموعات البيانات الصينية واسعة النطاق عبر تدريب أجهزة ترميز BPE على عينات صغيرة، مما يكشف عن تلوث واسع الانتشار ومتغير عبر مجموعات البيانات المفتوحة مع توفير مجموعة بيانات هرمية لمزيد من التحليل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة ولا متناهية حيث كل كتاب، أو مدونة، أو صفحة ويب معطلة هي عبارة عن صفحة واحدة من النص. لسنوات، حاول العلماء تعليم الحواسيب كيفية قراءة وفهم هذه المكتبة لبناء "نماذج لغوية كبيرة" (LLMs) — وهي مساعدات ذكاء اصطناعي فائقة الذكاء مثل تلك التي قد تدردش معها. لكن المشكلة تكمن في أن الإنترنت ليس مجرد مكتبة نظيفة؛ بل هو أيضاً سوق فوضوي ومضطرب مليء بالرسائل المزعجة (Spam)، وعمليات الاحتيال، والمحتوى غير اللائق. عندما يتعلم الذكاء الاصطناعي من هذه المكتبة الفوضوية، يمكنه أن يكتسب عادات سيئة عن طريق الخطأ، مثل تعلم الكتابة عن القمار عبر الإنترنت أو توليد عبارات غريبة ومسيئة. يُسمى هذا "تلوث المتون" (Corpus pollution). ولإصلاح ذلك، يحتاج الباحثون إلى تدقيق المكتبة، ولكن المكتبة ضخمة جداً (تريليونات الصفحات!) لدرجة أن قراءة كل صفحة فيها ستستغرق وقتاً أطول من حياة إنسان. إنهم بحاجة إلى طريقة لإلقاء نظرة خاطفة داخلها والعثور على "التفاح الفاسد" دون الحاجة لفحص كل قطعة منها.
هذا هو بالضبط ما يعالجه البحث المعنون بـ "تدقيق المتون الصينية واسعة النطاق عبر إحصائيات توكنات BPE المأخوذة من عينات" (Auditing Chinese Web-scale Corpora via Sampled BPE Token Statistics). أدرك المؤلفون، وهم فريق من جامعة تسينغهوا ومؤسسات أخرى، أن محاولة مسح الإنترنت الصيني بأكرا ل tìm المحتوى السيئ كانت بطيئة ومكلفة للغاية. لذا، ابتكروا اختصاراً ذكياً يسمى SAMPLED-BPE. فكر في الأمر كعالم أحياء بحرية يريد معرفة مدى تلوث محيط هائل؛ فبدلاً من غرف كل قطرة ماء، يأخذ بضع عينات صغيرة من أماكن مختلفة، ويحللها، ثم يستخدم ذلك لتقدير مستوى التلوث في المحيط بأك-له. في هذه الحالة، "المحيط" هو الويب الصيني، و"التلوث" هو الكلمات السامة أو المزعجة (Tokens) التي تُدمج في نماذج الذكاء الاصطناعي.
طريقتهم بسيطة بشكل مدهش ولكنها قوية. فهم يأخذون شريحة ضئيلة من البيانات النصية الصينية الضخمة (بنسبة ضئيلة تصل إلى 0.25% من الإجمالي)، ويدربون "مجزئ نصوص" (Tokenizer) خاصاً (وهي أداة تقسم النص إلى قطع صغيرة تسمى Tokens) على تلك الشريحة فقط، ثم ينظرون في أي من هذه الـ "توكنات" تظهر بشكل متكرر. إذا ظهرت قطعة من النص باستمرار في عينتهم الصغيرة، فمن المرجح أنها نمط شائع في مجموعة البيانات بأكملها. بعد ذلك، يستخدمون مساعد ذكاء اصطناعي ذكي للتحقق مما تعنيه تلك القطع المتكررة فعلياً من خلال البحث في الويب. إذا تبين أن قطعة نصية ما هي موقع قمار أو عبارة إباحية، فإنهم يضعون عليها علامة.
نتائجهم كانت صادمة نوعاً ما. لقد قاموا بتدقيق 11 مجموعة نصوص صينية مفتوحة المصدر و6 لقطات من الويب الصيني من عام 2021 إلى 2026. وجدوا أن التلوث موجود في كل مكان، لكنه ليس موزعاً بالتساوي. بعض مجموعات البيانات نظيفة نسبياً، بينما تغرق أخرى تماماً في المحتوى السيئ. على سبيل المثال، وُجد أن مجموعة بيانات تسمى OSCAR ملوثة بنسبة تزيد عن 83%، ومعظم ذلك كان محتوى للبالغين. أما مجموعة mC4، فقد كانت ملوثة بشدة بمصطلحات القمار عبر الإنترنت. والأكثر إثارة للاهتمام، هو أنهم اكتشفوا أن "Chinese Common Crawl" (وهي عبارة عن تفريغ خام وضخم للويب) ملوثة للغاية، وأن نوع التلوث يتغير بمرور الوقت. في عام 2026، كان ما يقرب من 69% من المحتوى في لقطتهم عبارة عن مواد للبالغين، بينما انخفض محتوى القمار بشكل كبير منذ عام 2021. وهذا يشير إلى أن الأشياء السيئة على الويب هي هدف متحرك؛ فبمجرد حظر نوع واحد من الرسائل المزعجة، يظهر نوع آخر.
كما يجادل البحث ضد فكرة أنه يمكنك ببساطة إنشاء قائمة ثابتة من "الكلمات السيئة" لتصفيتها. لأن التلوث يتغير بسرعة وغالباً ما يستخدم كلمات مخادعة، أو مختصرة، أو مركبة (مثل دمج كلمتين طبيعيتين لصنع مصطلح متعلق بالقمار)، فإن القائمة الثابتة ستصبح عديمة الفائدة بسرعة. بدلاً من ذلك، يقترح المؤلفون أننا بحاجة إلى تدقيق الويب بانتظام، تماماً كما فعلوا. ولمساعدة الآخرين في القيام بذلك، أصدروا مجموعة بيانات جديدة ضخمة تحتوي على أكثر من 630,000 سجل من هذه الـ "توكنات" الملوثة، منظمة في "أشجار" تظهر كيف تنمو الكلمات السيئة القصيرة لتصبح عبارات أطول وأكثر تعقيداً.
باختصار، يثبت هذا البحث أنك لست بحاجة لقراءة المحيط بأكمله لتعرف أنه متسخ؛ فعينة صغيرة وذكية كافية للحصول على صورة واضحة. لقد أظهروا أن الويب الصيني حالياً مكان ملوث جداً لتدريب الذكاء الاصطناعي، وأن التلوث يتغير ويتطور بسرعة. أداة SAMPLED-BPE الجديدة تجعل من الممكن فحص هذه المجموعات الضخمة من البيانات في ساعات بدلاً من شهور، مما يمنح الباحثين وسيلة للحفاظ على نماذج الذكاء الاصطناعي نظيفة دون الشعور بالإرهاق من الحجم الهائل للإنترنت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.