Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
تكشف هذه الورقة أن إحصائيات مجموعة بيانات الويب بصيغة PDF تعاني من "تحيز وحدة" كبير عبر الإبلاغ عن المقاييس لكل مستند بدلاً من كل رمز (token)، مما يحجب حقيقة أن جزءاً صغيراً من المستندات الكبيرة يحتوي على غالبية النص، وأن سياسات الاقتطاع الحالية تؤدي إلى فقدان أكثر من نصف المحتوى الإجمالي للمجموعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المكتبة الشاسعة والفوضوية للإنترنت، أصبح نوع جديد من الكتب ضروريًا لتعليم الذكاء الاصطناعي كيف يفكر. هذه ليست صفحات الويب التي نتصفحها بالفأرة، بل هي مستندات رقمية بتنسيق يُسمى (PDF)، وهو المعيار لمشاركة التقارير، والأوراق الأكاديمية، والنماذج الرسمية. لسنوات، تعامل الباحثون الذين يبنون هذه الأنظمة الذكية مع كل ملف رقمي كوحدة واحدة متساوية؛ فإذا كانت مجموعة البيانات تحتوي على مليون مستند، فقد افترضوا أنها تحتوي على مليون حصة متساوية من المعلومات، بغض النظر عما إذا كان أحد الملفات عبارة عن منشور دعائي من صفحة واحدة والآخر موسوعة مكونة من خمسمائة صفحة. لقد شكل هذا الافتراض كيفية قياس حجم وجودة البيانات المستخدمة لتدريب أكثر نماذج الكمبيوتر تقدمًا في العالم. لكن نظرة فاحصة تكشف أن عدّ الملفات هو وسيلة رديئة لعد الكلمات، وأن الفرق بين الوحدتين يغير كل ما كنا نعرفه عن البيانات.
تتحدى دراسة حديثة أجراها لوكا فوبيانو من مؤسسة "كومون كراول" (Common Crawl) الطريقة القياسية التي يصف بها الباحثون هذه المجموعات الضخمة من النصوص. فحص الفريق لقطة محددة من الإنترنت من عام 2021، وهي مجموعة بيانات تحتوي على ما يقرب من ثمانية ملايين ملف PDF من الويب. وبينما أبلغ المبتكرون الأصليون لهذه البيانات عن حجمها من حيث عدد المستندات، قرر فوبيانو وزملاؤه قياسها بمقدار النص الفعلي داخل تلك الملفات. وقد وجدوا اختلالاً مذهلاً: لم تكن المستندات قابلة للتبادل على الإطلاق. إذ احتوت نسبة ضئيلة جدًا من الملفات، وتحديدًا تلك التي كانت طويلة جدًا، على الغالبية العظمى من الكلمات. في الواقع، احتوت نسبة تزيد قليًا عن ثلاثة بالمائة من المستندات على نصف إجمالي النص، بينما تقاسمت الـ 97 بالمائة المتبقية النصف الآخر. وهذا يعني أنه إذا نظرت إلى المجموعة من حيث عدد الملفات، فستبدو وكأنها مكتبة من الملاحظات والنماذج القصيرة، ولكن إذا نظرت إليها من حيث عدد الكلمات، فهي مكتبة تهيمن عليها المجلدات الضخمة والطويلة.
هذا الانحراف في الطول له عواقب عميقة على كيفية معالجة البيانات وما يُفقد خلال هذه العملية. فمنتدى أرشيف الإنترنت الذي وفر هذه الملفات لديه قاعدة لتوفير مساحة التخزين: وهي أنه يقوم بقطع أي ملف يتجاوز حجمًا معينًا. ولفترة طويلة، كان هذا الحد واحد ميجابايت. وتظهر الدراسة أن هذه القاعدة أثرت على ما يقرب من ربع المستندات في المجموعة، وهو ما قد يبدو أمرًا يمكن السيطرة عليه. ومع ذلك، ولأن المستندات الأطول كانت هي التي تعرضت للقطع، فقد احتوت تلك الملفات المبتورة على ما يقرب من ثلثي النص بأكمله. وعندما حاول الباحثون إعادة بناء الأجزاء المفقودة من هذه الملفات المقطوعة، اكتشفوا أن الضرر غالبًا ما يكون دائمًا. وباستخدام أداتين معياريتين مختلفتين لقراءة الملفات المعطوبة، وجدوا أن إحدى الأداتين استطاعت استعادة حوالي أحد عشر بالمائة فقط من الكلمات المفقودة، بينما استعادت الأخرى بالكاد واحد بالمائ مئة. وبالنسبة للغالبية العظمى من هذه الملفات التالفة، لم تتمكن الأدوات من استخراج أي نص على الإطلاق، مما ترك نماذج الكمبيوتر مع فجوة كبيرة في معرفتها.
كما نظر الباحثون فيما يحدث عندما يتم رفع حد التخزين، وهو تغيير حدث في عام 2025 عندما زاد الحد إلى خمسة ميجابايت. ورغم أن هذا التعديل قلل من عدد الملفات المقطوعة، إلا أنه لم يحل مشكلة النص المفقود. فحتى مع الحد الأعلى، سيظل ما يقرب من ثلاثين بالمائة من إجمالي الكلمات في المجموعة مقطوعًا. وتوضح الدراسة أن مجرد زيادة حد الحجم ليس كافيًا لإنقاذ المحتوى الأكثر قيمة، لأن المستندات الأكبر هي غالبًا ضخمة جدًا بحيث تكون حتى شريحة الخمسة ميجابايت صغيرة جدًا لالتقاط بدايتها. وخلص الباحثون إلى أن الطريقة التي نتحدث بها عن مجموعات البيانات هذه مضللة؛ فتقديم الإحصائيات فقط من خلال عدد المستندات يخفي حقيقة أن عددًا قليلًا من الملفات الضخمة يحمل تقريبًا كل المعلومات. ولكي نفهم حقًا ما تتعلمه أنظمة الذكاء الاصطنا هذه، يجب أن نعد الكلمات، وليس فقط الملفات، وأن ندرك أن الطرق الحالية لتخزين وفلترة الإنترنت تتخلص من الجزء الأكبر من النص الذي نحتاجه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.