A Bitter Lesson for Data Filtering
تتحدى هذه الورقة الحكمة التقليدية التي تعتبر تصفية البيانات أمراً ضرورياً للتدريب المسبق للنماذج الضخمة، حيث تثبت من خلال دراسات التوسع في أنظمة الحوسبة العالية وندرة البيانات أن النماذج الضخمة المدربة بشكل كافٍ تستفيد في الواقع من تضمين البيانات منخفضة الجودة والمشتتة بدلاً من تصفيتها واستبعادها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "الدرس المرّ لتصفية البيانات" (A Bitter Lesson for Data Filtering) باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: قاعدة "لا تصفية"
تخيل أنك تحاول تعليم طالب فائق الذكاء (نموذج لغوي كبير) كل شيء عن العالم. الطريقة التقليدية للقيال بذلك هي أن تعمل كأمين مكتبة صارم؛ تذهب إلى مكتبة ضخمة (الإنترنت/Common Crawl)، وتتخلص من الكتب الفوضوية، أو سيئة الكتابة، أو المكررة، ولا تعطي الطالب إلا أفضل 1% من المجموعة.
تجادل هذه الورقة البحثية بأنه إذا كان لديك الوقت والطاقة الكافيين (قوة حوسبة) لتعليم الطالب لفترة طويلة جداً، فيجب عليك في الواقع التوقف عن لعب دور أمين المكتبة.
وجد المؤلفون أنه إذا تركت الطالب يقرأ كل شيء — الكتب الجيدة، والكتب السيئة، والقوائم المكررة، والضجيج العشوائي — فسوف يتعلم في النهاية بشكل أفضل مما لو كنت قد صَفّيت الكتب من أجله. في الواقع، تبين أن البيانات "الرديئة" مفيدة وليست ضارة للنماذج الكبيرة والمدرّبة جيداً.
التجارب: تشبيه "النادي الرياضي"
لاختبار ذلك، أعد الباحثون سلسلة من التجارب التي تعمل مثل "نادي رياضي" لنماذج الذكاء الاصطناعي.
1. نظام "النظيف مقابل الفوضوي" الغذائي
أخذوا كومة ضخمة من النصوص من الإنترنت (المجمع - The Pool) وأنشأوا نسخاً مختلفة منها:
- المجمع (The Pool): نص الإنترنت الخام غير المصفى.
- الفلاتر (The Filters): نسخ تم فيها إزالة أشياء محددة، مثل النصوص غير الإنجليزية، أو الفقرات المكررة، أو الكلمات التي ليست كلمات إنجليزية شائعة. كانت بعض الفلاتر صارمة جداً (تحتفظ بـ 2% فقط من النص)، بينما كانت أخرى فضفاضة.
قاموا بتدريب نماذج بأحجام مختلفة (من الصغير جداً إلى الضخم جداً) على هذه الأنظمة الغذائية المختلفة.
- النتيجة: بالنسبة للنماذج الصغيرة أو جلسات التدريب القصيرة، كان "النظام الغذائي النظيف" (البيانات المصفاة) يعمل بشكل أفضل. الأمر يشبه طفلاً صغيراً يتعلم من كتاب مصور بشكل أفضل من القاموس.
- التحول المفاجئ: مع جعل النماذج أكبر وتدريبها لفترة أطول (مزيد من الحوسبة/Compute)، بدأ "النظام الغذائي الفوضوي" (المجمع الكامل غير المصفى) في الفوز. النماذج التي تدربت على المجمع الكامل تفوقت في النهاية على تلك التي تدربت على البيانات المصفاة، رغم أن البيانات المصفاة كانت "عالية الجودة".
2. حقن "الطعام غير الصحي"
لمعرفة مدى قدرة هذه النماذج على الصمود، أضاف الباحثون "طعاماً غير صحي" عمداً إلى النظام الغذائي:
- سلاسل عشوائية: كلمات مخترعة مثل "htb hqovl bwdws".
- جمل مبعثرة: أخذ جمل حقيقية وخلط ترتيب كلماتها (مثلاً: "فرنسا باريس العاصمة هي").
المفاجأة: حتى مع وجود هذا الهراء المختلط، لم تنكسر النماذج الكبيرة. لقد تعلمت تجاهل الضجيج. وفي تحول غريب، تعلمت النماذج من الجمل المبعثرة بشكل أفضل من البيانات النظيفة في بعض الحالات. لماذا؟ لأنه حتى عندما تكون الكلمات مبعثرة، لا يزال بإمكان النموذج رؤية أن "باريس" و"فرنسا" تظهران معاً كثيراً، مما يساعده على فهم العلاقة بينهما. لقد عمل "الهراء" كتدريب شاق جعل النموذج أقوى.
"الدرس المرّ"
تشير الورقة إلى مفهوم شهير يسمى "الدرس المرّ" (The Bitter Lesson) لريتشارد ستون. والدرس هو: الحدس البشري غالباً ما يفشل عندما نرفع مستوى الأشياء.
نحن البشر نفكر: "يجب أن ننسق البيانات لأنها فوضوية للغاية". لكن الورقة تقترح أنه مع حصولنا على حواسيب أكثر قوة، فإن النهج البسيط المتمثل في "مجرد تغذيتها بكل شيء" يتفوق على قواعدنا المعقدة التي صممها البشر لتنظيف البيانات. النموذج ذكي بما يكفي ليعرف بنفسه ما هو مفيد وما هو ضجيج، بشرط أن يمتلك الوقت الكافي للتعلم.
العقبة: إنها تستهلك الكثير من الطاقة
هناك شرط رئيسي لكي ينجح هذا الأمر: الحوسبة (Compute).
تحسب الورقة أنه لكي يتفوق نهج "قراءة كل شيء" على نهج "تصفية كل شيء"، تحتاج إلى كمية هائلة من قوة الحوسبة. يقدرون أنه بالنسبة لمجموعة بيانات Common Crawl الكاملة (240 تريليون كلمة)، قد تحتاج إلى حوالي 1e+30 FLOPs (وحدة حسابية) لجعل البيانات غير المصفاة هي الفائز الواضح.
- فكر في الأمر هكذا: إذا كانت ميزانيتك صغيرة، فإن توظيف محرر محترف لتنظيف بياناتك هو الخطوة الذكية. ولكن إذا كان لديك ميزانية بمليارات الدولارات، يمكنك تحمل تكلفة توظيف مليون متدرب لقراءة كل صفحة من صفحات الإنترنت، ومجرد حجم القراءة الهائل سيعلم الذكاء الاصطناعي أكثر مما يمكن للمحرر أن يعلمه.
الخاتمة
تخلص الورقة إلى أنه بالنسبة لمستقبل نماذج الذكاء الاصطناعي العملاقة، قد نحتاج إلى التوقف عن محاولة أن نكون منسقين مثاليين. بدلاً من إنفاق موارد ضخمة لمحاولة تصفية "البيانات السيئة"، يجب أن نركز على بناء نماذج أكبر وتدريبها لفترة أطول على الإنترنت الخام والفوضوي وغير المصفى. النماذج مرنة بشكل مدهش؛ يمكنها التعامل مع الضجيج وحتى استخدامه للتعلم بشكل أفضل.
باختصار: إذا كان لديك القوة الكافية، فإن أفضل فلتر هو عدم وجود فلتر على الإطلاق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.