The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يتحدث اللغة البشرية. للقيام بذلك، تحتاج إلى تغذيته بمكتبة ضخمة من النصوص—كتب، مواقع إلكترونية، مقالات، وأكثر من ذلك. لفترة طويلة، اعتقد العلماء أن الشيء الوحيد الذي يهم هو كمية النصوص التي يمكنك إطعامها للروبوت. كلما كبرت المكتبة، زاد ذكاء الروبوت. هذه الفكرة تسمى "التوسع" (scaling)، وهي السبب في أن مساعدينا من الذكاء الاصطناعي بارعون للغاية اليوم.

لكن هناك عقبة. ليست كل النصوص متساوية في القيمة. فبعض الصفحات مليئة بالهراء، أو الرسائل المزعجة (spam)، أو الكلام غير المفهوم، بينما صفحات أخرى كتبها خبراء وهي مليئة بالمعلومات المفيدة. لذا، بدأ الباحثون يتساءلون: "هل ينبغي لنا التخلص من الأشياء السيئة وإطعام الروبوت أفضل الكتب فقط؟" هذا ما يسمى "تصفية الجودة" (quality filtering). ومع ذلك، هناك قاعدة ثانية في هذه اللعبة: الروبوت يتعلم بشكل أفضل عندما يرى معلومات جديدة. إذا جعلته يقرأ نفس الصفحات القليلة مراراً وتكراراً، فسيتوقف عن التعلم ويبدأ في مجرد الحفظ الصم. يستكشف هذا البحث توازناً صعباً: إذا تخلصت من النصوص السيئة، فستقل عدد الصفحات التي يقرؤها، مما يعني أن الروبوت سيضطر لقراءة الصفحات الجيدة لمرات أكثر. فهل يساعد امتلاك صفحات أقل ولكن أفضل، أم أن الروبوت سيشعر بالملل والارتباك بسبب قراءة نفس الشيء عدة مرات كثيرة؟

---

تجربة المكتبة العظيمة

في هذه الدراسة، وضع باحث يدعى ألكسندر ميمينج (Alexander Memming) تجربة ذكية لحل هذا اللغز. لم يستخدم الإنترنت بأكمله (لأنه ضخم جداً بحيث يصعب اختباره بسهولة). بدلاً من ذلك، أنشأ "مجمعاً ثابتاً" يضم حوالي 24 مليون كلمة—وهي شريحة صغيرة يمكن التحكم بها من الويب. ثم أعطى هذا المجمع من الكلمات نفسه لعدة نماذج ذكاء اصطناعي صغيرة، لكنه غير القواعد لكل منها.

بالنسبة لبعض النماذج، احتفظ بجميع الكلمات. وبالنسبة لأخرى، تصرف كأنه أمين مكتبة صارم وقام برمي نصف الكلمات، أو الربع، أو الثمن، أو حتى الجزء العلوي الـ 1/16 فقط، محتفظاً فقط بالكلمات التي اعتبرها الكمبيوتر "عالية الجودة". كما جرب نهجاً ثالثاً: بدلاً من رمي أي شيء، احتفظ بالمكتبة كاملة لكنه أخبر الروبوت أن يقرأ الصفحات "الأفضل" مرات أكثر بكثير من الصفحات "المقبولة".

ثم اختبر هذه الروبات على ثلاثة أشياء مختلفة:

1. الويب الخام: مزيج من كل شيء، تماماً مثل المكتبة التي تدربوا عليها.
2. النصوص التعليمية (Edu): صفحات عالية الجودة وتعليمية (من نوع النصوص التي يحبها الروبوت أثناء التدريب).
3. ويكي تيكست (WikiText): مجموعة مختلفة تماماً من مقالات الموسوعة التي لم يرها الروبوت من قبل.

النتائج المفاجئة

كانت النتائج تشبه الأفعوانية (Rollercoaster)، وقد غيرت قواعد اللعبة بثلاث طرق رئيسية.

1. الأمر يعتمد على من تتحدث إليه
المفاجأة الكبرى هي أن "تصفية الجودة" لا تجعل الروبوت دائماً أكثر ذكاءً. الأمر يعتمد كلياً على ما تريد من الروبوت فعله.

• إذا كنت تريد للروبوت أن يفهم الإنترنت الحقيقي الفوضوي: فإن التخلص من النص "السيئ" أدى في الواقع إلى إضعاف الروبوت. كلما زادت عملية التصفية التي قام بها الباحث، ساء أداء الروبوت. الأمر يشبه محاولة تعلم القيادة في مدينة عبر التدرب فقط على مضمار سباق مثالي وفارغ؛ عندما تصطدم أخيراً بالشوارع الحقيقية المليئة بالحفر وحركة المرور، ستتعرض لحادث. الروبوت الذي تدرب على بيانات مصفاة لم يستطع التعامل مع واقع الويب الفوضوي.
• إذا كنت تريد للروبوت أن يكون خبيراً في مواضيع عالية الجودة: فقد ساعدت التصفية قليلاً. إذا كان الهدف هو أن يبدو الروبوت كعالم أو موسوعة، فإن الاحتفاظ بأفضل الصفحات فقط جعل الروبوت أفضل قليلاً.

2. كلما زاد تدريبك، قللت من التصفية
إليك الدرس الأكثر أهمية: حجم ميزانيتك يغير الاستراتيجية المثلى.
تخيل أن لديك مصروفاً صغيراً (ميزانية تدريب صغيرة). قد تميل لشراء الألعاب الأكثر غلاءً وجودة فقط. ولكن إذا كان لديك مصروف ضخم (ميزانية كبيرة)، فإن شراء الألعاب الغالية فقط يعني أنك ستنفد من الألعاب الجديدة بسرعة كبيرة. سينتهي بك الأمر باللعب بنفس اللعبة الغالية مراراً وتكراراً حتى تشعر بالملل.
وجدت الدراسة أنه مع نمو ميزانية التدريب، تغيرت الاستراتيجية "الأفضل". في البداية، بدا الاحتفاظ بالـ 1/16 الأعلى من البيانات أمراً جيداً. ولكن مع تدريب الروبوت لفترة أطول (قراءة البيانات 8.2 مرة بدلاً من 4.1 مرة)، أصبحت تلك المكتبة الصغيرة المصفاة كارثية. شعر الروبوت بالملل وبدأ في ارتكاب الأخطاء. الاستراتيجية الأفضل لميزانية كبيرة كانت تتمثل في الاحتفاظ بـ المزيد من البيانات، حتى الأجزاء الفوضوية منها، حتى يتمكن الروبوت من رؤية أشياء جديدة باستمرار.

3. لا ترمِها، فقط اقرأها أكثر
قارن الباحث أيضاً بين "رمي" النص السيئ وبين "قراءة النص الجيد بشكل متكرر".

• منهج "الرمي": أنت تحذف الصفحات منخفضة الجودة.
• منهج "القراءة أكثر": تحتفظ بجميع الصفحات، لكنك تخبر الروبوت: "هيا، اقرأ هذه الصفحات العليا 16 مرة، لكن اقرأ الصفحات الدنيا مرة واحدة فقط".

عندما حاول الباحث أن يكون هجومياً للغاية (بالاحتفاظ فقط بالـ 1/16 الأعلى)، انتصر منهج "القراءة أكثر" بفارق كبير. كان أفضل بمقدار يصل إلى 0.39 نات (nats) (وهي وحدة قياس لمدى جودة توقع الروبوت للكلمة التالية) من منهج "الرمي".
فكر في الأمر بهذه الطريقة: إذا كانت لديك أغنية مفضلة، يمكنك إما حذف جميع الأغاني الأخرى من قائمة التشغيل والاستماع لتلك الأغنية 1ขึ้น 16 مرة (الرمي)، أو يمكنك الاحتفاظ بقائمة التشغيل كاملة ولكن التأكد من أن أغنيتك المفضلة تعمل 16 مرة أكثر من غيرها (القراءة أكثر). الطريقة الثانية أفضل لأنك لا تزال تملك الأغاني الأخرى في الخلفية لتبقي الأمور ممتعة، ولا تفقد التنوع الفريد للمكتبة الكاملة.

الخلاصة

لا تقول هذه الورقة البحثية إن علينا التوقف عن محاولة جعل الذكاء الاصطناعي أكثر ذكاءً. بدلاً من ذلك، فهي تحذرنا من أننا لا نستطيع ببساطة رمي البيانات "السيئة" بشكل عشوائي.

• لا تصفِّ البيانات إذا كنت تريد فهم العالم الحقيقي: إذا كنت تريد ذكاءً اصطناعياً يفهم الإنترنت الفوضوي، فاحتفظ بالبيانات الفوضوية.
• لا تبالغ في التصفية إذا كانت لديك ميزانية كبيرة: إذا كان لديك قدرة حوسبية كبيرة، فأنت بحاجة إلى تنوع هائل في البيانات. إذا قمت بالتصفية بصرامة شديدة، فإنك تجبر الذكاء الاصطناعي على تكرار نفسه، وهذا يوقف تعلمه.
• التكرار أفضل من الحذف: إذا كنت تريد حقاً التركيز على أفضل البيانات، فلا تحذف البقية. فقط تأكد من أن الذكاء الاصطناعي يرى الأشياء الجيدة أكثر من الأشياء السيئة.

أُجريت هذه الدراسة على نماذج صغيرة وشريحة صغيرة من البيانات، لذا لا يمكننا الجزم بما سيحدث بالضبط لنماذج الذكاء الاصطناعي العملاقة في المستقبل. لكن الدرس واضح: معاملة جودة البيانات وكمية البيانات كأمرين منفصلين هو خطأ. إنهما مرتبطان، وأفضل طريقة لتدريب الذكاء الاصطناعي تتغير اعتماداً على مقدار الوقت والمال الذي تملكه لإنفاقه.