تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم العالم. للقيام بذلك، لا تكتفي بإعطائه بضعة كتب مدرسية؛ بل تضخ الإنترنت بأكمله في دماغه. هكذا يتعلم الذكاء الاصطناعي الحديث. يطلق العلماء على هذه العملية اسم "التدريب المسبق" (Pre-training). يقرأ الروبوت مليارات الجمل من المواقع الإلكترونية، والمقالات الإخبارية، والمنتديات ليتعلم كيف يتحدث البشر، وكيف يفكرون، وكيف يحلون المشكلات. ولكن هنا تكمن العقبة: الإنترنت فوضوي. فهو مليء بالرسائل غير المرغوب فيها (Spam)، والمحتوى المنسوخ بلا معنى، والإعلانات المتكررة. إذا غذيت الروبوت بنظام غذائي من "الطعام غير الصحي"، فسيصاب بالمرض ولن يتمكن من التفكير بوضوح. لذا، يتعين على الباحثين التصرف كخبراء تغذية صارمين، يقومون بتصفية الأشياء السيئة والاحتفاظ فقط بالمعلومات عالية الجودة، والمتنوعة، والمثيرة للاهتمام. السؤال الكبير الذي صارعوا من أجله هو: كيف يمكنك تنظيف الإنترنت دون أن تتخلص بالخطأ من الأفكار النادرة، والغريبة، والعبقرية التي تجعل الروبوت ذكيًا حقًا؟

إليك CuraWeb، وهو مشروع جديد من قبل باحثين في Meituan يحاول حل هذه المشكلة الفوضوية. فكر في الأساليب السابقة كأنها استخدام منخل ضخم وفج لغربلة الرمال. إذا هززت المنخل بقوة كبيرة، ستفقد قطع الذهب مع التراب. كانت الطريقة القديمة لتنظيف البيانات تشبه ذلك: فقد استخدمت قواعد بسيطة لتصفية النصوص "السيئة"، ولكنها في سبيل ذلك، غالبًا ما كانت ترمي المقالات الرياضية والبرمجية والمعقدة لأنها بدت "غريبة" مقارنة بالجمل العادية. أدرك فريق CuraWeb أنه لبناء ذكاء اصطناعي عبقري حقًا، أنت بحاجة إلى نهج أكثر دقة. لم يرغبوا فقط في تنظيف البيانات؛ بل أرادوا تنسيقها مثل أمين متحف، لضمان أن تكون المجموعة عالية الجودة، وغير مكررة، وتغطي كل ركن من أركان المعرفة البشرية.

مشكلة المنخل "الموحد للجميع"

لفترة طويلة، كانت الطريقة القياسية لإعداد البيانات للذكاء الاصطناعي تشبه خط تجميع المصنع. أولاً، تمرر النص عبر مرشح قائم على القواعد (مثل التحقق مما إذا كانت الصفحة تحتوي على الكثير من الأرقام أو الرموز الغريبة). ثم تمرره عبر نموذج يخمن ما إذا كان النص "جيدًا". وأخيرًا، تقوم بإزالة التكرارات. المشكلة التي وجدها المؤلفون هي أن خط التجميع هذا يعامل كل موضوع بنفس الطريقة. الأمر يشبه أمين مكتبة يقرر رمي أي كتاب ذي عنوان طويل أو مفردات معقدة لأنه يبدو "فوضويًا".

في الواقع، الكتاب المدرسي للرياضيات أو دليل البرمجة هو فوضوي مقارنة بتدوينة عابلة. فهو يحتوي على صيغ، ورموز، وتنسيقات غريبة. رأت المرشحات القديمة هذه كأخطاء وحذفتها. وهذا يعني أن الذكاء الاصطناعي كان يفقد فرصته في التعلم من الأشياء التي تجعله ذكيًا: التفكير المعقد والمعرفة المتخصصة. كما أن الأساليب القديمة كانت تميل إلى خلق نظام غذائي "متجانس"، حيث يقرأ الذكاء الاصطناعي فقط عن المواضيع الشائعة مثل الترفيه أو التسوق، ويفتقد إلى معرفة "الذيل الطويل" الموجودة في العلوم والقانون والهوايات المتخصصة.

حل CuraWeb: مطبخ ذكي متعدد المسارات

اقترح فريق CuraWeb طريقة جديدة لـ "طهي" البيانات، من خلال الانتقال من مرشح واحد فج إلى تحسين مشترك لثلاثة أشياء: الجودة (هل هي جيدة؟)، التكرار (هل هي نسخة؟)، والتنوع (هل هي فريدة؟). لقد بنوا إطار عمل يعمل مثل فريق من الطهاة الخبراء، لكل منهم وظيفة محددة، يعملون معًا لإعداد وليمة مكونة من 2 تريليون توكن (Token) للذكاء الاصطناعي.

1. المنخل المخصص (التصفية المدركة للمجال)

بدلاً من استخدام مجموعة واحدة من القواعد لكل شيء، يستخدم CuraWeb "منخلًا ذكيًا" يعرف الفرق بين تدوينة ومسألة رياضية.

• الطريقة القديمة: إذا احتوت الوثيقة على الكثير من الرموز (مثل + ، - ، =)، كانت القواعد القديمة تحذفها، ظناً منها أنها مهملات.
• طريقة CuraWeb: أدركوا أن الرياضيات والبرمجة تعتمد على تلك الرموز وهي أساسية لها. لذا، أنشأوا "تجاوزًا ذا أولوية". إذا اكتشف النظام أن الوثيقة تتعلق بالرياضيات أو العلوم أو البرمجة، فإنه يتخطى قاعدة "عدم وجود رموز" الصارمة. إنه يسمح لهذه الوثائق المعقدة بالمرور إلى المرحلة التالية، مما يضمن عدم فقدان قدرة الذكاء الاصطناعي على حساب التفاضل والتكامل أو كتابة الأكواد. كما قاموا بتحسين قواعدهم لتكون أقل عدوانية، مما حافظ على المزيد من مقتطفات المعرفة المفيدة التي كانت المرشحات القديمة ستلقي بها بعيدًا.

2. كاشف التكرار "الناعم"

تخيل أن لديك مكتبة حيث يستمر شخص ما في طباعة نفس النموذج، مع تغيير الاسم عليه فقط. قد يغفل الماسح الضوئي البسيط عن هذه النسخ لأن النص ليس متطابقًا تمامًا.

• الطريقة القديمة: استخدمت الأنظمة القديمة "عتبة صلبة". إذا بدا مستندان متشابهين بنسبة 95%، فإنهما يحذف أحدهما. لكن هذا كان خطيرًا. في المجالات المتخصصة، غالبًا ما يستخدم الخبراء نفس المصطلحات التقنية، مما يجعل كتاباتهم تبدو متشابهة جدًا حتى لو كانوا يقولون أشياء مختلفة. الحذف الصلب كان من شأنه أن يمحو هذه الرؤى الفريدة والقيمة.
• طريقة CuraWeb: قدموا استراتيجية إزالة التكرار الدلالي الناعم (Soft Semantic Deduplication). بدلاً من حذف وثيقة بمجرد أن تبدو مشابهة لأخرى، يستخدمون "نظام تصويت". يتحققون من مدى تشابهها من زوايا متعددة. إذا كانت الوثيقة مشابهة حقًا (مثل عملية نسخ ولصق)، فإنها تحصل على عقوبة شديدة. أما إذا كانت متشابهة فقط لأنها تتناول نفس الموضوع التقني، فإنها تحصل على عقوبة مخففة. يتم حذف الوثيقة فقط إذا أصبح "درجة العقوبة" مرتفعًا جدًا. هذا يشبه أمين مكتبة لا يرمي كتابًا لمجرد أنه يتحدث عن نفس موضوع كتاب آخر؛ بل يرميه فقط إذا كان بالفعل نفس القصة. قللت هذه الطريقة من عمليات الحذف الخاطئة (رمي الأشياء الجيدة) من 37.5% إلى 28.03% في الحالات الأكثر تعقيدًا.

3. العينات الذكية (أخذ العينات بالقوة - Power Sampling)

بمجرد تنظيف البيانات، يجب عليك تحديد ما ستطعمه للروبوت فعليًا. لا يمكنك إطعامه كل شيء، لذا عليك اختيار الأفضل.

• الطريقة القديمة: كانت بعض الأنظمة تختار وثائق عالية الجودة بشكل عشوائي فقط. وحاولت أنظمة أخرى الموازنة بين الجودة والتنوع، لكنها انتهت غالبًا بمزيج ممل.
• طريقة CuraWeb: ابتكروا طريقة أخذ العينات بالقوة (Power Sampling). تخيل يانصيبًا تكون فيه التذاكر الخاصة بالوثائق الأكثر إثارة للاهتمام وذات القيمة العالية (مثل الأوراق العلمية العميقة أو مهام الاستدلال الذكية) ذات أرقام ضخمة، مما يجعل احتمال اختيارها أكبر بكثير. قاموا بتقييم الوثائق بناءً على شيئين: جودة الكتابة (هل هي مكتوبة جيدًا؟) وقيمة المحتوى (هل تعلم شيئًا جديدًا؟). ودمجوا هذه الدرجات واستخدموا دالة "القوة" لتضخيم أفضل الوثائق. هذا يعني أن الذكاء الاصطناعي يحصل على نظام غذائي غني بالمعرفة المتنوعة وعالية القيمة، بدلاً من مجرد الكثير من الأشياء المتوسطة.

النتائج: روبوت أكثر ذكاءً

اختبر الباحثون مجموعة بياناتهم الجديدة، CURAWEB، من خلال تدريب نموذج ذكاء اصطناعي بـ 3 مليارات معامل عليها. وقارنوا هذا النموذج بنماذج أخرى تم تدريبها على مجموعات بيانات شهيرة مثل FineWeb-Edu و DCLM.

كانت النتائج واضحة: CuraWeb كان أفضل.

• الأداء العام: سجل النموذج المدرب على CuraWeb متوسط 48.07% عبر 10 اختبارات معيارية مختلفة، متفوقًا على أفضل النتائج السابقة (DCLC) بنسبة 1.82%.
• الاستدلال والمعرفة: كانت أكبر الانتصارات في المهام التي تتطلب تفكيرًا عميقًا. في اختبار رياضيات يسمى GSM8K، قفز نموذج CuraWeb بنسبة 4.39% مقارنة بالأفضل التالي له. وفي اختبار المعرفة العامة (MMLU)، تحسن بنسبة 6.61%.
• تأثير "المتخصص": أظهرت الدراسة أنه بينما كانت بعض مجموعات البيانات القديمة رائعة في أشياء معينة (مثل الكتب المدرسية) ولكنها سيئة في أشياء أخرى، كان CuraWeb قويًا في كل مكان. لم يقم فقط بالمقايضة بين مهارة وأخرى؛ بل حسن قدرة الروبوت على الاستدلال وفهم المواضيع المعقدة دون فقدان ذكائه العام.

لماذا يهم هذا؟

تشير الورقة البحثية إلى أن مستقبل الذكاء الاصطناعي لا يتعلق فقط بتغذيته ببيانات أكثر؛ بل يتعلق بتغذيته ببيانات أفضل. النهج القديم لـ "تنظيف" البيانات كان يعني غالبًا "خفض مستوى ذكائها" عن طريق إزالة أي شيء لا يبدو كجملة قياسية. يوضح CuraWeb أنه من خلال كوننا أكثر ذكاءً في كيفية تصفية، وإزالة التكرار، واختيار البيانات، يمكننا بناء نماذج ذكاء اصطناعي ليست فقط أكثر دقة، بل أيضًا أفضل في المهام الصعبة، والإبداعية، والمتخصصة التي تهم البشر.

باختصار، لم يجد المؤلفون فقط طريقة أفضل لتنظيف الإنترنت؛ بل وجدوا طريقة للحفاظ على روحه — الأجزاء الغريبة، والمعقدة، والعبقرية التي تجعلنا بشرًا — ومنحها للآلات. تشير تجاربهم إلى أنه إذا تعاملت مع البيانات بعناية، واحترمت تنوعها وتعقيدها، فإن الذكاء الاصطناعي سيتعلم بشكل أسرع ويفكر بشكل أعمق. إنه تذكير بأنه في سباق الذكاء الاصطناعي، جودة المكونات تهم بقدر حجم القدر.