HPLT 3.0: Very Large-Scale Multilingual Resources for LLMs and MT. Mono- and Bi-lingual Data, Multilingual Evaluation, and Pre-Trained Models
تقدم الورقة البحثية HPLT 3.0، وهي مبادرة مفتوحة توفر مجموعة بيانات متعددة اللغات بحجم 30 تريليون رمز لقرابة 200 لغة، مصحوبة بمسار معالجة مفتوح المصدر، ومعايير تقييم شاملة لتسع لغات أوروبية، ومجموعة من النماذج أحادية اللغة والمتوازية مسبقة التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت عملاق، فائق الذكاء، كيف يتحدث ويفهم جميع لغات البشر تقريبًا على وجه الأرض. وللقيام بذلك، يحتاج الروبوت إلى "أكل" كمية هائلة من النصوص — الكتب، المواقع الإلكترونية، المقالات، والمحادثات. وهذا ما يسمى بـ بيانات ما قبل التدريب (pre-training data).
لفترة طويلة، كانت أكبر "بوفيهات" الطعام المتاحة لهذه الروبات مليئة بالأطباق الإنجليزية، مع بعض الأطبان الجانبية بلغات أخرى. ورقة البحث HPLT 3.0 تدور حول مشروع ضخم جديد قام ببناء أكبر مكتبة رقمية، وأكثرها تنوعًا، وأعلى جودة، مخصصة لتدريب هذه الروبوتات الذكية.
إليك تفصيل لما فعلوه، باستخدام بعض التشبيهات من الحياة اليومية:
1. المكتبة الضخمة (البيانات)
تخيل الإنترنت كأنه علية ضخمة وفوضوية مليئة بمليارات الصناديق من الأوراق القديمة، بعضها مكتوب بلغة إنجليزية مثالية، والبعض الآخر بلهجات نادرة وصغيرة، وكثير منها مغطى بالغبار أو ممزق.
- المجموعة: جمع فريق HPLT نحو 30 تريليون "توكن" (Tokens) (قطع من الكلمات). هذا يشبه ملء مكتبة بعدد كبير من الكتب لدرجة أنك إذا قرأت كتابًا واحدًا كل ثانية، فسيستغرق الأمر آلاف السنين لإنهائه.
- التنوع: على عكس المكتبات السابقة التي كانت بنسبة 90% باللغة الإنجليزية، فإن هذه المكتبة هي "وليمة عالمية" حقيقية. حوالي نصف الطعام بلغات أخرى غير الإنجليزية، تغطي ما يقرب من 200 لغة ونظام كتابة مختلف.
- المصدر: لم يكتفوا بشراء الكتب فحسب؛ بل دخلوا إلى "علية" الإنترنت (أرشيفات الويب من Internet Archive وCommon Crawl) واستخرجوا كل ما يمكنهم العثور عليه.
2. طاقم التنظيف (معالجة البيانات)
لا يمكنك إطعام الروبوت مجرد نفايات عشوائية مغبرة من العلية؛ وإلا فسيصاب بالارتباك أو يتعلم عادات سيئة. قام الفريق ببناء خط تجميع (pipeline) متطور لتنظيف هذه البيانات:
- استخراج النصوص: استخدموا أداة ذكية (مثل مكنسة عالية التقنية) لامتصاص القصة الفعلية من صفحة الويب، مع تجاهل الإعلانات، والنوافذ المنبثقة، وأزرار "اضغط هنا".
- تحديد اللغة: علموا الروبوت كيف ينظر إلى صفحة ويقول: "آه، هذه هي الفنلندية"، أو "هذه في الواقع إسبانية وليست برتغالية".
- فلتر "إزالة التكرار": تخيل أنك وجدت نفس مقال ويكيبيديا منسوخًا 50 مرة في عليتك. قام الفريق بإزالة هذه النسخ حتى لا يعتقد الروبوت أن الجملة نفسها هي 50 حقيقة مختلفة. فعلوا ذلك عالميًا، لضمان أن يرى الروبوت أفكارًا فريدة، وليس مجرد تكرارات.
- ضبط الجودة: أضافوا "أختامًا" للوثائق. بعض الأختام تقول "جودة عالية"، والبعض الآخر يقول "تحذير: محتوى للبالغين" أو "تحذير: هذا يبدو كرسائل مزعجة (spam)". هذا يسمح للباحثين باختيار أفضل الكتب فقط لدراستها من قبل الروبوت.
3. اختبار التذوق (التقييم)
كيف تعرف أن الروبوت يتعلم حقًا؟ لا يمكنك سؤاله ببساطة: "هل تشعر أنك ذكي؟". عليك إعطاؤه اختبارًا.
- الامتحان: صمم الفريق امتحانًا خاصًا (HPLT-e) لتسع لغات أوروبية مختلفة. إنه يشبه الاختبارات المعيارية (مثل SAT أو IELTS) ولكن بالنسبة للذكاء الاصطناعي.
- النتائج: قاموا بتدريب روبوتات على بيانات HPLT 3.0 وقارنوها بروبوتات تدربت على مجموعات بيانات مشهورة أخرى. سجلت روبوتات HPLT 3.0 درجات أعلى، مما يثبت أن البيانات الأنظف والأكثر تنظيمًا تجعل الروبوتات أكثر ذكاءً.
- درس "الجودة": اختبروا أيضًا ما إذا كان يهم أي الكتب تطعمها للروبوت. وجدوا أن إطعام الروبوت فقط أفضل 10% من الوثائق عالية الجودة لم يكن يعمل بشكل جيد مثل إطعامه مزيجًا متنوعًا. الأمر يشبه الطالب: قراءة أفضل الكتب المدرسية فقط أمر جيد، لكن قراءة مجموعة متنوعة من الكتب الجيدة يساعدهم على فهم العالم بشكل أفضل.
4. الأدوات المتخصصة (النماذج)
لم يكتفِ الفريق بتقديم المكتبة فحسب؛ بل قاموا ببناء الروبوتات أنفسهم أيضًا.
- النماذج أحادية اللغة: بنوا روبوتًا محددًا لما يقرب من 60 لغة مختلفة. فكر في هذا كتوظيف متخصص هو خبير في اللغة الفرنسية فقط، أو السواحيلية فقط، بدلاً من شخص عام يعرف القليل من كل شيء. هؤلاء المتخصصون بارعون للغاية في فهم الفروق الدقيقة في لغتهم الخاصة.
- الترجمة: بنوا أيضًا مجموعة ضخمة من الجمل حيث يكون أحد الجوانب باللغة (أ) والآخر باللغة (ب). هذا يشبه قاموسًا ضخمًا ثنائي اللغة يساعد الروبوتات على التعلم والترجمة فورًا.
5. المطبخ "الاصطناعي" (الترجمة الآلية)
بالنسبة لبعض اللغات النادرة جدًا، لا توجد كتب كافية في العلية. لذا، استخدم الفريق حيلة ذكية:
- أخذوا نصوصًا إنجليزية عالية الجودة (مثل المقالات التعليمية)، وترجموها إلى لغات نادرة باستخدام الذكاء الاصطناعي، وأضافوها إلى المكتبة.
- التشبيه: الأمر يشبه أخذ وصفة مثالية مكتوبة بالإنجليزية، وترجمتها إلى لهجة نادرة، وتقديمها لطاهٍ لم يرَ هذا الطبق من قبل. هذا يساعد الطاهي على تعلم أساسيات المطبخ، حتى لو لم يتذوق الطبق الحقيقي بعد.
6. شبكة الأمان الأخلاقية
ورقة البحث حذرة جدًا بشأن الأخلاقيات.
- الخصوصية: قاموا بتنقية البيانات لإزالة المعلومات الشخصية مثل أرقام الهواتف وعناوين البريد الإلكتروني.
- حقوق النشر: احترموا لوحات "ممنوع الدخول" (robots.txt) على المواقع الإلكترية، وأزالوا المحتوى الذي كان من الواضح أنه محمي بحقوق الطبع والنشر أو محظور.
- الشفافية: على عكس بعض شركات التكنولوجيا الكبرى التي تحتفظ بوصفات سرية، فإن HPLT هو مشروع مفتوح المصدر. إنهم يشاركون المكتبة، وأدوات التنظيف، والروبوتات مجانًا، بحيث يمكن لأي شخص استخدامها.
الصورة الكبيرة
مشروع H-PLT 3.0 هو جهد ضخم لـ دمقرطة الذكاء الاصطناعي. فبدلاً من امتلاك الشركات الكبرى فقط للوقود اللازم لبناء ذكاء اصطناعي فائق الذكاء، يقوم هذا المشروع بتوزيع الوقود عالي الجودة على الباحثين والجامعات والمطورين في كل مكان.
هدفهم هو ضمان ألا يكون مستقبل الذكاء الاصطناعي مجرد روبوت "متحدث بالإنجليزية"، بل روبوتًا متعدد اللغات حقًا يحترم ويفهم تنوع الثقافات البشرية. إنهم يبنون أساسًا لـ "المكتبة العامة" للجيل القادم من الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.