NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus
تقدم الورقة البحثية نموذج NorBERTo، وهو نموذج حديث يعتمد على المشفر فقط (encoder-only) للغة البرتغالية البرازيلية، تم تدريبه على أكبر مجموعة بيانات أحادية اللغة متاحة علنًا (Aurora-PT) وتضم 331 مليار رمز، حيث يحقق أداءً هو الأفضل في مجاله في العديد من الاختبارات المرجعية الدلالية ويقدم حلاً فعالاً وقابلاً للنشر لمهام معالجة اللغات الطبيعية اللاحقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فهم اللغة البرتغالية. لفترة طويلة، كانت أفضل الروبوتات تشبه الطلاب الذين قرأوا بضعة كتب جيدة ولكنهم لم يروا المكتبة بأكملها. تقدم هذه الورقة البحثية روبوتاً جديداً يسمى NorBERTo ومكتبة جديدة ضخمة تسمى Aurora-PT تساعده على التعلم.
إليك قصة كيف فعلوا ذلك، مشروحة ببساطة:
1. المشكلة: الروبوت كان بحاجة إلى مكتبة أكبر
قبل هذا، كانت أفضل روبوتات اللغة البرتغالية (مثل BERTimbau و Albertina) قد تم تدريبها على مكتبات تحتوي على حوالي 2 إلى 3 مليارات "كلمة" (tokens). ورغم أنها كانت جيدة، إلا أنها تشبه محاولة تعلم لغة من خلال قراءة بضع روايات وقاموس.
أدرك المؤلفون أنه لجعل الروبوت ذكياً حقاً، كانوا بحاجة إلى مكتبة بحجم مدينة ضخمة. أرادوا بناء روبوت يمكنه فهم تفاصيل اللغة البرتغالية البرازيلية دون الحاجة لأن يكون حاسوباً فائقاً ضخماً ومكلفاً يولد قصصاً لا تنتهي (والتي تميل إلى اختلاق الأمور أو "الهلوسة").
2. المكتبة الجديدة: Aurora-PT
بنى الفريق Aurora-PT، وهي مجموعة جديدة تماماً من النصوص.
- النطاق: تحتوي على 331 مليار توكن. ولوضع ذلك في الاعتبار، إذا كانت المكتبات القديمة عبارة عن رف كتب واحد، فإن Aurora-PT هي مستودع كامل. وهي حالياً أكبر مكتبة مفتوحة من نوعها للغة البرتغالية.
- التنظيف: لم يقوموا بمجرد رمي كل شيء بداخلها. لقد عملوا كأمناء مكتبة صارمين، مستخدمين أدوات آلية لاستبعاد النفايات، والصفحات المكررة، والمحتوى السام. لقد احتفظوا فقط بالنصوص عالية الجودة والنظيفة من مصادر متنوعة مثل ويكيبيديا، والمدونات، وصفحات الويب.
3. الروبوت الجديد: NorBERTo
باستخدام هذه المكتبة الضخمة، قاموا بتدريب روبوت جديد يسمى NorBERTo.
- التصميم: بدلاً من استخدام التصميم القديم والمعياري للروبوتات، استخدموا مخططاً حديثاً يسمى ModernBERT. فكر في هذا كترقية من دراجة هوائية إلى دراجة كهربائية عالية السرعة. لديه ميزات خاصة تسم تجعله يقرأ جملًا أطول دون أن يرتبك ويعالج المعلومات بشكل أسرع.
- الحجم: بنوا نسختين: نموذج "أساسي" (حوالي 150 مليون "خلية عصبية" أو بارامتر) ونموذج "كبير" (حوالي 395 مليون).
- التدريب: علموا الروبوت من الصفر باستخدام النصوص البرتغالية فقط. لم يغشوا بالبدء بمعرفة من اللغة الإنجليزية؛ بل تعلم البرتغالية من مكتبة Aurora-PT وحدها.
4. تجربة القيادة: كيف كان أداؤه؟
أخضع الفريق NorBERTo لسلسلة من اختبارات القيادة (benchmarks) لمعرفة مدى فهمه للغة البرتغالية مقارنة بالأبطال القدامى.
- اختبار "المنطق" (الاستلزام النصي): تخيل أنك تعرض على الروبوت جملتين وتسأله: "هل تتبع الجملة الثانية منطقياً من الأولى؟"
- النتيجة: فاز NorBERTo (النسخة الكبيرة) في هذه الفئة، متفوقاً على أفضل النماذج السابقة. لقد أثبت أن التصميم الحديث + المكتبة الضخمة = منطق أفضل.
- اختبار "المعنى" (التشابه الدلالي): تخيل أنك تسأل: "هل هاتان الجملتان تقولان الشيء نفسه؟"
- النتيجة: لا يزال البطل القديم، BERTimbau، يحتفظ بالصدارة هنا. يوضح المؤلفون أن هذا يرجع على الأرجح إلى أن BERTimbau بدأ بضربة انطلاق من التدريب باللغة الإنجليزية، بينما كان على NorBERTo تعلم كل شيء من الصفر.
- اختبار "إعادة الصياغة" (MRPC): هل يستطيع الروبوت معرفة ما إذا كانت الجملتان مجرد طريقتين مختلفتين لقول الشيء نفسه؟
- النتيجة: سحق NorBERTo (النسخة الكبيرة) المنافسة، محققاً أعلى درجة مسجلة لهذا المهمة تحديداً في اللغة البرتغالية.
5. الخلاصة الكبرى
تخلص الورقة البحثية إلى أنك لست بحاجة إلى "روبوت خارق" ضخم ومكلف (مثل نماذج الذكاء الاصطناعي الضخمة التي تكتب القصص) للقيام بمهام محددة بشكل جيد.
من خلال الجمع بين مكتبة ضخمة ونظيفة (Aurora-PT) مع تصميم حديث وفعال (ModernBERT)، صنعوا روبوتاً "مثالياً" (Goldilocks):
- ليس صغيراً جداً (فهو أذكى من النماذج القديمة).
- ليس كبيراً جداً (فهو أرخص وأسرع في التشغيل من نماذج الذكاء الاصطناعي الضخمة).
- وهو "مناسب تماماً" للمهام الواقعية مثل فرز رسائل البريد الإلكتروني، أو فهم أسئلة العملاء، أو مساعدة محركات البحث في العث على الإجابات الصحيحة.
باختصار: لقد بنوا مكتبة أكبر وأنظف، وروبوتاً أذكى وأكثر كفاءة، مما يثبت أنه لفهم اللغة البرتغالية، لست بحاجة لأن تكون أكبر ذكاء اصطناعي في الغرفة — أنت فقط بحاجة إلى الأدوات الصحيحة والبيانات الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.