💬 NLP

LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation

تقترح الورقة البحثية إطار عمل LGSE، الذي يعمل على تحسين تكييف اللغات ذات الموارد المنخفضة من خلال تهيئة تمثيلات الرموز الجديدة (token embeddings) باستخدام تمثيلات قائمة على المورفولوجيا و n-grams للحروف، مما يؤدي إلى التفوق على الأساليب الحالية في مهام مثل الإجابة على الأسئلة والتعرف على الكيانات المسماة للغات مثل الأمهرية والتغرينية.

المؤلفون الأصليون: Hailay Teklehaymanot, Dren Fazlija, Wolfgang Nejdl

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hailay Teklehaymanot, Dren Fazlija, Wolfgang Nejdl

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: البدلة التي "تناسب الجميع" لا تناسب أحداً

تخيل أن لديك أمين مكتبة آلياً عملاقاً وذكياً جداً (لنسمّه XLM-R) قد قرأ كتباً بأكثر من 100 لغة. هو ذكي للغاية فيما يتعلق بالإنجليزية والإسبانية والفرنسية. لكن عندما يحاول قراءة كتاب بلغة الأمهرية أو التغرينية (لغات من إثيوبيا تستخدم نصاً فريداً يسمى "جيز" - Ge'ez)، فإنه يصاب بالارتباك.

لماذا؟ لأن الروبوت تعلم القراءة عن طريق تقطيع الكلمات إلى قطع صغيرة وعشوائية، مثل آلة لا تعرف سوى تقطيع رغيف الخبز إلى شرائح غير متساوية ومشرشرة.

في اللغة الإنجليزية، يعمل هذا الأمر بشكل جيد نوعاً ما. ولكن في الأمهرية والتغرينية، تكون الكلمات مثل هياكل "ليجو" (Lego) معقدة؛ فهي تُبنى عن طريق تركيب كتل أصغر ذات معنى (تسمى المورفيمات أو الوحدات الصرفية) معاً لتغيير المعنى.

الطريقة القديمة (BPE): يرى الروبوت كلمة "بيضة" (Egg) ويقطعها إلى خمس قطع عشوائية بلا معنى: قطعة-البيضة-1، قطعة-البيضة-2، قطعة-البيضة-3... الأمر يشبه محاولة فهم جملة عبر قراءة الحروف "E, g, g, s" فقط دون معرفة معنى كلمة "egg". هنا يفقد الروبوت المعنى.
النتيجة: يصبح الروبوت بطيئاً، ويرتكب الأخطاء، ولا يفهم "نكهة" اللغة.

الحل: LGSE (مجموعة "الليجو الذكية")

قام مؤلفو هذه الورقة البحثية، هيلاي، درين، وفولفجانج، ببناء أداة جديدة تسمى LGSE (التمثيل المبدئي للكلمات الفرعية المرتكز على المعجم). فكر في LGSE كـ كتيب تعليمات مخصص يعلم الروبوت كيف يرى كتل البناء الحقيقية لهذه اللغات.

إليك كيف أصلحوا الأمر، خطوة بخوة:

1. خريطة "المورفيم" (احترام الهيكل)

بدلاً من تقطيع الكلمات عشوائياً، تستخدم LGSE خريطة للعثور على "كتل الليجو" الطبيعية (المورفيمات) داخل الكلمات.

تشبيه: تخيل أن لديك كلمة مثل "Unhappiness" (عدم السعادة).
- الروبوت القديم: يرى "Un-hap-pi-ness" كأربع قطع ضوضاء عشوائية.
- روبوت LGSE: يرى "Un" (ليس)، "Happy" (سعيد)، و "ness" (حالة الـ). إنه يعرف بالضبط معنى كل قطعة.
كيف فعلوا ذلك: استخدموا قاموساً خاصاً (FastText) لإيجاد معنى هذه الكتل الصغيرة ودمجها لإنشاء نقطة انطلاق "ذكية" لعقل الروبوت.

2. "شبكة الأمان" (التنظيم)

عندما تعلم روبوتاً شيئاً جديداً، فقد يصبح متحمساً جداً لدرجة أنه ينسى كل ما كان يعرفه بالفعل.

الإصلاح: أضاف المؤلفون "شبكة أمان" (حد تنظيم/Regularization). تخيل حبل مطاطي (Bungee cord) يربط معرفة الروبوت الجديدة بمعرفته القديمة.
ماذا تفعل: هي تسمح للروبوت بتعلم اللغة الجديدة (الأمهرية/التغرينية) ولكنها تسحبه بلطف إذا بدأ يبتعد كثيراً عما يعرفه بالفعل. هذا يحافظ على استقرار الروبوت وذكائه.

3. "جولة تدريبية" (التدريب المسبق المتكيف مع اللغة)

قبل أن يخوض الروبوت اختباراً، جعلوه يتدرب على قراءة ملايين الجمل بالأمهرية والتغرينية.

اللمسة المميزة: لم يكتفوا بجعله يقرأ فحسب؛ بل تأكدوا من أنه يقرأ باستخدام طريقة "الليجو الذكي" (LGSE) بدلاً من طريقة التقطيع العشوائي القديمة. ساعد هذا الروبوت على بناء أساس قوي خصيصاً لهذه اللغات.

النتائج: روبوت خارق القدرات

اختبر الفريق هذا الروبوت الجديد في ثلاث مهام صعبة:

الإجابة على الأسئلة: "أين السوق؟"
إيجاد الأسماء: "من هو الرئيس؟"
تصنيف النصوص: "هل هذا مقال إخباري أم دعابة؟"

النتيجة:

الروبوت القديم عانى، حيث نجح بنسبة تترا-وح 60-66% تقريباً.
الروبوت المزود بشبكة الأمان (LAPT فقط) تحسن (حوالي 70%).
روبوت LGSE (مع خريطة الليجو الذكية + شبكة الأمان + التدريب) اكتسح النتائج، حيث حقق 78-79%.

لماذا يهم هذا الأمر (زاوية "العدالة")

تشير الورقة أيضاً إلى مجموعة بيانات جديدة أنشؤوها للمحتوى التعليمي. أرادوا التأكد من أن الذكاء الاصطناعي يمكنه مساعدة المعلمين والطلاب في إثيوبيا من خلال تحديد المواد التعليمية الجيدة.

الخلاصة:
لفترة طويلة، كان الذكاء الاصطناعي منحازاً للغات التي تشبه الإنجليزية أو تستخدم الأبجدية اللاتينية. توضح هذه الورقة أنه إذا احترمنا الهيكل الأصلي للغة (كتل الليجو الخاصة بها) بدلاً من إجبارها على قالب غريب، يمكننا جعل الذكاء الاصطناعي يعمل بشكل أفضل للجميع، وليس فقط للغات السهلة في المعالجة.

باختصار: لقد توقفوا عن معاملة الأمهرية والتغرينية كأنها لغات إنجليزية مكسورة، وبدأوا يعاملونها كاللغات الغنية والمهيكلة التي هي عليها حقاً. والنتيـجة؟ ذكاء اصطناعي أكثر ذكاءً، وعدلاً، ودقة لملايين البشر.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "LGSE: تهيئة تضمين الكلمات الفرعية المرتكزة معجميًا للتكيف مع اللغات ذات الموارد المنخفضة."

1. بيان المشكلة

تواجه النماذج اللغوية متعددة اللغات المدربة مسبقًا (PLMs) مثل XLM-R وmBERT صعوبات مع اللغات ذات الموارد المنخفضة والغنية صرفيًا (مثل الأمهرية والتغرينية). وتتمثل المشكلات الجوهرية المحددة في:

التقسيم التعسفي: تعتمد أجهزة الترميز القياسية (مثل ترميز زوج البايت - BPE) على تكرار ظهور الحروف بدلاً من البنية اللغوية. يؤدي هذا إلى تفتيت الكلمات ذات المعنى إلى وحدات فرعية لا معنى لها دلاليًا.
فقدان التكامل الصرفي: في اللغات الإلصاقية أو القوالبية، غالبًا ما يقوم BPE بتفكيك الوحدات المعجمية الكاملة (مثل الأسماء) إلى ضجيج، مما يدمر الحدود المورفيمية (الصرفية).
التهيئة الضعيفة للتضمين: عند توسيع المفردات لإضافة رموز (tokens) جديدة، تستخدم الطرق الحالية غالبًا ناقلات عشوائية أو متوسطًا بسيطًا للكلمات الفرعية التعسفية. ينتج عن ذلك تضمينات تفتقر إلى التجذر الدلالي وتفشل في التقاط البنية المورفيمية العميقة للغة المستهدفة.
اختلال المحاذاة: مجرد إضافة رموز جديدة وإعادة التدريب غالبًا ما يؤدي إلى تعطيل المحاذاة مع فضاء التضمين الأصلي المدرب مسبقًا، مما يؤدي إلى أداء دون المستوى الأمثل.

2. المنهجية: إطار عمل LGSE

يقترح المؤلفون تهيئة تضمين الكلمات الفرعية المرتكزة معجميًا (LGSE)، وهو إطار عمل يدمج الترميز المدرك صرفيًا مع تهيئة التضمين المستندة إلى المعرفة اللغوية.

أ. الترميز المدرك صرفيًا

بدلاً من BPE القياسي، يستخدم المؤلفون استراتيجية ترميز هجينة (بناءً على عملهم السابق، MoVoC):

التقسيم المورفيمي: يتم أولاً تقسيم الكلمات إلى مورفيمات صالحة لغويًا باستخدام تحليل مورفيمي خاضع للإشراف.
تحسين الكلمة الفرعية: يتم تطبيق BPE داخل كل مورفيم، ولكن يتم منع عمليات الدمج عبر حدود المورفيمات.
المفردات الهجينة: تجمع المفردات النهائية بين المورفيمات عالية التكرار والوحدات الفرعية، ويتم التحكم في ذلك بواسطة معامل نسبة $r$ .

ب. تهيئة التضمين المرتكزة معجميًا

بالنسبة للرموز الجديدة التي يتم إدخالها أثناء توسيع المفردات، يقوم LGSE ببناء التضمينات بناءً على تركيبها المورفيمي بدلاً من التهيئة العشوائية:

التفكيك المورفيمي: يتم تفكيك الرمز الجديد $t$ إلى مورفيمات $M(t) = [m_1, m_2, ..., m_k]$ .
تركيب FastText: يتم تمثيل كل مورفيم عن طريق متوسط تضمينات $n$ $n$ -gram للحروف المستمدة من FastText.
- $m_j = \frac{1}{|G_j|} \sum_{g \in G_j} f_g$
بناء تضمين الرمز: يكون تضمين الرمز الأولي هو متوسط تضمينات المورفيمات المكونة له.
- $e_t = \frac{1}{k} \sum_{j=1}^{k} m_j$
محاذاة الفضاء: يقوم إسقاط خطي متعلم $W$ بمحاذاة فضاء تضمين FastText مع فضاء تضمين PLM ( $e_{aligned} = W e_t$ ).
التنظيم (Regularization): أثناء التدريب المسبق المتكيف مع اللغة (LAPT)، يتم تطبيق حد تنظيمي ( $L_{reg} = \lambda \|e_{new} - \mu\|^2$ ) لمعاقبة الانحرافات الكبيرة عن القيم المهيأة، مما يحافظ على المحاذاة مع الفضاء الأصلي المدرب مسبقًا مع السماح بالتكيف.

ج. الإعداد التجريبي

النموذج الأساسي: XLM-R (بـ 125 مليون معلمة).
اللغات: الأمهرية والتغرينية (خط الجعز).
التدريب المسبق: التدريب المسبق المتكيف مع اللغة (LAPT) على مجموعات بيانات أحادية اللغة (CC100 للأمهرية؛ وبيانات مخصصة للتغرينية) باستخدام نمذجة اللغة المقنعة (MLM).
النماذج المرجعية (Baselines):
- XLM-R (جاهز للاستخدام).
- XLM-R + LAPT (التكيف القياسي).
- XLM-R + Random Init + LAPT.
- XLM-R + FOCUS (تحسين الكلمات الفرعية) + LAPT.
- XLM-R + LGSE + LAPT (المقترح).

3. المساهمات الرئيسية

تشخيص قيود الكلمات الفرعية: تثبت الورقة تجريبيًا أن تضمينات الكلمات الفرعية القياسية في نماذج PLM تفشل في التقاط البنية المورفيمية للغات ذات الموارد المنخفضة، مما يؤدي إلى تمثيلات مجزأة وضعيفة دلاليًا.
إطار عمل LGSE: تقديم استراتيجية تهيئة مبتكرة تستفيد من التقسيم المدرك للمورفيمات وتضمينات التركيب المستندة إلى FastText لإنشاء ناقلات متماسكة دلاليًا للرموز الجديدة.
مجموعة بيانات مرجعية جديدة: إنشاء أول مجموعة بيانات مرجعية مصنفة بشريًا لـ تصنيف جودة التعليم في الأمهرية والتغرينية (2,500 عينة)، مما يعالج الفجوة في تقييم الذكاء الاصطناعي التعليمي للغات ذات الموارد المنخفضة.
تقييم شامل: اختبار صارم عبر ثلاث مهام نهائية (الإجابة على الأسئلة، التعرف على الكيانات المسماة، تصنيف النصوص) يظهر تحسينات مستمرة على النماذج المرجعية القوية.

4. النتائج

أُجريت التجارب على الأمهرية والتغرينية عبر ثلاث مهام. تفوق نموذج LGSE + LAPT باستمرار على جميع النماذج المرجعية.

الإجابة على الأسئلة (QA):
- حقق LGSE متوسط درجة F1 قدره 78.25، مقارنة بـ 76.65 لـ FOCUS+LAPT و66.35 للنموذج الجاهز.
التعرف على الكيانات المسماة (NER):
- حقق LGSE متوسط درجة F1 قدره 79.20، متفوقًا بشكل كبير على FOCUS+LAPT (77.80) وRandom+LAPT (72.15).
تصنيف النصوص (TC):
- حقق LGSE متوسط دقة قدره 76.50، متجاوزًا FOCUS+LAPT (74.45).

مقاييس الكفاءة:

خصوبة الرموز (Token Fertility - TF): قلل LGSE بشكل كبير من عدد الرموز لكل كلمة. على سبيل المثال، تم تقسيم جملة بالتغرينية إلى 6 رموز بواسطة LGSE مقابل 21 رمزًا بواسطة BPE القياسي.
زمن انتقال الاستدلال (Inference Latency): أدت أطوال التسلسل المختصرة إلى تقليل زمن انتقال الاستدلال، مما أظهر كفاءة حوسبية.

5. الأهمية والأثر

التجذر اللغوي: تثبت الورقة أن احترام الحدود اللغوية (المورفيمات) أثناء كل من الترميز وتهيئة التضمين أمر بالغ الأهمية للغات ذات الموارد المنخفضة. إنها تنتقل من التكرار الإحصائي إلى الفهم البنيوي.
النقل عبر اللغات: تعمل الطريقة بفعالية على سد الفجوة للغات التي لا تملك بيانات تدريب مسبق (مثل التغرينية) من خلال الاستفادة من التداخل المورفيمي والدلالات التركيبية من اللغات ذات الصلة (مثل الأمهرية) وموارد FastText.
العدالة في الموارد: من خلال تحسين الأداء في اللغات غير الممثلة كفاية دون الحاجة إلى مجموعات بيانات تدريب مسبق ضخمة جديدة، يوفر LGSE مسارًا قابلاً للتوسع نحو أنظمة معالجة لغات طبيعية أكثر إنصافًا.
الذكاء الاصطناعي التعليمي: يوفر إصدار مجموعة البيانات الخاصة بجودة التعليم أساسًا لتطوير أدوات الذكاء الاصطناعي المخصصة للسياقات التعليمية الأفريقية.

ختامًا، يوضح LGSE أن التهيئة المدركة للمورفيمات هي بديل متفوق للتهيئة العشوائية أو التعسفية للكلمات الفرعية، مما يمكن نماذج PLM من فهم ومعالجة البنى القواعدية المعقدة للغات ذات الموارد المنخفضة بشكل أفضل.