💬 NLP

Morphology Aware Reversible Semantic Tokenization and Hierarchical Word Composition for Tamil Language Models

تقترح هذه الورقة نظاماً لترميز دلالي عكسي ومدرك للمورفولوجيا (الصرف) مع تركيب كلمات هرمي للغة التاميلية، يتفوق على النماذج المرجعية الحالية في جودة الترجمة مع تقليل طول التسلسل وتكاليف الاستدلال بشكل كبير في ظل ميزانية نموذج ثابتة.

المؤلفون الأصليون: Anand Murugan

نُشر 2026-08-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Anand Murugan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت التحدث بلغة جديدة. للقيال بذلك، عليك تقسيم اللغة إلى كتل بناء صغيرة للغاية يمكن للروبوت فهمها. في عالم علوم الحاسوب، يسمى هذا "التقطيع" (Tokenization). فكر في الأمر كطاهٍ يقطع المكونات: قد يقوم الطاهي العادي بتقطيع كل شيء إلى مكعبات صغيرة موحدة (مثل الرموز "تحت الكلمة")، وهو أمر سريع ويعمل مع أي وصفة تقريبًا. لكن بالنسبة لطبق معقد مثل "كاري التاميل" التقليدي، فإن تقطيع كل شيء إلى مكعبات متطابقة قد يدمر طبقات النكهة الدقيقة. التاميل لغة يمكن أن تكون فيها الكلمة الواحدة جملة كاملة محشوة بالمعاني — تخبرك بـ "من" فعل "ماذا"، و"متى"، و"كيف". إذا قطعت تلك الكلمة دون فهم قواعدها، فستفقد الوصفة.

يستكشف هذا البحث طريقة مختلفة لتقطيع المكونات. فبدلاً من مجرد قطع الكلمات إلى قطع عشوائية، قام الباحث ببناء نظام يفهم "التشريح القواعدي" لكلمات التاميل قبل تقديمها للروبوت. إنهم يتساءلون: هل يمكننا تعليم الروبوت القواعد الدقيقة لكيفية بناء كلمات التاميل (مثل الجذع زائد الزمن زائد علامة الحالة) بحيث يفهم المعنى بشكل أفضل؟ وهل إذا أعطيناه كل هذا التفصيل الإضافي، هل سنظل نجعل الروبوت سريعًا بما يكفي ليكون مفيدًا، أم أنه سيثقل كاهله بالكثير من المعلومات؟

قام الباحث، أناند موروغان، بمعالجة ذلك من خلال إنشاء نظام خاص "مدرك للمورفولوجيا" (Morphology-Aware) للغة التاميل. بدأ ببناء مكتبة رقمية ضخمة لقواعد كلمات التاميل باستخدام 12 "محول حالة محدودة" (Finite-State Transducers) مختلفًا (فكر في هذه كأنها روبوتات دقيقة للغاية تتبع القواعد ويمكنها تفكيك الكلمة إلى أجزائها، مثل الجذع والزمن والعدد). واختبروا طريقتين رئيسيتين لتغذية نموذج الترجمة (وهو برنامج حاسوبي يترجم التاميل إلى الإنجليزية) بهذه المعلومات.

الطريقة الأولى، المسماة "المورفولوجيا المسطحة" (morphology-flat)، كانت تشبه وضع كل مكون على حدة على الطاولة. فإذا كانت الكلمة تعني "بواسطة الشجرة"، لم يكتفِ النظام بالقول "شجرة"؛ بل قال "شجرة" + "اسم" + "جمع" + "بواسطة". هذا أعطى النموذج قدرًا هائلاً من التفاصيل. والنتيية؟ لقد كان الأفضل في الترجمة. في اختبار صارم لـ 3,539 جملة، حقق درجة 10.63 (BLEU)، متفوقًا على الأنظمة الشهيرة الأخرى بفارق ملحوظ. لقد كان الأكثر دقة، ولكنه كان أيضًا "مسهبًا"، مما يعني أنه اضطر لمعالجة المزيد من الرموز (كتل البناء) لكل كلمة، مما يجعل الكمبيوتر يعمل بجهد أكبر.

أما الطريقة الثانية، المسماة "مؤلف الكلمات" (word-composer)، فكانت تسوية ذكية. فقد حاولت الجمع بين أفضل ما في العالمين؛ حيث حافظت على "الجذع" الرئيسي للكلمة (الكلمة الأصلية/lemma) مرئيًا، لكنها جمعت كل تفاصيل القواعد الصغيرة (مثل الزمن والحالة) في رمز "ملخص" واحد. ثم، قبل أن ينهي النموذج ترجمته، كان يلقي نظرة سريعة على الملاحظات التفصيلية الأصلية للتأكد من ضبط التفاصيل بدقة. كان هذا النهج أكثر كفاءة بكثير؛ فقد قلل عدد الخطوات التي يتخذها الكمبيوتر بنسبة 59.3% تقريبًا (من متوسط 71.48 خطوة لكل جملة إلى 29.08 خطوة). وبينما كان أقل دقة قليلاً من الطريقة "المسطحة" في الجمل الطويلة والرسمية، إلا أنه لا يزال يتفوق على جميع الأنظمة الخارجية التي تم اختبارها وكان أسرع بكثير في التشغيل.

يستبعد البحث صراحةً بعض الأفكار التي قد تبدو بديهية. فعلى سبيل المثال، حاولوا وضع خطوة "النظر للوراء" في مرحلة مبكرة من العملية، لكن ذلك لم ينجح؛ إذ احتاج النموذج لرؤية سياق الجملة بأكمله أولاً قبل البحث عن تفاصيل القواعد. كما حاولوا تقسيم ملخص القواعد إلى جزأين، لكن ذلك أدى فقط إلى زيادة العمل دون تحسين الترجمة. ويلاحظ المؤلف بعناية أنه بينما يعمل نظامهم بشكل رائع مع النماذج الصغيرة ذات البيانات المحدودة، إلا أنهم لم يثبتوا بعد ما إذا كانت هذه الميزة ستظل قائمة مع نماذج الذكاء الاصطناي الضخمة والقوية جدًا التي رأت الإنترنت بأكمده.

في النهاية، تظهر الدراسة أن فهم "تشريح" الكلمات في التاميل يساعد الكمبيوتر على الترجمة بشكل أفضل من مجرد التخمين للأجزاء. ومع ذلك، ليس عليك وضع كل عظمة على الطاولة للحصول على نتيجة جيدة؛ فملخص ذكي يعرف أين يبحث عن التفاصيل يعمل بشكل جيد تقريبًا، ولكن بجهد أقل بكثير. إنه تذكير بأنه في بعض الأحيان، يمكن لإعطاء الآلة القليل من المعرفة القواعدية البشرية أن يجعلها مترجمًا أفضل بكثير، خاصة عندما تتعلم لغة معقدة مثل التاميل.

ملخص تقني: التجزئة الدلالية القابلة للعكس والمدركة للمورفولوجيا (الصرف) والتركيب الهرمي للكلمات لنماذج اللغة التاميلية

1. بيان المشكلة

تعالج أجهزة تجزئة الكلمات الفرعية الإحصائية (مثل BPE وSentencePiece) النصوص بكفاءة، لكنها غالبًا ما تفشل في التوافق مع البنى المعجمية أو النحوية. هذا عدم التوافق يكون ضارًا بشكل خاص للغة التاميلية، وهي لغة شديدة التصريف حيث يمكن لكلمة سطحية واحدة أن تشفر جذورًا، وحالات إعرابية، وعددًا، وزمنًا، ومطابقة، وصيغة، وأدوات ربط، وأفعالًا متصلة. قد تقوم المجزئات القياسية بتقسيم هذه الكلمات المعقدة إلى وحدات فرعية عشوائية تحجب العلاقات الدلالية. علاوة على ذلك، بينما توفر التجزئة المدركة للمورفولوجيا إشارات لغوية صريحة، إلا أنها غالبًا ما تزيد من طول التسلسل (عدد الرموز)، مما يؤدي إلى تكاليف حوسبية أعلى في آليات الانتباه (attention mechanisms).

يعالج هذا العمل سؤالين جوهريين:

هل يمكن تعريض المورفولوجيا التاميلية لنموذج عصبي عبر تمثيل حتمي، صريح دلاليًا، قابل للتدقيق، وقابل للعكس تمامًا؟
هل يمكن للنموذج استغلال هذا التمثيل الموسع دون تحمل التكلفة الحوسبية الكاملة للانتباه المسطح فوق كل عامل مورفولوجي؟

2. المنهجية

يتم هيكلة النظام المقترح في ثلاث طبقات متميزة:

أ. النظام المورفولوجي (القائم على FST)

الأساس هو امتداد لمحلل ومولد ThamizhiMorph مفتوح المصدر.

البنية: مبني باستخدام 12 محولًا للحالة النهائية (FSTs) تغطي الأسماء، الأفعال (الفردية والمتسلسلة)، الصفات، الظروف، الضمائر، والأدوات.
التغطية المعجمية: يستخدم النظام 139,899 مدخلًا للجذور (lemmas) مستمدة من معجم جامعة مادراس، وويكشنري تاميل، وويكشنري فيزور. كما يحدد 23 فئة/فئة فرعية للأسماء و24 فئة/فئة فرعية للأفعال.
الوظيفة: يقوم النظام بتحليل الكلمات إلى جذور وسمات قواعدية (مثل <POS_NOUN>, <CASE_ACC>, <TENSE_PAST>) ويمكنه توليد الكلمات من هذه التحليلات. كما يتعامل مع تغيرات الجذوع (مثل maram ← marattai) والأفعال المركبة.
التحقق: يخضع النظام لاختبارات صارمة تشمل اختبارات التوجيه الأمامي والعكسي وتوليد النماذج، حيث سجل صفر حالات فشل في 574,379 اختبار إعادة توليد.

ب. التجزئة الدلالية القابلة للعكس

يقوم المجزئ الدلالي برسم خريطة لتحليل الـ FST إلى تدفق من الرموز (tokens).

القابلية العكسية التامة: يضمن المجزئ أن decode(encode(x)) = x لأي مدخل UTF-8 صالح. فهو يسجل ليس فقط الجذور والسمات، بل أيضًا علامات محددة للاختلافات الإملائية، والـ sandhi (الربط الصوتي)، وآليات التراجع (fallback).
هرمية التراجع: إذا لم يتم التعرف على كلمة بواسطة الـ FST، يتراجع النظام إلى: (1) تحليل الكيانات المراجعة، (2) المسارات الدلالية المقيدة، (3) وحدات الرسم التاميلي الثابتة، وأخيرًا (4) بايتات UTF-8. هذا يمنع الكلمات غير المعروفة من الانهيار إلى رمز UNK عام.
المفردات: تحتوي المفردات الثابتة على حوالي 141 ألف رمز، بما في ذلك الرموز المعجمية، الملصقات القواعدية، تراجعات الرسم، ورموز البايت.

ج. التركيب الهرمي للكلمة

للحد من إسهاب تدفق المورفولوجيا المسطح، يقدم البحث محول Word-Composer.

المورفولوجيا المسطحة (morphology-flat): تمرر كل جذر وعامل قواعدي كرمز منفصل للنموذج، مما يكشف عن البنية الكاملة ولكنه يزيد طول التسلسل.
الـ Word-Composer:
- الحفاظ على الجذر: يحافظ على ناقلات الجذور (lemma vectors) كحالات مباشرة على مستوى الجملة.
- تلخيص القواعد: يستبدل عوامل قواعدية متعددة بمتجه ملخص واحد ( $z_i$ ) يتم توليده عبر الانتباه المحلي داخل الكلمة.
- الاسترجاع المتأخر: بعد أن يعالج المشفر (encoder) الجملة، يقوم الملخص السياقي بالاستعلام عن العوامل القواعدية الدقيقة لتلك الكلمة المحددة. يسمح هذا للمفكك (decoder) بالوصول إلى القواعد التفصيلية بناءً على سياق الجملة دون توسيع طول التسلسل العالمي.
- التعامل مع التراجع: تتبع الكلمات غير المحللة مسارًا منفصلاً حيث تشارك ملخصات الرسم في الانتباه العالمي، بينما تظل ناقلات الرسم/البايت الأصلية متاحة للانتباه المتقاطع (cross-attention) للمفكك.

3. التصميم التجريبي

النموذج: محول (Transformer) مكون من 18.97 مليون معلمة (عرض 192، 6 رؤوس، 3 طبقات مفكك).
البيانات: 69,591 زوجًا من التدريب (تاميل-إنجليزي) مزيج من أزواج BPCC الأصلية وأزواج مولدة بالذكال من WikiText-103.
النماذج المرجعية: تتم مقارنة الأنظمة المقترحة مع ثلاثة مجزئات خارجية: Sarvam-1، و AI4Bharat IndicBERTv2، و BrahmicTokenizer-131K.
الضوابط: تشترك جميع الأنظمة في نفس المحسن (optimizer)، ومواقع RoPE، وسياسة النسخ الرقمي، وإعدادات التوليد.
التقييم: مجموعة اختبار محمية مكونة من 3,539 صفًا (IN22-Gen, IN22-Conv, FLORES+ devtest) تم تقييمها باستخدام BLEU و chrF++ و COMETKiwi.

4. النتائج الرئيسية

جودة الترجمة

المورفولوجيا المسطحة (Morphology-Flat): حققت أفضل الدرجات بين جميع الأنظمة: 10.63 BLEU، 35.26 chrF++، و 0.6276 COMETKiwi. ويمثل هذا تحسنًا نسبيًا قدره 7.2% في BLEU على أقوى نموذج مرجعي خارجي (AI4Bharat).
الـ Word-Composer: حقق 10.30 BLEU، 34.88 chrF++، و 0.6241 COMETKiwi. ورغم أنه أقل بقليل من نهج المورفولوجيا المسطحة، إلا أنه لا يزال يتفوق على جميع المجزئات الخارجية (على سبيل المثال، +3.8% في BLEU على AI4Bharat).
تحليل النطاق: تركزت الفجوة النوعية بين الـ composer والمورفولوجيا المسطحة في جمل FLORES+ الأطول والرسمية. وفي تقسيمات IN22، أدى النظامان أداءً متساويًا.

الكفاءة والتمثيل

طول التسلسل: قلل الـ Word-Composer متوسط حالات المصدر العالمية من 71.48 (مسطح) إلى 29.08، أي بنسبة تقليل قدرها 59.3%.
التكلفة الحوسبية: تشير عمليات FLOPs المقدرة إلى أن الـ composer يتطلب عمليات أقل بنسبة 9-21% اعتمادًا على تخزين المفكك المؤقت (decoder caching)، ويرجع ذلك أساسًا إلى تقليل تكاليف الانتباه العالمي.
الحفاظ: حقق كلا النظامين المدركين للمورفولوجيا استدعاء بنسبة 100% للمواقع الرقمية المطلوبة وتفوقا على المراجع الخارجية في الحفاظ على رموز الكيانات.

النتائج المعمارية

الاسترجاع المتأخر: أدى استرجاع التفاصيل القواعدية بعد تشفير الجملة إلى تحسين الجودة بشكل كبير. أما نقل الاسترجاع إلى مرحلة أبكر (بين طبقات المشفر) فقد أدى إلى تدهور الأداء.
تصميم الملخص: لم تبرر المحاولات لاستخدام ملخصين للقواعد (يدوي أو متعلم) زيادة طول التسلسل؛ حيث ثبت أن الملخص الواحد مع الاسترجاء المتأخر هو الأمثل.
القابلية للعكس: نجح المجزئ في الحفاظ على إعادة بناء النص بدقة، بما في ذلك التعامل مع الكلمات النادرة عبر تراجعات الرسم/البايت دون انهيارها إلى رموز غير معروفة.

5. الأهمية والادعاءات

يقدم البحث ادعاءات محددة ومتواضعة فيما يتعلق بمساهماته:

المورفولوجيا الصريحة في البيئات محدودة الموارد: تظهر النتائج أن المورفولوجيا التاميلية الصريحة توفر إشارات مفيدة وقابلة لإعادة الاستخدام تحسن جودة الترجمة في ظل ميزانية مقيدة (نموذج صغير، بيانات محدودة). وهذا يتحدى الافتراض بأن الطرق العامة التي تتطلب بيانات ضخمة هي المسيطرة دائمًا، خاصة في النظم ذات البيانات المحدودة.
المفاضلة بين الكفاءة والبنية: يثبت الـ Word-Composer أنه من الممكن الاحتفاظ بفوائد البنية المورفولوجية الصريحة مع تقليل العبء الحوسبي للانتباه العالمي بشكل كبير. فهو يحقق ضغطًا "محافظًا على الإشارة" يتفوق على المجزئات الإحصائية القياسية.
خصائص النظام: بعيدًا عن درجات الاختبار، يركز العمل على خصائص النظام مثل القابلية للعكس التامة، والقواعد القابلة للتدقيق، والتراجع المنضبط. تسمح هذه الميزات بفحص وتصحيح سلوك النموذج، وهو أمر غالبًا ما يكون غامضًا في تجزئة الكلمات الفرعية القياسية.
محدودية النطاق: يذكر المؤلف صراحةً أنهم لا يدعون أن التجزئة اللغوية ستنتصر دائمًا. فهم يقرون بأن نموذجًا أكبر بكثير مع بيانات هائلة قد يتعلم هذه الانتظامات ضمنيًا. يتم عرض ميزة البنية الصريحة حاليًا ضمن "نطاق الموارد المحدودة والنماذج الصغيرة" الذي تم اختباره.

في الختام، يجادل البحث بأنه بالنسبة للغة التاميلية، فإن الجمع بين التحليل المورفولوجي الحتمي وتصميم الانتباه الهرمي يوفر توازنًا متفوقًا بين جودة الترجمة والكفاءة الحوسبية مقارنة بالمجزئات الإحصائية القياسية، شريطة أن تكون بنية النموذج مصممة للتعامل مع المدخلات المهيكلة بفعالية.