Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

اللغة هي أكثر من مجرد تدفق للكلمات؛ إنها نظام هيكلي حيث تحمل كل كلمة وظيفة محددة، وتاريخاً لكيفية تغير شكلها، وشبكة من العلاقات مع الكلمات الأخرى. لكي تفهم الحواسيب لغة ما، فإنها تحتاج إلى خريطة لهذا الهيكل. تسمى هذه الخريطة "المعجم" (lexicon)، وهو قاموس رقمي لا يكتفي بسرد الكلمات ومعانيها فح، بل يسجل أيضاً التفاصيل النحوية مثل ما إذا كان الاسم مذكراً أم مؤنثاً، أو كيف يتغير الفعل عندما يصف فعلاً يُمارس على شخص ما مقابل فعل يُمارس بمفرده. بالنسبة للعديد من لغات العالم، تعد هذه الخرائط واسعة ومفصلة بالفعل، مما يسمح للحواسيب بالترجمة والبحث وتحليل النصوص بدقة عالية. ومع ذلك، بالنسبة للغة الصومالية، وهي لغة يتحدث بها الملايين في القرن الأفريقي والشتات، كانت هذه الخرائط الرقمية غير مكتملة. وبينما تمتلك الصومالية تقليداً غنياً من القواميس المطبوتة، إلا أن المعلومات الموجودة بداخلها ظلت حبيسة تنسيق مصمم للعين البشرية، مما جعل من الصعب على الآلات استخدامها بشكل منهجي.

لقد تمكن فريق من الباحثين في "أوغال لابس" (Ogaal Labs) الآن من فتح ذلك القفل. فقد أنشأوا مورداً رقمياً جديداً يسمى "قاموس-NLP" (Qaamuuska-NLP)، وهو مجموعة مهيكلة تضم 46,314 مدخلاً مستخرجة مباشرة من قاموس صومالي مطبوع رئيسي نُشر في عام 2012. لم يقم الباحثون بمجرد مسح صفحات الكتاب ضوئياً وتحويل الصور إلى نصوص، وهي عملية غالباً ما تؤدي إلى حدوث أخطاء. بدلاً من ذلك، عملوا مع طبقة النص الرقمي الموجودة بالفعل داخل ملف الـ PDF الخاص بالقاموس. لقد بنوا مجموعة من التعليمات الدقيقة القائمة على القواعد لقراءة تخطيط الكتاب، وتحديد أين ينتهي مدخل كلمة وبدأ المدخل التالي، واستخراج الإشارات النحوية المحددة المخفية في التنسيق. والنتيجة هي قاعدة بيانات نظيفة قابلة للقراءة آلياً، تحافظ على تنظيم القاموس الأصلي مع إضافة طبقة من الهيكلية يمكن للحواسيب الاستعلام عنها فوراً. هذا العمل لا يحل محل الكتاب الأصلي، بل يترجم معرفته اللغوية العميقة إلى لغة جديدة يمكن للبرمجيات التحدث بها.

مصدر هذا المورد الجديد هو "قاموس أف-صوماليغا" (Qaamuuska Af-Soomaaliga)، وهو قاموس أحادي اللغة شامل حرره أناريتا بوجلييلي وكبد الله عمر منصور. وخلافاً لقوائم الكلمات البسيطة، يحتوي هذا الكتاب على ثروة من المعلومات النحوية الضرورية لفهم كيفية عمل اللغة الصومالية. فهو يخبر القارئ بجنس الأسماء، وفئة الأفعال، وما إذا كان الفعل يتطلب مفعولاً به مباشراً. كما يتضمن المترادفات، والإحالات المرجعية إلى كلمات أخرى، والملصقات التي تشير إلى ما إذا كانت الكلمة تنتمي إلى مجال محدد مثل الطب أو القانون. كان التحدي الذي واجه الباحثين هو أن هذه المعلومات لم تكن مخزنة في أعمدة مرتبة من البيانات؛ بل كانت مدمجة في التصميم المرئي للصفحة المطبوعة. يستخدم القاموس عمودين من النص، واختصارات محددة، وأرقات علوية صغيرة للتمييز بين الكلمات التي تبدو متشابهة ولكن لها معانٍ مختلفة. لبناء نسختهم الرقمية، كتب الباحثون برنامج حاسوب يمكنه التنقل في هذا التخطيط دون الحاجة إلى التخمين أو التعلم من الأمثلة. يقوم البرنامج بقراءة العمود الأيسر من الصفحة، ثم العمود الأيمن، ويمسح الأنماط المتكررة التي تشير إلى بداية مدخل كلمة جديد.

بمجرد أن يحدد البرنامج مدخل الكلمة، يقوم بتفكيك النص إلى أجزائه المكونة. فقد فصل الكلمة الرئيسية عن تعريفها، وعلاماتها النحوية، وإحالاتها إلى الكلمات الأخرى. وجد الفريق أن القاموس يحتوي على 46,314 سجلاً متميزاً. ومن بين هذه السجلات، قدم حوالي 25,000 منها تعريفات فعلية، بينما كانت الـ 21,000 المتبقية عبارة عن إحالات مرجعية تشير القارئ إلى مدخل آخر. كانت عملية الاستخراج ناجحة للغاية في التقاط التفاصيل النحوية التي تجعل القاموس مفيداً. فبالنسبة لـ 34,726 مدخلاً من الأسماء، نجح النظام في تحديد الجنس لجميعها تقريباً، مصنفاً إياها كمذكر أو مؤنث أو قابل لأن يكون كلاهما. وبالنسبة لـ 11,445 مدخلاً من الأفعال، التقط النظام فئة التصريف وما إذا كان الفعل متعدياً أو لازماً لكل واحد منها تقريباً. كما حافظ الباحثون على النص الأصلي لكل مدخل جنباً إلى جنب مع البيانات المهيكلة الجديدة. وهذا يضمن أن يتمكن أي مستخدم لقاعدة البيانات من التحقق دائماً من المصدر الأصلي للتحقق من المعلومات، مما يحافظ على الاتصال بين الخريطة الرقمية والكتاب المادي.

اختبر الباحثون جودة عملهم من خلال النظر في مدى تطابق الملصقات النحوية في القاموس مع الشكل الفعلي للكلمات. طرحوا سؤالاً بسيطاً: إذا نظرت فقط إلى نهاية الكلمة الصومالية، هل يمكنك التنبؤ بفئتها النحوية؟ استخدموا طريقة مباشرة نظرت إلى الحروف الأخيرة من الكلمات لتخمين جنسها أو فئة الفعل. أظهرت النتائج أن ملصقات القاموس لم تكن عشوائية. فبالنسبة لفئات الأفعال، كانت الطريقة صحيحة بنسبة 93.5 بالمائة، وهو أفضل بكثير من مجرد التخمين للفئة الأكثر شيوعاً. وبالنسبة لجنس الأسماء، كانت الطريقة صحيحة بنسبة 86.4 بالمائة. تشير هذه الأرقام إلى أن المعلومات النحوية في القاموس مرتبطة بعمق بالشكل المادي للكلمات، مما يؤكد أن البيانات المستخرجة تعكس أنماطاً لغوية حقيقية وليس خيارات تعسفية. ومع ذلك، أشار الباحثون إلى أن هذا الاختبار كان أداة تشخيصية للتحقق من الاتساق الداخلي للمورد، وليس اختباراً كاملاً لقدرة الحاسوب على تحليل النص الصومالي في العالم الحقيقي.

يسد المورد الجديد فجوة محددة في مشهد تكنولوجيا اللغة الصومالية. فبينما ركزت مشاريع أخرى على دمج عدة قواميس أو التركيز على توليد قوائم من أشكال الكلمات، يركز هذا العمل على الحفاظ على هيكل مصدر واحد موثوق. إنه يلتقط القرارات التحريرية والطريقة المحددة التي نظم بها المؤلفون الأصليون اللغة. تتضمن قاعدة البيانات 11,415 رابطاً للمترادفات و21,032 إحالة مرجعية، مما يخلق شبكة توضح كيفية ارتباط الكلمات ببعضها البعض ضمن منطق القاموس نفسه. كما يحدد 1,945 مدخلاً تنتمي إلى مجالات متخصصة مثل الطب والفيزياء والقانون، مما يوفر نقطة انطلاق لبناء المفردات التقنية باللغة الصومالية. ويؤكد الباحثون بحذر أن هذا المورد هو تمثيل لذلك القاموس المحدد لعام 2012، وليس إحصاءً كاملاً لكل كلمة مستخدمة في الصومالية اليوم. فالتغطية والتعريفات المحددة تعكس الخيارات التي اتخذها المحررون الأصليون.

هناك قيود لهذا النهج، والتي يقر بها المؤلفون بصراحة. نظرًا لأن قواعد الاستخراج صُممت خصيصاً لتخطيط هذا الكتاب الواحد، فلا يمكن تطبيقها مباشرة على قاموس آخر دون تعديل. كما لاحظ الفريق أن ملف الـ PDF الأصلي احتوى على بعض التناقضات في كيفية كتابة علامات الاقتباس، مما قد يؤثر على المطابقات الدقيقة بين الكلمات، رغم أنهم احتفظوا بالنص الأصلي للسماح بالتصحيحات المستقبلية. علاوة على ذلك، بينما يتم إعداد كود الاستخراج والملخصات الإحصائية للبيانات للنشر العام، لا يمكن مشاركة القائمة الكاملة المكونة من 46,314 كلمة وتعريفاتها بحرية بعد. وذلك لأن القاموس الأصلي محمي بحقوق الطبع والنشر، ولا يزال الباحثون يعملون على تأمين التصاريح اللازمة لإعادة توزيع المحتوى الكامل. وحتى يتم منح هذا الإذن، تظل مجموعة البيانات الكاملة عبارة عن أثر بحثي خاص، رغم أن الطرق المستخدمة لإنشائها متاحة للآخرين لدراستها وتكييفها.

تكم تكمن قيمة هذا العمل في قدرته على تحويل كتاب ثابت إلى أداة ديناميكية. فمن خلال تحويل القاموس إلى تنسيق مهيكل، جعل الباحثون من الممكن للحواسيب البحث عن الكلمات بناءً على خصائصها النحوية، وتتبع شبكة المترادفات والإحالات المرجعية، وتحليل توزيع المصطلحات المتخصصة. هذا لا يحل كل مشاكل معالجة اللغة الصومالية، ولكنه يوفر أساساً متيناً من البيانات عالية الجودة والمنقحة. إنه يثبت أن المعرفة اللغوية القيمة غالباً ما تظل كامنة في الكتب المطبوعة، بانتظار طريقة لفك شفرتها. يظهر مشروع "قاموس-NLP" أنه مع اتباع نهج دقيق قائم على القواعد، من الممكن استعادة هذه المعرفة دون فقدان دقة وهيكلية المصدر الأصلي، مما يقدم مورداً جديداً للباحثين والمعلمين والمطورين العاملين على إدخال اللغة الصومالية إلى العصر الرقمي.