Using Morphological Lexicons for Weakly Supervised Subword Vocabulary Learning and Bias-Aware Evaluation

في عالم الذكاء الاصطناعي الحديث، لا تقرأ الحواسيب الكلمات بالطريقة التي يقرأ بها البشر. فهي ترى النص كسلسلة طويلة من الرموز، ولكي تفهمها، يجب عليها تقسيم هذه السلسلة إلى قطع أصغر يمكن التعامل معها. تُسمى هذه القطع بالكلمات الفرعية (subwords). تخيل حاسوباً يحاول فهم كلمة "unhappiness" (عدم السعادة)؛ قد يقسمها إلى "un" و"happi" و"ness"، أو ربما يعتبر "unhappiness" كتلة واحدة. الطريقة التي يقرر بها الحاسوب أين يقطع هذه الكلمات تسمى "التقطيع" (tokenization). لسنوات، كانت الطريقة القياسية هي ترك الحاسوب يتعلم هذه القطوع بمفرده من خلال مراقبة عدد مرات ظهور تركيبات معينة من الحروف في كميات هائلة من النصوص. هذا النهج الإحصائي فعال، لكن لديه نقطة عمياء: فهو غالباً ما يقطع مباشرة عبر الأجزاء ذات المعنى في الكلمة، فيفصل بين البادئة والجذر، أو بين الجذر واللاحقة، لمجرد أن تلك القطوع شائعة في البيانات. وهذا يجعل فهم الحاسوب للغة أقل شفافية وأحياناً أقل دقة، خاصة عند التعامل مع الكلمات المعقدة.

لقد استكشف فريق من الباحثين في جامعة تونغشي في شنغهاي مساراً مختلفاً. فقد تساءلوا عما إذا كان بإمكان الحاسوب تعلم كيفية قطع الكلمات في أماكن أكثر منطقية من الناحية اللغوية إذا تم إعطاؤه دفعة لطيفة من قاموس لأجزاء الكلمات. فبدلاً من الاعتماد فقط على الإحصاء الخام، قدموا نظاماً يستخدم معجماً صرفياً (morphological lexicon) — وهو قاعدة بيانات متخصصة تسرد البوادئ والجذور واللواحق لآلاف الكلمات الإنجليزية — كدليل أثناء عملية التعلم. لم يجبر الباحثون الحاسوب على اتباع القاموس بدقة، كما لم يطلبوا منهم تصنيف كل كلمة يدوياً في بيانات التدريب الخاصة بهم. بدلاً من ذلك، عاملوا القاموس كإشارة ضعيفة، تلميحاً خفياً يقول: "إذا كنت على وشك قطع كلمة هنا، وكان هذا القط يطابق بادئة أو لاحقة معروفة، فقد ترغب في التفكير في إبقائها". لقد اختبروا هذه الفكرة على ثلاثة أنواع مختلفة من مقطعات الحاسوب (tokenizers)، وهي الأدوات التي تقوم بعملية التقطيع. وأظهرت النتائج أن هذا التوجيه البسيط ساعد الحواسيب على مواءمة قطوعها مع اللبنات الأساسية للكلمات بشكل أفضل بكem مما فعلته بمفردها.

ركزت الدراسة على ثلاث طرق محددة تستخدمها الحواسيب لتعلم كيفية تقسيم الكلمات. الطريقة الأولى، المعروفة باسم "ترميز زوج البايت" (Byte Pair Encoding)، وهي طريقة شائعة جداً تبدأ بدمج الأزواج الأكثر تكراراً من الحروف. الطريقة الثانية هي أسلوب تدريب مشابه لما يشغل العديد من النماذج اللغوية الكبيرة، حيث ينظر إلى مدى ملاءمة تركيبات الحروف لبعضها البعض بناءً على ارتباطها. أما الطريقة الثالثة فهي طريقة احتمالية تحسب احتمالية وجود مقاطع كلمات مختلفة. أخذ الباحثون قاعدة بيانات كبيرة تسمى "MorphoLex"، والتي تحتوي على تحليلات لحوالي 70,000 كلمة إنجليزية، وحولوها إلى ثلاث قوائم بسيطة: قائمة للبوادئ، وقائمة للجذور أو السيقان، وقائمة لللواحق. خلال مرحلة التدريب، عندما كان الحاسوب يحاول تحديد أي تركيبات من الحروف يحتفظ بها في مفرداته، كان النظام يتحقق من هذه القوائم. وإذا تطابق قطع محتمل مع بادئة أو جذر أو لاحقة معروفة، كان الحاسوب يعطي هذا الخيار دفعة صغيرة في تصنيفه. وهذا يعني أن الوحدات ذات المعنى اللغوي كانت أكثر عرضة للاختيار، لكن الحاسوب ظل حراً في اتباع الأنماط الإحصائية للنص إذا كانت البيانات قوية بما يكفي.

كانت نتائج هذه التجربة واضحة ومتسقة عبر جميع الطرق الثلاث. فعندما قاس الباحثون مدى مطابقة قطوع الحاسوب للحدود الصرفية الحقيقية للكلمات، أدت النسخ الموجهة أداءً أفضل من النسخ القياسية. كان التحسن أكثر دراماتيكية في طريقة "ترميز زوج البايت"، التي شهدت دقتها في تحديد حدود الكلمات الصحيحة قفزة قدرها خمس نقاط مئوية. كما شهدت الطريقة الاحتمالية مكسباً كبيراً تجاوز ثلاث نقاط مئوية. أما الطريقة القائمة على الارتباط، فقد أظهرت تحسناً أصغر ولكن لا يزال إيجابياً بنسبة تزيد قليلاً عن نقطة مئوية واحدة. لم تكن هذه المكاسب مجرد صدفة في إعداد الاختبار؛ فقد صمم الباحثون تقييمهم بعناية لضمان أن النتائج لم تكن ببساطة لأن الحاسوب قد حفظ الكلمات المحددة التي يتم اختباره فيها. لقد أنشأوا مجموعتين مختلفتين من الاختبار: إحداهما تتضمن كل بادئة ولاحقة ممكنة من دليلهم، والأخرى لا تتضمنها. كما قسموا قاموسهم إلى جزأين، باستخدام جزء واحد لتعليم الحاسوب وجزء آخر منفصل تماماً لاختباره. وحتى عندما تم اختبار الحاسوب على كلمات لم يرها من قبل في القاموس، ظلت التحسينات قائمة، مما يشير إلى أن النظام قد تعلم بالفعل طريقة أفضل لتقسيم الكلمات.

كانت واحدة من أكثر النتائج إثارة للاهتمام هي كيفية تفاعل طرق الحاسوب المختلفة مع نفس التوجيه. فالطريقة التي تعتمد كلياً على التكرار غيرت مفرداتها بشكل أكبر، حيث استبدلت العديد من قطوعها القياسية بالقطوع الجديدة الموجهة لغوياً، وأدى ذلك إلى أكبر تحسن في الدقة. أما الطريقة الاحتمالية فقد غيرت مفرداتها بشكل أقل ولكنها حققت أيضاً دفعة قوية في الأداء. أما الطريقة القائمة على الارتباط، والتي تمتلك بالفعل بعض المنطق الداخلي لكيفية ترابط الكلمات، فقد غيرت مفرداتها بشكل جذري أكثر ولكنها شهدت أقل مكسب في الدقة. يشير هذا إلى أن قيمة دليل القاموس تعتمد على كيفية محاولة الحاسوب التعلم في الأصل. فبالنسبة للحاسوب الذي يتعلم فقط عن طريق العد، يوفر القاموس هيكلاً حيوياً كان يفتقر إليه. أما بالنسبة للحاسوب الذي يبحث بالفعل عن أنماط الارتباط، فإن القاموس يقدم تصحيحاً مفيداً ولكنه أقل تحولاً.

نظر الباحثون أيضاً في مدى جودة تعامل النظام مع الكلمات البسيطة مقابل الكلمات المعقدة. بالنسبة للطريقة القائمة على التكرار، كان التحسن هو نفسه تماماً سواء كانت الكلمة تتكون من جزء واحد أو ثلاثة أجزاء. وبالنسبة للطريقة الاحتمالية، لوحظ التحسن بشكل أساسي في الكلمات البسيطة، بينما كانت الكلمات المعقدة تُعالج جيداً بالفعل بواسطة الطريقة القياسية. يوضح هذا التفصيل أن فائدة استخدام معجم صرفي ليست موحدة؛ فهي تتفاعل مع الطريقة المحددة التي يتعلم بها الحاسوب. وتخلص الدراسة إلى أن هذه الموارد اللغوية يمكن أن تخدم غرضاً مزدوجاً: يمكنها أن تعمل كدليل خفيف الوزن لمساعدة الحواسيب على تعلم هياكل مفردات أفضل دون الحاجة إلى بيانات مصنفة يدوياً ومكلفة. وفي الوقت نفسه، توفر وسيلة لتقييم هذه الأنظمة بشكل أكثر إنصافاً، مما يضمن أن التحسينات حقيقية وليست مجرد نتاج لاستخدام نفس البيانات للتدريس والاختبار معاً. إن هذا العمل يثبت أن حتى تلميح بسيط وغير ملح من قاموس يمكن أن يساعد الذكاء الاصطناعي على فهم اللبنات الأساسية للغة البشرية بشكل أوضح.