Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation
تُظهر هذه الورقة أن الضبط الدقيق للنماذج القائمة على المحولات، وتحديداً نموذج XLM-RoBERTa، باستخدام تعزيز البيانات التوليدي يحسن بشكل كبير من أداء التعرف على الكيانات المسماة والقدرة على التعميم للنصوص الصربية القديمة المكتوبة بالكريلية ذات الموارد المنخفضة، محققاً درجة F1 داخل النطاق تبلغ حوالي 0.92، ومحدداً نموذجاً موصى به تم تدريبه باستخدام 50% من البيانات الاصطناعية لأغراض البحث التاريخي الأوسع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الزوايا الهادئة من التاريخ الرقمي، يعمل فرع متخصص من علوم الحاسوب يُعرف بمعالجة اللغات الطبيعية على جعل الماضي قابلاً للقراءة من قبل الآلات. يعلّم هذا المجال الحواسيب فهم اللغة البشرية، ليس فقط كمجرد سلسلة من الكلمات، بل كنظام هيكلي حيث تحمل أسماء محددة —أشخاص، وأماكن، وجماعات— معانٍ متميزة. بالنسبة للغات الحديثة، أصبحت هذه المهمة دقيقة بشكل ملحوظ، مما يسمح للبرامج بمسح المقالات الإخبارية أو خلاصات وسائل التواصل الاجتماعي فوراً واستخراج كل ذكر لمدينة معينة أو شخص ما. ومع ذلك، تعاني التكنولوجيا ذاتها عندما تواجه النصوص التاريخية؛ فهذه الوثائق غالباً ما تستخدم تهجئة وقواعد لغوية اختفت من الكلام اليومي، كما أنها توجد بكميات أقل بكثير من الكتابة الحديثة. وعندما تكون اللغة نادرة والبيانات شحيحة، فإن الحواسيب التي تتفوق في أخبار اليوم غالباً ما تتعثر في كلمات ما قبل قرون مضت. وهذا يخلق عائقاً أمام المؤرخين والأرشيفيين الذين يرغبون في استخدام الأدوات الرقمية لاستكشاف مجموعاتهم، حيث لا يمكن للبرمجيات التمييز بشكل موثوق بين اسم ملك وبين اسم شائع في ميثاق من العصور الوسطى.
لقد شرع فريق من الباحثين في سد هذه الفجوة من خلال تعليم نماذج حاسوبية متقدمة التعرف على الأسماء في نصوص السيريلية الصربية لما قبل العصر الحديث. وركزوا على تحدٍ محدد: كيف يمكن جعل هذه النماذج قوية بما يكفي للتعامل مع وثائق لم يسبق لها رؤيتها من قبل، والتي قد تختلف في التهجئة، أو الأسلوب، أو الفترة الزمنية عن الأمثلة التي تدربت عليها. ولتحقيق ذلك، لجأوا إلى تقنية تسمى "تعزيز البيانات التوليدي". فبدلاً من انتظار المؤرخين لوسم آلاف الوثائق الجديدة يدوياً —وهي عملية بطيئة ومكلفة— طلب الباحثون من ذكاء اصطناعي قوي كتابة أمثلة تدريبية جديدة اصطناعية. لقد وجهوا هذا الذكاء الاصطناعي لمحاكاة أسلوب المواثيق الملكية والوثائق القانونية في العصور الوسطى، فأنشأ آلاف الجمل المزيفة التي بدت وبدت وكأنها الحقيقية، مكتملة بالتصنيفات الصحيحة للأسماء والأماكن. ثم اختبروا نوعين مختلفين من نماذج اللغة الحديثة، أحدهما متخصص للمنطقة والآخر مدرب على لغات متعددة، لمعرفة أيهما يمكنه التعلم بشكل أفضل من هذا المزيج من البيانات الحقيقية والاصطناعية.
بدأ الباحثون بمجموعة من الوثائق الأصلية من العصور الوسط、، بما في ذلك مواثيق ملكية ورسائل من القرن الرابع عشر. وقد تم تصنيف هذه النصوص بعناية من قبل خبراء بشريين حددوا كل حالة لاسم شخص، أو موقع، أو إشارة إلى مجموعة معينة من الناس. كانت هذه المجموعة الأصلية صغيرة، حيث احتوت على ما يزيد قليلاً عن ثلاثة آلاف جملة، وهو قدر محدود من المواد لتدريب نموذج حاسوبي متطور. ولتوسيع هذا الأساس، استخدم الفريق نظام ذكاء اصطناعي توليدي لإنشاء جمل جديدة تتبع نفس أنماط النصوص الأصلية. وقد أنتجوا ثلاث نسخ مختلفة من بيانات التدريب: نسخة تتكون فيها الجمل الاصطناعية من ثلاثين بالمائة من الإجمالي، وأخرى تشكل فيها خمسين بالمائة، وثالثة ضاعفت فيها الأمثلة الاصطناعية حجم مجموعة البيانات الأصلية. سمح لهم ذلك باختبار ما إذا كان تغذية الحاسوب بمزيد من الأمثلة، حتى لو كانت بعضها مولدة اصطناعياً، سيساعده على فهم فروق اللغة التاريخية بشكل أفضل.
عندما اختبر الفريق هذه النماذج على نفس نوع الوثائق التي تدربت عليها، كانت النتائج مبهرة. فالنموذج الذي تدرب بمزيج من البيانات الحقيقية والاصطناعية، وتحديداً النسخة التي تضمنت ثلاثين بالمائة من الأمثلة الاصطناعية، حقق مستوى عالٍ من الدقة، حيث حدد الأسماء والأماكن بشكل صحيح في الغالبية العظمى من الحالات. وكان هذا الأداء أفضل بكثير من نموذج حاسوبي قديم يعتمد على هياكل رياضية مختلفة. ومع ذلك، جاء الاختبار الحقيقي عندما طلب الباحثون من النماذج قراءة وثائق تاريخية جديدة تماماً لم تكن جزءاً من تدريبها. تضمنت هذه النصوص الجديدة وصية من عام 1500، ومخطوطة من كنيسة في فيينا كتبت عام 1778، ومجموعة من المواثيق الملكية من منتصف القرن الرابع عشر. مثلت هذه الوثائق عصوراً وأساليب كتابة مختلفة، مما دفع النماذج لمعرفة ما إذا كانت قد تعلمت اللغة حقاً أم أنها اكتفت بمجرد حفظ أمثلة التدريب.
أظهرت النتائج أن النماذج المدربة على بيانات اصطناعية كانت أكثر قدرة على التكيف من الأنظمة القديمة. فقد أثبت النموذج الذي استخدم خمسين بالمائة من البيانات الاصطناعية أنه الأكثر موثوقية عبر جميع الوثائق الجديدة، حيث حافظ على مستوى عالٍ من الدقة حتى عند مواجهة النصوص الأقدم والأكثر اختلافاً من حيث الأسلوب. وبينما كان النموذج المدرب بنسبة ثلاثين بالمائة من البيانات الاصطناعية يؤدي بشكل أفضل قليلاً في النصوص المألوفة، إلا أن نسخة الخمسين بالمائة تعاملت مع النصوص غير المألوفة باتساق أكبر. يشير هذا إلى أن إضافة كمية معتدلة من الأمثلة الاصطناعية تساعد الحاسوب على بناء فهم أكثر مرونة للغة، مما يسمح له بالتعرف على الأنماط حتى عندما يتغير التهجئة أو السياق. ووجد الباحثون أن النماذج كانت جيدة بشكل خاص في تحديد أسماء الأشخاص، التي ظهرت بشكل متكرر في بيانات التدريب، لكنها لا تزال تعاني قلي بالقدر الضئيل مع أسماء الأماكن والإشارات إلى الجماعات، وهي عناصر أكثر ندرة وتنوعاً.
تخلص الدراسة إلى أن توليد أمثلة اصطناعية هو أداة قوية لتعليم الحواسيب قراءة النصوص التاريخية، لكنه ليس حلاً بسيطاً لكل شيء. إن كمية البيانات الاصطناعية مهمة؛ فكمية قليلة جداً قد لا تساعد بما يكفي، بينما كمية كبيرة جداً قد تؤدي إلى إدخال "ضجيج" يربك النموذج. جاءت أفضل النتائج من نهج متوازن، حيث قامت البيانات الاصطناعية بتكملة السجلات التاريخية الحقيقية دون طغيان عليها. ومن خلال جعل نماذجهم والبيانات التي استخدموها متاحة للجمهور، قدم الباحثون أداة جديدة للعلوم الإنسانية الرقمية. يوضح هذا العمل أنه مع الجمع الصحيح بين الخبرة التاريخية والذكاء الاصطناعي الحديث، يمكننا البدء في فك رموز الأسماء والأماكن المخفية داخل الوثائق المكتوبة بخط اليد عبر القرون، مما يجعل الماضي أكثر سهولة في الوصول إليه لكل من الباحثين والجمهور الشغوف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.