Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts
تقدم هذه الورقة "مدونة اللغة الكورية التاريخية المفتوحة"، وهي مجموعة بيانات ضخمة ذات ترخيص مفتوح تمتد عبر 1300 عام وأنظمة كتابة متعددة، مما يتيح التحليل الكمي للتحولات اللغوية الكبرى في اللغة الكورية وتعمل كمورد أساسي لتدريب النماذج اللغوية الكبيرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل اللغة الكورية كمكتبة ضخمة وعريقة، تغيرت هندستها المعمارية ببطء على مدار أكثر من ألف عام. لقرون، كانت الكتب تُكتب بلغة أجنبية (الرموز الصينية)، ثم بدأت في خلط ذلك الخط الأجنبي بأبجدية محلية جديدة (الهانغول)، وفي النهاية، انتقلت بالكامل تقريباً إلى الأبجدية المحلية.
المشكلة؟ معظم برامج الكمبيوتر الحديثة (الذكاء الاصطناعي) التي تحاول قراءة هذه المكتبة لا تعرف سوى قراءة الكتب الجديدة. إنها ترتبك تماماً أمام الصفحات القديمة، أو المختلطة، أو التي تبدو ذات مظهر أجنبي. وحتى الآن، لم تكن هناك خريطة واحدة مفتوحة تساعدها على التنقل عبر هذا التاريخ.
إليك "المتن الكوري التاريخي المفتوح" (OKHC).
اعتبر هذه الورقة البحثية بمثابة إعلان عن آلة زمن رقمية ضخمة ومجانية. لقد جمع الباحثون 17.7 مليون وثيقة (مثل 5.1 مليار كلمة) من القرن السابع وصولاً إلى عام 2025. لم يكتفوا بجمع الأخبار الحديثة فحسب؛ بل نبشوا في السجلات الملكية القديمة، والقوانين القانونية القديمة، وصحف الحقبة الاستعمارية، وحتى وسائل الإعلام الرسمية لكوريا الشمالية.
إليك تفصيل بسيط لما فعلوه وما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية:
1. "رف الكتب المسافر عبر الزمن"
قبل هذا المشروع، إذا أراد باحث دراسة كيفية تغير اللغة الكورية بمرور الوقت، كان عليه زيارة 19 مكتبة مختلفة، وطلب الإذن، والأمل في أن تكون الكتب قد رُقمنت بالفعل. كان الأمر يشبه محاولة بناء لغز حيث القطع مبعثرة في صناديق مغلقة حول العالم.
قام الفريق بجمع كل هذه القطع ووضعها في صندوق واحد ضخم ومفتوح.
- المجموعة: تشمل نصوصاً باللغة الصينية الكلاسيكية (التي كانت بمثابة "اللاتينية" لشرق آسيا)، ونظام الإيدو (نظام معقد استُخدمت فيه الرموز الصينية لكتابة قواعد اللغة الكورية)، والخط المختلط (هانجا + هانغول)، والهانغول الخالص.
- الترخيص: لقد تأكدوا من أن هذا "الصندوق" مفتوح للجميع لاستخدامه في الأبحاث، بشرط عدم بيعه من أجل الربح.
2. ما كشفته البيانات (عمل المحققين)
بمجرد حصولهم على هذه المجموعة الضخمة من البيانات، قاموا بتشغيلها عبر أجهزة الكمبيوتر لمعرفة كيف تطورت اللغة. إليكم أكبر ثلاثة اكتشافات لهم:
غروب شمس "الإيدو":
- التشبيه: تخيل نوعاً معيناً من المصطلحات العامية التي كانت شائعة جداً في القرن التاس عشر ولكنها اختفت بسرعة.
- النتيجة: وجدوا أن نظام كتابة يسمى إيدو (استخدام الرموز الصينية لكتابة الأصوات الكورية) بلغ ذروته في ستينيات القرن التاسع عشر. ثم انهار. لماذا؟ لأن الحكومة سنت قوانين جديدة في تسعينيات القرن التاسع عشر تجبر الناس على استخدام الأبجدية المحلية بدلاً منها. تُظهر البيانات أن هذا لم يكن تلاشياً بطيئاً؛ بل كان تحولاً مفاجئاً.
السباق السريع لـ "تبديل الخطوط":
- التشبيه: فكر في الأمر كدولة تنتقل من القيادة على الجانب الأيسر من الطريق إلى الجانب الأيمن. قد تتوقع أن يستغرق الأمر عقوداً من الارتباك، ولكن في كوريا، حدث الأمر بسرعة.
- النتيّة: لقرون عديدة، كُتب كل شيء تقريباً بالرموز الصينية. ولكن بدءاً من حوالي عام 1890، حدث التحول إلى الأبجدية الكورية (الهانغول) بسرعة مذهلة. وبحلول الثمانينيات، كانت أكثر من 93% من النصوص عبارة عن هانغول خالص. كانت فترة "الخط المختلط" فترة انتقالية قصيرة ومكثفة.
الفجوة المفرداتية بين "الشمال والجنوب":
- التشبيه: تخيل اثنين من أبناء العم الذين نشأ كل منهما في بلد مختلف. يتحدثان نفس اللغة، لكن أحدهما يسمي "الشاحنة" (truck) بكلمة "لوري" (lorry) ويستخدم كلمات مختلفة لـ "الحكومة". إذا حاولت ترجمة رسالة من أحدهما إلى الآخر، فقد يرتبك قاموسك.
- النتيجة: نظرًا لانفصال كوريا الشمالية والجنوبية لعقود، فقد تباعدت مفرداتهما. وجد الباحثون أن أدوات الذكاء الاصطناعي الحديثة، المدربة على نصوص كوريا الجنوبية، تصبح أكثر ارتباكاً بـ 51 مرة عند قراءة أخبار كوريا الشمالية. فهي لا تتعرف على الكلمات لأن كوريا الشمالية تستخدم تهجئات فريدة للكلمات الأجنبية (مثل تسمية ألمانيا "دويتش-وولاند" بدلاً من المصطلح القياسي "دو-إيل-بون").
3. لماذا هذا مهم؟
فكر في نماذج الذكاء الاصطناعي الحالية (مثل تلك التي تشغل روبوتات الدردشة) كطلاب لم يذهبوا إلى المدرسة إلا في العشرين سنة الماضية. هم بارعون في قراءة النصوص الحديثة ولكنهم يفشلون عندما يواجهون مذكرات قديمة أو وثيقة تحتوي على مزيج من الخطوط.
هذا المتن الجديد يشبه إعطاء هؤلاء الطلاب كتاباً تاريخياً.
- للمؤرخين: يتيح لهم دراسة التغيرات اللغوية بدقة رياضية، بدلاً من مجرد التخمين.
- لمطوري الذكاء الاصطناعي: يوفر "بيانات التدريب" اللازمة لتعليم أجهزة الكمبيوتر كيفية قراءة الكورية القديمة، والخطوط المختلطة، وحتى اللهجات الكورية الشمالية. يمكن أن يساعد هذا في الحفاظ على الثقافة وجعل الذكاء الاصطناعي أكثر ذكاءً بشأن التاريخ الكامل للغة، وليس فقط النسخة الحديثة منها.
العقبة (القيود)
المؤلفون صريحون بشأن العيوب.
- تحيز البقاء: المكتبة ثقيلة بالكتب الحديثة لأن المزيد منها نجا وتمت رقمنته. الكتب القديمة نادرة، لذا فإن "آلة الزمن" هذه تكون ضبابية قليلاً بالنسبة للماضي البعيد جداً.
- لا توجد كلمات منطوقة: هذه مكتبة للنصوص المكتوبة. وهي لا تتضمن تسجيلات لكيفية نطق الناس للكلمات فعلياً، لذا لا يمكننا دراسة "صوت" التاريخ، بل "مظهر" التاريخ فقط.
باختصار: هذه الورقة البحثية هي إنشاء أرشيف رقمي ضخم ومفتوح الوصول يتيح لنا أخيراً رؤية القصة الكاملة للغة الكورية، من العصور القديمة حتى اليوم، مما يساعد البشر والكمبيوترات على حد سواء في فهم كيف تغيرت اللغة، وانقسمت، وصمدت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.