A Multilingual Dataset of Lexical, Syntactic, and Semantic Features from Wikipedia across Five Languages
تقدم هذه الورقة مجموعة بيانات متعددة اللغات متاحة للجمهور تضم سمات معجمية ونحوية ودلالية من 1,860 مقالاً من ويكيبيديا عبر خمس لغات، مما يثبت من خلال التحقق الإحصائي أن اللغة تؤثر بشكل كبير على هذه السمات بمعزل عن طول النص، وبذلك توفر مورداً قوياً للأبحاث اللغوية عبر اللغات واللغويات الحاسوبية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
غالباً ما تُوصف اللغة بأنها مجموعة من القواعد، ولكن بالنسبة للكمبيوتر، هي مشهد من الأنماط. لعقود من الزمن، حاول اللغويون رسم خرائط لهذه الأنماط يدوياً، حيث صنفوا كيفية هيكلة اللغات المختلفة لجملها أو مدى تنوع مفرداتها. هذه الخرائط اليدوية قيمة، لكن صنعها بطيء وغالباً ما يغفل التدفق المستمر والدقيق لكيفية كتابة الناس فعلياً. وفي السنوات الأخيرة، ظهرت برامج حاسوبية قوية يمكنها قراءة النصوص وترجمتها إلى أشكال رياضية، مما يلتقط "إحساس" الجملة بطريقة لا يستطيع البشر رؤيتها بسهل. يتيح هذا النهج الجديد للباحثين مقارنة اللغات ليس فقط من خلال تعريفاتها القاموسية، بل عبر البصمات الإحصائية العميقة التي تتركها ملايين الكلمات. ويبقى السؤال: هل تكشف هذه البصمات الرقمية أن اللغات مختلفة جوهرياً، أم أنها مجرد تنويعات على سمة متشابهة؟
لقد اتخذ باحث في جامعة كوينزلاند للتكنولوجيا خطوة كبيرة نحو الإجابة على ذلك من خلال بناء مكتبة ضخمة ومشتركة من النصوص لخمس لغات رئيسية: الإنجليزية والصينية والإسبانية والفرنسية والألمانية. وبدلاً من الاعتماد على نماذج شهيرة قليلة، جمع الفريق ما يقرب من 1,900 مقال موسوعي، مع اختيار مواضيع تظهر في اللغات الخمس جميعها بعناً، مثل التاريخ والعلوم والسياسة. ولضمان مقارنة عادلة، تم تقليم كل مقال إلى نفس الطول، مما خلق ميدان لعب متكافئ حيث كان الفرق الحقيقي الوحيد هو اللغة نفسها. ثم مرر الفريق كل مقال عبر مسار تحليل متطور؛ حيث قاموا بعدّ الكلمات الفريدة التي ظهرت، وقياس مدى تكرار الكلمات، وتتبع المسافة بين الكلمات والكلمات التي تعتمد عليها في الجملة. كما استخدموا أداة ذكاء اصطناعي حديثة لتحويل معنى أول عشرين جملة من كل مقال إلى قائمة طويلة من الأرقام، مما خلق توقيعاً رقمياً فريداً للمحتوى الدلالي للنص.
كانت نتائج هذه المقارنة مذهلة. فعندما رسم الباحثون كل هذه الميزات معاً، ثبت أن اللغة نفسها هي القوة الأقوى التي تشكل البيانات؛ إذ فسرت أكثر من ثلث الاختلافات الموجودة عبر المجموعة الكاملة من المقالات. في المقابل، لم يكن لطول النص أو الطريقة المحددة المستخدمة في إيجاد المقالات أي تأثير يذكر على النمط العام. وقد أكد هذا أن "الصوت" المميز لكل لغة هو سمة قوية تستمر حتى عندما يتم تثبيت الموضوع والطول. وأظهر التحليل أن اللغة الصينية انفردت عن البقية، مشكلةً مجموعة متميزة، بينما تكتلت اللغات الأوروبية بشكل أوثق مع بعضها البعض. كما وُجد أن الإنجليزية والإسبانية هما الزوج الأكثر تشابهاً، حيث يتشاركان أقرب ملف تعريف إحصائي.
وكشفت الدراسة أيضاً عن ارتباط عميق بين بنية اللغة ومعناها. فقد وجد الباحثون رابطاً واضحاً بين مسافة الكلمات في الجملة ومسافة معانيها في الفضاء الرقمي. ويشير هذا إلى أن الطريقة التي ترتب بها اللغة كلماتها ليست عشوائية، بل هي منسوجة بإحكام مع المفاهيم التي تعبر عنها. ورغم أن مجموعة البيانات الحالية محدودة بهذه اللغات الخمس وتعتمد على الكتابة الموسوعية، إلا أنها توفر أساساً متيناً وقابلاً لإعادة الإنتاج للعمل المستقبلي. إنها تقدم طريقة جديدة لاختبار مدى فهم البرامج الحاسوبية للغات المختلفة، وتساعد العلماء على التنبؤ بكيفية تطور اللغات أو علاقتها ببعضها البعض. ومن خلال تحويل تعقيد الكلام البشري إلى خريطة واضحة وقابلة للقياس، يسمح لنا هذا العمل برؤية البنية الخفية للغة بدقة كانت مستحيلة في السابق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.