Pretraining Language Models for Diachronic Linguistic Change Discovery
تقترح هذه الورقة مسار تدريب مسبق فعال باستخدام مجموعات نصوص مقسمة زمنياً لإنشاء نماذج لغوية متخصصة تتفوق على النماذج المرجعية المضبوطة بدقة من حيث السرعة والدقة التاريخية، مما يتيح اكتشاف ظواهر لغوية تاريخية متنوعة مثل التغير المعجمي، والنحوي، والدلالي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مؤرخ يحاول فهم كيف كان الناس يتحدثون ويفكرون في القرن الثامن عشر. تريد بناء آلة زمن لا تعرف سوى عن تلك الحقبة المحددة.
الآن، تخيل أن لديك مساعداً ذكياً للغاية يعمل بالذكاء الاصطناعي (نموذج لغوي كبير، أو LLM)؛ لقد قرأ كل كتاب كُتب تقريباً، من المخطوطات القديمة إلى التغريدات الحديثة. هذا الذكاء الاصطناعي فصيح للغاية ويعرف الكثير، لكن لديه مشكلة رئيسية: ليس لديه أي مفهوم للزمن. إنه يخلط بين الماضي والمستقبل. إذا سألته عن "سيارة" في عام 1750، فقد يخبرك بثقة عن سيارة "فورد موستانج"، رغم أن السيارات لم تكن موجودة حينها. الأمر يشبه سؤال طاهٍ حديث عن إعداد مأدبة من العصور الوسطى، لكنه يستمر في إضافة الكاتشب وأجهزة الميكروويف إلى الوصفة بالخطأ لأنه رأى كل شيء في كتب الطبخ الأخرى.
تقترح هذه الورقة حلاً ذكياً لإصلاح هذا "الارتباك الزمني".
المشكلة: "القارت لكل شيء" مقابل "المتخصص"
نماذج الذكاء الاصطناعي القياسية تشبه الكائنات القارتة (التي تأكل كل شيء)؛ فهي تلتهم كل شيء — بيانات من جميع الفترات الزمنية — لتصبح ذكية. وهذا يجعلها رائعة في المحادثات العامة، لكنها سيئة جداً في البحث التاريخي لأنها "تلوث" الماضي بمعرفة المستقبل.
أراد الباحثون بناء متخصصين. أرادوا نماذج "تأكل" فقط البيانات من فترات زمنية محددة (على سبيل المثال: 1750–1820، 1820–1850، إلخ) حتى تتمكن حقاً من فهم لغة ذلك الجزء المحدد من التاريخ دون أي "تسرب مستقبلي".
الحل: بناء فريق "مسافر عبر الزمن"
بدلاً من أخذ نموذج ذكاء اصطناعي ضخم وحديث ومحاولة "ضبطه بدقة" (وهو ما يشبه محاولة تعليم أستاذ جامعي حديث أن ينسى كل ما يعرفه عن الإنترنت ليتظاهر بأنه باحث من القرن الثامن عشر)، قرر الباحثون تدريب نماذج جديدة من الصفر.
فكر في الأمر بهذه الطريقة:
- الطريقة القديمة (الضبط الدقيق): أخذ أستاذ جامعي حديث ومحاولة إجباره على نسيان كل ما يعرفه عن القرن الحادي والعشرين لكي يتظاهر بأنه باحث من القرن الثمانية عشر. قد يظل يخطئ ويستخدم مصطلحات حديثة.
- الطريـقة الجديدة (التدريب من الصفر): توظيف خمسة متدربين مختلفين. أنت تعطي المتدرب الأول فقط الكتب من 1750–1820. وتعطي المتدرب الثاني فقط الكتب من 1820–1850، وهكذا. أنت لا تسمح لهم أبداً برؤية كتب من المستقبل.
خدعة "الطفل"
تدريب نموذج من الصفر يتطلب عادةً كمية هائلة من المال وقوة حوسبة (مثل بناء حاسوب خارق). لكن هؤلاء الباحثين استخدموا خدعة "الطفل" (المستوحاة من مجتمع "BabyLM"). استخدموا طريقة "التقطير"، وهي تشبه وجود اثنين من الطهاة المهرة يعلمان طباخاً مبتدئاً. يتعلم الطالب من خلال مراقبة المعلمين، مما يسمح له بأن يصبح ماهراً جداً حتى مع "نظام غذائي" أصغر من البيانات.
جعل هذا العملية أسرع بمرتين وأرخص بكثير من الطريقة التقليدية.
النتائج: اختبار "تسرب الزمن"
اختبر الباحثون نماذجهم "المتخصصة زمنياً" الجديدة مقابل النماذج "الحديثة" باستخدام لعبة ذكية تسمى "اختبار الفراغات" (Cloze Test).
تخيل جملة بها كلمة مفقودة:
"قاد الرجل الـ ______ الخاص به إلى السوق."
- النموذج الحديث (المضبوط بدقة): إذا سألت هذا النموذج عن عام 1750، فقد يخمن "سيارة" أو "شاحنة" لأنه يعرف أن هذه الكلمات موجودة في بيانات التدريب الخاصة به، رغم أنها لم تكن موجودة في عام 1750. إنه "يسرب" معرفة المستقبل إلى الماضي.
- المتخصص الزمني (المتدرب من الصفر): إذا سألت نموذج عام 1750، فسيخمن "حصان" أو "عربة". لا يمكنه تخمين "سيارة" لأنه لم يرَ الكلمة حرفياً في بيانات التدريب الخاصة به. إنه يحترم الجدول الزمني تماماً.
لماذا يهم هذا؟
وجد الباحثون أنه بينما لم تكن نماذج "المتخصص الزمني" بنفس طلاقة النماذج الضخمة الحديثة في المحادثات العامة، إلا أنها كانت أفضل بكثير في اكتشاف التغيير.
لقد استطاعت رصد اللحظة التي تتغير فيها معاني الكلمات بدقة. على سبيل المثال:
- كلمة "محطة" (Station) كانت تعني في الأصل معسكراً عسكرياً أو مكاناً للتوقف.
- في أربعينيات القرن التاسع عشر، ومع اختراع القطارات، تحول المعنى إلى "محطة سكة حديد".
- نماذج "المتخصص الزمني" استطاعت رؤية هذا التحول يحدث في الوقت الفعلي. نموذج عام 1820 اعتقد أن "المحطة" تعني معسكراً. نموذج عام 1850 بدأ يعتقد أنها توقف للقطار. أما النموذج الحديث فيرى كلا المعنيين مختلطين معاً ولا يستطيع سرد قصة التغيير.
الخلاصة الكبرى
إذا كنت تريد دراسة التاريخ، أو الأدب، أو كيفية تطور اللغة، فأنت لا تحتاج إلى ذكاء اصطناعي ضخم وعليم بكل شيء يخلط بين الماضي والمستقبل. أنت بحاجة إلى فريق من نماذج الذكاء الاصطناعي الأصغر والأكثر تركيزاً، والتي تم تدريبها بصرامة على فترات زمنية محددة.
إنه الفرق بين امتلاك موسوعة عامة تخبرك بكل شيء عن كل شيء (لكنها تخطئ في التواريخ)، وبين امتلاك فريق من المؤرخين المتخصصين الذين يمكنهم إخبارك بالضبط بما كان يفكر فيه الناس في عام 1790، دون ذكر الإنترنت بالخطأ.
باختصار: لفهم الماضي، عليك أحياناً أن تنسى المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.