Implicit Representations of Grammaticality in Language Models
تُثبت هذه الورقة أن النماذج اللغوية المدربة مسبقاً تكتسب ضمنياً تمثيلاً متميزاً للقواعد النحوية داخل طبقاتها الخفية، وهو ما يمكن استخراجه عبر المسابير الخطية ليتفوق على الأحكام القائمة على احتمالية السلسلة النصية في التمييز بين الجمل النحوية وغير النحوية عبر لغات متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا ذكيًا جدًا، قد قرأ كل كتاب، وموقع إلكتروني، ومقال على الإنترنت تقريبًا. هذا الروبوت، المسمى نموذج لغوي (LM)، بارع للغاية في التنبؤ بالكلمة التالية في الجملة. إذا طلبت منه إكمال قصة، فسيقوم بعمل رائع.
لكن الجزء الصعب هنا هو: مجرد كون الجملة تبدو "محتملة" بالنسبة للروبوت، لا يعني أنها تتبع قواعد النحو.
مشكلة "المحتمل" مقابل "الصحيح"
فكر في الروبوت كشخص سمع الكثير من الناس يتحدثون، لكنه لم يُدرّس قواعد النحو أبدًا في المدرسة.
- رؤية الروبوت (الاحتمالية): إذا قلت: "The key to the cabinets are on the table" (مفتاح الخزائن يكون على الطاولة)، قد يفكر الروبوت: "مهلًا، لقد سمعت الناس يرتكبون هذا الخطأ من قبل عندما يرتبكون بسبب كلمة 'cabinets'. هذا يبدو كشيء قد يقوله البشر بالفعل". لذا، يعطي هذه الجملة درجة عالية.
- قاعدة النحو (الصحة النحوية): عالم النحو البشري يعرف أن هذا خطأ. الفاعل هو "key" (مفرد)، لذا يجب أن يكون الفعل "is" وليس "are". هذه الجملة غير صحيحة نحويًا، حتى لو كان خطأً شائعًا.
السؤال الكبير الذي طرحه الباحثون هو: هل يعرف هذا الروبوت سرًا الفرق بين "ما يقوله البشر كثيرًا" وبين "ما هو صحيح نحويًا بالفعل"، حتى لو لم تظهر درجته النهائية ذلك؟
التجربة: "المحقق النحوي"
لمعرفة ذلك، لم يكتفِ الباحثون بسؤال الروبوت: "هل هذه الجمة صحيحة؟" (الروبوتات سيئة في الإجابة على ذلك مباشرة). بدلاً من ذلك، نظروا داخل عقل الروبوت.
إنشاء صالة تدريب: أخذوا كومة ضخمة من النصوص العادية وبدأوا في العبث بها. أضافوا كلمات عشوائيًا، أو حذفوا كلمات، أو خلطوا الكلمات حول بعضها (مثل أخذ جملة وتحويلها من "She bursts into tears and walks away" إلى "She bursts into tears fringe and walks away").
- الجمل الأصلية كانت "جيدة".
- الجمل التي تم العبث بها كانت "سيئة".
تدريب محقق: قاموا بتدريب "محقق" صغير وبسيط (مسبار خطي - linear probe) ليتطلع إلى أفكار الروبوت الداخلية (طبقاته الخفية) ويخمن: "هل هذه جملة جيدة أم جملة سيئة؟"
الاختبار: أخذوا هذا المحقق واختبروه على اختبارات نحوية حقيقية صنعها البشر.
النتائج المفاجئة
1. لدى الروبوت حاسة نحوية سرية
كان المحقق أفضل بكثير في اكتشاف الأخطاء النحوية مما فعلت "درجة الاحتمالية" الخاصة بالروبوت نفسه.
- التشبيه: تخيل أن الروبوت هو طباخ يتذوق الحساء. "درجة الاحتمالية" لديه هي مقدار ما يتوقعه من طعم الملح لأنه عادة يضع الملح في كل شيء. لكن "المحقق" ينظر إلى التركيب الكيميائي للحساء ويقول: "انتظر، هذا ليس ملحًا، هذا سكر".
- عقل الروبوت الداخلي يحتوي بالفعل على إشارة واضحة لـ "الصحة النحوية" وهي منفصلة عن "مدى شيوع هذه الجملة".
2. المحقق هو متخصص في النحو، وليس متخصصًا في المعنى
عندما اختبر الباحثون المحقق على جمل صحيحة نحويًا تمامًا ولكنها لا معنى لها (على سبيل المثال: "The colorless green ideas sleep furiously" مقابل "The furiously green ideas sleep colorless"):
- ارتبك المحقق.
- ومع ذلك، كانت "درجة الاحتمالية" الأصلية للروبوت رائعة في اكتشاف هذه الجمل غير المنطقية.
- الخلاصة: عقل الروبوت يحتوي على نظامين مختلفين. نظام واحد يعرف "هل هذا منطقي؟" (الاحتمالية)، ونظام خفي يعرف "هل يتبع هذا القواعد؟" (النحو). لقد استطاع المحقق الوصول إلى النظام الخفي.
3. المحقق يعمل في لغات أخرى أيضًا
الجزء الأكثر غرابة هو: قاموا بتدريب المحقق باستخدام بيانات اللغة الإنجليزية فقط. ثم، اختبروه على السويدية، الهولندية، الإيطالية، الروسية، اليابانية، والصينية.
- على الرغم من أن المحقق لم يرَ تلك اللغات من قبل، إلا أنه كان لا يزال أفضل من درجات احتمالية الروبوت الخام في اكتشاف الأخطاء النحوية.
- التشبيه: الأمر يشبه تعليم كلب جلب الكرة باللغة الإنجليزية، ثم أخذته إلى حديقة في فرنسا. على الرغم من أن الكلب لا يتحدث الفرنسية، إلا أنه لا يزال يفهم مفهوم "الجلب" ويمكنه التعرف على متى يتم لعب لعبة ما بشكل صحيح.
الخلاصة
خلصت الورقة البحثية إلى أن نماذج الذكاء الاصطناعي هذه، رغم أنها تدربت فقط على التنبؤ بالكلمة التالية، قد تعلمت قواعد النحو بشكل ضمني. لقد بنوا "كاشف نحو" خفي داخل شبكاتهم العصبية، وهو متميز عن قدرتهم على تخمين الكلمة التالية.
إنهم لا يكتفون بمحاكة أنماط الكلام البشري؛ بل طوروا تمثيلاً داخليًا لما يجعل الجملة سليمة من الناحية الهيكلية، بشكل منفصل عن مدى احتمالية ظهور تلك الجملة في الحياة الواقعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.