Language Models Learn Constructional Semantics, Not To Mention Syntax: Investigating LM Understanding of Paired-Focus Constructions
تُظهر هذه الورقة البحثية أن النماذج اللغوية مفتوحة المصدر ذات الحجم المتوسط يمكنها استيعاب دلالات تراكيب التركيز المزدوج النادرة بفعالية، حيث يظهر هذا الفهم في مرحلة لاحقة من التدريب مقارنة بالمعرفة النحوية، ويرتبط بارتفاع المكاسب في مجالات محددة من المعرفة بالعالم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل اللغة ككتاب وصفات ضخم ومعقد. معظم الوصفات هي وصفات قياسية: "اخلط الدقيق والماء". ولكن هناك تعليمات نادرة، فاخرة، ومحددة مثل: "دعك من التزيين الفاخر، فأنت لا تستطيع حتى التعامل مع العجينة الأساسية". في علم اللغويات، تُسمى هذه "تراكيب التركيز المزدوج" (Paired-focus constructions) (مثل عبارات "ناهيك عن"، "فما بالك بـ"، "لا سيما"، و"ناهيك عن").
تسأل هذه الورقة سؤالاً بسيطاً: هل تفهم نماذج لغة الكمبيوتر (الذكاء الاصطناعي) حقاً هذه الوصفات الفاخرة، أم أنها مجرد تحفظ الكلمات؟
إليك تفصيل لما وجده الباحثون، باستخدام بعض التشبيهات اليومية.
1. اختبار "الشكل مقابل المعنى"
فكر في هذا التركيب كأنه مصافحة محددة.
- الشكل (النحو/Syntax): معرفة كيفية القيام بالمصافحة (حركة اليد المحددة، ترتيب الأصابع).
- المعنى (الدلالة/Semantics): معرفة ماذا تعني هذه المصافحة (مثلاً: "إذا لم أستطع فعل الشيء السهل، فمن المؤكد أنني لا أستطيع فعل الشيء الصعب").
قام الباحثون ببناء اختبار جديد لمعرفة ما إذا كان بإمكان نماذج الذكاء الاصطناعي القيام بكليهما. لم يكتفوا بسؤال: "هل هذه الجملة صحيحة نحوياً؟" بل سألوا: "هل يفهم الذكاء الاصطناعي المنطق داخل الجملة؟"
التشبيه: تخيل روبوتاً يعرف تماماً كيف يقول: "لا أستطيع رفع حصاة، ناهيك عن صخرة ضخمة".
- اختبار النحو: هل يستطيع الروبوت قول الجملة دون تعثر؟
- اختبار المعنى: إذا سألت الروبوت: "إذاً، هل يمكنك رفع الصخرة؟" هل سيقول "لا" بشكل صحيح؟ أم سيصاب بالارتباك لأنه حفظ الكلمات فقط ولم يفهم المنطق؟
2. النتائج: الحجم يفرق (ولكن ليس قليلاً)
اختبر الباحثون 36 نموذجاً مختلفاً من الذكاء الاصطناعي، تتراوح من النماذج الصغيرة جداً (مثل الآلة الحاسبة الجيبية) إلى النماذج الضخمة (مثل الحاسوب الخارق).
- النماذج الصغيرة (أقل من 400 مليون معلمة/parameter): هذه تشبه الأطفال الصغار. هم بارعون في المصافحة. يعرفون أن كلمات "ناهيك عن" تأتي معاً ويمكنهم قول الجملة بشكل مثالي. ولكن عندما يتعلق الأمر بـ المعنى، فإنهم يفشلون. إنهم لا يفهمون المنطق؛ إنهم يكتفون بالتخمين فقط.
- النماذج المتوسطة (حوالي 400 مليون إلى مليار معلمة): هذه تشبه المراهقين الأذكياء. يبدأون في استيعاب الأمر. يمكنهم القيام بالمصافحة ويبدأون أيضاً في فهم المنطق الكامن وراءها.
- النماذج الكبيرة: هذه تشبه البالغين. هم جيدون جداً في كل من الشكل والمعنى.
النتيجة الرئيسية: أنت لا تحتاج إلى ذكاء اصطناعي "خارق للعادة" لفهم هذه العبارات النادرة. يمكن لذكاء اصطناعي "متواضع" (الذي ليس الأكبر أو الأكثر تكلفة) أن يستوعب المعنى بالفعل، بشرط أن يكون كبيراً بما يكفي.
3. الجدول الزمني للتعلم: تعلم خطوات الرقص قبل الموسيقى
راقب الباحثون كيف تتعلم هذه النماذج بمرور الوقت، مثل مراقبة طالب يتدرب من أجل مسابقة رقص.
- الخطوة 1: الخطوات (النحو) تأتي أولاً. تعلمت النماذج ترتيب الكلمات الصحيح وقواعد النحو في وقت مبكر جداً من تدريبها. عرفوا كيف يقولون العبارة بسرعة.
- الخطوة 2: الموسيقى (المعنى) تأتي لاحقاً. استغرق الأمر وقتاً أطول بكثير لتفهم النماذج لماذا تعمل هذه العبارة. كان عليهم تعلم الكثير عن العالم قبل أن يتمكنوا من ربط النقاط ببعضها.
التشبيه: تخيل تعلم القيادة. أولاً، تتعلم أين توجد الدواسات وكيف تدير المقود (النحو). يمكنك فعل ذلك بسرعة. لكن فهم متى تضغط على المكابح، وكيفية تقدير سرعة حركة المرور القادمة، و"إحساس" الطريق (الدلالة)، يتطلب خبرة ووقت أكثر بكثير. تعلم الذكاء الاصطناعي "الدواسات" قبل أن يتعلم "إحساس" الطريق.
4. الارتباط بـ "المعرفة بالعالم"
وجدت الدراسة رابطاً قوياً بين فهم هذه العبارات ومعرفة كيفية عمل العالم الحقيقي.
- السيناريو: تم اختبار الذكاء الاصطناعي في جمل مثل: "لم أستطع رفع حصاة صغيرة، ناهيك عن واحدة ضخمة".
- النتيجة: فهم الذكاء الاصطناعي هذا لأنه يعرف أن الصخور لها وزن.
- الخدعة: عندما حاول الباحثون خداع الذكاء الاصطناعي بجمل تكسر قوانين الفيزياء (مثلاً: "لم أستطع رفع صخرة ضخمة، ناهيك عن واحدة صغيرة")، ارتبكت النماذج الأصغر. لقد اعتمدوا كثيراً على "المنطق العام" عن العالم بدلاً من الالتزام بالمنطق الصارم للعبارة. أما النماذج الأكبر والأذكى، فقد استطاعت تجاهل حقائق العالم الغريبة والتمسك بمنطق العبارة.
5. مشكلة "المقياس البشري"
اختبر الباحثون أيضاً نماذج مدربة على بيانات "بمقياس بشري" (كميات من النصوص يمكن لإنسان قراءتها في حياته).
- الحكم: فشلت هذه النماذج تماماً في فهم المعنى. كان بإمكانها قول الكلمات، لكنها لم تفهم المنطق.
- الخلاصة: لكي يفهم الذكاء الاصطناعي المنطق العميق للعبارات اللغوية النادرة، فإنه يحتاج إلى "قراءة" أكثر بكثير مما يمكن لأي إنسان أن يقرأه في حياته. إنه يحتاج إلى هذا التعرض الهائل ليرى الأنماط.
الملخص
هذه الورقة تشبه تقرير درجات للذكاء الاصطناعي في موضوع محدد وصعب للغاية.
- هل يمكن للذكاء الاصطناعي الصغير فعل ذلك؟ نعم، ولكن فقط النماذج "المتوسطة الحجم". أما النماذج الصغيرة جداً فهي مجرد تحفظ الكلمات.
- هل يتعلمونها كلها دفعة واحدة؟ لا. يتعلمون القواعد (الشكل) أولاً، والمعنى (المنطق) في وقت لاحق بكثير.
- هل يحتاجون لمعرفة العالم؟ نعم. فهم هذه العبارات مرتبط بفهم كيفية عمل العالم (مثل معرفة أن الأشياء الكبيرة أثقل من الأشياء الصغيرة).
يخلص الباحثون إلى أنه بينما يتحسن الذكاء الاصطناعي في هذه العبارات النادرة، فإنه لا يزال يتعلم "شكل" اللغة قبل أن يتعلم "روح" اللغة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.