Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects
تقيم هذه الورقة أحد عشر نموذجاً من نماذج المحولات ذاتية الانحدار (autoregressive transformers) في تكوينات جذب المطابقة (agreement attraction) في اللغة الإنجليزية باستخدام آلية ربط قائمة على المفاجأة (surprisal-based linking)، وتجد أنه بينما تتوافق هذه النماذج مع أوقات القراءة البشرية في هياكل الجمل المجرورة بحروف الجر، فإنها تفشل في محاكاة أنماط التداخل البشرية في جمل الصلة المستخرجة من المفعول به، لتخلص إلى أن النماذج الحالية لا تفسر المعالجة النحوية الصرفية البشرية بشكل كافٍ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول معرفة ما إذا كان نوع جديد من أدمغة الروبوتات (المسمى Transformer) يمكنه حقاً التفكير مثل البشر، أم أنه مجرد ببغاء متطور للغاية يقلد الأصوات دون فهمها.
قرر الباحثون في هذه الورقة البحثية إخضاع هذه الأدمغة الروبوتية لـ "اختبار جهد" محدد يتعلق بالقواعد النحوية. لقد نظروا في لغز لغوي مخادع يسمى "جذب التوافق" (Agreement Attraction).
اللغز: الاسم المشتت (The Distractor Noun)
تخيل أنك تقرأ جملة. يجب على عقلك أن يربط بين الفاعل (من يقوم بالفعل) والفعل (الحدث).
- جملة بسيطة: "المفتاحُ كان صدئاً" (The key was rusty). (مفتاح مفرد = فعل مفرد). سهلة.
- الفخ: "المفتاحُ الخاص بالخزائنِ كان صدئاً" (The key to the cabinets were rusty).
هنا، الفاعل هو "المفتاح" (مفرد)، ولكن هناك اسماً مشتتاً وهو "الخزائن" (جمع)، يجلس في المنتصف تماماً.
- القاعدة النحوية: يجب أن يكون الفعل "كان" (للمفرد) لأن المفتاح مفرد.
- خلل الدماغ البشري: غالباً ما يرتبك البشر بسبب كلمة "الخزائن". نحن نقرأ "كانوا/كانت" (للجمع) بشكل أسرع قليلاً مما ينبغي، كما لو أن عقولنا اعتقدت لفترة وجيزة أن الخزائن هي الفاعل. إنه يشبه الهفوة الذهنية المؤقتة حيث تخدع كلمة "الخزائن" الجمعية الدماغ.
التجربة: غرفتان مختلفتان
اختبر الباحثون 11 نموذجاً مختلفاً من الذكاء الاصطناوي (تتراوح من الصغيرة إلى الضخمة) لمعرفة ما إذا كانت سترتكب نفس "الخلل" الذي يرتكبه البشر. وقد اختبروها في غرفتين مختلفتين (بنيات جمل مختلفة):
الغرفة 1: الممر (العبارات المجرورة - Prepositional Phrases)
- مثال: "المفتاح الخاص بالخزائن..."
- النتيجة: كانت نماذج الذكاء الاصطناوي دقيقة للغاية. تماماً مثل البشر، ارتبكت النماذج بسبب كلمة "الخزائن" الجمعية وعالجت الفعل الخاطئ بشكل أسرع.
- التشبيه: الأمر يشبه المشي في ممر به ملصق مشتت على الجدار. فكل من البشر والذكاء الاصطماوي تعثروا في نفس البقعة.
الغرفة 2: المتاهة (الجمل الموصولة ذات المفعول به المستخرج - Object-Extracted Relative Clauses)
- مثال: "البحار (أو البحارة) الذين (أو الضباط) يريد/يريدون ترقيته..."
- هذه بنية جملة أكثر تعقيداً حيث يكون "المشتت" مخفياً في عمق الجملة.
- النتيجة: فوضى عارمة.
- بعض نماذج الذكاء الاصطناوي أصابت الهدف.
- بعضها أخطأ تماماً.
- بعضها توقع عكس ما يفعله البشر.
- بعض النماذج ظنت أن الجملة سهلة بينما يجدها البشر صعبة، والعكس صحيح.
- التشبيه: تخيل إرسال نفس المجموعة من البشر والروبوتات إلى متاهة معقدة. بينما تعثر الجميع في الممر، وفي المتاهة، تاه البشر جميعاً بنفس الطريقة، لكن الروبوتات ركضت في اتجاهات عشوائية، واصطدمت بالجدران، أو مشت للخلف. لم تكن تفكر مثل البشر؛ بل كانت مجرد تخمين.
الاستنتاج الكبير
خلصت الورقة البحثية إلى أن نماذج الذكاء الاصطناوي الحالية ليست نماذج جيدة للعقل البشري.
- ليست متسقة: لو كانت "تفكر" حقاً مثل البشر، لكانت قد فشلت بنفس الطرق التي يفشل بها البشر عبر جميع أنواع الجمل. بدلاً من ذلك، هي تفشل فقط في جمل "الممر" البسيطة، لكنها تتصرف بشكل غير متوقع في "المتاهة" المعقدة.
- قد تكون مجرد محاكاة: يشير المؤلفون إلى أن الذكاء الاصطماوي قد لا يفهم حقاً القواعد النحوية أو كيف تعمل الذاكرة البشرية. بدلاً من ذلك، ربما يكون قد حفظ فقط أن "الناس يرتكبون أخطاءً مع كلمات محددة"، وهو ببساطة ينسخ تلك الأخطاء السطحية من بيانات التدريب الخاصة به.
- لا تحكم على الكتاب من صفحة واحدة: الدراسات السابقة نظرت فقط إلى جمل "الممر" وأعلنت: "آها! الذكاء الاصطماوي يفكر مثل البشر!" تقول هذه الورقة: "مهلاً، لقد اختبرتم غرفة واحدة فقط. إذا اختبرتم المنزل بأكمله، سيبدو الذكاء الاصطماوي مختلفاً جداً".
الخلاصة للمستقبل
إذا أردنا معرفة ما إذا كان الذكاء الاصطماوي يفهم اللغة حقاً، فلا يمكننا مجرد اختباره على جمل سهلة أو باستخدام نموذج واحد فقط. نحن بحاجة إلى اختباره على كل نوع من الجمل الصعبة ومقارنة نماذج عديدة مختلفة.
حتى نفعل ذلك، لا يمكننا القول إن هذه الروبوتات تمتلك عقلاً يشبه العقل البشري. في الوقت الحالي، هي فقط بارعة جداً في محاكاة صوت التفكير البشري، لكنها لا تملك حقاً إيقاعه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.