Three Lenses on Linguistic Knowledge in Pretrained Transformers: A Phenomenon-Centered Review
تُجمّع هذه المراجعة الأدلة من المنظورات التمثيلية، والسلوكية، والآلية حول توافق الفاعل والفعل، والنفي، والتعميم التركيبي في نماذج المحولات (Transformers) سابقة التدريب للكشف عن أنماط متميزة من التقارب والتجزؤ، مقترحةً في نهاية المطاف تشخيصاً قائماً على "إمكانية الوصول والاستخدام" لتوضيح القيود الحالية وتوجيه الأبحاث المستقبلية عبر المستويات المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
اللغة هي نظام من القواعد التي تسمح لنا بأخذ أفكار بسيطة ودمجها في أفكار جديدة لا حصر لها. لعقود من الزمن، تساءل العلماء عما إذا كانت برامج الكمبيوتر الضخمة التي تكتب الآن نصوصاً بليغة وتجيب على أسئلة معقدة قد تعلمت هذه القواعد حقاً، أم أنها مجرد محاكاة للأنماط التي رأتها من قبل. هذه البرامج، المعروفة باسم نماذج اللغة المدربة مسبقاً، يتم تدريبها على كميات هائلة من الكتابات البشرية. يمكنها إنتاج جمل تبدو طبيعية تماماً، مما دفع الكثيرين إلى افتراض أنها تفهم القواعد والمعنى بنفس الطريقة التي يفهم بها البشر. ومع ذلك، فإن إنتاج الكلمات الصحيحة ليس هو نفسه معرفة سبب انتماء تلك الكلمات لبعضها البعض. قد ينجح البرنامج في صياغة جملة صحيحة عن طريق الصدفة، أو بالاعتماد على اختصار، دون أن يستوعب في الواقع المنطق الكامن وراءها. ولحل هذا الغموض، طور الباحثون ثلاث طرق مختلفة للنظر داخل هذه النماذج: التحقق مما يتم تخزينه في ذاكرتها الداخلية، واختبار ما تنتجه فعلياً في مخرجاتها، وتتبع المسارات المحددة التي تدفعها لاتخاذ قرار ما.
تجمع مراجعة جديدة أجراها الباحثان ييزي وانغ وتشن هوا لينغ هذه الطرق الثلاث للنظر معاً لمعرفة ما إذا كانت تروي القصة نفسها. ركز المؤلفان على ثلاثة مجالات محددة في اللغة تعد أساسية لفهم كيفية عمل هذه النماذج: كيفية مطابقة الأفعال مع فاعلها، وكيفية تغيير كلمة "ليس" (أو أداة النفي) لمعنى الجملة، وكيف تجمع النماذج بين الأجزاء المألوفة لإنشاء أفكار جديدة ومعقدة. ومن خلال جمع ومقارنة مئات الدراسات التي استخدمت هذه الطرق الثلاث، وجد الباحثون أن الإجابة تعتمد كلياً على الجزء الذي تسأل عنه من اللغة. فأحياناً تتطابق الأدلة من الطرق الثلاث تماماً؛ وفي أحيان أخرى، تروي الطرق قصصاً متضاربة، مما يكشف عن فجوات في المعرفة الفعلية لهذه النماذج.
تتمثل قصة النجاح الأكثر وضوحاً التي وجدها الباحثون في مطابقة الفاعل والفعل، وهي القاعدة التي تقضي بأن الفاعل المفرد يحتاج إلى فعل مفرد، مثل "القط يجري" (the cat runs)، بينما يحتاج الفاعل الجمع إلى فعل جمع، مثل "القطط تجري" (the cats run). في هذا المجال، تتفق الطرق الثلاث المختلفة للنظر في النماذج. فعندما نظر الباحثون داخل الحالات الداخلية للنموذج، استطاعوا العثور على إشارة واضحة لما إذا كان الاسم مفرداً أم جمعاً. وعندما اختبروا مخرجات النموذج، كان يختار دائماً تقريباً صيغة الفعل الصحيحة. والأهم من ذلك، عندما تدخل الباحثون لتغيير تلك الإشارة الداخلية، تغير سلوك النموذج بطريقة يمكن التنبؤ بها، مما أجبره على اختيار الفعل الخاطئ. يشير هذا التقارب إلى أنه بالنسبة للقواعد النحوية البسيطة، فقد تعلمت هذه النماذج العلاقة حقاً وتستخدمها لاتخاذ القرارات.
تصبح الصورة أكثر تعقيداً عند النظر في النفي، أو كيفية تعامل النماذج مع كلمة "ليس" (أو أداة النفي). هنا، لا تتفق العدسات الثلاث. تُظهر الفحوصات الداخلية أن النماذج يمكنها اكتشاف وجود أداة النفي وفهم مكان تطبيقها تقريباً في الجملة. ومع ذلك، عندما يُطلب من النماذج إنتاج نص أو الإجابة على أسئلة بناءً على جملة منفية، فإنها غالباً ما تفشل في تطبيق المعنى الصحيح. قد ترى الكلمة، لكنها لا تزال تتصرف كما لو كانت الجملة مثبتة. وجد الباحثون أنه بينما يمكن للنماذج رصد علامة النفي، إلا أنها لا تستخدمها بشكل موثوق لقلب حقيقة العبارة. الأمر كما لو أن النموذج يرى العلامة ولكنه لا يتبع التعليمات التي تقدمها. هذا التناقض يعني أنه بينما تمتلك النماذج قطع المعلومات، إلا أنها لا تستخدمها باستمرار لفهم المعنى الكامل.
أما المجال الثالث، والذي يتضمن دمج أجزاء مختلفة من اللغة لإنشاء معانٍ جديدة، فيُظهر الارتباك الأكبر. هذه هي القدرة على أخذ كلمات وقواعد معروفة وتطبيقها على مواقف لم يرها النموذج من قبل. الأدلة هنا مجزأة؛ حيث تُظهر بعض الدراسات أن النماذج يمكنها التعامل مع التركيبات البسيطة، خاصة عندما يقدم الباحثون تلميحات أو يقسمون المهمة إلى خطوات أصغر. وتُظهر دراسات أخرى أنه عندما تُترك النماذج لتكتشف سلاسل الاستدلال المعقدة بمفردها، فإنها غالباً ما تفشل. المشكلة تكمن في أن الدراسات المختلفة لا تختبر الشيء نفسه؛ فبعضها يختبر ما إذا كان النموذج يمكنه التعرف على نمط ما، بينما يختبر البعض الآخر ما إذا كان بإمكانه بناء فكرة جديدة من الصفر. ولأن الباحثين لم يتمكنوا من إيجاد طريقة واحدة متسقة لقياس هذه القدرة عبر جميع الدراسات، لم يتمكنوا من استنتاج ما إذا كانت النماذج تمتلك حقاً مهارة عامة لدمج الأفكار أم أنها مجرد بارعة في حيل محددة وضيقة.
يشير مؤلفو المراجعة إلى أن هذه النتائج المختلفة تحدث لأن بعض السمات اللغوية أسهل في العزل والاستخدام من غيرها. فبالنسبة لمطابقة الفاعل والفعل، تكون السمة بسيطة ومعزولة، لذا يمكن للنموذج إيجادها واستخدامها. وبالنسبة للنفي، يمكن للنموذج إيجاد علامة النفي ولكنه يكافح لاستخدامها لتغيير المعنى الكامل. أما بالنسبة للتركيبات المعقدة، فإن السمة منتشرة للغاية ويصعب تحديدها، لدرجة أن النموذج لا يمكنه حتى عزلها بوضوح. ويخلص الباحثون إلى أننا لا نستطيع افتراض أن هذه النماذج تعرف اللغة بمعناها العام. بدلاً من ذلك، معرفتها مرتبطة بالمهمة المحددة. فهي ممتازة في بعض الأشياء، مثل مطابقة الأفعال، لكنها غير متسقة في أشياء أخرى، مثل فهم النفي، ولا تزال غير مثبتة في المهمة الأكثر تعقيداً وهي إنشاء أفكار جديدة من أجزاء قديمة. وهذا الاكتشاف يغير كيفية تقييمنا لهذه الأنظمة: فلا يمكننا فقط النظر فيما إذا كانت تحصل على الإجابة الصحيحة، بل يجب علينا أيضاً التحقق مما إذا كانت تستخدم المنطق الصحيح للوصول إليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.