Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French
تكشف هذه الدراسة أنه في حين أن النماذج اللغوية الكبيرة عبر الإنجليزية والإسبانية والفرنسية تفهم عمومًا الاستلزامات القياسية، إلا أنها تخفق تكرارًا في تفسير "النفي التصحيحي بالزيادة" (على سبيل المثال، "ليس دافئًا بل مغلي") باعتباره رفضًا لمصطلح ضعيف بدلاً من نفي حقيقة، رغم أن دقتها تتحسن عندما يتم تحديد التصحيح بعبارات مثل "بل بالأحرى".
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية المحركات الكامنة وراء العديد من الأدوات الرقمية التي نستخدمها اليوم، وهي قادرة على توليد النصوص، وترجمة اللغات، والإجابة على الأسئلة بطلاقة مذهلة. ولفهم كيفية عمل هذه الأنظمة، غالبًا ما ينظر الباحثون إلى كيفية تعاملها مع اللبنات الأساسية للتواصل البشري، مثل الصفات التي تصف الشدة. فكلمات مثل "دافئ"، و"حار"، و"مغلي" توجد على مقياس متزايد من الحرارة، ويفهم البشر طبيعيًا أنه إذا كان شيء ما مغليًا، فهو أيضًا دافئ على الأقل. يُسمى هذا الارتباط المنطقي بـ "الاستلزام". ومع ذلك، فإن اللغة البشرية مليئة بالالتواءات حيث لا ننفي كلمة أضعف لنقول إن العكس هو الصحيح، بل لنقول إن الكلمة الأقوى هي الأنسب. فعندما يقول شخص ما إن الحساء "ليس دافئًا بل مغلي"، فهو لا ينفي أن الحساء يحتوي على حرارة، بل يرفض وصف "دافئ" باعتباره تقليلًا من شأن الواقع. هذا النوع المحدد من التصحيح، حيث يستبدل المتحدث وصفًا ضعيفًا بآخر قوي، هو اختبار دقيق لما إذا كانت الآلة تفهم حقًا العلاقة بين الكلمات أم أنها مجرد مطابقة للأنماط.
لقد وضع فريق من الباحثين هدفًا لمعرفة ما إذا كانت النماذج اللغوية الحديثة قادرة على خوض هذا الغمار اللغوي الملتوي. وركزوا على ظاهرة تُعرف باسم "النفي التصحيحي بالزيادة"، حيث تنفي الجملة صفة أضعف لتؤكد صفة أقوى. جمع الفريق مئات الأزواج من الصفات من الإنجليزية والإسبانية والفرنسية، مثل "خافت" و"مظلم" أو "جيد" و"ممتاز"، وهي مرتبة حسب ترتيب الشدة. ثم طلبوا من خمسة نماذج لغوية مختلفة الحكم على هذه الأزواج تحت ظروف مختلفة. أولاً، تأكدوا من أن النماذج تعرف ترتيب الكلمات، مدركة أن "مظلم" هي نسخة أقوى من "خافت". بعد ذلك، اختبروا ما إذا كانت النماذج تدرك أنه إذا كان الشيء "مظلمًا"، فيجب أن يكون "خافتًا" على الأقل. وأخيرًا، عرضوا على النماذج الجمل التصحيحية، مثل "إنه ليس خافتًا بل مظلم"، وسألوهم ما إذا كان الشيء لا يزال "خافتًا" على الأقل.
كشفت النتائج عن فجوة كبيرة بين ما تعرفه النماذج وبين كيفية تطبيق تلك المعرفة. ففي الوحدات التي حددت فيها النماذج بشكل صحيح ترتيب الكلمات وقبلت المنطق الأساسي بأن "مظلم" تستلزم "خافت"، نجحت في فهم العبارة التقريرية بنسبة 93.4%. كما أجابت على أسئلة النفي البسيطة بشكل صحيح بنسبة 99.2%، لكن هذه الدقة العالية مضللة: إذ مالت النماذج عمومًا نحو الإجابة بـ "لا" بشكل عام (مع تراوح معدلات "نعم" بين 34% و44%)، وهو انحياز يضخم الأداء اصطناعيًا في الأسئلة التي تكون الإجابة الصحيحة فيها هي "لا". وعند مواجهة الجملة التصحيحية "إنه ليس خافتًا بل مظلم"، انخفض أداؤها بشكل حاد. ففي نفس مجموعة العناصر التي أظهرت سابقًا فهمها للعلاقة بين الكلمات، فشلت في التعرف على التصحيح في 452 حالة، بينما نجحت في 6 حالات فقط. وبدلاً من فهم أن الحساء لا يزال دافئًا (بل أكثر دفئًا)، غالباً ما تعاملت النماذج مع الجملة كنفي بسيط، واستنتجت أن الشيء ليس خافتًا على الإطلاق.
ولم يكن هذا الفشل بسبب نقص المعرفة بالكلمات نفسها. فعندما اختبر الباحثون بناءً مشابهًا باستخدام نفس الكلمة، مثل "إنه ليس خافتًا بل خافت جدًا"، أدت النماذج أداءً عاليًا، حيث أصابت في 94.4% من الحالات. وهذا يشير إلى أن النماذج يمكنها التعامل مع بنية الجملة عندما تكون الكلمات متطابقة، لكنها تتعثر عندما يتعين عليها ربط كلمتين مختلفتين ضمن إطار تصحيحي. وكان نمط الخطأ ثابتًا عبر جميع النماذج الخمسة المختبرة وفي جميع اللغات الثلاث. وفي كثير من الحالات، أجابت النماذج بـ "لا" على سؤال ما إذا كان الشيء على الأقل بالمستوى الأضعف، مما يعني تجاهل النصف الثاني من الجملة الذي قدم التصحيح. وهذا يشير إلى أن النماذج لا تفشل لأنها لا تستطيع ترتيب الصفات، بل لأنها تجد صعوبة في تجاوز المعنى الحرفي للنفي عند تقديم بديل أقوى.
استكشفت الدراسة أيضًا ما إذا كان جعل التصحيح أكثر صراحة سيساعد. ففي اللغة الإنجليزية، قارن الباحثون بين الصيغة القياسية "ليس X ولكن Y" مع نسخة أضافت كلمة "بل" (rather)، لتصبح "ليس X بل بالأحرى Y". هذا التغيير الصغير، الذي يشير إلى التصحيح بشكل أوضح، حسن دقة النماذج من 36.1% إلى 49.3%. ورغم أن هذا كان تحسنًا، إلا أنه لم يكن إصلاحًا كاملًا، إذ لا تزال النماذج تخطئ في فهم المعنى في أكثر من نصف الحالات. وأشار الباحثون إلى أنه في الإسبانية، حيث تُستخدم أداة ربط محددة للتصحيحات، كان أداء النماذج أفضل قليلاً مما هو عليه في الإنجليزية أو الفرنسية، لكن الصعوبة الجوهرية ظلت قائمة. وتشير البيانات إلى أن هذه الأنظمة تمتلك المعرفة الخام حول كيفية ارتباط الكلمات ببعضها البعض، لكنها غالبًا ما تفشل في استخدام تلك المعرفة عندما يتطلب هيكل الجملة رفض وصف أضعف لصالح وصف أقوى.
تمتد تداعيات هذه النتيجة إلى ما وراء الفضول الأكاديمي. فالنماذج اللغوية تُستخدم بشكل متزايد لتلخيص المراجعات، وتحليل الملاحظات، ومعالجة شكاوى العملاء. فإذا قرأ نموذج مراجعة تقول إن المنتج "ليس جيدًا بل رائع"، فقد يسيء تفسير الثناء القوي كعبارة سلبية لأنه فشل في استيعاب الطبيعة التصحيحية للجملة. ويخلص الباحثون إلى أن التقييمات الحالية لهذه الأنظمة يجب أن تتضمن هذا النوع المحدد من التحدي اللغوي. فلا يكفي التحقق مما إذا كان النموذج يعرف أن "رائع" أقوى من "جيد"؛ بل يجب أيضًا اختبار ما إذا كان بإمكانه تطبيق تلك المعرفة عندما تنفي الجملة المصطلح الأضعف لتؤكد المصطلح الأقوى. وإلى أن تتمكن النماذج من التنقل بموثوقية عبر هذه التصحيحات، فإنها تخاطر بسوء قراءة نبرة وقصد التواصل البشري، محولةً الثناء العالي إلى نقد ومخطئةً في فهم الدقة التي تجعل اللغة قوية للغاية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.