💬 NLP

WUGNECTIVES: Novel Entity Inferences of Language Models from Discourse Connectives

تقدم هذه الورقة البحثية WUGNECTIVES، وهي مجموعة بيانات مصممة لتقييم كيفية استنتاج النماذج اللغوية لسمات الكيانات الجديدة من الروابط اللغوية، مما يكشف أنه بينما يحسن الضبط أداء الاستدلال، إلا أن النماذج تعاني باستمرار مع الروابط التنازلية.

المؤلفون الأصليون: Daniel Brubaker, William Sheffield, Junyi Jessy Li, Kanishka Misra

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Daniel Brubaker, William Sheffield, Junyi Jessy Li, Kanishka Misra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يفهم العالم. عادةً، نحن نختبر الروبوتات عبر إعطائها حقائق عن أشياء حقيقية (مثل "دبي حارة" و"نيويورك مثلجة") ثم نطلب منها اختيار كلمة الربط الصحيحة، مثل "بسبب" أو "على الرغم من". إذا أجابوا بشكل صحيح، نفترض أنهم يفهمون العالم.

لقد قلبت تجربة WUGNECTIVES هذا السيناريو. فبدلاً من السؤال، "هل تعرف العالم جيداً بما يكفي لاختيار الكلمة الصحيحة؟"، سأل الباحثون: "إذا كنت تعرف الكلمة الصحيحة، فهل يمكنك استنتاج كيف يبدو العالم؟"

للقيام بذلك، ابتكروا اختباراً يسمى WUGNECTIVES (وهو تلاعب لفظي بكلمة "Wug"، وهي كلمة وهمية تُستخدم في علم النفس لاختبار كيفية تعلم الأطفال للغة).

التجربة: اختبار "الكائنات الفضائية"

أعطى الباحثون نماذج الذكاء الاصطناعي جملًا عن أشياء وهمية ومخترعة (تسمى كلمات غير مسبوقة/nonce words) لم يسمع بها الذكاء الاصطناعي من قبل.

الإعداد: تخيل جملة مثل: "أنا أفضل الـ Wugs على الـ Daxes بسبب كرهي للشتاء الثلجي."
الفخ: لا يملك الذكاء الاصطناعي أي فكرة عما هو الـ "Wug" أو الـ "Dax". إنها غرباء تماماً.
المهمة: يجب على الذكاء الاصطناعي استخدام كلمة الربط (بسبب) لتخمين صفة من صفات الـ "Wug".
- المنطق: إذا كنت أكره الثلج، وأنا أفضل الـ "Wugs" بسبب ذلك، إذن يجب ألا يكون للـ "Wugs" شتاء ثلجي.
- الاختبار: سأل الباحثون الذكاء الاصطناعي: "هل الـ Wugs ثلجية؟" الإجابة الصحيحة هي "لا".

قاموا بهذا الاختبار باستخدام 8,880 جملة مختلفة باستخدام 41 كلمة ربط مختلفة (مثل بسبب، لذا، على سبيل المثال) و17 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي.

النتائج: "الكلمة السحرية" مقابل "الجدار السحري"

وجد الباحثون أن نماذج الذكاء الاصطناعي كانت جيدة بشكل مفاجئ في بعض أنواع المنطق، لكنها اصطدمت بجدار مسدود في أنواع أخرى.

1. "مسافرو الزمن" (الروابط الزمنية)
عندما كانت كلمات الربط تتعلق بالزمن (مثل قبل، بعد، ثم)، أدى الذكاء الاصطناعي عملاً رائعاً.

التشبيه: الأمر يشبه جدول مواعيد القطارات. إذا غادر القطار قبل الحافلة، فإن الذكاء الاصطناعي يعرف أن القطار كان أولاً. استطاع الذكاء الاصطناعي بسهولة معرفة ترتيب الأحداث حتى بالنسبة للأشياء الوهمية.

2. محققو "السبب والنتيجة" (روابط التبعية)
عندما كانت الكلمات تتعلق بالسبب والنتيجة (مثل بسبب، لذا، لذلك)، كان الذكاء الاصطناعي جيداً أيضاً.

التشبيه: إذا قلت "أنا مبتل بسبب هطول المطر"، يدرك الذكاء الاصطناعي أن المطر يسبب البلل. استطاع تطبيق هذا المنطق على أشياء وهمية مثل "أنا مبتل لأن المطر هطل على الـ Daxes".

3. جدار الـ "لكن" (روابط التناقض/الاستدراك)
هنا فشل الذكاء الاصطناعي فشلاً ذريعاً. عندما كانت كلمات الربط تعبر عن تناقض أو "مفاجأة" (مثل على الرغم من، مع أن، لكن)، ارتبك الذكاء الاصطناعي.

المشكلة: إذا قلت "على الرغم من كرهي للشتاء الثلجي، إلا أنني أفضل الـ Wugs"، يجب أن يدرك الذكاء الاصطناعي أن الـ Wugs يجب أن تكون ثلجية (لأن المتحدث يكره الثلج ومع ذلك يحب الـ Wugs).
النتيجة: خمنت نماذج الذكاء الاصطناعي خطأً باستمرار، وكان أداؤها في كثير من الأحيان لا يتعدى أداء قرد يرمي السهام على لوحة. بدا وكأنهم عالقون في جزء "الكره" وغير قادرين على معالجة جزء "لكن" لقلب المنطق.
التشبيه: إنه يشبه روبوتاً يفهم "إذا كان أ، فإن ب"، ولكنه ينهار تماماً عندما تقول له "حتى لو كان أ صحيحاً، فأنا لا أزال أريد ب". منطق "حتى لو" هو فجوة أساسية في قدرات هذه النماذج.

هل ساعدت "الأدمغة الأكبر"؟

اختبر الباحثون نماذج بأحجام مختلفة (من الصغيرة إلى الضخمة) وأنماط تدريب مختلفة:

الحجم: لم يساعد جعل النموذج أكبر في حل المشكلة. فالنماذج العملاقة عانت مع "على الرغم من" بقدر ما عانت النماذج الصغيرة.
ضبط التعليمات (Instruction Tuning): تعليم النموذج اتباع التعليمات (مثل "أجب بنعم أو لا") لم يحل المشكلة أيضاً.
ضبط الاستنتاج (Reasoning Tuning): كان هناك بصيص من الأمل. أحد أنواع النماذج المحددة (التي تدربت على "التفكير" خطوة بخطوة، مثل الإنسان الذي يحل مسألة رياضية) كان أفضل قليلاً. كان هو الوحيد الذي استطاع أحياناً فك الشفرة، رغم أنه لا يزال يعاني مع كلمات مثل "على الرغم من".

"فحص الواقع الحقيقي"

أخيراً، أعاد الباحثون الاختبار، ولكن هذه المرة باستخدام أشياء حقيقية (مثل "المانجو" و"الكرنب") بدلاً من الكلمات الوهمية.

النتيجة: أصبح الذكاء الاصطناعي أفضل بكثير.
لماذا؟ لأن الذكاء الاصطناዊ كان يعرف بالفعل من بيانات تدريبه أن "المانجو فاكهة" وأن "أنا أكره الخضروات الورقية". لم يكن عليه الاستنتاج عبر المنطق؛ بل كان فقط يتذكر الإجابة.
الخلاصة: أثبت هذا أن فشل الذكاء الاصطناعي مع الكلمات الوهمية لم يكن بسبب "غبائه" تجاه الكلمات نفسها، بل لأنه لم يستطع حقاً إجراء الاستنتاج المنطقي المطلوب لفهم وظيفة كلمات مثل "على الرغم من" في سياق جديد.

الملخص

يخلص البحث إلى أنه بينما يجيد الذكاء الاصطناعي استخدام كلمات الربط عندما يعرف الحقائق مسبقاً، فإنه سيء جداً في استخدام نفس تلك الكلمات لتعلم حقائق جديدة. يمكنهم اتباع وصفة طعام، لكن لا يمكنهم ابتكار طبق جديد. وتحديداً، يبدو أنهم يفتقرون إلى القدرة على فهم المنطق المعقد لـ "التناقض" (كلمات مثل على الرغم من)، وهو ما يظل عقبة رئيسية أمام جعل الذكاء الاصطناعي يفهم اللغة البشرية حقاً.

ملخص تقني: WUGNECTIVES

بيان المشكلة

ركزت الأبحاث السابقة في اللغويات الحاسوبية بشكل كبير على التنبؤ بروابط الخطاب (مثل: بسبب، بالرغم من، ومع ذلك) بناءً على حُجتين، وهي مهمة تعتمد بشدة على وصول النموذج إلى المعرفة بالعالم. تفترض هذه الورقة مشكلة عكسية: هل يمكن لروابط الخطاب نفسها أن تعمل كإشارات للنماذج اللغوية (LMs) لاستنتاج خصائص كيانات جديدة؟

بينما أظهرت النماذج اللغوية الحديثة براعة في استخدام الروابط بشكل صحيح عندما تكون خصائص المفاهيم المعنية معروفة، لا يزال من غير الواضح ما إذا كانت تمتلك فهماً وظيفياً مجرداً لهذه الروابط يسمح لها بالاستدلال على السمات الدلالية لكيانات جديدة (الكيانات التي ليس لها معرفة مسبقة بالعالم في معاملات النموذج). يتساءل المؤلفون: إلى أي مدى تقوم النماذج اللغوية بإجراء استنتاجات مجردة حول الكيانات الجديدة كما تقتضي الروابط التي تربط بينها؟

المنهجية

مجموعة البيانات: WUGNECTIVES

قدم المؤلفون WUGNECTIVES، وهي مجموعة بيانات مرجعية مصممة لعزل الدور الوظيفي لروابط الخطاب عن المعرفة بالعالم.

بناء المحفزات: تتكون مجموعة البيانات من 8,880 محفزاً فريداً مستمداً من 740 عبارة أساسية. تربط هذه العبارات كلمات مستحدثة (كلمات جديدة مثل Wugs، Daxes، Feps) بخصائص أو علاقات محددة عبر روابط الخطاب.
أنواع الكيانات: تشمل الكلمات المستحدثة ثلاث فئات: الجمع المجرد (مثل: Wugs)، الأحداث (مثل: Wugfest)، والمواقع (مثل: Wugsville).
أنواع الاستدلال: تم تصنيف المحفزات إلى ثلاث عائلات بناءً على الاستلزامات المرخصة:
1. الاستنتاج (Instantiation): تحديد ما إذا كان كيان معين عضو في فئة ما (مثلاً: "أنا أحب الـ feps مثل الـ blickets" $\leftarrow$ الـ blickets هي feps).
2. التفضيل (Preference): استنتاج خصائص كيان ما بناءً على تفضيل المتحدث ورابط سببي أو تنازلي (مثلاً: "بالرغم من أنني أكره الخضروات الورقية، إلا أنني أفضل الـ feps على الـ geks" $\leftarrow$ الـ feps هي خضروات ورقية).
3. الزمن (Temporal): تحديد ترتيب الأحداث (مثلاً: "Wugfest حدث حتى قبل Daxday" $\leftarrow$ Wugfest بدأ أولاً).
الروابط: تغطي مجموعة البيانات 41 شكلاً فريداً من الروابط عبر 7 معانٍ خطابية (بما في ذلك: التوسيع.الاستنتاج، الارتباط.السبب، المقارنة.التنازل، و الزمن.عدم التزامن).
التلقين (Prompting): يتم إدراج كل محفز في 12 قالب تلقين مختلف (حوارات سردية) لاختبار المتانة ضد تغييرات الصياغة.

الإعداد التجريبي

النماذج التي تم تقييمها: تم اختبار 17 نموذجاً لغوياً مفتوح المصدر، بما في ذلك:
- Qwen-2.5: خمسة مقاييس (من 500 مليون إلى 14 مليار معلمة)، تشمل النسخة الأساسية، والنسخة المضبطة للتعليمات، والنسخة المضبطة للاستدلال (Qwen2.5-DS، المستمدة من DeepSeek R1).
- OLMo-2: نسختان بحجم 1 مليار و7 مليارات (الأساسية والمضبطة للتعليمات).
- Llama 3.1: نسخة 8 مليارات (الأساسية والمضبطة للتعليمات).
مقياس التقييم: الدقة (نسبة الاستجابات الصحيحة)، مع تحديد أداء الصدفة عند 50% (اختيار ثنائي لـ "الاستنتاج/التفضيل"، أو الاختيار بين حدثين لـ "الزمن").
التحليل البعدي: أجريت تجربة ضبط (Control) استبدلت الكلمات المستحدثة بكيانات من العالم الحقيقي لقياس تأثير المعرفة بالعالم على الأداء.

النتائج الرئيسية

1. الأداء حسب المعنى الخطابي

التنازل (فشل منهجي): أدت جميع النماذج الـ 17 باستمرار إلى مستوى الصدفة (أو دونه) في الروابط التي تعبر عن معنى التنازل (مثل: بالرغم من، مع ذلك، رغم أن) . استمر هذا الفشل بغض النظر عن حجم النموذج، أو نظام التدريب، أو ما إذا كان الرابط في مقدمة الجملة أو غير ذلك. يشير هذا إلى صعوبة جوهرية في الاستدلال حول السمات الدلالية عندما يتم إنكار التوقع السببي.
الزمن والارتباط: أدت النماذج عموماً إلى أداء أعلى من الصدفة في الروابط الزمنية (مثل: قبل، بعد) والروابط السببية (مثل: بسبب، لذا). ومع ذلك، كان الأداء غير متسق، خاصة بين معاني الزمن الخاصة بـ الأسبقية و التتالي.
الاستنتاج: واجهت معظم النماذج صعوبة في روابط الاستنتاج (مثل: على سبيل المثال، مثل)، حيث كان أداؤها قريباً من مستوى الصدفة، باستثناء نموذج Qwen2.5-DS المضبط للاستدلال (دقة 82%).

2. تأثير حجم النموذج والتدريب

الحجم: لم يُلاحظ أي تأثير عالمي لمقياس عدد المعلمات. فالنماذج الأكبر ضمن نفس العائلة (مثل: OLMo-2، Llama) لم تتفوق باستمرار على نظيراتها الأصغر في المهام القائمة على الكلمات المستحدثة.
ضبط التعليمات (Instruction Tuning): لم تظهر النماذج المضبطة للتعليمات أي تحسن ثابت مقارنة بنظيراتها الأساسية.
الضبط القائم على الاستدلال: أظهر نموذج Qwen2.5-DS (المضبط على مسارات الاستدلال) أكبر التحسينات، حيث تفوق على النسخ الأساسية والمضبطة للتعليمات في معظم المعاني (باستثناء التنازل). يشير هذا إلى أن الضبط القائم على الاستدلال يساعد في الاستدلال المجرد.

3. التكرار والاستدلالات التقريبية (Heuristics)

تكرار الرابط: لم يكن هناك ارتباط معنوي بين تكرار الرابط في مجموعة بيانات Dolma وأداء النموذج، مما ينفي التفسيرات البسيطة القائمة على التكرار.
الاستدلالات التقريبية: أشار تحليل المحفزات الزمنية إلى أن النماذج قد تعتمد على استدلالات سطحية (مثل: "اختر الأول" أو "اختر الأحدث") لبعض الروابط، وخاصة روابط الأسبقية التي لا يمكن تقديمها في بداية الجملة. ومع ذلك، لم تفسر هذه الاستدلالات الفشل المنهجي في الروابط التنازلية.

4. التجربة البعدية (كيانات العالم الحقيقي)

عند استبدال الكلمات المستحدثة بكيانات من العالم الحقيقي، ارتفع أداء النماذج بشكل ملحوظ عبر جميع المعاني، وظهرت تأثيرات الحجم (النماذج الأكبر أدت بشكل أفضل). ومع ذلك، ظلت الروابط التنازلية هي المنطقة الأضعف، حتى مع تعزيز المعرفة بالعالم. وهذا يؤكد أن الصعوبة المتعلقة بالتنازل ليست ناتجة فقط عن نقص المعرفة بالعالم، بل تعكس قصوراً أعمق في الاستدلال حول هذه الإشارات اللغوية المحددة.

المساهمات الرئيسية والأهمية

تدعي الورقة المساهمات التالية:

عكس المهمة: نقلت التركيز من استخدام المعرفة بالعالم للتنبؤ بالروابط إلى استخدام الروابط لاستنتاج المعرفة بالعالم (تحديداً حول الكيانات الجديدة).
معيار WUGNECTIVES: توفر مجموعة بيانات مرجعية جديدة تعزل المعنى الوظيفي لروابط الخطاب عن المحتوى الدلالي للحجج، مما يسمح بتقييم أكثر دقة لقدرات الاستدلال المجرد للنماذج اللغوية.
تحديد نقاط الضعف المنهجية: يسلط العمل الضوء على نمط فشل قوي ومستمر في النماذج اللغوية الحالية: عدم القدرة على الاستدلال حول العلاقات التنازلية التي تتضمن كيانات جديدة. يشير هذا إلى أنه بينما قد تتعلم النماذج استخدام الروابط في السياقات المألوفة، فإنها تواجه صعوبة في تعميم المنطق الوظيفي المجرد للتنازل.
دور ضبط الاستدلال: تقدم الورقة دليلاً أولياً على أن الضبط القائم على الاستدلال (كما هو الحال في مشتقات DeepSeek R1) يحسن القدرة على الاستدلال من الروابط، بينما لا يفعل ذلك ضبط التعليمات القياسي.

القيود

يشير المؤلفون إلى عدة قيود:

الاعتماد على غير الروابط: لا تزال المحفزات تتطلب من النماذج فهم كلمات أخرى (مثل: يحب، يكره، يفضل)، مما يعني أن عزل معنى الرابط ليس مطلقاً.
القابلية للتدرج: إن افتراض أن الخصائص ثنائية (استلزام مقابل ضمني) هو أمر محل نقاش لبعض الخصائص.
جدة الكلمات: بما أن الكلمات المستحدثة تتكون من رموز فرعية (subtokens) موجودة بالفعل، فهي ليست "جديدة" حقاً بالنسبة لمفردات النموذج، وإن كان قد تم استخدام الموازنة للحد من هذا الانحياز.
مقارنة النماذج: إن مقارنة النماذج المضبطة للاستدلال (التي تولد مسارات استدلال) مباشرة مع النماذج الأساسية/المضبطة للتعليمات (التي تجيب مباشرة) يطرح تحفظات منهجية.

في الختام، يرى المؤلفون أن هذه النتائج تمهد الطريق لاستقصاءات أكثر دقة للأدوار الوظيفية للإشارات اللغوية، مما يشير إلى أن النماذج اللغوية الحالية لم تتقن تماماً الاستدلال المجرد المطلوب لتفسير الروابط في غياب المعرفة الراسخة بالعالم.