A graph-based analysis of semantic types and coercion in contextualized word embeddings

ملخص تقني: تحليل قائم على الرسوم البيانية للأنواع الدلالية والإكراه في تضمينات الكلمات السياقية

بيان المشكلة
يعد عدم التطابق في النوع الدلالي بين الاسم وسياقه أمراً مركزياً في ظاهرة لغوية تُعرف بـ "الإكراه" (coercion)، حيث يتعارض النوع الدلالي المعجمي للاسم مع النوع الذي يتطلبه السياق المحيط (على سبيل المثال، "finish the pizza"، حيث أن pizza هي طعام ولكن finish عادة ما تختار نشاطاً). وبينما اقترحت الأطر النظرية مثل "المعجم التوليدي" (Generative Lexicon) و"منطق تركيب الأنواع" (Type Compositional Logic) آليات لحل حالات عدم التطابق هذه، إلا أن العمل الحسابي الذي يشغل هذه النظريات بشكل مباشر لا يزال نادراً. تركز الدراسات الحالية على نماذج اللغات مسبقة التدريب (PLMs) بشكل كبير على مهام التنبؤ بالكلمات للكشف عن الأحداث المستترة في الإكراه، مما يؤدي غالباً إلى نتائج غير متسقة. تبحث هذه الورقة في سؤال مختلف: كيف تنعكس المعلومات المتعلقة بالأنواع الدلالية في تضمينات الكلمات السياقية لنماذج الأسماء، وتحديداً من خلال التمييز بين التنبؤ النمطي (المطابقة) والإكراه (عدم التطابق)؟

المنهجية
يقترح المؤلفون تحليلاً قائماً على الرسوم البيانية لتضمينات الكلمات السياقية لفحص توزيع الأنواع الدلالية في جوار حالات الأسماء.

1. بناء مجموعة البيانات:

   • الأنواع الدلالية: تم اختيار عشرة أنواع دلالية: حيوان (animal)، أداة (artifact)، نشاط (activity)، طعام (food)، إنسان (human)، معلومة (info)، موقع (location)، حالة مزاجية (mood)، عملية (process)، حالة (state). تشكل هذه الأنواع تسلسلاً هرمياً مفاهيمياً يتوافق مع "الأنواع العليا" (supersenses) في WordNet.
   • الحالات: تم استخراج 20 جملة لكل اسم من مجموعة بيانات BookCorpus لـ 5 إلى 10 أسماء شائعة لكل نوع.
   • الوسم (Annotation): تم وسم الجمل بـ النوع المعجمي (lt) (النوع الأصيل للاسم) والنوع السياقي (ct) (النوع الذي يتطلبه السياق، ويُستنتج عن طريق إخفاء الاسم).
   • الفئات: تم تصنيف الجمل إلى أربعة أنواع:
     • المطابقة (MATCHING): حيث $lt = ct$ (مثل "eating a pizza").
     • الإكراه (COERCION): حيث $lt \neq ct$ بسبب اختيار المسند (مثل "the stadium was roaring").
     • عدم تطابق آخر (OTHER_MISMATCH): حيث $lt \neq ct$ بسبب الاستعارة أو الكناية.
     • غير المقيد (UNRESTRICTED): حيث $ct = \emptyset$ (السياق لا يفرض نوعاً محدداً).

2. التضمينات وبناء الرسم البياني:

   • النماذج: تم استخدام نموذجين: نموذج BERT القياسي (base, uncased) ونموذج BERT المعزز دلالياً (sense-enhanced BERT) (الذي تم ضبطه بدقة على SemCor باستخدام تسميات WordNet supersense).
   • الإخفاء (Masking): لعزل المعلومات السياقية عن المعلومات المعجمية، تم استبدال الكلمات المستهدفة برموز [MASK].
   • الرسوم البيانية: تم إنشاء أربعة رسوم بيانية موجهة ($G_b, G_s, G_{mb}, G_{ms}$) بناءً على تشابه جيب التمام (cosine similarity) بين تضمينات الكلمات (متوسط آخر 4 طبقات). تربط الحواف أقرب $k=10$ جيران من الكلمات المستهدفة المختلفة لتجنب التداخل المعجمي.

3. المقاييس المقترحة:

   • احتمالية نوع الجار (NTP): تقيس نسبة الجيران الذين ينتمون إلى نوع دلالي محدد.
     • NTMRL (المعجمي): $NTP(lt, v)$
     • NTMRC (السياقي): $NTP(ct, v)$
   • اعتلاج نوع الجار (NTE): يقيس تنوع الأنواع الدلالية بين الجيران. يشير الاعتلاج المنخفض إلى أن الجيران يتشاركون نفس النوع؛ بينما يشير الاعتلاج العالي إلى أنواع متنوعة.

النتائج الرئيسية

• جودة التضمين: تعكس الرسوم البيانية المنشأة باستخدام التضمينات المعززة دلالياً ($G_s, G_{ms}$) معلومات النوع الدلالي بشكل أفضل بكثير من رسوم BERT القياسية. على سبيل المثال، في جمل المطابقة (MATCHING)، زاد متوسط NTMRL لأنواع الأدوات (artifact) والإنسان (human) بشكل كبير في $G_s$ مقارنة بـ $G_b$.
• الانعكاس المعجمي مقابل السياقي:
  • تعكس الرسوم البيانية غير المخفية ($G_b, G_s$) بشكل أساسي الأنواع المعجمية. في جمل الإكراه (COERCIION)، لا يزال الجيران يتشاركون في الغالب النوع المعجمي للاسم بدلاً من النوع السياقي، مما يشير إلى أن التضمينات تحتفظ بالنوع الأصلي للاسم حتى في سياقات عدم التطابق.
  • تُظهر الرسوم البيانية المخفية ($G_{mb}, G_{ms}$) حساسية أعلى للأنواع السياقية، رغم أن الإشارة تظل جزئية (NTMRC < 0.5).
• التمييز بين أنواع الجمل عبر الاعتلاج (NTE):
  • تُظهر جمل المطابقة (MATCHING) اعتلاجاً منخفضاً (الجيران يتشاركون نفس النوع).
  • تُظهر الجمل غير المقيدة (UNRESTRICTED) أعلى مستويات الاعتلاج (الجيران متنوعون للغاية).
  • تُظهر جمل الإكراه (COERCION) سلوكاً متوسطاً. في الرسوم البياسية المخفية ($G_{mb}, G_{ms}$)، تمتلك جمل الإكراه اعتلاجاً أقل بكثير من الجمل غير المقيدة، ولكنها أعلى من جمل المطابقة. يشير هذا إلى أنه على الرغم من أن حالات الإكراه لا تتحول بالكامل إلى النوع السياقي، إلا أنها تُظهر تنوعاً في الأنواع أكثر من حالات المطابقة القياسية.
• التسلسل الهرمي للأنواع: كشف تحليل NTP على $G_s$ عن تقاربات تصنيفية (على سبيل المثال، تشكل العملية (process) والحالة (state) والحالة المزاجية (mood) عن مجموعة واحدة؛ والمعلومة (info) قريبة من الحالة المزاجية (mood))، مما سمح باستنتاج تسلسل هرمي جديد للأنواع الدلالية.

الأهمية والادعاءات
تدعي هذه الورقة أنها الدراسة الأولى التي تركز على علاقات الأنواع الدلالية والإكراه على مستوى التمثيل للتضمينات السياقية، بدلاً من الاعتماد فقط على مهام التنبؤ بالكلمات.

• المساهمة المنهجية: تنجح مقاييس الرسم البياني المقترحة (NTP و NTE) في التمييز بين الجمل المتطابقة، والمكرهة، وغير المقيدة.
• الرؤية النظرية: تشير النتائج إلى أنه في حالة الإكراه، لا يتم محو النوع المعجمي تماماً بواسطة السياق؛ بل يعكس هيكل الرسم البياني توازناً حيث يظل النوع المعجمي مهيمناً في التضمينات غير المخفية، بينما تلتقط التضمينات المخفة التحول السياقي جزئياً.
• الإمكانات المستقبلية: يشير المؤلفون بتواضع إلى أنه مع مجموعات بيانات أكبر، يمكن لطريقتهم استنتاج التسلسلات الهرمية للأنواع الدلالية تلقائياً والكشف باستمرار عن جمل عدم التطابق. كما يشيرون إلى إمكانية استكشاف التمييز بين الإكراه وآليات عدم التطابق الأخرى (الاستعارة/الكناية) في حال توفر بيانات كافية.

تخلص الدراسة إلى أن التضمينات المعززة دلالياً توفر تمثيلاً أغنى للأنواع الدلالية، وأن التحليل القائم على الرسوم البيانية المقترح يقدم أداة فعالة لاستقصاء كيفية تفاعل المعلومات المعجمية والسياقية داخل نماذج اللغات مسبقة التدريب (PLMs).