Not Worth Mentioning? A Pilot Study on Salient Proposition Annotation
تقدم هذه الورقة دراسة استطلاعية تعمل على تشغيل بروز القضية المتدرج من خلال تحديد مهمة وسم، وتطبيقها على مجموعة بيانات متعددة الأنواع، وتقييم علاقتها الأولية بمركزية الوحدة الخطابية في نظرية البنية الخطابية.
تخيل أنك أمين مكتبة تحاول تلخيص مكتبة ضخمة وفوضوية لزائر لا يملك سوى خمس دقائق. أنت تعلم أن الزائر يحتاج إلى الأجزاء "الأكثر أهمية" من القصة. ولكن الجزء الصعب هنا هو: ما الذي يُعتبر "مهماً" في الواقع؟
لعقود من الزمن، حاول علماء الكمبيوتر تعليم الآلات كيفية اختيار هذه الأجزاء المهمة (وهي مهمة تسمى التلخيص الاستخراجي). ومع ذلك، فقد ركزوا في الغالب على اختيار جمل كاملة. لم يتمكنوا حقاً من قياس مدى أهمية أفكار (أو "قضايا") معينة داخل تلك الجمل، خاصة عندما يتعاملون مع الواقع الفوضوي للكتابة البشرية الحقيقية.
هذه الورقة البحثية تشبه اختباراً تجريبياً لطريقة جديدة لتقييم تلك الأفكار. إليك التفاصيل باستخدام تشبيهات بسيطة:
١. الطريقة القديمة مقابل الطريقة الجديدة
الطريقة القديمة (مفتاح "نعم/لا"): في السابق، كان الباحثون ينظرون فيما إذا كانت الفكرة قد ذُكرت في الملخص أم لا. كان الأمر يشبه مفتاح الضوء: إما أن الفكرة موجودة في الملخص (تشغيل) أو ليست موجودة (إيقاف).
المشكلة: الملخصات ذاتية وتعتمد على وجهة النظر. فقد يكتب شخص ما ملخصاً يركز على "من" (الشخصيات)، بينما يركز آخر على "لماذا" (الأسباب). إذا كان لديك ملخص واحد فقط، فستكون بياناتك منحازة.
الطريقة الجديدة (مفتاح التعتيم/التحكم في السطوع): استعار المؤلفون (أمير، كاثرين، ولورين) حيلة من دراسة سابقة حول الأشخاص (الكيانات). بد instead من ملخص واحد، استخدموا خمسة ملخصات مختلفة لنفس النص.
إذا ظهرت الفكرة في جميع الملخصات الخمسة، فهي نجمة خارقة (بارزة جداً).
إذا ظهرت في ملخصين، فهي شخصية مساعدة (بارزة بدرجة متوسطة).
إذا ظهرت في صفر من الملخصات، فهي مجرد شخصية ثانوية في الخلفية (غير بارزة).
هذا يخلق تدرجاً (مثل مفتاح التعتيم) بدلاً من مجرد مفتاح تشغيل/إيقاف بسيط.
٢. التجربة: تفكيك النص إلى "طوب"
للقيام بذلك، تعين على الفريق تفكيك ٣٢ نصاً مختلفاً (تتراوح بين المقالات الإخبارية، محاضر المحاكم، مدونات الفيديو، والكتب المدرسية) إلى قطع صغيرة سهلة الإدارة تسمى القضايا (propositions).
التشبيه: فكر في النص كجدار مصنوع من الطوب. بعض الطوب عبارة عن جمل كاملة، وبعضها مجرد أجزاء (مثل العناوين). استخدم الفريق خريطة موجودة مسبقاً (تسمى نظرية البنية الخطابية - RST) لتقرير أين ينتهي "طوبة" وتبدأ التي تليها.
المهمة: طلبوا من المدققين البشريين النظر إلى كل "طوبة" وسؤال أنفسهم: "هل تظهر هذه الفكرة المحددة في أي من الملخصات الخمسة؟"
الجزء الصعب: في بعض الأحيان، يذكر الملخص نتيجة فكرة ما دون استخدام نفس الكلمات تماماً. كان على الفريق أن يقرر ما إذا كان ذلك يُعد "تطابقاً" أم مجرد "تلميح". الأمر يشبه إدراك أن جملة "الملك مات" وجملة "العرش شاغر" تتحدثان عن نفس الحدث، رغم اختلاف الكلمات.
٣. هل نجح الأمر؟ (اختبار الاتفاق)
عندما تطلب من البشر الحكم على الأهمية، فإنهم غالباً ما يختلفون.
النتيجة: وجد الفريق أنه بينما لم يتفق البشر بنسبة ١٠٠٪ (وهو أمر طبيعي)، إلا أنهم اتفقوا بشكل أفضل بكثير من العشوائية.
مشكلة "التكرار": كان المصدر الأكبر للاختلاف هو عندما تقول جملتان مختلفتان الشيء نفسه تماماً. إذا اختار أحد المدققين الجملة (أ) واختار آخر الجملة (ب)، كان على النظام أن يقرر: هل هذا خلاف في الرأي، أم أنهما مجرد شخصين اختارا "نسخاً مكررة" لنفس الفكرة المهمة؟ بمجرد أن أخذوا هذا في الاعتبار، ارتفع مستوى الاتفاق بشكل كبير.
٤. الارتباط بـ "الشجرة"
أراد الباحثون أيضاً معرفة ما إذا كان "درجة الأهمية" الجديد الخاص بهم يتوافق مع كيفية تحليل اللغويين عادةً لبنية النصوص (باستخدام ما يسمى أشجار RST).
التشبيه: تخيل شجرة عائلة. "الجذر" هو الموضوع الرئيسي في الأعلى، وتتفرع منه أغصان نحو التفاصيل الأصغر.
النتيجة: وجدوا أن الأفكار الأقرب إلى "الجذر" (الموضوع الرئيسي) كانت بالفعل أكثر عرضة للظهور في الملخصات. ومع ذلك، لم يكن هذا هو العامل الوحيد؛ إذ لعبت طول الجمل، وأنواع العلاقات بين الأفكب، وموقع الجملة في النص، دوراً أيضاً.
اختبار الواقع: حتى مع كل هذه القرائن، استطاع نموذج الكمبيوتر الخاص بهم التنبؤ بالأهمية بنسبة ٧٤٪ فقط تقريباً. وهذا يخبرنا أن الحكم البشري على الأهمية لا يزال معقداً للغاية ويصعب أتمتته بشكل مثالي.
٥. لماذا يهم هذا؟
هذه الورقة هي نموذج أولي. إنها تشبه بناء نموذج صغير لطائرة بلاستيكية لاختبار الديناميكا الهوائية قبل بناء طائرة نفاثة حقيقية.
الهدف: هم يبنون مجموعة بيانات وأداة (واجهة تدقيق) حتى يتمكن الكمبيوتر في المستقبل من تعلم لماذا تعد الفكرة مهمة، وليس فقط أنها مهمة.
المستقبل: يخططون لاستخدام هذه البيانات لتدريب الذكاء الاصطناعي (النماذج اللغوية الكبيرة) ليصبح أفضل في التلخيص، بحيث عندما تطلب من الذكاء الاصطناعي "تلخيص هذا"، فإنه لا يكتفي بجلب جمل عشوائية، بل يفهم فعلياً جوهر السرد.
باختصار
يحاول المؤلفون تعليم الكمبيوتر فهم الفروق الدقيقة. بدلاً من مجرد السؤال "هل هذه الجملة موجودة في الملخص؟"، هم يسألون "كم مرة تظهر هذه الفكرة المحددة عبر ملخصات مختلفة؟". لقد صنعوا مسطرة قياس جديدة، واختبروها على مجموعة صغيرة من النصوص، ووجدوا أنه بينما هي أداة واعدة، فإن تعليم الآلات استيعاب الأهمية البشرية حقاً لا يزال عملاً قيد التطوير.
إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل تستحق الذكر؟ دراسة استطلاعية حول وسم البروز الاقتراحي" (Not Worth Mentioning? A Pilot Study on Salient Proposition Annotation) من إعداد زيلديس، وكونهايم، وليفين.
1. بيان المشكلة
بينما يمتلك التلخيص الاستخراجي تاريخًا طويلاً في السعي لاستعادة أهم الاقتراحات (propositions) في النص، إلا أن هناك فجوة كبيرة في الأبحاث المتعلقة بـ تشغيل وقياس بروز الاقتراح المتدرج (graded proposition salience) في البيانات الطبيعية.
الفجوة: على عكس بروز الكيانات (entity salience)، الذي تم تشغيله عبر مقاييس تعتمد على الملخصات (مثل تكرار الذكر عبر ملخصات متعددة)، يفتقر بروز الاقتراح إلى مقياس متدرج ثابت.
التحدي: تعتمد الطرق الحالية غالبًا على تسميات ثنائية (مذكور/غير مذكور) أو تعاني من عدم الاستقرار بسبب ذاتية الملخصات الفردية. هناك حاجة إلى منهجية تقيس مدى بروز الاقتراح بناءً على وجوده عبر ملخصات متعددة أعدها البشر.
2. المنهجية
قام المؤلفون بتكييف منهجية استُخدمت سابقًا لـ استخراج الكيانات البارزة (SEE) (لين وزيلديس، 2025) وتطبيقها على الاقتراحات.
مصدر البيانات
المتن (Corpus): متن GUM (زيلديس، 2017)، وتحديدًا مجموعة الاختبار التي تضم 32 وثيقة عبر 16 نوعًا أدبيًا (نصوص منطوقة ومكتوبة بالإنجليزية).
النطاق: حوالي 30,000 توكن، 3,779 وحدة خطاب أولية (EDUs)، وحوالي 19,000 محاذاة بين الاقتراح والملخص.
الملخصات: لكل وثيقة خمسة ملخصات متميزة كتبها بشر، مما يسمح بوجود مقياس متدرج.
مهمة التوسيم (Annotation Task)
تتضمن عملية التوسيم ثلاث خطوات:
تحديد العلامات الاقتراحية (Proposition Markables): يستخدم المؤلفون الوحدات الخطابية الأولية (EDUs) من نظرية البنية الخطابية (RST) كوحدات ذرية للاقتراحات. يضمن هذا نهج "التبليط" (tiling) حيث ينتمي كل لفظ إلى اقتراح واحد بالضبط. يمكن أن تتراوح وحدات الـ EDUs من جمل كاملة إلى شذرات (مثل العناوين) ويمكن أن تكون غير متصلة.
المحاذاة (Alignment): يقوم الموسمون بمحاذاة الاقتراحات مع الملخصات الخمسة باستخدام نظام حكم هرمي:
مطابقة قوية (Strong Match): يشير الملخص صراحةً إلى نفس الحدث/المسند أو الكيان.
محاذاة تقريبية (Approximate Alignment): الاقتراح غير مذكور صراحة، ولكنه ضروري لمحتوى الملخص (على سبيل المثال، يذكر الملخص وقتًا، مما يستدعي اقتراحًا يحتوي على ذلك الوقت).
المحفز الطبيعي (Normal Trigger): معلومات منقولة بشكل مباشر.
محاذاة المكونات (Component Alignment): يلخص الملخص معلومات من اقتراحات متعددة (على سبيل المثال، تلخيص "خيبة الأمل" بناءً على عبارات محددة متعددة في النص).
التكرارات (Duplicates): اقتراحات متعددة تقدم نفس المعلومات البارزة (الترادف).
التسجيل (Scoring): يتم حساب البروز كدرجة متدرجة بناءً على عدد الملخصات (من أصل 5) التي يظهر فيها الاقتراح أو يحفز محتواها.
الأدوات
تم تطوير واجهة توسيم مخصصة لتسهيل هذه المهمة، مما يسمح للموسمين بتظليل وحدات الـ EDUs المحددة مسبقًا وتصنيف المحاذات (مطابقة، تقريبية، مكونات، تكرارات) لكل ملخص على حدة.
3. المساهمات الرئيسية
تعريف بروز الاقتراح المتدرج: إطار عمل جديد لتكميم أهمية الاقتراح بناءً على المحاذاة مع الملخصات المتعددة، متجاوزًا التصنيف الثنائي.
مجموعة بيانات تجريبية: مجموعة بيانات جديدة للاقتراحات البارزة المحاذية للملخصات مع بيانات وصفية غنية (المحفزات التقريبية، المكونات، التكرارات) عبر 16 نوعًا أدبيًا.
تحليل الارتباط: دراسة أولية تربط مقياس البروز الجديد بـ مركزية RST (عمق تعشيق الوحدة الخطابية).
4. النتائج
الاتفاق بين الموسمين (Inter-Annotator Agreement)
الاتفاق الصارم: كان الاتفاق الأولي متوسطًا (كوهين كابا κ≈0.65).
السيناريوهات الأكثر تسامحًا: تحسن الاتفاق بشكل ملحوظ عند مراعاة طبيعة المهمة:
عند معاملة الوحدات "المكررة" كأنها قابلة للتبادل، ارتفع κ إلى 0.84.
تجاهل الخلافات حول محاذات "المكونات" (وهي ذاتية بطبيعتها) أدى إلى تحسين المقاييس بشكل أكبر.
الملاحظة: نشأت الخلافات غالبًا من التداخل اللفظي مقابل المرجعية المتطابقة (على سبيل المثال، اختيار عبارة فعلية محددة مقابل مفهوم عام) والتعامل مع مكونات الشذرات.
توزيع البروز
على عكس بروز الكيانات (الذي يتبع توزيعًا على شكل حرف U)، يتبع بروز الاقتراح مدرجًا تكراريًا تنازليًا.
تظهر أكبر مجموعة من الاقتراحات البارزة في ملخص واحد فقط من الخمسة، مما يشير إلى تباين عالٍ بين الملخصات على مستوى الاقتراح مقارنة بمستوى الكيان.
الارتباط مع مركزية RST
استقصى المؤلفون ما إذا كانت مركزية RST (المسافة من جذر الشجرة) تتنبأ بالبروز:
الارتباط: وُجد ارتباط سلبي معنوي (r2=−0.287,p<0.0001)، مما يعني أن الوحدات الأقرب إلى الجذر (الأكثر مركزية) تميل إلى أن تكون أكثر بروزًا.
العوامل المربكة: يتأثر الارتباط بـ:
الموقع: الوحدات المبكرة في المستند هي الأكثر عرضة للبروز.
الطول: الوحدات الـ EDUs الطويلة والجمل الكاملة تتداخل أكثر مع الملخصات من العبارات القصيرة.
نوع العلاقة: الأدوار الخطابية (مثل السبب، الغرض) تؤثر على البروز.
أداء النموذج: أكد نموذج التأثيرات المختلطة أن المركزية هي أقوى مُتنبئ بالبروز. ومع ذلك، حقق النموذج ملاءمة ضعيفة (إلى حد ما r2=0.128) ودقة تصنيف ثنائي بلغت 73.98% (أفضل قليلاً من خط الأساس للأغلبية البالغ 72.33%). وهذا يشير إلى أنه بينما تهم المركزية، إلا أنها ليست المحدد الوحيد للبروز.
5. الأهمية والعمل المستقبلي
الأثر النظري: تتحدى هذه الدراسة الافتراض بأن المركزية الخطابية (RST) هي بديل مثالي للبروز المعلوماتي، مما يسلط الضوء على تعقيد اختيار الاقتراحات في التلخيص.
التطبيق العملي: توفر مجموعة البيانات والإرشادات معيارًا لتدريب وتقييم نماذج معالجة اللغات الطبيعية (بما في ذلك النماذج اللغوية الكبيرة LLMs) في مهام البروز المتدرج.
الاتجاهات المستقبلية: يخطط المؤلفون لتوسيم متن GUM الكامل (باستخدام المساعدة من NLP/LLM لمجموعة التدريب) وتنقيح الإرشادات بناءً على عمليات التحكيم لتحسين الاتساق. الهدف النهائي هو تطوير استراتيجيات توجيه (prompting) لمجموعات النماذج اللغوية الكبيرة (LLM ensembles) للاقتراب من أداء المستوى البشري في تحديد الاقتراحات البارزة.
الخلاصة: نجحت الورقة البحثية في تشغيل مقياس متدرج لبروز الاقتراح، موضحين أنه على الرغم من صعوبة المهمة وتفاوت الموسمين، إلا أنها ممكنة وتقدم رؤى قيمة حول العلاقة بين البنية الخطابية والأهمية المعلوماتية.