Stress Testing Factual Consistency Metrics for Long-Document Summarization

تخيل أن لديك كتاباً طويلاً ومعقداً للغاية — ربما يكون عقداً قانونياً، أو ورقة علمية، أو رواية خيالية. تطلب من حاسوب ذكي (ذكاء اصطنا-عي) أن يكتب ملخصاً قصيراً لهذا الكتاب. يبدو الملخص سلساً ومهنياً، ولكن هل أخبر الكمبيوتر الحقيقة فعلاً، أم أنه اختلق أشياءً من عنده؟

هذه الورقة البحثية هي بمثابة "اختبار جهد" للأدوات التي نستخدمها للتحقق مما إذا كانت تلك الملخصات حقيقية. أراد المؤلفون، زين محمد مجاهد، دستين رايت، وإيزابيل أوغنشتاين، معرفة ما إذا كانت "أجهزة كشف الحقيقة" الحالية تعمل جيداً عندما تكون المادة المصدر ضخمة ومعقدة.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

المشكلة: كواشف "القصص القصيرة"

لدينا حالياً عدة أدوات تلقائية (مقاييس) مصممة للتحقق مما إذا كان الملخص واقعياً. فكر في هذه الأدوات كأنها حراس أمن في متحف.

• المشكلة: تم تدريب هؤلاء الحراس على لوحات صغيرة وبسيطة (وثائق قصيرة).
• التحدي: الآن، نحن نطلب منهم حراسة كاتدرائية ضخمة ومترامية الأطراف تحتوي على آلاف النوافض الزجاجية الملونة (وثائق طويلة). اشتبه المؤلفون في أن هؤلاء الحراس قد يصابون بالارتباك، أو يفقدون التفاصيل، أو يصابون بالذعر عندما يكون المبنى كبيراً جداً.

التجربة: اختبار "تغيير الشكل"

لاختبار هؤلاء الحراس، لم يكتفِ الباحثون بالنظر إلى الملخصات فحسب؛ بل تلاعبوا بها. أخذوا ملخصاً صحيحاً بنسبة 100% وأجروا عليه تغييرات صغيرة غير ضارة، مثل ساحر يغير لون بطاقة دون تغيير قيمتها.

استخدموا سبعة خدع مختلفة:

1. إعادة الصياغة: إعادة كتابة الجمل بكلمات مختلفة.
2. التبسيط: جعل الجمل المعقدة أسهل في القراءة.
3. تبديل المرادفات: استبدال الكلمات بمرادفاتها (مثل: "كبير" إلى "ضخم").
4. النفي: قلب المنطق (مثل: "ليس صحيحاً أنه لم يذهب" بدلاً من "هو ذهب").
5. الضغط: جعل الملخص أقصر حتى.
6. تقليل المفردات: استخدام كلمات أقل وأبسط.
7. إضافة الضجيج: إدراج جملة صحيحة عشوائية من الكتاب الأصلي لا تتناسب مع الفكرة الرئيسية للملخص.

الهدف: إذا كان كاشف الحقيقة جيداً، فيجب أن يعطي نفس الدرجة للملخص الأصلي والنسخة الملتوية، لأن الحقائق لم تتغير. إذا قفزت الدرجة صعوداً وهبوطاً بشكل عشوائي، فهذا يعني أن الكاشف غير موثوق.

النتائج: الحراس يتعثرون

اختبر الباحثون ستة من أشهر أجهزة كشف الحقيقة عبر ثلاثة أنواع من الوثائق الطويلة: الخيال العلمي (قصص)، القانوني (أحكام قضائية)، والعلمي (أوراق بحثية).

إليك ما وجدوه:

1. فخ "السطحية"
معظم الكواشف يسهل خداعها بالتغييرات السطحية.

• تشبيه: تخيل حارساً يتحقق فقط مما إذا كان الشخص يرتدي قبعة حمراء. إذا استبدلت القبعة الحمراء بأخرى زرقاء (حتى لو كان هو نفس الشخص)، سيقول الحارس: "غير مسموح به!".
• النتيجة: عندما غير الباحثون الصياغة أو بسطوا الجمل، أعطت الكواشف درجات مختلفة تماماً. بعض الكواشف كرهت اللغة القانونية؛ وبعضها عانى مع المصطلحات العلمية. لقد كانوا يتفاعلون مع كيفية ظهور الكلمات، وليس مع ما تعنيه.

2. مشكلة "الإبرة في كومة القش"
الوثائق الطويلة تحتوي على معلومات منتشرة في كل مكان.

• تشبيه: إذا كنت تبحث عن حقيقة معينة في كتاب مكون من 500 صفحة، فقد يسحب ملخص قصير تلك الحقيقة من الصفحة 10، والصفحة 200، والصفحة 400.
• النتيجة: عانت الكواشف عندما اعتمدت جملة في الملخص على معلومات من أجزاء مختلفة من الكتاب. لقد ارتبكت الكواشف عندما كانت الأدلة "متشابكة" أو موزعة. كانت تعمل بشكل أفضل عندما تكون الأدلة متجاورة.

3. مشكلة "نافذة السياق"
للتحقق من جملة في الملخص، تحتاج الكواشف إلى النظر في النص الأصلي.

• تشبيه: تخيل محاولة فهم نكتة من خلال قراءة الخاتمة فقط. أنت بحاجة إلى التمهيد (السياق) لتفهمها.
• النتيجة: عندما أعطى الباحثون الكواشف "رؤية" أوسع للنص الأصلي (سياق أكثر)، تحسنت بعض الكواشف في عملها. ومع ذلك، حتى مع وجود سياق أكثر، لم يكن أي منها مثالياً. بعض الكواشف (مثل SummaC) بدت وكأنها تتجاهل السياق الإضافي تماماً، متمسكة برؤيتها الضيقة.

4. الفرق بين "القانوني" و"القصصي"

• النص القانوني: كانت الكواشف أكثر عدم استقرار هنا. اللغة القانونية دقيقة ومنطقية. تغيير كلمة واحدة أو هيكل واحد (مثل النفي) جعل الكواشف تصاب بالذعر.
• الخيال العلمي: كانت الكواشف أكثر استقراراً قليلاً ولكنها ظلت غير متسقة.
• الأوراق العلمية: من المثير للاهتمام، عندما جاء الملخص من وثائق متعددة، كانت الكواشف أكثر استقراراً. يبدو أن وجود معلومات مكررة (نفس الحقيقة مكررة في أوراق مختلفة) ساعد الكواشف على الشعور بمزيد من الثقة.

الخلا الخلاصة: نحن بحاجة إلى أدوات أفضل

تخلص الورقة البحثية إلى أن "أجهزة كشف الحقيقة" الحالية هشة. إنها مثل ميزان يعطيك وزناً مختلفاً في كل مرة تقف عليه، حتى لو لم تتحرك.

• إنها تفشل عندما تتم إعادة صياغة الملخص.
• إنها تفشل عندما تتوزع الحقائق عبر وثيقة طويلة.
• إنها تفشل عندما يصبح المنطق معقداً (مثل النفي المزدوج).

الخلاصة: لا يمكننا الوثوق بهذه الأدوات للتحقق تلقائياً من الملخصات الطويلة بعد. ولإصلاح ذلك، نحتاج إلى أدوات جديدة يمكنها:

1. الاستنتاج عبر الكتاب بأكمله (وليس فقط النظر في جملة واحدة في كل مرة).
2. فهم المعنى بغض النظر عن كيفية ترتيب الكلمات.
3. التعامل مع "الفوضى" للوثائق الطويلة والمعقدة دون ارتباك.

لقد أطلق المؤلفون الكود الخاص بهم وبياناتهم حتى يتمكن الآخرون من محاولة بناء هذه الكواشف الأفضل والأكثر قوة.