Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics
تقدم هذه الورقة مسار تدريب مؤتمت يعمل على تحسين الاتساق الواقعي في التلخيص من خلال تجميع درجات من مقاييس متعددة غير كاملة لبناء مجموعة بيانات تفضيل عالية الجودة، مما يمكّن النماذح بمختلف أحجامها من التعلم من الفروق اللفظية الدقيقة دون الحاجة إلى تشكيل مكافأة معقد.
المؤلفون الأصليون:Yuxuan Ye, Raul Santos-Rodriguez, Edwin Simpson
تخيل أن لديك طالباً ذكياً جداً ولكنه مغرور أحياناً (نموذج لغوي يعتمد على الذكاء الاصطناعي)، وهو بارع في كتابة قصص منسابة، لكنه يقع أحياناً في فخ اختلاق حقائق تبدو حقيقية ولكنها ليست كذلك. هذه مشكلة كبيرة عندما يُطلب منه تلخيص مقالات إخبارية، لأن الخطأ في الحقائق قد يكون مضللاً.
تقترح هذه الورقة البحثية طريقة جديدة لتدريب هذا الطالب ليكون أكثر أمانة، دون الحاجة إلى معلم بشري يصحح كل واجب من واجباته. وإليك كيف فعلوا ذلك، مشروحاً ببساطة:
١. المشكلة: "القاضي المعيب"
عادةً، لتدريب الذكاء الاصطناعي، تحتاج إلى "إشارة مكافأة" — طريقة لتقول له: "عمل جيد!" أو "عمل سيء!".
الطريقة القديمة: حاول الباحثون استخدام أدوات مؤتمتة (مقاييس) لتقييم ملخصات الذكاء الاصطناعي. لكن هذه الأدوات تشبه القضاة غير المتقنين. فقد يرى أحد القضاة أن الملخص رائع، بينما يراه آخر سيئاً للغاية. إذا استمعت إلى قاضٍ واحد فقط، سيصاب الذكاء الاصطناعي بالارتباك. وإذا حاولت دمجهم يدوياً، فسيصبح الأمر فوضوياً ويتطلب الكثير من التدخل البشري.
الطريقة البشرية: يمكنك توظيف بشر لتقييم العمل، لكن ذلك مكلف وبطيء، والبشر أحياناً يغفلون عن الأخطاء الحقيقية الصغيرة لأنهم يركزون على مدى "جمال" القصة أو أسلوبها.
٢. الحل: "لجنة من القضاة" مع حق النقض (Veto)
ابتكر المؤلفون نظاماً مؤتمتاً بالكامل يعمل مثل لجنة مكونة من ثلاثة أو أربعة قضاة مختلفين.
الإعداد: يأخذون مقالاً إخبارياً ويطلبون من الذكاء الاصطناعي كتابة ملخصين مختلفين قليلاً. ويتأكدون من أن هذين الملخصين متشابهان جداً (مثل مسودتين لنفس المقال) بحيث يكون الفرق الوحيد بينهما هو الحقائق الموجودة بداخلهما.
التقييم: يقومون بتمرير كلا الملخصين عبر عدة "أدوات مختلفة للتحقق من الحقائق".
القاعدة: يحتفظ النظام بالزوج (الملخصين) فقط إذا اتفق جميع القضاة على أيهما أفضل. إذا قال القاضي (أ): "الملخص ١ أفضل"، بينما قال القاضي (ب): "الملخص ٢ أفضل"، فإن النظام يتخلص من هذا الزوج. يعمل هذا كفلتر لإزالة البيانات "المزعجة" أو المربكة.
التدريب: يتعلم الذكاء الاصطناعي بعد ذلك من هذه الأزواج "المتفق عليها"، مدركاً أن التغييرات الطفيفة في الصياغة يمكن أن تؤدي إلى تغييرات كبيرة في المصداقية.
٣. خدعة "التشابه اللفظي"
لماذا تجعل الملخصات متشابهة جداً؟ تخيل أنك تحاول تعليم شخص ما الفرق بين تفاحة حمراء وتفاحة خضراء. إذا أريتهم تفاحة حمراء وسيارة زرقاء، فقد يرتبكون بشأن ما تعلمهم إياه (اللون مقابل الشيء نفسه). جعل المؤلفون الذكاء الاصطناعي يولد ملخصات متطابقة تقريباً في الهيكل والمفردات، لكي يُجبر الذكاء الاصطناعي على التركيز فقط على الاختلافات الحقيقية، متجاهلاً الأسلوب أو البنية.
٤. النتائج: النماذج الصغيرة تلحق بالركب
اختبر الباحثون هذا على نماذج ذكاء اصطناعي مختلفة، من النماذج الصغيرة والقديمة إلى النماذج الضخمة والحديثة "النماذج اللغوية الكبيرة".
المفاجأة: تعلمت النماذج الصغيرة والقديمة (مثل BART) بشكل جيد جداً لدرجة أنها أصبحت تقريباً بنفس جودة النماذج الضخمة والمكلفة في دقتها الواقعية.
المقايضة: أصبحت الملخصات دقيقة جداً من حيث الحقائق، ولكنها أحياناً كانت أقل "زخرفة" أو تفصيلاً مقارنة بالملخصات التي يتم تدريبها بطرق أخرى. الأمر يشبه قرار الذكاء الاصطناعي بـ "ترك التفاصيل الإضافية لضمان عدم الكذب عن غير قصد".
٥. ما لم يفعلوه (حدود هامة)
لم يستخدموا معلمين بشريين لتقييم البيانات؛ فقد تم كل شيء بواسطة الكمبيوتر.
لم يدّعوا أن هذا يعمل للنصائح الطبية أو العقود القانونية. لقد اختبروا هذا فقط على ملخصات الأخبار (XSUM) ومنشورات ريديت (TL;DR).
أشاروا إلى أنه بينما أصبح الذكاء الاصطناعي أفضل في الحقائق، إلا أنه أصبح أحياناً أقل "متعة" في القراءة مقارنة بالملخصات التي يتم تدريبها بواسطة البشر.
باخت الخلاصة
الورقة البحثية تشبه خط تجميع في مصنع لتدريب الذكاء الاصطناعي. بدلاً من توظيف مفتش بشري لفحص كل منتج، قاموا بإعداد نظام حيث يقوم عدة مفتشين مؤتمتين بفحص العمل. إذا اتفقوا جميعاً على أن المنتج جيد، فإنه يحصل على ختم "مقبول". وإذا اختلفوا، يتم إعادة تدوير المنتج. هذا يسمح حتى للآلات الصغيرة والقديمة (نماذج الذكاء الاصطناعي) بإنتاج عمل عالي الجودة ودقيق واقعياً دون الحاجة إلى إشراف بشري مكلف.
ملخص تقني: تحسين الاتساق الواقعي في التلخيص عبر تعلم التفضيل من مقاييس متعددة غير كاملة
بيان المشكلة بينما تُظهر النماذج اللغوية الكبيرة (LLMs) طلاقة مثيرة للإعجاب، إلا أنها غالباً ما تعاني من صعوبة في تحقيق الاتساق الواقعي، حيث تولد ملخصات تحتوي على تفاصيل مهلوسة أو تناقضات مع النص المصدر. وقد اقتُرح استخدام التعلم التعزيزي (RL) للتخفيف من هذه المشكلة باستخدام مقاييس التقييم كإشارات مكافأة. ومع ذلك، فإن مقاييس الواقعية الآلية الحالية غير موثوقة بشكل فردي، وغالباً ما تجد صعوبة في رصد الأخطاء الدقيقة. علاوة على ذلك، فإن استخدام مقياس واحد كإشارة مكافأة عددية (scalar reward) يمكن أن يؤدي إلى عدم استقرار التدريب، بينما يتطلب دمج المقاييس عادةً وزناً يدوياً (تشكيل المكافأة - reward shaping)، وهو أمر معقد وعرضة للخطأ. أما النهج البديل مثل التعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، فغالباً ما يفشل في إعطاء الأولوية للواقعية، حيث قد يتغاضى المقيّمون البشريون عن الأخطاء الواقعية لصالح سمات أخرى مثل الطلاقة أو التماسك. كما أن بناء مجموعات بيانات تفضيل تركز على الواقعية بجودة عالية عبر التقييم البشري هو أمر مستهلك للموارد ويصعب توسيع نطاقه.
المنهجية يقترح المؤلفون مسار تدريب مؤتمتاً بالكامل يحسن الاتساق الواقعي دون الاعتماد على التقييمات البشرية أو الملخصات المرجعية. وتتكون المنهجية الأساسية من ثلاث مراحل:
توليد ملخصات متشابهة معجمياً: بدلاً من إقران عينات متنوعة، تولد الطريقة أزواجاً من الملخصات المتشابهة معجمياً لتقليل الاختلافات الأسلوبية أو الهيكلية المربكة. وهذا يسمح للنموذج بالتركيز تحديداً على التمايزات الواقعية.
بالنسبة لوثيقة مصدر معينة، يقوم النموذج بتوليد ملخص أساسي باستخدام البحث الشعاعي (BS#1).
يتم توليد ملخص ثانٍ إما عن طريق اختيار التسلسل الثاني الأكثر احتمالاً من نفس البحث الشعاعي (BS#2) أو باستخدام فك التشفير الجشع (Greedy Decoding).
يضمن هذا النهج أن تكون الاختلافات بين الزوج دقيقة، مدفوعة أساساً باختلافات فك التشفير بدلاً من التحولات الهيكلية الكبرى.
تسمية التفضيل الآلية عبر مجموعات المقاييس: لتجنب عدم موثوقية المقاييس الفردية، يستخدم مسار العمل مجموعة من مقاييس الواقعية (تحديداً SBERTScore و SummaC-Conv في التجارب) لتسجيل الأزواج المولدة.
يتم تحويل الدرجات من مقاييس مختلفة إلى تسميات تفضيل ثنائية.
يتم تطبيق مرشح التعارض (conflict filter): حيث يتم الاحتفاظ بزوج الملخصات للتدريب فقط إذا اتفقت جميع المقاييس المختارة على تسمية التفضيل. ويتم استبعاد الأزواج ذات التباين العالي بين المقاييس لإزالة التسميات غير الدقة (noisy annotations).
تعمل هذه العملية على بناء مجموعة بيانات تفضيل عالية الجودة باستخدام الوثائق المصدرية فقط.
تحسين التفضيل (DPO): تُستخدم مجموعة بيانات التفضيل المفلترة لتدريب النماذج اللغوية عبر تحسين التفضيل المباشر (Direct Preference Optimization - DPO). وبخلاف التعلم التعزيزي القياسي، يعمل DPO على تحسين بارامترات النموذج مباشرة لزيادة احتمالية الملخص المفضل دون الحاجة إلى نموذج مكافأة منفصل ومعقد، مما يقلل من تعقيد التدريب ويخفف من مشكلة النسيان الكارثي.
المساهمات الرئيسية
مسار مؤتمت بالكامل: مسار تعلم تفضيل مبتكر ومؤتمت بالكامل يحسن واقعية التلخيص دون الحاجة إلى تقييمات بشرية أو ملخصات مرجعية.
استراتيجية تجميع المقاييس: طريقة لتكييف مقاييس الواقعية الموجودة وغير الكاملة لتصبح أهدافاً للتدريب عبر تحويل الدرجات إلى تفضيلات وتصفية الحالات التي تشهد تبايناً عالياً بين المقاييس، مما يعزز موثوقية البيانات.
التركيز على التشابه المعجمي: تحليل يثبت أن التدريب على أزواج الملخصات المتشابهة معجمياً أكثر فعالية في تعزيز الواقعية من التدريب على أزواج متنوعة، حيث يعزل ذلك الأخطاء الواقعية عن الاختلافات الأسلوبية.
الأداء على النماذج الأصغر: نجحت الطريقة في رفع أداء الواقعية للنماذج الأصغر (مثل BART) إلى مستويات تضاهي النماذج الحديثة الأكبر حجماً.
النتائج التجريبية تم تقييم النهج على مجموعتي بيانات XSUM و TL;DR باستخدام أربعة نماذج ذات بنيات وأحجام متفاوتة: BART-large، و GPT-J، و LLaMA-3، و DeepSeek-R1.
مكاسب الواقعية: تفوق النهود المقترح باستمرار على النماذج المرجعية، بما في ذلك الضبط الدقيق الخاضع للإشراف (SFT)، والتعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، وتحسين التفضيل القائم على النموذج (MPO) الذي يعتمد على افتراضات استدلالية حول استراتيجيات فك التشفير.
في XSUM، حقق نموذج BART زيادة قدرها +24.7 نقطة في AlignScore مقارنة بـ SFT.
في TL;DR، شهد نموذج BART زيادة قدرها +9.3 نقطة.
حققت النماذج الأصغر (BART) درجات واقعية تضاهي أو تتجاوز النماذج الأكبر (LLaMA, DeepSeek) بعد التدريب.
المتانة: أظهرت الطريقة استقراراً عبر عائلات النماذج والأحجام المختلفة، متجنبة النسيان الكارثي الملاحظ في النهج الأخرى القائمة على التعلم التعزيزي.
المقايضات: بينما تحسنت الواقعية بشكل كبير، كان هناك تراجع طفيف في درجات ROUGE-L وتفضيلات الجودة العامة عند التقييم بواسطة ChatGPT. ويشير المؤلفون إلى أن الملخصات المفضلة (SFT/RLHF) كانت تحتوي على تفاصيل مفرطة، بينما كانت الملخصات المحسنة للواقعية أكثر تجريداً لتقليل مخاطر عدم الاتساق.
الأهمية والادعاءات يزعم البحث أن هذا النهج يوفر بديلاً مستقراً وقابلاً للتوسع لعملية RLHF المعتمدة على التقييم البشري لتحسين الواقعية. ومن خلال الاستفادة من اتفاق مقاييس متعددة ضعيفة والتركيز على الاختلافات المعجمية الدقيقة، تنجح الطريقة في تدريب النماذج على تجنب توليد نصوص تبدو مقنعة ولكنها غير دقيقة واقعياً. يسلط المؤلفون الضوء على أن هذا المسار "يحيي" إمكانات النماذج القديمة والأصغر لإنتاج ملخصات دقيقة بتكاليف حوسبة أقل، مما يجعل التلخيص عالي الواقعية أكثر سهولة في الوصول إليه. ويشير العمل إلى أن تعلم التفضيل، عندما يستند إلى اتفاق المقاييس بدلاً من التحيز البشري أو مكافآت المقياس الواحد، يوفر مساراً قوياً نحو مخرجات لغوية أكثر أمانة.