FrenchNews-7: Benchmarking Cross-Publisher French News Editorial Desk Classification
تقدم هذه الورقة البحثية FrenchNews-7، وهو معيار جديد لتصنيف المقالات الإخبارية الفرنسية إلى سبع فئات تحريرية عبر ناشرين متعددين، والذي يثبت أن نموذج CamemBERT الذي تم ضبطه بدقة يتفوق على النماذج اللغوية الكبيرة ذات التعلم الصفري، ويكشف أن أداء التصنيف يتباين بشكل كبير حسب الفئة، حيث تقترب المجالات الغامضة مثل "الاقتصاد" و"المجتمع" من حدود الاتفاق البشري.
في المشهد الإخباري الحديث الشاسع والصاخب، ينتمي كل مقال إلى قسم محدد داخل صحيفة أو موقع إلكتروني. تماماً كما تصنف المكتبة الكتب إلى أقسام متميزة مثل التاريخ أو العلوم أو الخيال، تقوم المؤسسات الإخبارية بتوجيه القصص إلى مكاتب تحريرية متخصصة: فريق يتولى الرياضة، وآخر يغطي السياسة، وثالث يدير الشؤون الدولية. وبالنسبة للباحثين الذين يدرسون كيفية تشكيل مختلف الوسائل الإعلامية للرأي العام، فإن القدرة على تصنيف هذه القصص تلقائياً أمر ضروري. فبدون ذلك، تصبح مقارنة كيفية تغطية صحيفتين لحدث ما عملية يدوية مستحيلة. ومع ذلك، تكمن العقبة في أن كل ناشر يستخدم نظامه الفريد الخاص لتسمية القصص؛ فقد يسمي أحد المواقع قصة ما "مجتمع"، بينما يسميها آخر "شؤون داخلية"، حتى لو كان المحتوى متطابقاً. ولبناء أداة تعمل عبر المشهد الإعلامي الفرنسي بأكثر، احتاج العلماء إلى وسيلة لترجمة هذه اللغات الداخلية المختلفة إلى فهم واحد مشترك.
لقد أنشأ باحث الآن معياراً جديداً لهذه المهمة، يُسمى "FrenchNews-7". حيث جمع ما يقرب من 88,000 مقال إخباري من 13 ناشراً فرنسياً مختلفاً، تتراوح بين الصحف الوطنية الكبرى والمنصات الرقمية فقط والصحف الإقليمية. كان هدفهم تعليم الكمبيوتر التعرف على المكتب التحريري الذي تنتمي إليه القصة، بغض النظر عن الموقع الإلكتروني الذي نشرها. وللقيام بذلك، قاموا أولاً برسم خارطة لأكثر سبع فئات شيوعاً تُستخدم عبر هذه الوسائل: المجتمع، الثقافة والترفيه، الأخبار الدولية، السياسة المحلية، الرياضة، الاقتصاد، والعلوم والتكنولوجيا. ثم بنوا نظام تسمية هجيناً؛ فبالنسبة لحوالي 72 بالمئة من المقالات، كان التصنيف واضحاً لأن عنوان الموقع نفسه يحتوي على اسم الفئة، مثل رابط ويب ينتهي بـ "/sport" أو "/politics". أما بالنسبة للنسبة المتبقية البالغة 28 بالمئة، حيث كان العنوان غامضاً أو مفقوداً، فقد استخدم الباحث نموذج لغة ضخماً لقراءة العنوان والنص الكامل وتعيين الفئة الصحيحة. تمت مراجعة هذه العملية بدقة من قبل خبراء بشريين وذكاء اصطناعي لضمان دقة التصنيفات، مما نتج عنه مجموعة بيانات اتسم فيها الاتفاق بين المقيمين البشريين بدرجة عالية جداً.
باستخدام مجموعة البيانات الجديدة هذه، درب الباحث عدة نماذج حاسوبية لأداء مهمة التصنيف. واختبر نماذج تعتمد فقط على العنوان مقابل نماذج تقرأ المقال كاملاً. وأظهرت النتائج أن قراءة النص الكامل وفرت ميزة واضحة، مما سمح للكمبيوتر بفهم سياق القصة بدلاً من مجرد التخمين من العنوان. حقق النظام الأفضل أداءً، وهو نموذج مُدرب خصيصاً على اللغة الفرنسية، مستوى عالياً من الدقة، حيث حدد المكتب التحريري الصحيح لحوالي 80 بالمئة من القصص التي لم يسبق له رؤيتها من قبل. وقد صمد هذا الأداء حتى عندما تم اختبار النموذج على أربعة ناشرين جدد تماماً لم يكونوا جزءاً من مجموعة التدريب الأصلية. ووجدت الدراسة أنه بينما كان من السهل تصنيف قصص الرياضة والثقافة، كانت القصص المتعلقة بالاقتصاد والمجتمع العام أصعب بكثير في التصنيف بشكل متسق. في الواقع، عندما طلب الباحث من خبراء بشريين تصنيف هذه القصص الاقتصادية الصعبة من الناشرون الجدد، اتفق البشر مع بعضهم البعض بنسبة 55 بالمئة فقط. وهذا يشير إلى أن الصعوبة لم تكن خللاً في ذكاء الكمبيوتر، بل كانت غموضاً حقيقياً في كيفية اتخاذ غرف الأخبار نفسها لقرار تصنيف هذه القصص المعقدة.
كما قارن الباحث نموذجه المتخصص بعدة أنظمة ذكاء اصطناعي قوية وعامة لم يتم تدريبها على بيانات إخبارية محددة. وحتى مع أكثر النماذج العامة تقدماً، تفوق النموذج الفرنسي المتخصص، لا سيما في الفئات الصعبة مثل الاقتصاد والمجتمع. وهذا يشير إلى أنه بالنسبة للمهام المحددة وعالية الكثافة مثل تصنيف الأخبار، فإن النموذج الذي تم ضبطه بدقة على لغة وبنية المجال المستهدف يتفوق على الأدوات العامة. لقد أتاح الباحث مجموعة البيانات ونموذجه الأفضل أداءً للجمهور، مما يسمح للباحثين الآخرين بالبناء على هذا العمل. ومن خلال توفير طريقة موثوقة لتصنيف الأخبار عبر مختلف الناشرين، يوفر هذا العمل أساساً جديداً لدراسة كيفية تغطية الإعلام الفرنسي للعالم، مما يضمن أن التحليلات المستقبلية ستستند إلى فهم متسق ودقيق للمكان الذي تنتمي إليه كل قصة.
ملخص تقني: FrenchNews-7
بيان المشكلة
تتطلب الأبحاث الإعلامية المقارنة الحوسبية حول الأخبار الفرنسية — والتي تشمل دراسات وضع الأجندة، وتدقيق التنوع، وتحليل المواضيع الطولي — مصنفات قادرة على التعميم بشكل موثوق عبر مختلف الناشرين. إن مجموعات البيانات الحالية للأخبار الفرنسية عادة ما تكون أحادية المصدر (على سبيل المثال: Le Monde فقط) أو ضيقة للغاية بحيث لا تدعم التعميم عبر الناشرين. علاوة على ذلك، لا يوجد مسبقًا معيار فرنسي يستهدف مباشرة مهمة استعادة مهام توزيع المكاتب التحريرية (قرارات التوجيه) من النص وحده عبر منظومة متعددة الناشرين. يكمن التحدي الجوهري في التمييز بين تصنيف الموضوع الضمني واستعادة الاصطلاحات التحريرية الخاصة بكل ناشر، والتي غالبًا ما تتضمن حدودًا غامضة بين فئات مثل Économie (الاقتصاد) و Société (المجتمع).
المنهجية
بناء مجموعة البيانات: FrenchNews-7
قام المؤلف ببناء مجموعة بيانات تضم 87,637 مقالاً من 13 جهة إعلامية تتحدث الفرنسية ومقرها فرنسا، تشمل صحفًا يومية وطنية، ومجلات أسبوعية، وصحافة إقليمية، ومنصات رقمية، وإذاعة وتلفزيون (2018–2026).
تصميم التصنيف (Taxonomy): بدلاً من اعتماد أنطولوجيا خارجية، تم اشتقاق مساحة الملصقات تجريبيًا من هياكل روابط الـ URL الخاصة بالناشرين الثلاثة عشر. حدد المؤلف سبع فئات موجودة في 10 من أصل 13 ناشرًا وتُشكل ما لا يقل عن 3.5% من إجمالي الإنتاج: Société (المجتمع)، Culture & Loisirs (الثقافة والترفيه)، International (الدولي)، Politique (السياسة)، Sport (الرياضة)، Économie (الاقتصاد)، و Sciences & Technologies (العلوم والتكنولوجيا).
خط أنابيب التوسيم الهجين:
المجموعة أ (72.2%): توسيم حتمي بناءً على مسارات الـ URL (مثل /sport/ أو /politique/) باستخدام جدول بحث مكون من 74 قاعدة.
المجموعة ب (27.8%): بالنسبة للمقالات ذات الإشارات الغامضة أو المفقودة في الـ slug (مثل /idees/ أو /story/)، تم تعيين الملصقات باستخدام GPT-OSS-120B عبر مطالبة (prompt) بنمط "الصفر من الأمثلة" (zero-shot) تحتوي على تعريفات الفئات السبع، والعنوان، ونص المقال الكامل.
ضمان الجودة: أكدت دراسة التقييم بين المقيّمين، والتي شملت اثنين من البشر واثنين من النماذج اللغوية الكبيرة (LLMs) على عينة طبقية من 300 مقال غامض، وجود توافق عالٍ. حقق المقيّم البشري المعمي معامل كوهين κ قدره 0.806 مقابل ملصقات المؤلف، بينما بلغ التوافق بين النموذج اللغوي والبشر κ=0.766. تجمعت حالات عدم الاتفاق في الفئات الحدودية (Société، Économie)، مما يشير إلى أن هذه الالتباسات هي جزء أصيل من الاصطلاحات التحريرية وليست أخطاء في التوسيم.
الإعداد التجريبي
قيمت الدراسة أربعة مصنفات مدربة وثلاثة نماذج أساسية من النماذج اللغوية الكبيرة بنمط "الصفر من الأمثلة":
نماذج متخصصة في الفرنسية: CamemBERT-base و CamemBERTav2-base (ببنية DeBERTaV3).
النماذج اللغوية الكبيرة (Zero-Shot): GPT-OSS-120B، و Mistral Small 3.2، و Llama-3.3-70B.
بروتوكول التقييم:
داخل التوزيع (In-Distribution): تقسيم طبقي قياسي بنسبة 70/15/15 على الـ 13 جهة تدريبية.
عبر الناشرين (خارج التوزيع): مجموعة اختبار منفصلة تمامًا مكونة من 2,100 مقال من أربعة جهات غير مرئية (Libération، BFMTV، Le Nouvel Obs، Franceinfo).
شروط المدخلات: نص المقال الكامل (العنوان + المتن) مقابل العنوان فقط.
المقاييس: متوسط Macro-F1، والدقة (Precision)، والاستدعاء (Recall)، والدقة الإجمالية (Accuracy)، مع فترات ثقة Bootstrap بنسبة 95%.
النتائج الرئيسية
أداء النماذج
أفضل نموذج: حقق نموذج CamemBERT-base المدرب على نص المقال الكامل أقوى أداء، بمتوسط Macro-F1 قدره 0.847 (داخل التوزيع) و 0.799 (عبر الناشرين).
ميزة التخصص في الفرنسية: تفوق CamemBERT-base على النموذج متعدد اللغات mBERT بمقدار 1.4 نقطة مئوية في Macro-F1، مما يحدد قيمة التدريب المسبق المتخصص في اللغة الفرنسية.
نافذة السياق: قدم CamemBERTav2-base أداءً مطابقًا لـ CamemBERT-base عند استخدام سياقه الأصلي البالغ 1,024 توكن، مما يؤكد أن فجوات الأداء في عملية الاقتطاع القياسية عند 512 توكن كانت ناتجة عن حدود السياق وليس اختلافات بنيوية.
نمط المدخلات: تفوق إدخال النص الكامل باستمرار على إدخال العنوان فقط عبر جميع النماذج، مع ملاحظة أكبر فجوة في النموذج المعجمي الأساسي.
التعميم عبر الناشرين
التعميم: تعمم النموذج بشكل جيد على الجهات غير المرئية، محافظًا على Macro-F1 قدره 0.799.
استقرار الفئات: تباين الأداء بشكل كبير حسب الفئة:
استقرار عالٍ:Sport (F1 = 0.915)، و Culture & Loisirs، و International انتقلت بوضوح.
استقرار منخفض: أظهرت فئتا Économie (الاستدعاء = 0.517) و Société (الدقة = 0.577) صعوبة كبيرة.
تأثير "السقف": تطابق الاستدعاء المنخفض لفئة Économie (0.517) بشكل وثيق مع معدل اتفاق المقيّمين البش see المعميّن على نفس المقالات المستبعدة (55%). يشير هذا إلى أن الصعوبة تنبع من غموض الحدود التحريرية الحقيقي وليس من نقص قدرة النموذج.
مقارنة النماذج اللغوية الكبيرة (LLM)
الضبط الدقيق مقابل "الصفر من الأمثلة": تفوق نموذج CamemBERT-base الذي خضع للضبط الدقيق (Macro-F1 0.799) على جميع النماذج اللغوية الكبيرة بنمط Zero-Shot (GPT-OSS-120B: 0.758؛ Mistral: 0.775؛ Llama-3.3: 0.771).
حدود "القليل من الأمثلة" (Few-Shot): لم تؤدِ عملية تقديم 5 أو 7 أمثلة لنموذج GPT-OSS-120B إلى تحسين الأداء بشكل ملموس، وظل دون خط الأساس للضبط الدقيق.
نقاط الضعف المحددة: تركزت الفجوة بين النموذج المضبط دقيقًا والنماذج اللغية الكبيرة في فئتي Société و Économie، حيث يصعب استعادة الاصطلاحات التحريرية من المطالبات القصيرة.
الأهمية والمساهمات
يدعي البحث أن FrenchNews-7 هو أول معيار فرنسي يجمع بين:
تصنيف مشتق تجريبيًا من عدة ناشرين.
ملصقات الروابط (URL) الأصلية للناشرين معززة بتوسيم النماذج اللغية الكبيرة للحالات الغامضة.
إطار تقييم عبر الناشرين (Held-out cross-publisher).
يضع المؤلف هذا العمل كبنية تحتية لـ "تصنيف المكاتب التحريرية" في الصحافة الحوسبية. ومن خلال إثبات أن المصنف يمكنه استعادة قرارات التوجيه التحريري بموثوقية عالية (Macro-F1 ≈ 0.80) عبر جهات متنوعة، فإن هذا المعيار يُمكّن المهام اللاحقة مثل توسيع نطاق تعيين الأقسام التحريرية لتدقيق التنوع الإعلامي. ويشير البحث صراحة إلى أن الخطأ المتبقي في الفئات الغامضة يعكس "الاصطلاحات التحريرية بدلاً من نقص القدرة الاستيعابية للمصنف"، مما يضع سقفًا واقعيًا للتصنيف الآلي في هذه المجالات.
تم إصدار النموذج ومجموعة البيانات على Hugging Face لتسهيل إعادة الإنتاج ومزيد من الأبحاث في معالجة اللغات الطبيعية للفرنسية والدراسات الإعلامية المقارنة.