UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles

في منظومة المعلومات الحديثة، لا يعد التحقق من صحة ادعاء ما سوى نصف المعركة؛ فالتفسير لسبب كونه صحيحاً أو خاطئاً للقارئ البشري هو النصف الآخر. هذا هو مجال التحقق الآلي من الحقائق، وهو مجال تحاول فيه الحواسيب محاكاة العمل الدقيق الذي يقوم به الصحفيون. لا يكمن التحدي في إيجاد الدليل الصحيح فحسب، بل في نسج ذلك الدليل في مقال متماسك يمكن للإنسان أن يثق به ويمكن للحاسوب أن يتحقق منه. وقد كلفت مسابقة حديثة، وهي CheckThat! 2026، الفرق ببناء أنظمة لتوليد هذه المقالات الخاصة بالتحقق من الحقائق تلقائياً. كان على الأنظمة أن تأخذ ادعاءً محدداً، وتجد أدلة داعمة من قائمة روابط ويب، وتكتب تقريراً قصيراً يستشهد بتلك الروابط. كانت عملية التقييم صارمة للغاية: حيث قام برنامج حاسوبي بتصنيف المقالات بناءً على مدى مطابقتها للأمثلة المكتوبة بشرياً، والأهم من ذلك، ما إذا كانت كل جملة تستشهد بمصدر مدعومة بالفعل بالنص الموجود في ذلك المصدر. إذا اخترع النظام تفصيلاً أو أخطأ في نقل اقتباس من مصدر ما، ولو بشكل طفيف، فإن الحاسوب سيعاقبه بشدة.

دخل فريق من جامعة التكنولوجيا في سيدني هذه المسابقة بنظام سلك مساراً مختلفاً عن معظم الفرق. فبينما حاولت الفرق الأخرى استخدام ذكاء اصطناعي قوي لكتابة المقال بأكمله من الصفر، بنى فريق سيدني نظاماً يعتمد على قالب جامد ومتوقع للنص الأساسي، مستخدماً الذكاء الاصطناعي فقط كحارس بوابة صارم للتحقق من المصادر. وضع نهجهم الفريق في المركز الثاني من بين أحد عشر فريقاً. لم يكن سر نجاحهم يكمن في إنتاج نثري أكثر إبداعاً، بل في فهم كيفية عمل الحكم الحاسوبي بدقة. فقد اكتشفوا أن الحكم كان محافظاً للغاية، حيث يكافئ المقالات التي تلتزم بدقة بالحقائق المقدمة ويرفض أي جملة تضيف زخرفاً إضافياً أو تفاصيل غير مؤكدة. ومن خلال تصميم نظامهم ليحترم هذه القواعد الصارمة، أنشأوا آلة يمكنها إنتاج مقالات تحقق من الحقائق بدقة، حتى وإن لم تكن أنيقة بشكل خاص.

بدأ الباحثون باختبار الفكرة الأكثر وضوحاً: ترك نموذج لغوي كبير، وهو نوع من الذكاء الاصطناعي القادر على كتابة نصوص سلسة، يصيغ المقال بأكمله. جربوا ذلك باستخدام نماذج بأحجام مختلفة، آملين أن تتعلم الآلة كيف تبدو مثل محقق حقائق محترف. لكن الأمر لم ينجح. فالمقالات التي ولدتها هذه النماذج فشلت باستمرار في نظام التصنيف الخاص بالحاسوب. كانت المشكلة هيكلية؛ إذ كان الحكم الحاسوبي يبحث عن أنماط محددة في النص، وخاصة كيفية الاستشهاد بالمصادر. وعندما يحاول الذكاء الاصطناعي الكتابة بشكل طبيعي، فإنه غالباً ما يغير طريقة ذكر المصدر أو يضيف كلمات زائدة لا يمكن للحاسوب التحقق منها مقابل الدليل الأصلي. وحتى التغيير الطفيف، مثل إضافة اسم مراجع أو تاريخ لم يكن موجوداً في نص المصدر، كان يتسبب في رفض الحاسوب للجملة. وكلما زادت قدرة الذكاء الاصطناعي على الكتابة، زاد ابتعاده عن الأنماط الصارمة التي يتطلبها الحكم. أدرك الفريق أن محاولة جعل الآلة "تكتب بشكل أفضل" كانت في الواقع تجعل أداءها أسوأ.

بدلاً من محاولة تحسين الكتابة، قرر الفريق تحسين الهيكل. بنوا نظاماً يبدأ بقالب بسيط وغير متغير. هذا القالب ينشئ مقالاً أساسياً يتكون من عنوان، وجملة واحدة لكل قطعة من الأدلة، وخاتمة. كان هذا المسودة "القصيرة" مملة، لكنها كانت آمنة، فهي تتبع القواعد تماماً. ثم أضاف الفريق أداتين محددتين إلى هذا النظام، تعملان كـمفتش مراقبة الجودة. الأداة الأولى، والتي أطلقوا عليها اسم "إطار الإسناد النطاقي"، تقوم ببساطة بوضع كل استشهاد داخل عبارة معيارية مثل "وفقاً للموقع الإلكتروني، [الحقيقة]". هذا التغيير الصغير جعل الجمل تبدو أكثر شبهاً بالأمثلة المكتوبة بشرياً والتي يقارنها الحاسوب بها، دون تغيير الحقائق. أما الأداة الثانية فهي "المُدقق الظلي". قبل أن ينهي النظام صياغة جملة ما، فإنه يسأل نموذج ذكاء اصطناعي صغير عما إذا كانت تلك الجملة تحديداً مدعومة برابط المصدر. إذا قال النموذج "لا"، يحاول النظام الجملة التالية في نص المصدر. وإذا فشل ذلك، فإنه يلتزم بالجملة الأصلية الآمنة. ضمن هذا الإجراء أن كل استشهاد ينتجه النظام هو أمر سيقبله الحكم الحاسوبي.

كانت نتائج هذا النهج واضحة وقابلة للقياس. في بيانات التحقق المستخدمة لاختبار نظامهم قبل المسابقة، أدت طريقتهم إلى تحسين الدرجة الإجمالية بهامش صغير ولكنه مهم مقارنة بالقالب الأساسي. وعندما دمجوا أداة التأطير مع المُدقق الظلي، كان التحسن أكبر. لم يحاول النظام أن يكون ذكياً؛ بل اكتفى بضمان أن كل جملة قابلة للتحقق وتتبع التنسيق الصحيح. وفي المسابقة النهائية، حقق نظامهم درجة 0.484، مما وضعه في المركز الثاني بين أحد عشر فريقاً. حقق الفريق الفائز درجة أعلى، وكان الفارق بينهما يعود بالكامل إلى مقياس واحد محدد: دقة الاستشهاد. تمكن الفريق الفائز من الاستشهاد بالمصادر بدقة أعلى بكثير، ومن المرجح أنهم فعلوا ذلك عبر اختيار تجاهل الاستشهادات التي لم يكونوا متأكدين منها، بينما استشهد فريق سيدني بكل مصدر مُنح لهم. كان نظام فريق سيدني موثوقاً للغاية لدرجة أنه استشهد بجميع الأدلة المتاحة تقريباً، ولكن نظرًا لأنه لم يحذف المصادر غير المؤكدة، كانت درجة دقته أقل.

كشف عمل الفريق عن درسين مهمين لمستقبل التحقق الآلي من الحقائق. أولاً، عندما يتم تصميم حكم حاسوبي ليكون صارماً بشأن التحقق، فإن إضافة كلمات إضافية أو محاولة جعل النص يبدو أكثر بشرية غالباً ما يضر بالنتيجة. كانت الاستراتيجية الأكثر فعالية هي إبقاء النص بسيطاً ومرتبطاً بدقة بالدليل. ثانياً، كانت الأدوات المستخدمة لاختيار الجملة التي سيتم الاستشهاد بها غالباً ما تكون مضللة. وجد الفريق أن الطرق القياسية لاختيار "أفضل" جملة من مصدر ما، مثل البحث عن أطول جملة أو الجملة الأكثر صلة بالادعاء، غالباً ما تختار جملًا سيرفضها الحكم الحاسوبي. الطريقة الوحيدة الموثوقة لاختيار جملة هي سؤال الحكم نفسه. يشير هذا الاستبصار إلى أنه في المهام التي يُقاس فيها الدقة من خلال التحقق الصارم، فإن أفضل نهج ليس توليد محتوى جديد، بل تنسيق وتحقيق المحتوى الموجود بعناية.

لاحظ الباحثون أيضاً أن نظامهم كان له قصور. نظراً لأنهم كانوا ملزمين بالاستشهاد بكل دليل مقدم، لم يتمكنوا من تبني استراتيجية الفريق الفائز، الذي من المرجح أنه اختار تخطي المصادر غير المؤكدة للحفاظ على درجة دقة عالية. افترض فريق سيدني أنه لو أضافوا قاعدة لإسقاط أي استشهاد لم يكن الحكم واثقاً منه، لربما كانت درجتهم أعلى. ومع ذلك، لم يختبروا ذلك أثناء المسابقة. يقف عملهم كدليل على أنه في مهام التحقق عالية المخاطر، يمكن لنظام حتمي بسيط يعطي الأولوية للدقة على الإبداع أن يتفوق على نماذج الذكاء الاصطناعي المعقدة التي تحاول الكتابة مثل البشر. وتخلص الورقة إلى أنه بالنسبة للجيل القادم من هذه الأنظمة، يجب أن ينتقل التركيز من توليد نصوص أفضل إلى تطوير طرق أذكى لاتخاذ القرار بشأن ما يجب تضمينه وما يجب استبعاده، لضمان أن كل كلمة تكتبها الآلة يمكن إثبات صحتها.