Explaining Sources of Uncertainty in Automated Fact-Checking
تقدم الورقة البحثية إطار عمل CLUE، وهو إطار عمل جاهز للاستخدام (plug-and-play) يولد تفسيرات باللغة الطبيعية لعدم اليقين في التحقق الآلي من الحقائق عبر تحديد وتجسيد التناقضات والاتفاقات بين الامتدادات النصية، مما ينتج مخرجات أكثر دقة وإفادة واتساقاً منطقياً من النماذج المرجعية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المشكلة: المحقق "الصندوق الأسود"
تخيل أنك استأجرت محقق ذكاء اصطناعي فائق الذكاء للتحقق مما إذا كانت قصة إخبارية ما حقيقية أم لا. يقرأ المحقق ادعاءً (مثل: "القطط يمكن أن تنشر فيروساً") ويطلع على مقالين إخبائيين مختلفين (الدليل 1 والدليل 2) ليقرر النتيجة.
يعطيك المحقق إجابة: "من المرجح أن هذا صحيح." ولكن بعد ذلك، يضيف ملاحظة غريبة وغير مفيدة: "أنا متأكد بنسبة 73%."
هذا الأمر محبط للمدقق البشري. لماذا أنت متأكد بنسبة 73% فقط؟
- هل لأن المقالين يتناقضان مع بعضهما البعض؟
- هل لأن أحد المقالين غامض؟
- أم لأن المحقق مجرد يخمن؟
أنظمة الذكاء الاصطناعي الحالية تشبه المحققين الذين يعطونك درجة ثقة ولكنهم يرفضون إظهار طريقة عملهم. إنهم لا يخبرونك أي جزء من الأدلة جعلهم يترددون. إذا اختلف المقالان، فإن الذكاء الاصطناعي لا يشير إلى الجملة المحددة في المقال 1 التي تتعارض مع المقال 2؛ بل يكتفي بالقول: "أنا لست متأكداً بنسبة 100%"، تاركاً إياك لتخمن السبب.
الحل: CLUE (إطار عمل "أظهر عملك")
ابتكر المؤلفون أداة جديدة تسمى CLUE (تفسيرات عدم اليقين في نماذج اللغة القائمة على التضارب والاتفاق - Conflict-&Agreement-aware Language-model Uncertainty Explanations).
فكر في CLUE كأنه مترجم يجلس بين المحقق (الذكاء الاصطناعي) والإنسان. بدلاً من مجرد إعطاء رقم، يجبر CLUE الذكاء الاصطناعي على كتابة تفسير بلغة بسيطة يسلط الض�وء بدقة على موضع الارتباك.
إليك كيف يعمل CLUE، خطوة بخ بخطوة:
1. لعبة "أوجد الفروق" (التفاعل بين الأجزاء - Span Interaction)
أولاً، يقوم CLUE بفحص الادعاء ومقالي الأدلة. إنه يعمل مثل قلم التحديد (Highlighter)، حيث يمسح بحثاً عن "تفاعلات أجزاء" محددة.
- التطابق: يجد أين يتفق الادعاء والدليل 1 (مثلاً: كلاهما يذكر "القطط").
- التصادم: يجد أين يختلف الدليل 1 عن الدليل 2 (مثلاً: الدليل 1 يقول "القطط يمكن أن تنشر الفيروس"، بينما الدليل 2 يقول "لم يتم العثور على انتقال للفيروس").
لا يرى CLUE المستند ككل فحسب؛ بل يركز على الجمل المحددة التي تتحدث (أو تتشاجر) مع بعضها البعض.
2. "مقياس الثقة" (Scoring Uncertainty)
يحسب الذكاء الاصطناعي "درجة القلق" (وتسمى رياضياً الاعتلاج/الإنتروبي - entropy). إذا كان الذكاء الاصطناعي مرتبكاً بسبب الأدلة المتضاربة، فإن هذه الدرجة ترتفع. وإذا كانت الأدلة واضحة ومتفقة، تنخفض هذه الدرجة.
3. "الحكواتي" (توليد التفسير)
هذا هو الجزء السحري. يأخذ CLUE "درجة القلق" و"التصادمات المحددة" ويطلب من الذكاء الاصطناعي كتابة قصة.
- الطريقة القديمة: "أنا واثق بنسبة 73%."
- طريقة CLUE: "أنا غير متأكد نوعاً ما لأن الدليل 1 يتفق على أن القطط يمكن أن تصاب بالفيروس، لكن الدليل يدحض الجزء المتعلق بنشرها له للآخرين. هذا الخلاف المحدد هو سبب عدم تأكدي بنسبة 100%."
كيف اختبروه؟
اختبر الباحثون هذا النظام على ثلاثة نماذج مختلفة من الذكاء الاصطناعي ومجموعتي بيانات من واقع عملية التحقق من الحقائق (إحداهما عن الصحة والأخرى عن الأخبار العامة).
قارنوا CLUE بنموذج ذكاء اصطناعي "قياسي" يحصل فقط على أمر (Prompt) ليشرح نفسه دون أي مساعدة.
- النتيجة: غالباً ما كان الذكاء الاصطناعي القياسي يختلق أسباباً أو يعطي تفسيرات غامضة لا تتوافق مع ارتباكه الفعلي.
- نتيجة CLUE: كانت تفسيرات CLUE أكثر صدقاً بكثير؛ فقد أشارت بدقة إلى الجمل المحددة التي سببت الشك.
المختبرون البشر (أشخاص حقيقيون) فضلوا CLUE. فقد قالوا إن التفسيرات كانت:
- أكثر فائدة: ساعدتهم بالفعل على فهم المشكلة.
- أقل تكراراً: لم يكتفوا بمجرد تكرار النص مراراً وتكراراً.
- أكثر منطقية: كان المنطق وراء التفسير معقولاً.
المقايضة (المحقق "الصارم" مقابل المحقق "الثرثار")
وجد البحث أن هناك طريقتين لتشغيل CLUE، وهناك تعارض طفيف في شخصيتهما:
- المحقق الصارم (CLUE-Span+Steering): هذه النسخة تجبر الذكاء الاصطناعي على الالتزام بشدة بالجمل المحددة. إنها دقيقة للغاية (أمينة) للرياضيات، ولكن التفسير قد يبدو أحياناً آلياً أو متقطعاً بسبب تركيزه الشديد على كلمات محددة.
- المحقق الثرثار (CLUE-Span): هذه النسخة أكثر مرونة قليلاً. تنساب بشكل أفضل وتبدو طبيعية أكثر للبشر، لكنها قد تغفل أحياناً عن تفصيل صغير أو تضيف القليل من الحشو.
الخلاصة
يجادل البحث بأنه لكي يكون الذكاء الاصطناعي مفيداً في الوظائف عالية الخطورة مثل التحقق من الحقائق، لا يمكنه فقط إعطاء حكم ورقم. بل يجب عليه إظهار طريقة عمله.
CLUE هو أول أداة يمكنها النظر في كومة فوضوية من المستندات المتضاربة، وإيجاد الجمل المحددة التي تتصارع مع بعضها البعض، وتوضيح الأمر للإنسان: "أنا غير متأكد لأن هاتين الجملتين تحديداً تختلفان". هذا يحول الذكاء الاصطناعي من عراف غامض إلى شريك شفاف يساعد البشر على التحقق من الحقيقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.