💬 NLP

Co-FactChecker: A Framework for Human-AI Collaborative Claim Verification Using Large Reasoning Models

تقدم الورقة البحثية Co-FactChecker، وهو إطار عمل تعاوني بين الإنسان والذكاء الاصطناعي للتحقق من الادعاءات يعمل على تعزيز نماذج الاستدلال الكبيرة عبر ترجمة ملاحظات الخبراء إلى تعديلات مباشرة في مسار تفكير النموذج، مما يتفوق على أساليب الحوار متعدد الدورات التقليدية في جودة الاستدلال وقابلية التفسير.

المؤلفون الأصليون: Dhruv Sahnan, Subhabrata Dutta, Tanmoy Chakraborty, Preslav Nakov, Iryna Gurevych

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dhruv Sahnan, Subhabrata Dutta, Tanmoy Chakraborty, Preslav Nakov, Iryna Gurevych

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد للغاية، مثل معرفة ما إذا كانت إشاعة عن أحد المشاهير حقيقية أم كاذبة. لديك مساعد آلي فائق الذكاء (ذكاء اصطناعي) سريع جداً في قراءة الكتب والبحث في الإنترنت. ومع ذلك، فإن هذا الروبوت لديه نقطة عمياء: فهو لا يستوعب حقاً السياق البشري، أو الفروق الدقيقة، أو الواقع الفوضوي لكيفية انتشار الأخبار. وغالباً ما يقفز إلى الاستنتاجات بناءً على ما يقرأه، متجاهلاً الصورة الأكبر.

تقدم هذه الورقة البحثية CO-FACTCHECKER، وهي طريقة جديدة ليعمل البشر والذكاء الاصطناعي معاً لحل هذه الألغاز. الأمر يشبه الانتقال من لعبة "الهاتف المكسور" (Telephone) إلى لعبة "السبورة المشتركة".

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

1. المشكلة: لعبة "الهاتف المكسور" (Telephone)

في الطريقة القديمة (التي تسمى الحوار متعدد الجولات - Multi-Turn Dialogue)، تتحدث إلى الذكاء الاصطناعي كما لو كنت تدردش عبر الهاتف.

أنت تقول: "مهلاً، هذا ليس صحيحاً. لم يحظروا كل الأسلحة، بل الأسلحة الهجومية فقط."
يرد الذكاء الاصطناعي: "حسناً، أفهم ذلك. دعني أفكر مجدداً..."
المشكلة: غالباً ما ينسى الذكاء الاصطناعي ما قلته قبل خمس دقائق. قد يرتبك، أو يكرر أخطاءه، أو يعطيك إجابة جديدة تتجاهل تصحيحاتك السابقة. الأمر يشبه لعب لعبة "الهاتف المكسور" حيث تتعرض الرسالة للتشويه في كل مرة تنتقل فيها من شخص لآخر. كما يميل الذكاء الاصطناعي إلى "الهلوسة" (اختلاق أشياء) لأنه يحاول تخمين ما تريده بدلاً من النظر إلى الحقائق الفعلية.

2. الحل: "السبورة المشتركة" (تعديل المسار - Trace-Editing)

يقترح المؤلفون نظام CO-FACTCHECKER. بدلاً من الدردشة ذهاباً وإياباً، تخيل أن الذكاء الاصطناعي يرسم مسار تفكيره على سبورة مشتركة (تسمى "أثر التفكير" - Thinking Trace).

الذكاء الاصطناعي يرسم: يكتب خطواته: "الخطوة 1: قراءة المقال. الخطوة 2: استنتاج أنه حظر شامل."
أنت (الخبير) تتدخل: لا تكتفي بقول "لا". بل تقترب من السبورة، وتأخذ قلماً أحمر، وتشطب فعلياً الخطوة الخاطئة. وتكتب: "انتظر، لقد ذكروا الأسلحة الهجومية فقط، وليس كل الأسلحة. غيّر الخطوة 2."
النتيجة: لا يضطر الذكاء الاصطناعي لتخمين ما تعنيه. فهو يرى تعديلك الدقيق على السبورة، ثم يواصل الرسم انطلاقاً من تلك النقطة المصححة.

التشبيه:

الطريقة القديمة (الحوار): أنت تحاول إصلاح محرك سيارة عبر إعطاء تعليمات لميكانيكي من خلال نافذة مغلقة. هو لا يستطيع رؤية المحرك، ويستمر في التخمين لما تعنيه.
الطريقة الجديدة (CO-FACKCHECKER): أنت تقف بجانب الميكانيكي مباشرة، وتشير إلى مسمار محدد مرتخٍ وتقول: "أحكم ربط هذا المسمار". أنت تعدل العمل مباشرة.

3. لماذا يعمل هذا بشكل أفضل؟ (سحر "ورقة المسودة")

تجادل الورقة بأن تعديل "عملية التفكير" مباشرة هو أمر أذكى رياضياً من الكلام.

الدقة: عندما تعدل النص على السبورة، فأنت تزيل الفكرة الخاطئة تماماً وتستبدلها بالفكرة الصحيحة. في المحادثة، يتعين على الذكاء الاصطناعي "ترجمة" كلماتك مرة أخرى إلى منطقه الداخلي، مما يتسبب غالباً في حدوث أخطاء.
التركيز: يظل الذكاء الاصطناعي مركزاً على الادعاء المحدد. في المحادثات الطويلة، غالباً ما "يتوه" ويبدأ في التحدث عن أشياء لا تهم. على السبورة، يكون السياق دائماً أمامه مباشرة.

4. الاختبار الواقعي: ادعاء حظر الأسلحة

اختبرت الورقة هذا باستخدام مثال حقيقي: "هل أعلنت نائبة الرئيس هاريس عن 'حظر للأسلحة'؟"

تخمين الذكاء الاصطناعي الأول: قرأ بعض العناوين وقال: "نعم، حقيقة". (لأنه رأى كلمتي "حظر" و"أسلحة").
تعليق الخبير البشري: "لا، انظر بتمعن أكثر. لقد قالوا فقط إنهم سيحظرون الأسلحة الهجومية، وليس كل الأسلحة. وأيضاً، هذا المصدر منحاز."
النتيجة:
- الطريقة القديمة: ارتبك الذكاء الاصطناعي، ونسي التفاصيل الدقيقة، وأعطى إجابة مشوشة.
- CO-FACTCHECKER: قام الإنسان بتعديل ملاحظات الذكاء الاصطناعي مباشرة. فصحح الذكاء الاصطناعي منطقه فوراً ليقول: "كاذب في الغالب. لقد اقترحوا حظراً للأسلحة الهجومية، وهو نوع محدد من القيود، وليس حظراً شاملاً".

5. الخلاصة

وجد الباحثون أن طريقة "السبورة المشتركة" هذه هي:

أكثر دقة: الأحكام النهائية تكون أقرب إلى ما يقرره الخبراء البشر.
أسهل في الفهم: يمكنك رؤية كيف غير الذكاء الاصطناعي رأيه بالضبط لأن التعديلات مرئية.
أقل إحباطاً: يشعر البشر أنهم يوجهون الذكاء الاصطناعي بالفعل، بدلاً من الصراخ في فراغ.

باختصار: يتوقف CO-FACTCHECKER عن معاملة الذكاء الاصطناعي كبرنامج دردشة عليك توبيخه، ويبدأ في معاملته كشريك مبتدئ يمكنك تدريبه عبر إصلاح ملاحظاته مباشرة. إنه يحول "التحدث إلى" الذكاء الاصطناعي إلى "العمل مع" الذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "CO-FACTCHECKER: إطار عمل للتعاون بين الإنسان والذكاء الاصطناعي للتحقق من الادعاءات باستخدام نماذج الاستدلال الكبيرة."

1. بيان المشكلة

تتناول الورقة البحثية القيود التي تواجه أنظمة التحقق من الحقائق المؤتمتة بالكامل، لا سياسة النماذج اللغوية الكبيرة (LLMs) ونماذج الاستدلال الكبيرة (LRMs)، عند تطبيقها على الادعاءات المعقدة في العالم الحقيقي.

الفجوة: يعتمد مدققو الحقائق المحترفون على معرفة عميقة بالمجال، وسياق ثقافي، وحكم أخلاقي للتحقق من الادعاءات. في المقابل، تفتقر النماذج اللغوية الكبيرة (LLMs) ونماذج الاستدلال الكبيرة (LRMs) غالبًا إلى هذا التأسيد، حيث تعتمد فقط على المعرفة البارامترية والأدلة المسترجعة. يؤدي هذا إلى أخطاء مثل التعميم المفرط، وإساءة تفسير التصنيفات الدقيقة (مثل الخلط بين "حظر الأسلحة الهجومية" و"الحظر الشامل للأسلحة النارية")، والفشل في التمييز بين التأييد المنحاز والأدلة المحايدة.
تحدي التعاون: بينما تُقترح نهج "الإنسان في الحلقة" (human-in-the-loop) كحل، فإن نماذج التفاعل الحالية (وتحديدًا الحوار متعدد الجولات) غير فعالة. لاحظ المؤلفون أنه في إعدادات الحوار، غالبًا ما تقوم النماذج بـ:
- الفشل في دمج جميع نقاط ملاحظات الخبراء.
  ways
- فقدان تتبع التعليمات العالمية أو سياق المهمة الأصلي عبر جولات متعددة.
- إنتاج مسارات استدلال مجزأة تتطلب من المستخدمين تجميع عدة تفاعلات لفهم المنطق الكامل.
- صعوبة تصحيح أخطاء استدلال محددة دون إعادة توليد الاستجابة بأكملها.

2. المنهجية: CO-FACTCHECKER

يقترح المؤلفون إطار عمل CO-FACTCHECKER، الذي يعامل أثر التفكير (سلسلة الأفكام/Chain of Thought) الخاص بالنموذج كـ لوحة مسودة مشتركة (shared scratchpad) بين الخبير البشري والذكاء الاصطناعي. بدلاً من المحادثة، يقوم الإنسان بتعديل عملية الاستدلال مباشرة.

البنية الأساسية

يتكون إطار العمل من ثلاث وحدات ونطاق تفاعل:

المسترجع (Retriever - $R$ ): يولد استعلامات بحث بناءً على الادعاء ويسترجع وثائق الأدلة ذات الصلة.
المتحقق (Verifier - $V$ ): هو نموذج استدلال كبير (LRM) أساسي يعالج الأدلة لصياغة حل مرشح ( $S_c$ )، يتكون من تسمية الحقيقة، وتفسير، وأثر تفكير ( $t_c$ ) يحتوي على خطوات استدلال مرتبة.
المحرر (Editor - $E$ ): مكون حاسم يقوم بترجمة الملاحظات باللغة الطبيعية من الخبير إلى تعديلات على الأثر (trace-edits).
- آلية تعديل الأثر: يقوم المحرر بربط الملاحظات بثلاثة إجراءات محددة:
  - الحذف (Remove): حذف خطوة استدلال معيبة.
  - التعديل (Modify): تصحيح خطوة استدلال معينة.
  - إضافة توجيه (Append Guidance): إضافة رموز توجيهية لتوجيه مسار التوليد المستقبلي للنموذج.
الأوراكل/الخبير الآلي (Oracle - $O$ ): للتقييم التلقائي، يعمل "أوراكل" قائم على نموذج لغوي كبير كوسيط للخبير البشري، حيث يستخدم حقائق التحقق من الصحة والقواعد (rubrics) لتوليد ملاحظات اصطناعية.

سير العمل

الاقتراح: يقترح "المتحقق" حلاً مع أثر تفكير.
المراجعة والملاحظات: يراجع الخبير الأثر ويقدم ملاحظات (على سبيل المثال: "الادعاء هو 'حظر الأسلحة النارية' لكنهم قالوا فقط 'حظر الأسلحة الهجومية'").
تعديل الأثر: يقوم "المحرر" بتحويل هذه الملاحظات إلى تعديلات هيكلية على الأثر (مثل تعديل الخطوة التي تساوي بين المفهومين).
إعادة التوليد: يستمر "المتحقق" في التوليد من الأثر المعدل (مع رموز التوجيه)، لينتج حلاً منقحاً ( $S^*_c$ ).
التكرار: تستمر هذه الحلقة حتى يشعر الخبير بالرضا (بحد أقصى 3 تكرارات في التجارب).

3. المساهمات الرئيسية

نموذج تفاعل جديد: تقديم تعديل الأثر (trace-editing) كآلية للتعاون بين الإنسان والذكاء الاصطناعي، متجاوزًا الحوار متعدد الجولات نحو التلاعب المباشر بعملية الاستدلال.
الضمانات النظرية: يقدم المؤلفون براهين نظرية تثبت أن تعديل الأثر يتمتع بـ قدرة معلوماتية أعلى وقابلية تحسين أفضل من الملاحظات القائمة على الحوار.
- القدرة المعلوماتية: تحت افتراض عنق زجاجة المعلومات (حيث تضغط النماذج الملاحظات في تمثيلات داخلية)، يسمح تعديل الأثر بمجموعة أكبر من الحالات التي يمكن الوصول إليها ( $\tau(t)$ ) مقارنة بالخرائط المقيدة للحوار.
- التحسين: يسمح تعديل الأثر بالوصول إلى حل أمثل محلي أفضل بشكل صارم لأنه يتجنب مشكلة "العديد إلى واحد" المتأصلة في تفسير الملاحظات باللغة الطبيعية.
تقييم شامل: تم تقييم إطار العمل على مجموعتي بيانات (ExClaim و AmbiguousSnopes) باستخدام كل من المقاييس التلقائية والتقييمات البشرية.
التحقق المرتكز على الإنسان: أكدت دراسات المستخدم الموسعة مع مدققي الحقائق المحترفين وباحثي معالجة اللغات الطبيعية (NLP) الفائدة العملية للنظام.

4. النتائج

التقييم التلقائي

الأداء: تفوق CO-FACTCHECKER على جميع النماذج المرجعية، بما في ذلك الأنظمة المستقلة (FIRE, FactCheck-GPT, SAFE) وطرق التعاون الأخرى بين الإنسان والذكاء الاصطناعي (الحوار متعدد الجولات، Best-of-N، MCTS).
المقاييس:
- التنبؤ بالحقيقة: تحسن في درجات الدقة (Precision) وF1 بمقدار 3-4 نقاط عن أفضل نموذج مستقل.
- جودة الاستدلال: تحسن درجة الاستلزام (Entailment Score) (التي تقيس التوافق بين أثر النموذج ومقالات تدقيق الحقائق التي كتبها الخبراء) بشكل ملحوظ (مثلاً +6 نقاط في ExClaim).
- جودة التفسير: أظهرت التفسيرات المولدة تشابهاً أعلى في مقاييس ROUGE-L و BERTScore مع الحقيقة.
دراسات الاستئصال (Ablation Studies): أدى إزالة نموذج المكافأة، أو قصر تعديلات الأثر على إضافة التوجيه فقط، أو إزالة رموز التوجيه، إلى تدهور الأداء، مما يؤكد ضرورة خط معالجة تعديل الأثر الكامل.

التقييم البشري

التفضيل: فضل الخبراء البشريون CO-FACTCHECKER على الحوار متعدد الجولات في 78% من الحالات من حيث التفضيل العام.
المزايا الرئيسية:
- اتباع التعليمات: لاحظ الخبراء أن CO-FACTCHECKER يحتفظ بسياق المهمة بشكل أفضل، بينما غالبًا ما "تفقد" نماذج الحوار المسار أو تنسى الادعاء الأصلي.
- فائدة الأثر: تم تقييم الآثار المعدلة بأنها أكثر تماسكًا، وأسهل في التفسير، وأكثر فائدة كأدوات قابلة لإعادة الاستخدام مقارنة بالآثار المجزأة للحوار.
- الجهد: تطلب التعاون جهداً إدراكياً أقل في إعداد CO-FACTCHECKER.
القيود الملحوظة: لاحظ الخبراء أنه رغم تحسن النظام، إلا أنه لا يزال يرتكب أحياناً أخطاءً جوهرية (مثل الخلط بين الكلام المباشر والتفسير الصحفي) مما يتطلب تصحيحاً بشرياً، مما يسلط الضกัน على أن نماذج الاستدلال الكبيرة الحالية لا تزال تفتقر إلى التوافق التام مع ممارسات تدقيق الحقائق.

5. الأهمية والعمل المستقبلي

تحول في النموذج: تجادل الورقة بأن البناء المشترك للحل عبر تعديل الأثر هو أمر متفوق على الحوار التكراري للمهام عالية المخاطر التي تتطلب خبرة مثل تدقيق الحقائق. إنه يسد الفجوة بين طبيعة "الصندوق الأسود" للنماذج اللغوية الكبيرة والحاجة إلى استدلال شفاف وقابل للتحكم.
القابلية للتعميم: بينما ركزت الورقة على تدقيق الحقائق، يقترح المؤلفون أن تعديل الأثر هو نموذج تفاعل قابل للتعميم يمكن تطبيقه في مجالات أخرى كثيفة الاستدلال مثل التحليل القانوني والمراجعة العلمية.
الاتجاهات المستقبلية: يخطط المؤلفون لدمج استرجاع الأدلة المدفوع بالملاحظات (حيث تؤدي ملاحظات الإنسان إلى عمليات بحث جديدة) وتحسين نماذج الاستدلال الأساسية لتقليل الأخطاء الجوهرية التي تتطلب حالياً تدخلاً بشرياً مكثفاً.

باختة، يثبت CO-FACTCHECKER أنه من خلال معاملة أثر الاستدلال الخاص بالنموذج كمساحة عمل مشتركة وقابلة للتعديل بدلاً من كونه مخرجاً ثابتاً، يمكن للخبراء البشريين توجيه الذكاء الاصطناعي بفعالية لإنتاج عمليات تدقيق حقائق أكثر دقة، ومراعية للسياق، ومنطقية.