A Multi-Agent Approach for Claim Verification from Tabular Data Documents

تخيل أنك محقق يحاول حل لغز ما. هذا "اللغز" هو ادعاء جريء قدمته شركة أو عالم، مثل: "لقد أعدنا تدوير 55.82% من كل المياه التي استخدمناها العام الماضي!"

"الدليل" هو جدول ضخم وفوضوي مدفون داخل تقرير مالي مكون من 50 صفحة. مهمتك هي التحقق مما إذا كان هذا الادعاء صحيحاً، أو خاطئاً، أو إذا كانت هناك معلومات غير كافية فقط.

القيام بذلك بمفردك أمر صعب. إذا حاولت قراءة التقرير بأكمله وإجراء الحسابات في ذهنك، فقد تشعر بالتعب، أو تفوتك أرقام، أو ترتبك بسبب التنسيق.

تقدم هذه الورقة فريقاً جديداً من المحققين الآليين يسمى MACE (التحقق من الادعاءات عبر الوكلاء المتعددين - Multi-Agent Claim vErification). بدلاً من وجود محقق واحد فائق الذكاء يحاول القيام بكل شيء، يستخدم MACE فريقاً من ثلاثة عمال متخصصين يتحدثون مع بعضهم البعض لحل اللغز.

إليك كيف يعمل الفريق، باستخدام تشبيه بسيط:

فريق MACE: ثلاثة وكلاء متخصصين

فكر في MACE كمطبخ مطعم راقٍ. أنت لا تملك طباخاً واحداً يفعل كل شيء؛ بل لديك فريق بأدوار محددة.

1. المخطط (رئيس الطهاة / المهندس المعماري)

• الدور: المخطط لا يطهو الطعام ولا يقوم بالحسابات. بدلاً من ذلك، ينظر إلى طلب العميل (الادعاء) والمكونات الموجودة في الثلاجة (الجدول).
• ماذا يفعل: يكتب وصفة. يقول: "حسناً، لإثبات هذا الادعاء، نحتاج إلى إيجاد صف 'المياه المعاد استخدامها' وصف 'إجمالي المياه'. ثم نحتاج إلى جمع الأرقام لكل عام من 2017 إلى 2023. وأخيراً، نقسم المياه المعاد استخدامها على إجمالي المياه."
• لماذا يساعد: يقوم بتفكيك مشكلة ضخمة ومخيفة إلى خطوات صغيرة وسهلة حتى لا يشعر أحد بالإرهاق.

2. المنفذ (طباخ الخط / الحاسب)

• الدور: المنفذ هو من يقوم بالعمل الفعلي. يأخذ وصفة المخطط ويتبعها خطوة بخطوة.
• ماذا يفعل: يذهب إلى الجدول، ويجد الأرقام المحددة، ويجمعها، ويقوم بعملية القسمة. ويكتب بالضبط ما فعله: "لقد وجدت 1,099,107 لتر من المياه المعاد استخدامها و1,968,929 لتر من إجمالي المياه. عندما أقسمهما، أحصل على 55.82%."
• لماذا يساعد: يركز فقط على التنفيذ. لا يشغل باله بالصورة الكبيرة؛ بل يحرص فقط على أن تكون الحسابات صحيحة.

3. المتحقق (مفتش الأغذية / مراقب الجودة)

• الدور: المتحقق هو المدير الصارم الذي يفحص العمل قبل تقديمه للعميل.
• ماذا يفعل: يقرأ حسابات المنفذ ويسأل: "هل استخدمت الأرقام الصحيحة حقاً؟ هل ارتكبت خطأً؟ هل تتطابق إجابتك بالفعل مع الادعاء؟"
• الحلقة السحرية: إذا رأى المتحقق خطأً، فإنه لا يكتفي بقول "خطأ". بل يعيد العمل إلى الخلف إلى المخطط أو المنفذ ويقول: "مهلاً، لقد استخدمت الصف الخاطئ! اذهب وأصلحه." هذا يمنع تسرب الأخطاء.

لماذا يعد هذا أفضل من الطريقة القديمة؟

الطريقة القديمة (المحقق المنفرد):
في السابق، كانت النماذج الذكية تحاول أن تكون "محققاً خارقاً". كان عليها قراءة الجدول، وفهم السياق، وإجراء الحسابات، والتحقق من عملها الخاص، كل ذلك في آن واحد.

• المشكلة: إذا كان النموذج صغيراً، فإنه يرتبك ويرتكب أخطاء. وإذا كان ضخماً جداً (مثل دماغ عملاق يحتوي على 235 مليار "عصبون")، فإنه يعمل جيداً ولكنه مكلف للغاية، وبطيء، ويتطلب حاسوباً فائق القدرة لتشغيله.

طريقة MACE (الفريق):
يستخدم MACE فريقاً من المحققين الأصغر حجماً والأقل تكلفة.

• النتيجة: حتى مع استخدام عقل ذكاء اصطنائي صغير ورخيص (مثل نموذج بـ 7 مليارات أو 27 مليار معلمة)، فإن نهج الفريق يجعلهم يؤدون بشكل يقارب أداء الحواسيب العملاقة الضخمة والمكلفة.
• الكفاءة: الأمر يشبه أن يكون لديك ثلاثة متدربين أذكاء وصغار يعملون معاً، وهو أكثر فعالية من وجود عبقري واحد متعب يحاول القيام بكل شيء بمفرده.

"حلقة التغذية الراجعة" (السر الخفي)

الجزء الأكثر روعة في MACE هو أن الفريق يتحدث مع بعضه البعض.

• إذا ارتبك المنفذ بسبب الوصفة، فإنه يطلب من المخطط إعادة كتابتها.
• إذا رأى المتحقق خطأً حسابياً، فإنه يعيده إلى المنفذ لإصلاحه.
• هذا يمنع تراكم الأخطاء. في الأنظمة القديمة "ذات الاتجاه الواحد"، إذا كانت الخطوة الأولى خاطئة، فإن الإجابة بأكملها ستكون خاطئة. أما في MACE، فهم يكتشفون الخطأ قبل أن يتحول إلى كارثة.

الخلاصة

تظهر هذه الورقة أنك لست بحاجة إلى حاسوب فائق بمليارات الدولارات للتحقق من الحقائق في الجداول. من خلال تنظيم الذكاء الاصطناعي في فريق يتكون من خطة واضحة، وعامل، ومُدقق، يمكنك الحصول على نتائج رائدة (SOTA) (أفضل أداء ممكن) مع استخدام ذاكرة وأموال أقل بكثير.

إنه تحول من "دماغ واحد عملاق" إلى "فريق ذكي"، مما يجعل التحقق من الحقائق أسرع، وأرخص، وأكثر شفافية للجميع.