DS@GT ARC at CheckThat! 2026: LLM-Based Trace Ranking and Grouped Reward Modeling for Multilingual Numerical Claim Verification
تقدم هذه الورقة نظام DS@GT ARC لمسابقة CheckThat! 2026، والذي يوضح أن نموذج تحقق قائم على النماذج اللغوية الكبيرة (LLM) مع اختيار أفضل N من N يتفوق على نموذج مكافأة خفيف الوزن يعتمد على TF-IDF في التحقق من الادعاءات الرقمية متعددة اللغات، بينما يظهر أيضاً أن نموذج AraBERT يتفوق على النماذج المرجعية متعددة اللغات للغة العربية، وأن تفكيك الادعاء الفرعي يفشل في تحسين الأداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة وفوضوية حيث يمكن لأي شخص أن يكتب كتاباً، وأحياناً تكون تلك الكتب مليئة بالأكاذيب. في هذا العصر الرقمي، تنتشر القصص الزائفة أسرع من إشاعة في ممرات مدرسة ثانوية، وغالباً ما تختبئ خلف جدار من الأرقام والتواريخ التي تجعلها تبفدو جادة للغاية. هذا هو عالم "التحقق من الحقائق"، وهو مجال يحاول فيه العلماء بناء محققين آليين لفرز الحقيقة عن الخيال. لكن الجزء المخادع هنا هو: عندما تتضمن الكذبة رقماً محدداً — مثل "50% من الناس فعلوا هذا" — فإنها تبدو أكثر واقعية لعقولنا، حتى لو كانت مختلقة. يُسمى هذا "تأثير الحقيقة الرقمية". وللإمساك بهذه الأكاذيب المخادعة، نحتاج إلى حواسيب لا تقرأ الكلمات فحسب، بل تقوم أيضاً بالعمليات الحسابية وتدقق في التواريخ، وهي مهارة كان من الصعب تاريخياً على الآلات إتقانها.
الآن، تخيل فريقاً من الباحثين من معهد جورجيا للتكنولوجيا يدخلون مسابقة عالية المخاطر تسمى "!CheckThat" لبناء الروبوت الأمثل للتحقق من الحقائق. مهمتهم؟ إنشاء نظام يمكنه التحقق من الادعاءات المتعلقة بالأرقام والتواريخ باللغتين الإنجليزية والعربية. لكنهم لم يريدوا مجرد روبوت يخمن "صحيح" أو "خطأ". أرادوا روبوتاً يمكنه النظر في كومة من مسارات الاستدلال المختلفة (مثل محققين مختلفين يكتبون ملفات قضاياهم) واختيار المسار الأفضل لاتخاذ القرار. فكر في الأمر كقاضٍ لا يريد حكماً فحسب، بل يريد رؤية أفضل حجة قانونية مكتوبة ليتأكد من أن القرار سليم.
حاول الفريق، المعروف باسم DS@GT، استراتيجيتين مختلفتين تماماً لحل هذا اللغز. النهج الأول كان يشبه توظيف محقق ذكي جداً ومطلع (نموذج لغوي كبير) وإعطائه جلسة تدريب خاصة لتعلم كيفية تقييم عمل المحققين الآخرين. استخدموا تقنية تسمى "LoRA"، وهي تشبه إعطاء المحقق مجموعة من أقلام التحديد المتخصصة للتركيز على الأجز{\text{most important parts of the case without rewriting their whole brain. They even tried breaking big, complicated claims into smaller, bite-sized pieces first, hoping it would make the job easier.
النهج الثاني كان أشبه بأمين مكتبة سريع وذكي. فبدلاً من محقق فائق الذكاء، بنوا أداة خفيفة تبحث عن أنماط محددة، مثل عد كم عدد الأرقام أو التواريخ التي تطابقت بين الادعاء والدليل والاستدلال. لقد كان "نموذج مكافأة" يمنح نقاطاً للتطابق في الأرقام ويفرض عقوبات على عدم التطابق، ثم يجمع النتائج لمعرفة أي قرار يحظى بدعم أكبر.
إذاً، ماذا وجدوا؟ تبين أن "المحقق الذكي جداً" (نهج النموذج اللغوي الكبير) كان الفائز الإجمالي، خاصة في العثور على مسار الاستدلال الصحيح بسرعة. لقد كان أفضل في رصد الإجابة الصحيحة في معظم المواقف. ومع ذلك، كان لـ "أمين المكتبة السريع" (نموذج المكافأة) قوة سرية: فقد كان بارعاً بشكل مفاجئ في التعامل مع الحالات الفوضوية والمربكة حيث تكون الأدلة منقسمة بين "صحيح" و"خطأ"، وهي فئة وصفها الباحثون بأنها "متضاربة".
ومن المثير للاهتمام، أن فكرة الفريق لتقسيم الادعاءات الكبيرة إلى قطع أصغر لم تنجح كما كان مأمولاً. فبدلاً من جعل المهمة أسهل، أدت في الواقع إلى إضافة ضجيج، كأن تحاول حل لغز عبر تقطيع قطعه إلى أجزاء أصغر وأكثر إرباكاً. وبالنسبة لجزء اللغة العربية من التحدي، وجدوا أن استخدام نموذج مدرب خصيصاً على العربية (AraBERT) كان أفضل بكثير من استخدام نموذج عام يتحدث لغات متعددة، مما يثبت أن المتخصص أحياناً يكون أفضل من العام.
في النهاية، تشير الورقة البحثية إلى أنه بينما تعد نماذج الذكاء الاصطناعي الكبيرة والذكية هي الأفضل حالياً في التحقق من الحقائق بشكل عام، إلا أنه لا ينبغي لنا تجاهل قيمة أدوات مطابقة الأنماط الأبسط عند التعامل مع الادعاءات الأكثر غموضاً وتعقيداً. هم لم يحلوا مشكلة المعلومات المضللة للأبد، لكنهم قدموا لنا خريطة أوضح لأي الأدوات تعمل بشكل أفضل لأي نوع من الأكاذيب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.