💻 علوم الحاسوب

When Sources Disagree: Accuracy-Preserving Batch Verification and the Limits of Source-Age Screening in Retrieval-Augmented Generation

تُظهر هذه الورقة أنه في حين يمكن للاستنتاج بالدفعات المرتبة حسب الطول أن يحسن إنتاجية المعالجة دون التضحية بالدقة في التحقق من التوليد المعزز بالاسترجاع، فإن قاعدة فحص عمر المصدر البسيطة غير كافية للكشف عن التقادم الواقعي ويجب استبدالها بفحوصات زمنية مدركة للمحتوى.

المؤلفون الأصليون: Kholofelo JONASE KGATLA, Nthabiseng Michael Moeti

نُشر 2026-11-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kholofelo JONASE KGATLA, Nthabiseng Michael Moeti

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مكتبة حيث يُطلب من أمين المكتبة الإجابة على سؤال عبر سحب كتاب من الرف، وقراءة مقتطف منه، ثم إخبارك بالإجابة. أمين المكتبة هذا بارع جداً في العثور على الكتاب الصحيح، ولكن أحياناً قد يتناقض المقتطف الذي يقرؤه مع الإجابة التي يقدمها، أو قد تكون الحقيقة الموجودة في الكتاب قد تغيرت منذ آخر تحديث لفهرس المكتبة. هذا هو التحدي الجوهري الذي يواجه أنظمة الذكاء الاصطناعي الحديثة التي تحاول الإجابة على الأسئلة باستخدام معلومات خارجية. هذه الأنظمة، المعروفة باسم "التوليد المعزز بالاسترجاع"، تعمل من خلال البحث في مكتبة رقمية شاسعة عن حقائق لدعم إجاباتها. والأمل هو أنه من خلال ترسيخ استجاباتها في أدلة حقيقية، ستتوقف عن اختلاق الأمور. ومع ذلك، تكشف دراسة جديدة أن مجرد إرفاق مصدر بإجابة ما لا يضمن أن تكون الإجابة صحيحة أو حديثة؛ فقد يكون المصدر خاطئاً، أو قد تكون الحقيقة قد انزاحت نحو الماضي، مما يترك النظام يستشهد بثقة بمعلومات عفا عليها الزمن.

لقد وضع باحثون في جامعة تسواني للتكنولوجيا (Tshwane University of Technology) هدفاً لاختبار مدى قدرة هذه الأنظمة على مراجعة عملها. وقد ركزوا على طريقتين محددتين تفشل فيهما هذه الأنظمة. الأولى هي التناقض الدلالي، حيث تجادل الأدلة التي يجدها النظام في الواقع ضد الإجابة التي يقدمها. والثانية هي المشكلة الزمنية، حيث تكون الأدلة صحيحة عندما كُتبت ولكنها لم تعد صحيحة اليوم. وللتحقيق في ذلك، استخدم الفريق مجموعة من الادعاءات العلمية ووثائقها الداعمة لمعرفة ما إذا كان بإمكانهم بناء "مدقق حقائق" موثوق يعمل جنباً إلى جنب مع الذكاء الاصطناعي الرئيسي. واختبروا عدة طرق مختلفة، تراوحت من عمليات التحقق البسيطة القائمة على القواعد إلى نماذج أكثر تعقيداً تقرأ النص بعناية لفهم العلاقة بين الادعاء ومصدره.

وجد الباحثون أن الطريقة الأكثر موثوقية لكشف التناقضات هي نموذج متطور يقرأ الادعاء والأدلة معاً، ويحلل كيفية تفاعل الكلمات فيما بينها. حقق هذا النموذج دقة بلغت 72.0 بالمائة على مجموعة اختبار متوازنة مكونة من 200 حالة. وفي المقابل، اختبروا نهجاً أبسط وأسرع يبحث عن كلمات محددة، مثل التحقق مما إذا كانت إحدى الجمل تحتوي على كلمة سلبية مثل "ليس" بينما لا تحتوي الأخرى عليها. ورغم أن هذا الاختصار كان أسرع، إلا أنه جعل النظام أقل دقة بشكل ملحوظ، حيث انخفض الأداء إلى 66.5 بالمائة. وخلص الباحثون إلى أن هذا الاختصار السريع لم يكن مقايضة جيدة؛ فالفقد في الدقة كان كبيراً جداً بحيث لا يمكن تبرير المكسب الضئيل في السرعة. وقد استبعدوا صراحة هذا الاختصار كطريقة آمنة لتصفية الإجابات في نظام واقعي.

وبدلاً من محاولة تخطي العمل الشاق، وجد الفريق طريقة لجعل النموذج الدقيق يعمل بكفاءة أكبر دون فقدان أي دقة. فقد اكتشفوا أنه من خلال تنظيم الأسئلة والأجوبة في مجموعات صغيرة ومعالجتها معاً بترتيب معين يعتمد على طولها، يمكنهم تقليل إجمالي الوقت الذي يقضيه الكمبيوتر في العمل. وفي مجموعة الاختبار الخاصة بهم، قللت هذه الطريقة إجمالي وقت المعالجة بنسبة 10.55 بالمائة، مع الاستمرار في إنتاج نفس الإجابات الصحيحة تماماً كما لو تم التعامل مع الأسئلة واحداً تلو الآخر. وهذا يشير إلى أنه بالنسبة للأنظمة التي تحتاج إلى التحقق من العديد من الاستشهادات في وقت واحد، فإن تنظيم عبء العمل هو استراتيجية أفضل من محاولة استخدام مرشح أضعف وأسرع.

كما بحثت الدراسة في فكرة استخدام عمر المصدر كوسيلة لرصد الحقائق القديمة. واختبر الباحثون قاعدة بسيطة: إذا كان المصدر أقدم من 90 يوماً، يتم وضع علامة للمراجعة. طبقوا هذه القاعدة على خمسة أمثلة واقعية لأسئلة تغيرت إجابتها الصحيحة بمرور الوقت، بالإضافة إلى مثال واحد لم تتغير فيه الإجابة. وبما أن جميع المصادر في مجموعة الاختبار الخاصة بهم كانت بعمر 148 يوماً، فقد وضعت القاعدة علامة على كل حالة منها. لقد حددت القاعدة بشكل صحيح الحالات الأربع التي تغيرت فيها الحقائق، لكنها وضعت علامة أيضاً على الحالة التي ظلت فيها الحقائق كما هي. أظهرت هذه النتيجة أنه بينما يعد التاريخ القديم إشارة جيدة إلى أن المراجعة قد تكون مطلوبة، إلا أنه لا يمكنه إثبات خطأ حقيقة ما بمفرده. فالمصدر يمكن أن يكون قديماً ولا يزال صحيحاً، تماماً كما يمكن أن يكون المصدر الجديد خاطئاً.

في نهاية المطاف، ترسم الدراسة صورة واضحة لكيفية بناء ذكاء اصطناعي أكثر موثوقية. إن المسار الأكثر فعالية ليس الاعتماد على قواعد سريعة وبسيطة قد تغفل عن دقة اللغة أو تعقيد الزمن. بدلاً من ذلك، فإن النهج الأفضل هو استخدام نموذج دقيق وحذر للتحقق من معنى النص، وجعل هذا النموذج يعمل بشكل أسرع من خلال تنظيم العمل بكفاءة. كما أكد الباحثون أن التحقق من عمر المصدر يجب أن يؤدي فقط إلى استدعاء بشري أو نظام أكثر تقدماً للنظر بعمق، بدلاً من أن يكون بمثابة حكم نهائي على صحة الحقيقة. ومن خلال فصل مهمة التحقق من المعنى عن مهمة التحقق من التواريخ، وتجنب الاختصارات التي تضحي بالدقة، يمكننا بناء أنظمة تتسم بالسرعة والموثوقية في آن واحد.

أبحاث مشابهة