CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense

في المشهد الرقمي الحديث، تُكلف أنظمة الذكاء الاصطناي في تزايد مستمر بالإجابة على أسئلة معقدة من خلال البحث في مكتبات ضخمة من المستندات. هذه العملية، المعروفة باسم التوليد المعزز بالاسترجاع، تعمل مثل طالب يُسمح له بفتح كتاب مدرسي أثناء تأدية الامتحان. فبدلاً من الاعتماد فقط على ذاكرتها الداخلية، التي قد تكون قديمة أو عرضة لاختلاق الأمور، يقوم النظام باستدعاء صفحات ذات صلة من قاعدة بيانات واستخدامها لبناء إجابة. ولضمان الشفافية، صُممت هذه الأنظمة لتستشهد بمصادرها، حيث ترفق مرجعاً للمستند المحدد الذي دعم كل ادعاء. بالنسبة للمستخدم، يعمل هذا الاستشهاد كإيصال، وسيلة للتحقق من أن المعلومات تأتي من مكان موثوق بدلاً من خيال الآلة. والافتراض الأساسي بسيط: إذا أشار النظام إلى مصدر ما، فلا بد أن يكون ذلك المصدر هو الذي أقنع الآلة بالفعل بتقديم تلك الإجابة.

لقد اكتشف باحث في جامعة مدينة هونغ كونغ أن هذا الافتراض هش بشكل خطير. فقد حدد طريقة جديدة لخداع هذه الأنظمة، ليس عبر تغيير الإجابة نفسها، بل عبر اختطاف الإيصال. يكشف عمله أن المهاجم يمكنه التحكم في مستند واحد في قاعدة البيانات والتلاعب بالنظام لإنتاج إجابة خاطئة تماماً مع توجيه الاتهام في الوقت نفسه إلى مستند آخر موثوق لا يحتوي على أي دليل على هذا الخطأ. ويطلق الباحث على هذا "غسيل الاستشهاد". إنه شكل من أشكال الخداع المتسلل حيث يبدو الخطأ مشروعاً لأنه مدعوم باستشهاد يثق به المستخدم، رغم أن السبب الحقيقي للخطأ يكمن في مصدر خفي وخبيث لا يراه المستخدم أبداً.

أوضح الباحث هذه الثغرة من خلال إعداد تجربة محكومة تتضمن مستندات متعددة وسلسلة من الأسئلة الصعبة التي تتطلب دمج المعلومات من مصادر مختلفة. في سيناريو قياسي وآمن، سيقرأ النظام المستندات المتاحة، ويجد الحقائق الصحيحة، ويستشهد بالمستند الذي يحمل تلك الحقائق بالفعل. ومع ذلك، عندما أدخل الباحث مستنداً خبيثاً واحداً تمت صياغته بعناية في المزيج، تغير سلوك النظام بشكل دراماتيكي. لم يحاول هذا المستند الخبيث حذف المعلومات الصحيحة أو منع النظام من العثور على الحقيقة؛ بل كُتب ليكون مقنعاً للغاية لدرجة أن النظام سيتبنى ادعاءه الزائف كإجابة. والأهم من ذلك، تم هيكلة المستند لاستغلال ثغرة في كيفية اختيار النظام للمصدر الذي يستشهد به.

إن طريقة النظام في اختيار الاستشهاد ليست انعكاساً مثالياً للمستند الذي تسبب في الإجابة، بل تتأثر بمكان ظهور المستندات وبالعلامات أو الملصقات المرفقة بها. وجد الباحث أنه من خلال وضع مستنده الخبيث في موضع محدد وإضافة جملة بسيطة تردد صدى ملصق مستند بريء وموثوق، يمكنه إجبار النظام على الاستشهاد بالمستند البريء. وكانت النتيجة استشهاداً "مغسولاً": قدم النظام إجابة خاطئة مدفوعة بالمستند السيئ، لكن المستخدم رأى استشهاداً يشير إلى المستند الجيد. وفي اختباراتهم، رفعت هذه التقنية معدل الإجابات الخاطئة من نسبة ضئيلة تبلغ واحداً بالمائة إلى ما يقرب من سبعين بالمائة. وفي الأنظمة الأكثر عرضة للخطر، نجح الهجوم في أكثر من تسعين بالمائة من الحالات، مما يثبت أن الخلل ليس مجرد خلل عابر نادر، بل هو ضعف جوهري في كيفية ربط هذه الأنظمة للإجابات بالمصادر.

وما يجعل هذا الاكتشاف مثيراً للقلق بشكل خاص هو أن الهجوم يعمل دون أي تعليمات أو أوامر معقدة مخفية داخل النص. فالمستند الخبيث يقرأ ببساطة كمدخل موسوعي طبيعي، حيث يذكر حقيقة زائفة كما لو كانت حقيقة راسخة، متبوعة بجملة تذكر المصدر الموثوق بشكل عابر. والنظام، باتباعه لأنماطه الطبيعية، يلتقط هذا الصياغة وموقع النص لتوليد الاستشهاد. وأظهر الباحث أن هذه الثغرة ترتبط برغبة النظام في الاستشهاد بالمصادر بدلاً من حجمه الإجمالي أو ذكائه. فالنماذج التي تعد الأفضل في تقديم إجابات دقيقة وموثقة المصادر هي في الواقع الأكثر عرضة لهذا الخداع، لأنها هي التي تكون أكثر عرضة لتوليد استشهاد في المقام الأول. أما النظام الذي لا يستشهد بأي شيء أبداً، فلا يمكن خداعه في غسيل الاستشهاد، لكنه أيضاً لا يمكن تدقيقه من قبل قارئ بشري.

ولفهم مدى عمق هذه المشكلة، اختبر الباحث آلية دفاع تعتمد ببساطة على التحقق مما إذا كان النص المستشهد به يدعم الادعاء. وهذا هو الأسلء القياسي الذي يستخدمه المستخدمون والأدوات المؤتمتة حالياً للتحقق من المعلومات. ووجدوا أن هذا الدفاع يفشل تماماً أمام غسيل الاستشهاد. فبما أن النظام يشير إلى المستند الموثوق، وهذا المستند موجود بالفعل وذو صلة بالموضوع، فإن الفحص يمر بنجاح. النظام لا يكذب بشأن ما يقوله المستند الموثوق، بل يكذب بشأن المستند الذي تسبب في الإجابة. المستند الموثوق بريء، لكن يتم استخدامه كدرع للمستند الخبيث. وقد أكد الباحث أن المصدر الخبيث كان المحرك الحقيقي للإجابة الخاطئة من خلال إزالة ذلك المصدر من السياق ومراقبة عودة النظام إلى الإجابة الصحيحة، مما أثبت أن الاستشهاد كان مجرد تمويه.

كما استكشفت الدراسة ما إذا كان مجرد تصفية النصوص الغريبة أو المربكة يمكن أن يوقف الهجوم. ووجدوا أنه نظراً لأن المستندات الخبيثة كُتبت لتبدو كنثر مهني وطبيعي، فقد أفلتت من الفلاتر المصممة لكشف الأخطاء الواضحة أو الصياغة الغريبة. والطريقة الوحيدة للكشف الموثوق عن هذا النوع من الخداع هي النظر في الرابط السببي بين المصدر والإجابة، عبر السؤال ليس فقط "هل يدعم هذا المصدر الادعاء؟" بل "هل تسبب هذا المصدر فعلياً في الادعاء؟". واقترح الباحث طريقة دفاع جديدة تحاكي إزالة كل مصدر على حد حد بحد ذاته لمعرفة المسؤول الحقيقي عن المخرج. وبينما يبدو هذا النهج أكثر تكلفة من الناحية الحسابية، إلا أنه الطريقة الوحيدة لرؤية ما وراء عملية الغسيل.

وتتجاوز تداعيات هذا العمل مجرد الفضول الأكاديمي. فمع دمج الذكاء الاصطناعي بشكل متزايد في الأخبار والبحوث واتخاذ القرار، تصبح الثقة الموضوعة في الاستشهادات ميزة أمنية حاسمة. وإذا أمكن التلاعب بهذه الميزة، فإن مسار التدقيق بأكمله يصبح غير موثوق. وقد أظهر الباحث أن هذا ليس خطراً نظرياً بل هو خطر عملي يمكن تنفيذه بأدوات بسيطة نسبياً. كما أثبت أن الهجوم يعمل عبر أنواع مختلفة من الأسئلة ونماذج مختلفة، مما يشير إلى أن المشكلة واسعة الانتشار. فالنماذج الأكثر فعالية، تلك الأكثر فائدة ودقة في الظروف العادية، هي التي يمكن تضليلها بسهولة أكبر لتقديم إجابة خاطئة مع استشهاد يبدو موثوقاً.

وفي النهاية، تكشف الورقة البحثية عن فجوة بين ما يقول النظام إنه استخدمه وما استخدمه بالفعل. فالاستشهاد ليس ذاكرة للمصدر الذي أقنع الآلة؛ بل هو نتاج عملية فك التشفيد الخاصة بالآلة، والتي تشكلها موقع النص والملصقات التي تراها. هذا الانفصال يخلق مساحة يمكن للمهاجم فيها إخفاء ادعاء زائف خلف اسم موثوق. لم يجد الباحث طريقة لإصلاح ذلك عبر رقعة بسيطة أو تغيير في القواعد، بل أظهر أن الطريقة الحالية للتحقق من المعلومات غير كافية، وأن هناك حاجة لنهج جديد لضمان أن المصدر المذكور هو حقاً المصدر الذي كان مؤثراً. ويعمل هذا العمل كتحذير بأنه في عصر الإجابات المؤتمتة، ليس الإيصال دائماً دليلاً على عملية الشراء، وقد يكون الدليل الأكثر موثوقية هو الأكثر خطورة.