Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks

تخيل أنك تتحدث إلى روبوت أمين مكتبة فائق الذكاء، قد قرأ كل كتاب تقريبًا في الكون. تسأله سؤالاً، وللتأكد تماماً، تمنحه صفحة محددة من كتاب ليستخدمها كمفتاح للإجابة. هذا الإعداد يسمى "التوليد المعزز بالاسترجاع"، أو RAG. الأمر يشبه إعطاء الروبوت ورقة مرجعية حتى لا يضطر للتخمين من ذاكرته الخاصة. الأمل هو أن يلتزم الروبوت بصرامة بالورقة المرجعية، متجاهلاً معرفته الداخلية إذا لم تتطابق معها. لكن هنا تكمن المشكلة؛ فأحياناً، حتى مع وجود الورقة المرجعية في يده، يصاب الروبوت بالارتباك، أو ينسى ما يقرأه، أو يبدأ في اختلاق الأمور على أي حال. وهذا ما يسمى "الهلوسة الجوهرية". ليس الأمر أن الروبوت يكذب عن قصد، بل إن عقله ببساه "قفاز" للغاية لدرجة تمنعه من البقاء وفياً للأدلة الموجودة أمامه مباشرة.

الآن، تخيل أنك محقق تحاول اكتشاف مدى "قفز" هذا الروبوت حقاً. يمكنك طرح نفس السؤال بمئة طريقة مختلفة، ولكن إذا غيرت معنى السؤال، فقد يرتبك الروبوت بسبب الموضوع الجديد. لاختبار تركيزه حقاً، عليك طرح نفس السؤال بالضبط، ولكن بهمسه بأسلوب عشرات اللهجات أو اللغات أو هياكل الجمل المختلفة. إذا أعطاك الروبوت إجابة مختلفة (وخاطئة) لمجرد أنك قلت "كم الساعة الآن؟" بدلاً من "هل يمكنك إخباري بالوقت الحالي؟"، فهذا يعني أن الروبوت يعاني من مشكلة خطيرة في الاتساق. هذه الورقة البحثية تدور حول بناء آلة تهمس بتلك التغييرات الملتزمة بالمعنى لاختبار ما إذا كان أمين المكتبة الروبوت سينهار تحت الضغط.

قرر الباحثون وراء هذه الدراسة اختبار أنظمة الذكاء الاصطناعي هذه باستخدام إطار عمل جديد وذكي. لم يكتفوا بطلب كسر قواعد السلامة من النماذج (وهي طريقة شائعة لاختبار الذكاء الاصطناعي)؛ بل طلبوا منها كسر أمانتها الخاصة. استخدموا فريقاً من "المهاجمين" الرقميين — بعضهم يستخدم الرياضيات لتعديل الكلمات، والبعض الآخر يستخدم الخوارزميات الجينية لتطوير جمل جديدة، والبعض الآخر يستخدم ذكاءً اصطناعياً آخر لإعادة صياغة الأسئلة — للعثور على إعادة الصياغة المثالية التي تحافظ على المعنى والتي قد تجعل النموذج يهلوِس. كان الهدف هو معرفة ما إذا كان بإمكانهم خداع النموذج ليتجاهل السياق المقدم ويؤلف قصة، رغم أن السؤال يعني تماماً نفس الشيء مثل السؤال الأصلي.

كانت النتائج صادمة نوعاً ما. وجد الفريق أنه حتى أكثر النماذج تقدماً وحداثة هي هشة بشكل مفاجئ. عندما استخدموا هذه الهجمات المتكافئة دلالياً، انخفضت قدرة النماذج على الالتزام بالحقائق بشكل كبير. في بعض الحالات، تدهورت أمانة النموذج للأدلة المقدمة بنسبة تصل إلى 50% لنماذج محددة مثل GPT-5-mini في مجموعات بيانات معينة. على سبيل المثال، في مجموعة بيانات FaithEval، انخفضت أمانة GPT-5-mini من 0.72 إلى 0.22، أي بانخفاض قدره 41.7%، حيث فشل فجأة في الإجابة بشكل صحيح عندما تمت صياغة السؤال بشكل مختلف قليلاً، رغم أن المعنى لم يتغير على الإطلاق.

تشير الورقة البحثية إلى أن مجرد جعل النماذج أكبر أو أذكى ليس كافياً لإصلاح هذه المشكلة. لقد اختبر الباحثون كل شيء، من النماذج الصغيرة مفتوحة المصدر إلى العمالقة الضخمة مغلقة المصدر، وجميعها تعثرت عند مواجهة هذه الحيل التي تحافظ على المعنى. كانت الهجمات فعالة للغاية لدرجة أنها استطاعت دفع النماذج لقول أشياء مثل "غير قادر على الإجابة" أو اختلاق تفاصيل لم تكن موجودة في النص، وكل ذلك بينما يظل السؤال متطابقاً منطقياً مع الأصل.

ومن المثير للاهتمام أن نوع الهجوم كان مهماً. بعض الأساليب التي اكتفت باستبدال الكلمات بمرادفات (مثل تغيير "كبير" إلى "ضخم") جعلت الأسئلة تبدو غريبة وغير طبيعية، وهو ما استطاعت النماذج رصده بسهولة. لكن الأساليب التي استخدمت ذكاءً اصطناعياً آخر لإعادة كتابة الجملة بأكملها بشكل طبيعي — مع الحفاظ على التدفق والمعنى المثالي — كانت هي المزعجة حقاً. هذه الهجمات ذات الطابع الطبيعي كانت هي التي تسببت في أكبر انخفاض في الأداء، مما يثبت أن النماذج ليست هشة فقط أمام الكلام الغريب غير المفهوم، بل أمام التنوع الطبيعي للغة البشرية.

كما درست الدراسة كيفية فشل النماذج. أحياناً كانت ترفض الإجابة فحسب، ولكن غالباً ما كانت تخطئ في الحقائق، أو تسيء قراءة السياق، أو تقوم بقفزات منطقية سيئة. يخبرنا هذا أن المشكلة ليست في كون النماذج عنيدة فحسب؛ بل في أن قدرتها على ربط إجاباتها بالنص المقدم مهتزة بشكل أساسي. ويخلص الباحثون إلى أننا بحاجة إلى بناء بنيات وطرق تدريب جديدة تجبر النماذج على البقاء متمسكة بالأدلة، بغض النظر عن كيفية صياغة السؤال. وحتى ذلك الحين، قد يكون حتى أذكى أمناء المكتبة من الذكاء الاصطناعي على بعد جملة واحدة مختلفة قليلاً من تأليف تاريخ جديد بالكامل.