🤖 AI

GHOST: Hallucination-Inducing Image Generation for Multimodal LLMs

تقدم الورقة البحثية GHOST، وهي طريقة تلقائية تولد صوراً طبيعية المظهر وخالية من الأجسام عبر تحسين تضمينات الصور لاستحثاث وكشف ثغرات الهلوسة في النماذج اللغوية الكبيرة متعددة الوسائط بشكل نشط، محققةً معدلات نجاح أعلى بكثير من النهج السابقة، كما تعمل أيضاً كأداة لتحسين متانة النموذج من خلال الضبط الدقيق.

المؤلفون الأصليون: Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "GHOST: توليد الصور المحفزة للهلوسة لنماذج اللغات الكبيرة متعددة الوسائط" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الذكاء الاصطناعي "شديد الخيال"

تخيل أن لديك مساعداً آلياً ذكياً جداً يمكنه النظر إلى الصور ووصف ما يراه. إنه بارع في معظم الأشياء، لكن لديه خلل غريب: أحياناً، يرى أشياء ليست موجودة بالفعل.

إذا عرضت عليه صورة لموزة على طبق، فقد يقول بثقة: "نعم، أرى سكيناً بجانب الموزة"، رغم عدم وجود سكين. في عالم الذكاء الاصطناعي، يُسمى هذا "الهلوسة" (Hallucination). الأمر يشبه شخصاً متحمسًا للغاية لإرضاء الآخرين أو معتاداً على أنماط معينة، فيبدأ في اختراع تفاصيل لملء الفراغات.

الطريقة القديمة: التحقق من قائمة ثابتة

في السابق، حاول الباحثون العثان على هذه الأخطاء عبر عرض قائمة ثابتة من الصور على الذكاء الاصطناعي (مثل اختبار الاختيار من متعدد). كانوا يسألونه: "هل ترى سكيناً؟" ويرون ما إذا كان سيخطئ.

العيب: هذا يشبه اختبار سائق في موقف سيارات فارغ ومحدد فقط. قد تغفل عن حقيقة أنه يصاب بالذعر عندما تتدحرج كرة حمراء نحو الشارع. كانت الاختبارات القديمة جامدة للغاية ولم تستطع اكتشاف طرق جديدة أو غريبة قد يفشل بها الذكاء الاصطناعي.

الحل الجديد: GHOST (فنان "الخدع السحرية")

يقدم المؤلفون GHOST (توليد الهلوسة عبر تحسين الرموز الخفية). فكر في GHOST كساحر لا يكتفي بعرض صورة للذكاء الاصطناعي فحسب، بل يرسم لوحة جديدة مصممة خصيصاً لخداع الذكاء الاصطناعي ليجعله يرى "شبحاً".

إليك كيف يعمل GHOST، خطوة بخطوة:

1. تحسين "الحبر السري"

يبدأ GHOST بصورة عادية (مثل موزة على طبق). هدفه هو جعل الذكاء الاصطناعي يعتقد بوجود سكين.

بدلاً من رسم سكين (والذي سيكون واضحاً للبشر)، يعمل GHOST في "لغة سرية" تسمى التمثيلات (Embeddings). تخيل هذا كحالة الحلم الداخلية للذكاء الاصطناعي.
يقوم GHOST بتعديل حالة الحلم هذه بشكل طفيف جداً. إنه يضيف إشارات تشبه "الحبر السري". ربياً، يغير انحناء ساق الموزة لتبدو بشكل طفيف مثل مقبض السكين بالنسبة للذكتر الاصطناعي، بينما بالنسبة للبشر، لا تزال تبدو تماماً كموزة.

2. "المترجم" (الرابط - The Mapper)

هناك مشكلة: الذكاء الاصطناعي الذي ينظر إلى الصورة (MLLM) يتحدث لغة مختلفة عن الذكاء الاصطناعي الذي يرسم الصورة (Diffusion Model).

يبني GHOST مترجماً (يسمى الرابط). يأخذ هذا المترجم "تعديلات أحلام السر" من الرسام ويترجمها إلى تعليمات يمكن للرسام فهمها، دون الحاجة إلى سؤال المشاهد (MLLM) في كل ثانية. هذا يجعل العملية سريعة جداً.

3. "رسام الأحلام" (الانتشار - Diffusion)

بمجرد تجهيز التعليمات السرية، يستخدم GHOST نموذج الانتشار (Diffusion Model) (وهو نوع من الذكاء الاصطناعي الذي ينشئ صوراً من الضجيج) لرسم الصورة النهائية.

يبدأ بالصورة الأصلية للموزة ثم يقوم بعملية "إزالة الضجيج" بلطف بناءً على التعليمات السرية.
النتيجة: تبدو الصورة النهائية طبيعية بنسبة 100% للبشر. لا تزال مجرد موزة على طبق. ولكن بالنسبة للذكاء الاصطناعي، فإن التغييرات الطفيفة في الإضاءة أو الشكل كافية لتجعله يصرخ: "أنا أرى سكيناً!"

لماذا يعد هذا أمراً هاماً؟

تزعم الورقة البحثية تحقيق ثلاثة انتصارات كبرى بواسطة GHOST:

إنه محقق بارع:
- وجدت الطرق القديمة حوالي 1% فقط من حالات الهلوسة.
- وجد GHOST أكثر من 28% من الحالات. الأمر يشبه الترقية من جهاز كشف معادن يفقد 99% من العملات إلى جهاز يجد معظمها تقريباً.
إنه فخ عالمي (قابلية النقل):
- يمكن لـ GHOST خداع ذكاء اصطناعي واحد (مثل Qwen) ثم عرض نفس الصورة "المخدوعة" على ذكاء اصطناعي مختلف تماماً (مثل GPT-4o).
- النتيجة: الذكاء الاصطناعي الثاني يهلوس أيضاً! وهذا يثبت أن أنظمة الذكاء الاصطناعي المختلفة تشترك في نفس نقاط الضعف. إنه مثل العثور على نوع معين من الخدع البصرية التي تخدع عينيك وعيني صديقك، رغم اختلاف نظركما.
إنه علاج، وليس مجرد اختبار:
- لم يستخدم المؤلفون GHOST فقط لكسر الأشياء؛ بل استخدموه لـ إصلاحها.
- أخذوا الصور "المخدوعة" التي أنشأها GHOST وعرضوها على الذكاء الاصطناعي مع الإجابة الصحيحة ("لا، لا توجد سكين").
- النتيجة: أصبح الذكاء الاصطناعي أفضل في عدم الهلوسة في المستقبل. إنه يشبه إظهار الأسئلة التعجيزية التي أخطأ فيها الطالب ليتعلم الإجابة الصحيحة.

الخلاصة

GHOST هو أداة تنشئ تلقائياً "صوراً مخادعة" لاختبار أنظمة الرؤية في الذكاء الاصطناعي. وهو يثبت أن نماذج الذكاء الاصطناعي الحالية هشة ويمكن خداعها بسهولة عبر تغييرات طفيفة وطبيعية المظهر. ولكن الأهم من ذلك، أنه يوفر طريقة لإيجاد نقاط الضعف هذه وتدريب الذكاء الاصطناعي ليكون أكثر موثوقية، مما يضمن أنه عندما يقول إنه يرى سكيناً، فهو يرى سكيناً بالفعل.

ملخص تقني: GHOST – توليد الصور المحفزة للهلوسة للنماذج اللغوية الكبيرة متعددة الوسائط

بيان المشكلة

تعاني النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من هلوسة الأشياء، وهو نمط فشل يتنبأ فيه النموذج بشكل غير صحيح بوجود جسم غير موجود في الصورة المدخلة. تعتمد طرق التقييم الحالية على معايير ثابتة ذات سيناريوهات بصرية محددة ومجموعات صور منسقة. تقيد هذه الأساليب التحليل بالسيناريوهات المعروفة، مما يفشل في كشف نقاط الضعف الخاصة بكل نموذج أو أنماط الهلوسة غير المتوقعة. علاوة على ذلك، تفتقر الطرق الحالية لاكتشاف الهلوسة إلى طريقة منهجية لتقييم أنواع الصور التي تسبب الأخطاء، أو تعتمد على مسارات عمل تستهلك موارد كبيرة ولا تفصل بفعالية بين عملية التحسين وتوليد الصور.

المنهجية: GHOST

قدم المؤلفون GHOST (توليد الهلوسة عبر تحسين الرموز الخفية)، وهو مسار عمل آلي بالكامل وغير خاضع للإشراف، مصمم لاختبار قدرة النماذج اللغبية الكبيرة متعددة الوسائط (MLLMs) عبر تخليق صور تحفز الهلوسة دون إدراج الجسم المستهدف.

البنية الأساسية

يعمل GHOST عن طريق التحسين في فضاء تضمين الصورة بدلاً من فضاء البكسل، مستخدماً نموذج انتشار (Diffusion Model) لتوليد الصورة النهائية. يتكون مسار العمل من ثلاثة مكونات رئيسية:

رسم خرائط فضاء التضمين ( $\Pi$ ):
لسد الفجوة بين المشفر البصري للنموذج المستهدف ( $V_M$ ) وفضاء تضمين CLIP المستخدم في نموذج الانتشار، يستخدم GHOST شبكة عصبية متعددة الطبقات (MLP) خفيفة الوزن. يتم تدريب هذا الرسام لربط تضمينات CLIP مع الرموز البصرية للنموذج المستهدف باستخدام خسارة متوسط مربع الخطأ (MSE). يسمح هذا الفصل لعملية التحسين بالكفاءة دون الحاجة لنشر التدرج (Backpropagation) عبر النموذج المستهدف ونموذج الانتشار بالكامل في آن واحد.
هدف التحسين:
بفرض وجود صورة مدخلة $X_v$ (تفتقر إلى الجسم المستهدف $t$ ) واستعلام $X_q$ (مثل: "هل ترى $t$ ؟")، يقوم GHOST بتحسين تضمين CLIP (الرمز $c$ ) ليلبي ثلاثة قيود:
- التقارب (Proximity): يجب أن يظل التضمين المُحسن $c$ قريباً من تضمين الصورة الأصلية $c_0$ (يتم تنظيمه عبر عقوبة $\ell_2$ ) للحفاظ على الدلالات عالية المستوى.
- غياب دلالات الجسم (Absence of Object Semantics): يجب ألا يشفر التضمين الجسم المستهدف نفسه. ويتم فرض ذلك من خلال معاقبة تشابه جيب التمام (Cosine Similarity) بين $c$ و"تضمين تركيبي" مشتق من أوصاف نصية متنوعة للجسم المستهدف (بما في ذلك الأوصاف المباشرة، والقوالب العامة، والتعليقات المستخرجة من COCO).
- تحفيز الهلوسة (Inducing Hallucination): يجب أن يعظم التضمين احتمالية إخراج النموذج المستهدف لرمز "نعم" (Yes). تُعرف الخسارة التنافسية (Adversarial Loss) بـ $-\log p(y^* | X_q, \Pi(c))$ ، حيث $y^*$ هو الرمز المستهدف.
الانتشار الموجه (Guided Diffusion):
بمجرد أن يستوفي التضمين $c$ عتبة الهلوسة، فإنه يهيئ نموذج انتشار كامن (تحديداً Stable Diffusion unCLIP). وخلافاً للتوليد القياسي من الضجيج، يبدأ GHOST عملية الانتشار العكسي من كمون (Latent) مشوش جزئياً للصورة الأصلية. يضمن هذا أن تحتفظ الصورة المولدة بالسلامة الهيكلية للمدخلات مع إدخال إشارات دلالية خفية ومضللة.
- التصفية (Filtering): يقوم كاشف أجسام مفتوح المفردات (OWLv2) بتصفية الصور المولدة بصرامة. إذا حدد الكاشف الجسم المستهدف، يتم استبعاد العينة. يتحقق النجاح فقط عندما تهلوس النماذج اللغوية الكبيرة (MLLM) بوجود الجسم بينما يؤكد الكاشف غيابه.

المساهمات الرئيسية

التوليد النشط لحالات الفشل: على عكس المعايير الثابتة، يقوم GHOST بتخليق صور بنشاط تكشف عن نقاط الضعف المحددة في النماذج، مما يكشف عن محفزات بصرية جديدة وغير متوقعة للهلوسة.
التحسين المنفصل: من خلال رسم خرائط تضمينات CLIP إلى الفضاء البصري للنموذج، يتجنب GHOST الاختناقات الحسابية لتحسين فضاء البكسل من البداية للنهاية، محققاً تسريعاً بمقدار 5 أضعاف مقارنة بالطرق السابقة مثل DASH.
الاضطرابات على المستوى الدلالي: تقدم الطريقة إشارات دقيقة على المستوى الدلالي (على سبيل المثال، تعديل ساق موزة لتشبه حافة سكين) والتي يمكن للبشر إدراكها كاختلافات طبيعية ولكنها كافية لدفع النموذج عبر حدود القرار.
القابلية للانتقال (Transferability): تظهر الطريقة أن الصور المحفزة للهلوسة والمُحسنة لنموذج واحد غالباً ما تنتقل إلى نماذج أخرى، مما يكشف عن نقاط ضعف نظامية عبر بنيات مختلفة من النماذج اللغوية الكبيرة متعددة الوسائط.

النتائج التجريبية

قيم المؤلفون GHOST على ثلاثة نماذج لغوية كبيرة متعددة الوسائط مفتوحة المصدر: Qwen2.5-VL، و LLaVA-v1.6، و GLM-4.1V-Thinking.

معدل النجاح: حقق GHOST معدلات نجاح في الهلوسة تتراوح بين 28.1% و 32.4% عبر النماذج المختبرة. في المقابل، حققت طريقة DASH، التي كانت تمثل أحدث تقنيات الحالة السابقة، نسبة 0.1% فقط على نفس مجموعة بيانات COCO.
القابلية للانتقال: الصور المحسنة لـ Qwen2.5-VL حفزت الهلوسة في GPT-4o بنسبة 66.5%، وفي نماذج أخرى (LLaMA3.2, Aya, Gemini) بنسب تتراوح بين 42% و 72%، مما يشير إلى وجود أوجه فشل مشتركة.
جودة الصورة: أكدت مقاييس الجودة الكمية (FID) والتقييم البشري أن الصور المولدة عالية الجودة وطبيعية بصرياً. اتفق المقيمون البشر على أن الجسم المستهدف كان غائباً في 86-89% من صور GHOST، وهو ما يضاهي طرق الانتشار الأساسية.
التخفيف (Mitigation): أدى الضبط الدقيق لـ Qwen2.5-VL باستخدام الصور الاصطناعية المولدة بواسطة GHOST إلى تحسين المتانة في معايير الهلوسة اللاحقة (POPE و CHAIR) مع الحفاظ على القدرات اللغوية البصرية العامة (VQAv2، ووصف صور COCO).

الأهمية والادعاءات

يضع البحث GHOST كأداة تشخيصية وتصحيحية لبناء أنظمة موثوقة متعددة الوسائط.

تشخيصية: يكشف أن النماذج اللغبية الكبيرة (MLLMs) تعتمد على ارتباطات زائفة وإشارات بصرية دقيقة بدلاً من الكشف القوي عن الأجسام، مما يكشف عن نقاط ضعف تغفل عنها المعايير الثاسية.
تصحيحية: أظهر المؤلفون أن التدريب على حالات الفشل الاصطناعية هذه يمكن أن يخفف من الهلوسة، مما يقترح مساراً لتحسين متانة النماذج.
القابلية للتوسع: من خلال فصل عملية التحسين عن مولد الصور، يوفر GHOST إطار عمل قابلاً للتوسع لاختبار الإجهاد للنماذج المستقبلية، بما في ذلك النماذج القائمة على الاستدلال مثل GLM-4.1V-Thinking، حيث نجح في تغيير مسار استدلال النموذج لتبرير وجود أشياء غير موجودة.

يقر المؤلفون بالقيود، مشيرين إلى اعتماد الطريقة على نماذج الانتشار القادرة على التكييف مع تضمين الصورة (مثل unCLIP)، والتركيز الحالي بشكل أساسي على الهلوسة المتمحورة حول الأشياء، رغم أن التجارب الأولية تشير إلى إمكانية التطبيق على هلوسة السمات والعلاقات.