💬 NLP

VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing

تقترح هذه الورقة البحثية "التحرير التبايني البصري" (VCE)، وهو أسلوب لاحق للتحليل، غير مكلف ولا يتطلب تسميات توضيحية، يعمل على الحد من هلاوس الكائنات في نماذج الرؤية واللغة الكبيرة باستخدام تحليل القيم المفردة لتحديد وتثبيط الفضاءات الجزئية للهلاوس دون الحاجة إلى ضبط دقيق أو بيانات مصنفة.

المؤلفون الأصليون: Yanbin Huang, Yisen Li, Guiyao Tie, Xiaoye Qu, Pan Zhou, Hongfei Wang, Zhaofan Zou, Hao Sun, Xuelong Li

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yanbin Huang, Yisen Li, Guiyao Tie, Xiaoye Qu, Pan Zhou, Hongfei Wang, Zhaofan Zou, Hao Sun, Xuelong Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً جداً ومطلعاً، يحب وصف الصور لك. لقد قرأ ملايين الكتب ورأى ملايين الصور. ومع ذلك، لديه عادة غريبة: أحياناً، عندما ينظر إلى صورة لحديقة هادئة، يخبرك بثقة: "أرى كلباً يلعب بالكرة!" رغم عدم وجود كلب في الصورة.

يُسمى هذا "هلوسة الأشياء" (Object Hallucination). يحدث هذا لأن صديقك يعتمد كثيراً على ما "يتوقع" رؤيته (بناءً على قراءاته) بدلاً من ما هو موجود بالفعل في الصورة. إذا كان هذا الصديق طبيباً ينظر إلى صورة أشعة سينية أو سيارة ذاتية القيادة تنظر إلى الطريق، فإن اختلاق أشياء قد يكون أمراً خطيراً.

تقدم الورقة البحثية التي شاركتَها حلاً ذكياً يسمى VCE (التحرير التبايني البصري - Visual Contrastive Editing). وإليك كيف يعمل، مشروحاً ببساطة:

1. المشكلة: "انحياز التوقعات"

فكر في نموذج الذكاء الاصطناعي كطالب درس بجد ولكنه حفظ الإجابات الخاطئة. إذا عرضت عليه صورة لطبق، سيقفز عقله فوراً إلى "شوكة" و"سكين" لأن هاتين الكلمتين تظهران معاً عادة في بيانات تدريبه. هو لا ينظر إلى الصورة؛ بل يخمن بناءً على عاداته.

2. الحل: لعبة "ماذا لو؟"

ابتكر الباحثون طريقة لخداع الذكاء الاصطناعي ليدرك أخطاءه بنفسه دون الحاجة إلى معلم ليصحح له.

الإعداد: يأخذون صورة أصلية (مثلاً: طبق طعام).
التحول: يقومون بإنشاء نسخة "مضطربة" من تلك الصورة. تخيل أنك تأخذ الصورة وتضيف إليها القليل من "الضجيج الرقمي" أو التشويش - مجرد قدر ضئيل يجعل الصورة ضبابية أو غريبة قليلاً، ولكن ليس بما يكفي لتغيير ماهية الشيء.
المقارنة: يطلبون من الذكاء الاصطناعي وصف كل من الصورة الأصلية والنسخة المشوشة.
- إذا كان الذكاء الاصطناعي صادقاً، فيجب أن يقول شيئاً متقارباً لكليهما.
- أما إذا كان يهلوِس (يختلق أشياء)، فإن ثقته ستتذبذب. قد يقول: "بالتأكيد هي شوكة!" للصورة الواضحة، ولكن عندما تصبح الصورة مشوشة، قد يقول فجأة: "ربما هي ملعقة؟" أو يصاب بالارتباك.

3. إيجاد "عضلة الهلوسة"

أدرك الباحثون أنه عندما يرتبك الذكاء الاصطناعي بسبب الصورة المشوشة، فإنه يكشف عن "عضلة" محددة في دماغه مسؤولة عن اختلاق الأشياء.

يستخدمون أداة رياضية تسمى SVD (تحلل القيم المفردة - Singular Value Decomposition) لتعمل مثل الأشعة السينية. تقوم هذه الأداة بمسح دماغ الذكاء الاصطناعي وتجد "الاتجاه" أو "الفضاء الفرعي" المحدد الذي تعيش فيه هذه الهلوسات. فكر في الأمر كالعثور على التردد الدقيق في الراديو حيث يكون ضجيج التشويش في أعلى مستوياته.

4. "التحرير الجراحي"

بمجرد العثور على "تردد الهلوسة" هذا، لا يحتاجون لإعادة تدريب الذكاء الاصطناعي بالكامل (والذي قد يستغرق أسابيع ويكلف ثروة). بدلاً من ذلك، يقومون بـ "جراحة" دقيقة وصغيرة على الإعدادات الداخلية للذكاء الاصطناعي.

إنهم يقومون أساساً بـ "كتم" ذلك التردد المحدد. يقومون بتعديل الرياضيات بحيث لا يستطيع دماغ الذكاء الاصطناعي الوصول بسهولة إلى مسار "اختلاق الأشياء".

لماذا يعد هذا أمراً هاماً؟

تكلفة صفرية: لا تحتاج لتغذية الذكاء الاصطناعي ببيانات جديدة أو تعليمه دروساً جديدة. الأمر يشبه إعطاء الذكال الاصطناعي نظارات تساعده على رؤية الواقع بشكل أفضل، بدلاً من إرساله للعودة إلى المدرسة.
لا فقدان للسرعة: لأنهم قاموا بإصلاح الإعدادات قبل أن يبدأ الذكاء الاصطناعي في التحدث، فإن الذكاء الاصطناعي لا يتباطأ. إنه يجيب بنفس سرعة السابق.
يعمل في كل مكان: اختبروه على نماذج مختلفة من الذكاء الاصطناعي (مثل LLaVA و MiniGPT)، وكان يعمل بشكل رائع، حيث قلل من الأشياء الوهمية بشكل كبير مع الحفاظ على دقة الأوصاف.

ملخص التشبيه

تخيل أن الذكاء الاصطناعي موسيقي يعزف مقطوعة موسيقية. أحياناً، يعزف نوتة خاطئة بالخطأ لأنه اعتاد سماع تلك النوتة في أغنيات أخرى.

الطرق القديمة حاولت تسجيل الأغنية مراراً وتكراراً حتى يتقن الموسيقي عزفها (وهو أمر مكلف وبطيء).
VCE يشبه وضع قطعة صغيرة من الشريط اللاصق فوق مفتاح البيانو المحدد الذي يتسبب في النوتة الخاطئة. يمكن للموسيقي أن يعزف المقطوعة كاملة ببراعة، لكنه جسدياً لا يستطيع الضغط على ذلك المفتاح الخاطئ بعد الآن.

هذه الطريقة تجعل الذكاء الاصطناعي أكثر أماناً وموثوقية للمهام الواقعية مثل التشخيص الطبي أو القيادة، مما يضمن أن ما يراه الذكاء الاصطناعي هو بالفعل ما هو موجود حقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VCE: طريقة خالية من التكلفة للتخفيف من الهلوسة في نماذج اللغات البصرية الكبيرة عبر التحرير التبايني البصري."

1. بيان المشكلة

هلوسة الأشياء (Object Hallucination - OH) هي نمط فشل حرج في نماذج اللغات البصرية الكبيرة (LVLMs)، حيث يقوم النموذج بتوليد أوصاف تحتوي على أشياء غير موجودة في الصورة المدخلة.

السبب الجذري: تعزو الورقة ذلك إلى الأولويات اللغوية (language priors) — وهي انحيازات إحصائية تم تعلمها أثناء التدريب المسبق، حيث يتنبأ النموذج بالأشياء بناءً على تكرار ظهورها معاً في النصوص (مثل التنبؤ بوجود "شوكة" عند رؤية "طبق") بدلاً من الاعتماد على الأدلة البصرية.
محدودية الحلول الحالية:
- الحلول القائمة على التدريب: تتطلب هذه الطرق ضبطاً دقيقاً (fine-tuning) أو بيانات هلوسة مصنفة، وهي عملية تستهلك موارد كبيرة وغير قابلة للتوسع.
- الحلول القائمة على الاستدلال: النهج مثل الاسترجاع النشط أو الاستدلال متعدد الرؤى غالباً ما تفرض عبئاً حسابياً كبيراً (على سبيل المثال، عمليات استدلال متعددة) أو تعتمد على أنماط انتباه مصممة يدوياً تفتقر إلى القدرة على التكيف.
- الفجوة: هناك نقص في الطرق التي تكون خالية من التكلفة، وخالية من الملصقات (labels)، وتتم بعد عملية التدريب (post-hoc) والتي يمكنها التخفيف من الهلوسة دون المساس بسرعة الاستدلال أو الحاجة إلى إعادة التدريب.

2. المنهجية: التحرير التبايني البصري (VCE)

تعد VCE إطار عمل بعدي (post-hoc)، وخالٍ من الملصقات، يعمل على تحديد وتثبيط المكونات المعرضة للهلوسة في معاملات النموذج من خلال التحرير غير المتصل (offline editing). تتكون العملية من ثلاث مراحل رئيسية:

أ. بناء البيانات التباينية

بدلاً من استخدام بيانات مصنفة، تقوم VCE تلقائياً بتوليد أزواج تباينية لكشف اعتماد النموذج على الأولويات اللغوية:

الصورة الأصلية ( $I$ ): الصورة المدخلة.
الصورة المضطربة ( $I'$ ): يتم إنتاجها عن طريق تطبيق عملية انتشار أمامي (forward diffusion process) على $I$ . هذا يضيف ضجيجاً لتغيير الميزات البصرية الموضعية مع الحفاظ على الدلالات العالمية.
المنطق: إذا كان النموذج قوياً، يجب أن يظل مخرجه مستقراً. أما إذا كان يعتمد على الأولويات اللغوية، فإن الاضطراب سيؤدي إلى تحول كبير في ثقة النموذج (logits) لرموز (tokens) معينة، مما يكشف عن "بصمات الهلوسة".

ب. تحديد الفضاء الجزئي للهلوسة (Hallucination Subspace)

تحلل الطريقة الفرق في الحالات الخفية بين المدخلات الأصلية والمضطربة لعزل "فضاء الهلوسة" (HalluSpace):

حساب إزاحة الـ Logit: لكل رمز، يتم حساب الفرق المطلق في الـ logits بين الصور المضطربة والأصلية ( $\Delta_t$ ).
التوزين: الرموز ذات الإزاحات العالية في الـ logit (التي تشير إلى حساسية عالية للضجيج البصري واحتمالية عالية للهلوسة) يتم تخصيص أوزان أعلى ( $w_t$ ) لها باستخدام طريقة z-scoring قوية.
تجميع المتجهات: يتم حساب متجه الفرق ( $v_d$ ) عن طريق تجميع الفروقات الموزونة للحالات الخفية ( $H^-$ من المضطرة مقابل $H^+$ من الأصلية) عبر التسلسل.
تحليل SVD: يتم تحليل هذه المتجهات المجمعة باستخدام تفكيك القيم المفردة (SVD). تشكل المتجهات المفردة من النوع top- $k$ المقابلة لأكبر القيم المفردة الفضاء الجزئي للهلوسة ( $S_k$ ). يمثل هذا الفضاء الاتجاهات المهيمنة في فضاء الميزات حيث تحدث الهلوسة.

ج. تحرير النموذج (إسقاط الأوزان)

بمجرد تحديد فضاء الهلوسة، يتم تحرير أوزان النموذج "أوفلاين" لتثبيط هذه الاتجاهات:

الإسقاط: يتم إسقاط مصفوفة الوزن الأصلية $W_l$ لطبقة معينة على الفضاء الصفري (null space) لفضاء الهلونة الجزئي.
الصيغة: $W^{edited}_l = W_l (I - S_k S_k^\top)$ .
النتيجة: هذا يزيل رياضياً قدرة النموذج على التنشيط على طول اتجاهات الهلوسة دون تغيير الأوزان المسؤلة عن الدلالات الحقيقية.

3. المساهمات الرئيسية

إطار عمل خالٍ من الملصقات: تلغي VCE الحاجة إلى ملصقات هلوسة صريحة أو تصنيف يدوي من خلال استخدام اضطرابات بصرية محكومة لتشخيص بصمات الهلوسة ذاتياً.
تحرير النموذج عبر الفضاء الجزئي: تقدم تقنية خفيفة الوزن تعتمد على SVD لتحرير معاملات النموذج مباشرة. وهذا يتجنب الحاجة إلى ما بعد التدريب أو الضبط الدقيق.
استدلال صفري التكلفة: على عكس الطرق التي تتطلب عمليات استدلال متعددة (مثل VCD أو OPERA)، تقوم VCE بجميع الحسابات الثقيلة خارج نطاق الاستدلال (offline). أثناء الاستدلال، يعمل النموذج المحرر بـ تكلفة حسابية إضافية صفرية، مما يحافظ على تعقيد $O(n^2)$ الأصلي.

4. النتائج التجريبية

قيم المؤلفون VCE على ثلاثة نماذج LVLM شهيرة (LLaVA-1.5, MiniGPT-4, mPLUG-Owl2) باستخدام معايير قياسية.

معيار CHAIR (معدل هلوسة الأشياء):
- حققت VCE أقل درجات CHAIR (مما يشير إلى هلوسة أقل) عبر جميع النماذج.
- بالنسبة لـ LLaVA-1.5، خفضت VCE درجات CHAIR من 19.3 (البحث الجشع/Greedy Search) إلى 15.4، متفوقة على النماذج المرجعية مثل OPERA (17.7) و Woodpecker (24.2).
- والأهم من ذلك، أنها حافظت على درجات BLEU أو حسنتها، مما يثبت أن تقليل الهلوسة لم يؤدِ إلى تدهور جودة النص المولد.
معيار POPE (تقييم وجود الأشياء):
- حققت VCE أعلى درجات الدقة (Accuracy)، والضبط (Precision)، وF1 عبر جميع النماذج، مما أظهر قدرة فائقة على التمييز بين الأشياء الموجودة وغير الموجودة.
تحليل الكفاءة:
- وقت الاستدلال: طابقت VCE وقت البحث الجشع الأساسي (~7.2 ثانية)، بينما استغرقت طرق مثل VCD حوالي ~14.1 ثانية بسبب عمليات الاستدلال المزدوجة.
- التعقيد: تحافظ VCE على تعقيد $O(n^2)$ ، بينما تزيد طرق التخفيف الأخرى التعقيد غالباً إلى $O(2n^2)$ أو أكثر.

5. الأهمية والتأثير

النشر العملي: من خلال كونها صفرية التكلفة أثناء الاستدلال وخالية من الملصقات أثناء التحضير، تعد VCE قابلة للتوسع بشكل كبير للتطبيقات الواقعية (مثل القيادة الذاتية، والتصوير الطبي) حيث تعتبر زمن الاستجابة وخصوصية البيانات أمراً بالغ الأهمية.
الرؤية الآلية: تقدم الورقة دليلاً على أن الهلوسة تتركز في فضاءات جزئية محددة منخفضة الرتبة (low-rank subspaces) داخل أوزان النموذج، والتي يمكن إزالتها جراحياً دون إعادة التدريب.
القدرة على التعميم: الطريقة مستقلة عن النموذج ويمكن تطبيقها على مختلف بنيات LVLM، ومن المحتمل توسيعها لتشمل وسائط أخرى.

باختدال، توفر VCE حلاً أنيقاً رياضياً وفعالاً حسابياً لمشكلة رئيسية تتعلق بالسلامة والموثوقية في الذكاء الاصطناعي متعدد الوسائط، مما يسد الفجوة بين التخفيف النظري للهلوسة والنشر العملي.