💻 computer science

Through the Magnifying Glass: Adaptive Perception Magnification for Hallucination-Free VLM Decoding

تقدم هذه الورقة البحثية "مُضخّم الإدراك" (Perception Magnifier - PM)، وهو طريقة فك تشفير مبتكرة تعمل بشكل تكراري على عزل وتضخيم المناطق المرئية ذات الصله لتعزيز التدقيق الدقيق، مما يؤدي بفعالية إلى الحد من الهلوسة البصرية وتحسين دقة وموثوقية مخرجات النماذج اللغوية الرؤيوية دون الحاجة إلى ضبط دقيق للنموذج.

المؤلفون الأصليون: Shunqi Mao, Chaoyi Zhang, Weidong Cai

نُشر 2026-04-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shunqi Mao, Chaoyi Zhang, Weidong Cai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وصف صورة لصديق عبر الهاتف. أنت ترتدي نظارات ضبابية قليلاً، وترى طائراً في زاوية الصورة، ولكن بسبب الضبابية، يخمن عقلك قائلاً: "أوه، لا بد أنها فراشة". فتقول لصديقك: "هناك فراشة"، لكنك تكون مخطئاً.

هذا هو بالضبط ما يحدث مع نماذج الرؤية واللغة (VLMs). هذه أنظمة ذكاء اصطناعي تنظر إلى الصور وتكتب أوصافاً لها. وأحياناً، تصاب هذه النماذج بـ "نظارات ضبابية" (الهلوسة البصرية) وتصف أشياءً غير موجودة بثقة، أو تغفل عن أشياء موجودة أمامها مباشرة، لأنها تعتمد أكثر مما ينبغي على ما "تعتقد" أنه يجب أن يكون موجوداً بناءً على تدريبها، بدلاً من ما "تراه" بالفعل.

الورقة البحثية بعنوان "من خلال العدسة المكبرة" (Through the Magnifying Glass) تقترح طريقة ذكية وجديدة لإصلاح هذا الأمر دون إعادة تدريب الذكاء الاصطناعي. وقد أطلقوا على حلهم اسم مُكبر الإدراك (Perception Magnifier - PM).

إليك كيف يعمل، مقسماً إلى تشبيهات بسيطة:

1. المشكلة: عادة "النظرة السريعة والتخمين"

غالباً ما تأخذ نماذج الذكاء الاصطناعي الحالية نظرة سريعة على الصورة ثم تبدأ في الكتابة. إذا كانت الصورة معقدة أو كان الشيء المراد وصفه صغيراً (مثل زجاجة صغيرة وسط غرفة فوضوية)، فقد يقوم الذكاء الاصطناعي بمجرد "التخمين" بناءً على السياق.

التشبيه: تخيل طالباً يؤدي اختباراً. يرى سؤالاً حول تفصيل محدد في رسم توضيحي، لكن الرسم صغير جداً بحيث لا يمكن قراءته. وبدلاً من أن يطلب رؤيته بشكل أوضح، يخمن الإجابة بناءً على ما يتذكره من الكتاب المدرسي. فيخطئ في الإجابة.

2. الحل: "العدسة المكبرة الذكية"

بنى المؤلفون أداة تسمى مُكبر الإدراك (PM). وبدلاً من إجبار الذكال الاصطناعي على تعلم كيفية الرؤية من جديد، فإنهم يمنحونه "عدسة مكبرة ذكية" يستخدمها أثناء كتابة الإجابة.

إليك العملية خطوة بخطوة:

الخطوة أ: فحص "أين تنظر؟"

بينما يبدأ الذكاء الاصطناعي في كتابة إجابته، فإنه يوجه انتباهه بشكل طبيعي إلى أجزاء مختلفة من الصورة. أداة الـ PM تراقب هذا الانتباه.

التشبيه: تخيل أن الذكاء الاصطناعي هو محقق ينظر إلى صورة لمسرح جريمة. أداة الـ PM هي المشرف الذي يراقب عيني المحقق. "مهلاً، أنت تحدق في تلك الزاوية المظلمة. من المحتمل أن يكون ذلك مهماً".

الخطوة ب: "التكبير" (Zoom In)

بمجرد أن تحدد الأداة المنطقة المهمة (ولكن الضبابية)، فهي لا تكتفي بإخبار الذكاء الاصطناعي بأن "ينظر بجهد أكبر"، بل تقوم فعلياً بالتكبير على ذلك الجزء المحدد من الصورة وتجعله أكبر وأوضح، بينما تقوم بتصغير الخلفية غير المهمة.

التشبيه: الأمر يشبه التقاط صورة لغرفة فوضوية، ولكن باستخدام مرشح (فلتر) سحري يجعل القرط الصغير المفقود في الزاوية ضخماً وواضحاً جداً، بينما يحول بقية الغرفة إلى خلفية ناعمة وضبابية. الآن يمكن للذكاء الاصطناعي أن "يرى" القرط بالفعل.

الخطوة ج: الحلقة التكرارية (نظرة المحقق الثانية)

أحياناً، قد يغفل الذكاء الاصطناعي عن شيء مهم ثانٍ. أداة الـ PM ذكية بما يكفي لتقول: "حسناً، لقد وجدنا القرط. الآن، دعنا نبحث عن الشيء التالي الذي كنت تحدق فيه". وهي تكرر هذه العملية، بالتكبير على أماكن حيوية مختلفة واحداً تلو الآخر أثناء كتابة الذكاء الاصطناعي لجملته.

التشبيه: الأمر يشبه المحقق الذي لا ينظر مرة واحدة فقط. فهو يكبر صورة آثار الأقدام، ثم يكبر صورة النافذة المكسورة، ثم يكبر صورة الحذاء الملطخ بالطين. إنه يجمع كل الأدلة قبل كتابة تقريره النهائي.

3. لماذا هذه الطريقة أفضل من الطرق الأخرى؟

تحاول الطرق الأخرى إصلاح الهلوسة عن طريق:

القص (Cropping): قص الجزء المهم ورمي الباقي. (فكرة سيئة! ستفقد السياق، مثل عدم معرفة أين تم العثور على القرط).
التباين (Contrast): محاولة إجبار الذكاء الاصطناعي على قول "لا" للأشياء التي يعتقد أنها خاطئة. (هذا يشبه قولك للطالب "لا تخمن" دون أن تعطيه نظارات أفضل).

إن PM مختلف لأنه يحافظ على الصورة كاملة (السياق) ولكنه يجعل الأجزاء المهمة فقط أكبر. إنه يحافظ على "قصة" الصورة مع منح الذكاء الاصطناعي التفاصيل عالية الدقة التي يحتاجها ليكون دقيقاً.

النتيجة

عندما اختبر الباحثون هذا:

أكاذيب أقل: توقف الذكاء الاصطناعي عن اختلاق أشياء غير موجودة.
تفاصيل أفضل: أصبح بإمكانه عد الأشياء الصغيرة أو تحديد ألوان الأشياء الدقيقة بشكل أفضل بكثير.
لا يزال ذكياً: والأهم من ذلك، لم تجعل هذه الطريقة الذكاء الاصطناዊ "أغبى". ظل بإمكان الذكاء الاصطناعي حل الألغاز المنطقية؛ لقد توقف فقط عن التخمين بشأن التفاصيل البصرية.

باختصار

فكر في مُكبر الإدراك (Perception Magnifier) كأنه عدسة زووم ذكية ومتكيفة للذكاء الاصطناعي. بدلاً من إجبار الذكاء الاصطناعي على حفظ قواعد جديدة، فإنه ببساطة يمنحه رؤية أفضل للتفاصيل المحددة التي يحتاجها في اللحظة التي يحتاجها فيها تماماً. إنه يحول موقف التخمين الضبابي إلى واقع واضح وعالي الدقة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "من خلال العدسة المكبرة: التكبير الإدراكي التكيفي لفك تشفير النماذج اللغوية البصرية (VLM) الخالي من الهلوسة."

1. بيان المشكلة

تعاني النماذج اللغوية البصرية الكبيرة (VLMs) بشكل متكرر من الهلوسة البصرية، حيث يحتوي النص المولد على معلومات غير دقيقة أو محتوى غير أمين لا يستند إلى المدخلات البصرية.

الأسباب الجذرية: بينما تنبع بعض حالات الهلوسة من أولويات النماذج اللغوية الكبيرة (LLM priors)، فإن الكثير منها ينشأ من عدم كفاية قدرة التمثيل البصري والاعتماد المفرط على الانحيازات اللغوية ذات التوليد الذاتي (autoregressive).
محدودية الحلول الحالية:
- طرق وقت التدريب (مثل مجموعات البيانات غير المنحازة، أو الدقات الأعلى): مكلفة حاسوبياً وتتطلب إعادة تدريب النموذج.
- طرق وقت الاستدلال: تعتمد غالباً على فك التشفير التبايني (معاقبة المخرجات الغامضة) أو زيادة وزن التضمينات البصرية.
- الفجوة الحرجة: تعاني طرق فك التشفير الحالية عندما تكون الدقة البصرية غير كافية للتمييز بين التفاصيل الدقيقة. فهي غالباً ما تفشل في التقاط الأجسام الصغيرة أو الميزات الدقيقة، مما يؤدي إلى سوء التفسير حتى عندما ينتبه النموذج إلى المنطقة العامة الصحيحة.

2. المنهجية: مكبّر الإدراك (Perception Magnifier - PM)

يقترح المؤلفون مكبّر الإدراك (PM)، وهو إطار عمل لفك التشفير البصري التكيفي الذي لا يتطلب تدريباً. بدلاً من مجرد معاقبة الهلوسة، يعمل PM بنشاط على تعزيز قدرة النموذج على "الرؤية" من خلال التفاصيل الدقيقة عبر تعديل الدقة المكانية للصورة المدخلة ديناميكياً أثناء عملية فك التشفير.

تعمل الطريقة في ثلاث مراحل رئيسية:

أ. بناء خريطة الإدراك (تأسيس الانتباه)

يحدد PM الأجزاء الأكثر صلة بالخطوة الحالية للتوليد من الصورة دون الحاجة إلى تدرجات (gradients).

تجميع الانتباه متعدد الطبقات: يقوم النموذج بتجميع أوزان الانتباه الذاتي من الطبقات المتوسطة إلى المتأخرة من الـ VLM (حيث تكون الميزات البصرية أكثر هيكلية) عبر جميع رؤوس الانتباه.
خريطة حرارية على مستوى الرمز (Token): يتم تجميع هذه الأوزان لإنشاء خريطة حرارية ( $H$ ) تسلط الضوء على الرموز البصرية البارزة.
المعالجة اللاحقة: يتم تطبيع الخريطة الحرارية، وتضخيم التباين (باستخدام معامل قياس $\alpha$ )، وتنعيمها لضمان تغطية المناطق الصغيرة ولكن المهمة. ثم يتم رفع دقتها لتصبح خريطة إدراك ( $P$ ) على مستوى البكسل.

ب. الصقل التكراري

لمعالجة مشكلة ضغط النماذج العميقة للمعلومات في عدد قليل من رموز "سجل المعلومات" (information register tokens) وتجاهل المناطق الأخرى ذات الصلة، يستخدم PM آلية حظر تكرارية:

الحجب (Masking): يتم حجب الرموز الأكثر انتباهاً التي تم تحديدها في التمريرة الحالية.
إعادة التمرير (Re-forwarding): يعيد النموذج معالجة المدخلات مع الرموز المحجوبة.
التجميع: تتكرر هذه العملية حتى ينخفض إجمالي الانتباه تحت عتبة معينة ( $\beta$ ) أو يصل إلى الحد الأقصى لعدد التكرارات.
النتيجة: خريطة الإدراك النهائية ( $P$ ) هي نتاج تراكمي لجميع التكرارات، مما يضمن تغطية شاملة لجميع المناطق البصرية ذات الصلة، وليس فقط المناطق المهيمنة الأولية.

ج. التكبير القائم على الانتباه (إعادة أخذ العينات)

باستخدام خريطة الإدراك المنقحة $P$ ، يتم إعادة أخذ عينات من الصورة الأصلية $I$ لإنشاء صورة مكبرة $\hat{I}$ .

الآلية: تعمل $P$ كدالة كتلة (mass function). المناطق ذات قيم الإدراك العالية يتم أخذ عينات منها بكثافة أكبر (تكبير)، بينما يتم ضغط المناطق الأقل أهمية مكانياً.
التنفيذ: يستخدم المؤلفون أخذ العينات بالتحويل العكسي (inverse transform sampling) على التوزيعات الهامشية لـ $P$ لإعادة رسم خرائط إحداثيات الصورة. ويتم استخدام الاستيفاء الثنائي الخطي (Bilinear interpolation) لضمان سلاسة الخرائط المكانية.
فك التشفير: يقوم الـ VLM بتوليد الرمز التالي باستخدام الصورة المكبرة $\hat{I}$ بدلاً من الصورة الأصلية $I$ ، مما يسمح للنموذج بفحص التفاصيل الدقيقة مع الحفاظ على السياق الهيكلي العالمي.

3. المساهمات الرئيسية

استراتيجية فك تشفير مبتكرة: تقديم مكبّر الإدراك (PM)، وهي طريقة تكبّر المناطق ذات الأهمية الدلالية أثناء فك التشفير لتحسين التعرف الدقيق دون الحاجة لضبط النموذج (finetuning).
تأسيس الانتباه التكراري: نهج خالٍ من التدرجات يجمع الانتباه متعدد الطبقات ويستخدم حظر الرموز التكراري لبناء خريطة إدراك قوية، مما يتغلب على محدودية "سجل المعلومات" في النماذج البصرية العميقة.
الحفاظ على الاستدلال: على عكس الطرق التي تخل بتوزيع التضمين أو تعتمد على عقوبات تباينية ثقيلة، يحافظ PM على السلامة الهيكلية للصورة وقدرات الاستدلال الجوهرية للـ VLM.

4. النتائج التجريبية

تم تقييم الطريقة على نموذج LLaVA-1.5 (7B) عبر عدة اختبارات مرجعية:

تخفيف الهلوسة:
- POPE: حقق PM أعلى دقة (86.94%) في اكتشاف وجود الأجسام، متفوقاً على النماذج المرجعية مثل VDD (86.73%) و IBD (86.37%).
- MME (الإدراك): سجل PM نتيجة 683.33 (الإجمالي)، متفوقاً بشكل كبير على أفضل نموذج مرجعي (ViCrop-G بنتيجة 650.29).
- MMHal-Bench: حقق PM أدنى معدل هلوسة بين جميع الطرق المقارنة مع الحفاظ على درجة إجمالية تنافسية.
التوليد مفتوح النهايات:
- في LLaVA-Bench، أظهر PM أداءً فائقاً في التقييمات القائمة على المراجع والبصر، مما أظهر تجذراً بصرياً أفضل وهلوسة أقل مقارنة بطرق البحث الجشع (Greedy)، والبحث الشعاعي (Beam Search)، وفك التشفير التبايني (OPERA, VCD).
قدرات الاستدلال:
- من المهم ملاحظة أن PM لم يؤدِ إلى تدهور القدرات المعرفية للنموذج (المنطق العام، الرقمي، الترجمة، استدلال الكود) في مجموعة MME-Cognition، بينما عانت العديد من نماذج فك التشفير التبايني من انخفاض كبير في هذه المجالات.
دراسات الاستئصال (Ablation Studies):
- الصقل التكراري (IR): أدى إزالة IR إلى تقليل الأداء، مما يؤكد ضرورته لالتقاط المناطق المغفولة.
- التجميع متعدد الطبقات: كان استخدام الانتباه من طبقة واحدة أدنى مستوى من تجميعها عبر الطبقات.
- المقارنة: تفوق PM على طرق التلقين البديلة (التغبيش، الحجب، القص) وغيرها من الخرائط القائمة على الانتباه (CLIP, API).

5. الأهمية والمحددات

الأهمية:

بدون تدريب: يوفر PM حلاً جاهزاً للاستخدام (plug-and-play) للنماذج اللغوية البصرية الحالية دون تكلفة إعادة التدريب.
التركيز الدقيق: يعالج مباشرة مشكلة نقص الدقة، مما يمكن النماذج من التمييز بين الأجسام الصغيرة (مثل زجاجة في مشهد مزدحم) التي قد تفقدها عمليات فك التشفير القياسية.
نهج متوازن: نجح في تخفيف الهلوسة دون التضحية بقدرات الاستدلال للنموذج، وهو مقايضة شائعة في استراتيجيات فك التشفير الأخرى.

المحددات:

تشويه الشكل: يمكن لعملية إعادة أخذ العينات أن تشوه الأشكال المحلية (مثل تمديد شكل مكعب)، مما قد يؤثر سلباً على المهام التي تتطلب استدلالاً هندسياً دقيقاً (مثل مقارنة الأحجام).
الأعباء الحسابية: يتطلب PM استخراج الميزات من صورة معدلة في كل خطوة فك تشفير، مما يمنع استخدام ذاكرة التخزين المؤقت (KV caching). هو أبطأ بحوالي 3.5 ضعف من فك التشفير الجشع (بدون IR) و 12 ضعفاً (مع IR).
رسم خرائط الرموز (Token Mapping): قد يتطلب تطبيق PM على نماذج VLM ذات خرائط الرمونة-الصورة المعقدة (مثل تلك التي تستخدم مستخرجات ميزات الانتباه المتقاطع) آليات محاذاة إضافية.

الخلاصة:
تقدم الورقة تحولاً مقنعاً في الحد من الهلوسة: بدلاً من مجرد قمع المخرات الخاطئة، يقوم PM بتعزيز الإشارة المدخلة لضمان امتلاك النموذج لأدلة بصرية كافية لتوليد مخرات صحيحة. هذا النهج القائم على "التكبير التكيفي" يضع معياراً جديداً للأداء في فك التشفير للنماذج اللغوية البصرية (VLM) الذي لا يتطلب تدريباً.