💻 computer science

SAVAA: Mitigating Hallucinations in LVLMs via Step-wise Adaptive Visual Attention Amplification

يُعد SAVAA إطار عمل خالٍ من التدريب يعمل على التخفيف من الهلوسة في النماذج اللغوية الرؤية الكبيرة من خلال تقديم "إنتروبيا التأسيس البصري" لتقدير مخاطر الهلوسة على مستوى الرمز وتعديل عوامل تضخيم الانتباه البصري بشكل تكيفي أثناء التوليد، مما يتغلب على قيود استراتيجيات التضخيم الثابتة.

المؤلفون الأصليون: Jiacheng Zhang, Feng Liu, Chao Du, Tianyu Pang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiacheng Zhang, Feng Liu, Chao Du, Tianyu Pang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً (نموذج لغوي بصري ضخم، أو LVLM) ينظر إلى صورة ويصفها لك. أحياناً، يصبح هذا الروبوت واثقاً بنفسه أكثر من اللازم ويبدأ في اختلاق أشياء من خياله. قد يقول مثلاً: "هناك كلب في الصورة"، رغم عدم وجود كلب. يُسمى هذا "الهلوسة" (Hallucination).

يفعل الروبوت ذلك لأنه يعتمد كثيراً على "ذاكرته" حول كيفية سير الأمور عادةً في العالم (الأولويات اللغوية) ولا يركز بما يكفي على ما يراه فعلياً في الصورة في تلك اللحظة المحددة.

الطريقة القديمة: "مفتاح التحكم" الموحد للجميع

حاول الباحثون مؤخراً إصلاح ذلك عن طريق رفع "مستوى صوت" الانتباه البصري للروبوت. تخيل أن الروبوت لديه مفتاح للتحكم في "مستوى النظر إلى الصورة" ومفتاح آخر لـ "الاستماع إلى أفكاره الخاصة".

استخدمت الطرق السابقة مفتاح تحكم ثابتاً. حيث كانوا يقومون ببساطة برفع "مستوى النظر إلى الصورة" بمقدار ثابت لكل كلمة يكتبها الروبوت.

المشكلة: هذا يشبه محاولة الاستماع إلى همس خافت وصراخ عالٍ باستخدام نفس إعدادات مستوى الصوت.
- أحياناً يحتاج الروبوت إلى النظر بتركيز أكبر إلى الصورة لمنعه من الكذب، لكن مستوى الصوت الثابت يكون منخفضاً جداً (نقص التضخيم - Under-amplification).
- وفي أحيان أخرى، يكون الروبوت ينظر بالفعل عن كثب، لكن مستوى الصوت مرتفع جداً لدرجة أنه يبدأ في "رؤية" أشياء ليست موجودة لمجرد أنه يحدق بقوة شديدة (تضخيم مفرط - Over-amplification).

تسمي الورقة البحثية هذا "نمط الفشل المزدوج" (Dual Failure Pattern): الإعداد الثابت يكون ضعيفاً أحياناً وقوياً جداً أحياناً أخرى.

الحل الجديد: SAVAA (الطيار الذكي والمتكيف)

يقترح المؤلفون طريقة جديدة تسمى SAVAA (تضخيم الانتباه البصري المتكيف خطوة بختوة). بدلاً من مفتاح تحكم ثابت، يعمل SAVAA مثل طيار ذكي يعدل أدوات التحكم في الوقت الفعلي، كلمة بكلمة.

إليك كيف يعمل، خطوة بخطوة:

1. "رادار المخاطر" (إنتروبيا التأسيس البصري)

قبل أن يكتب الروبوت الكلمة التالية، يتحقق SAVAA من "رادار المخاطر" ليرى ما إذا كان الروبوت على وشك الكذب. يستخدم أداة خاصة تسمى "إنتروبيا التأسيس البصري" (Visual Grounding Entropy - VGE).

كيف يعمل: يطرح سؤالين:
1. هل الروبوت غير متأكد؟ (عدم اليقين العالي = خطر).
2. هل ينظر الروبوت إلى الصورة من أجل هذه الكلمة؟ (إذا كان الروبوت واثقاً ولكن الصورة لا تدعم الكلمة، فهذا خطر كبير).
التشبيه: تخيل أن الروبوت يصف شاطئاً. إذا قال "رمل"، فالصورة تدعم ذلك، لذا فإن الخطر منخفض. إذا قال "ثلج" (والصورة هي بوضوح لشاطئ)، فإن الخطر مرتفع، حتى لو شعر الروبوت بثقة كبيرة تجاه كلمة "ثلج".

2. "مفتاح التحكم الديناميكي"

بناءً على رادار المخاطر، يقوم SAVAA بتعديل "مستوى النظر إلى الصورة" للكلمة التالية:

خطر مرتفع: إذا كان الروبوت على وشك قول شيء خطر، يقوم SAVAA برفع مستوى الانتباه البسي، مما يجبر الروبوت على النظر بدقة إلى الصورة قبل التحدث.
خطر منخفض: إذا كان الروبوت في وضع آمن والصورة تدعم الكلمة بوضوح، يقوم SAVAA بخفض المستوى. هذا يمنع الروبوت من أن يصبح "مفرط الحماس" ويبدأ في اختراع تفاصيل جديدة.

3. "زر الكتم" للأفكار القديمة

أحياناً، حتى مع التركيز البصري المثالي، لا يزال الروبوت يعتمد كثيراً على عاداته الداخلية في "سرد القصص". لإصلاح ذلك، يضيف SAVAA ميزة "كبح الانتباه النصي" (Text Attention Suppression).

التشبيه: تخيل أن الروبوت يحاول وصف صورة، لكنه يستمر في التشتت بسبب راديو يلعب قصة في الخلفية. يقوم SAV__AA** بـ كتم صوت الراديو (المدخلات النصية) بلطف حتى يركز الروبوت تماماً على الصورة. هذا يمنع الروبوت من إكمال الجملة لمجرد أنها "تبدو صحيحة" في سياق قصة، بدلاً من كونها موجودة في الصورة.

لماذا هذا مهم؟

اختبر الباحثون هذا على ثلاثة روبوتات ذكية مختلفة (LLaVA، وQwen، وInternVL) باستخدام اختبارات متنوعة حيث كان على الروبوتات وصف الصور.

النتيجة: قلل SAVAA بشكل كبير من عدد التفاصيل المختلقة (الهلوسة) مقارنة بطرق "مفتاح التحكم الثابت" القديمة.
الكفاءة: يقوم بكل هذا دون الحاجة إلى إعادة تدريب الروبوت أو جعله يعمل ببطء. إنه فقط يعدل مفاتيح الانتباه أثناء تفكير الروبوت.

ملخص

فكر في الطريقة القديمة كأنها سائق يضغط على دواسة الوقود بنسبة 50% مهما كانت الظروف، سواء كان يقود على طريق سريع مستقيم أو طريق جبلي متعرج. قد يصطدم (يهلوس) لأنه لم يبطئ عند المنحنى أو لم يسرع بما يكفي عند التل.

أما SAVAA فهو السائق الذي يتحقق باستمرار من الطريق، والسرعة، والظروف، ويعدل دواسة الوقود والمكابح بشكل مثالي لكل منعطف. إنه يضمن أن يصف الروبوت ما يراه بالضبط، لا أكثر ولا أقل.

ملخص تقني: SAVAA – التخفيف من الهلوسة في نماذج اللغات والرؤية الكبيرة عبر تضخيم الانتباه البصري المتكيف خطوة بخطوة

1. بيان المشكلة

تعاني نماذج اللغات والرؤية الكبيرة (LVLMs) بشكل متكرر من الهلوسة، حيث تولد محتوى غير متوافق مع المدخلات البصرية. والسبب الرئيسي خلال التوليد التلقائي (autoregressive generation) هو اعتماد النموذج المفرط على الأولويات اللغوية (language priors)، لا سيما عندما يكون الاستدلال من الأدلة البصرية ضعيفًا.

تحاول الأساليب الحديثة الخالية من التدريب (training-free)، والتي تُسمى مجتمعة بـ تضخيم الانتباه البصري (VAA)، التخفيف من ذلك عن طريق تضخيم أوزان الانتباه المخصصة للرموز البصرية (visual tokens) خلال تمريرة أمامية واحدة (single forward pass). ومع ذلك، تستخدم أساليب VAA الحالية عامل تضخيم ثابت عبر جميع خطوات التوليد. وقد حدد المؤلفون نمط فشل مزدوج متأصل في هذا النهج الثابت:

ضعف التضخيم: في خطوات معينة، يكون العامل الثابت ضعيفًا جدًا بحيث لا يمكنه حل الهلوسات الموجودة.
الإفراط في التضخيم: في خطوات أخرى، يكون نفس العامل قويًا جدًا، مما يؤدي إلى إدخال هلوسات جديدة لم تكن موجودة في المخرجات الأصلية.

تحدث هذه الظاهرة لأن المستوى المناسب للانتباه البصري يتغير ديناميكيًا اعتمادًا على الرمز المحدد الذي يتم توليده وحالة عدم اليقين والارتباط (grounding) الحالية للنموذج.

2. المنهجية: SAVAA

يقترح البحث إطار عمل تضخيم الانتباه البصري المتكيف خطوة بخطوة (SAVAA)، وهو إطار يقوم بمعايرة عامل التضخيم البصري ديناميكيًا عند كل خطوة توليد بناءً على تقدير مخاطر الهلوسة.

2.1 إنتروبيا الارتباط البصري (VGE)

لتمكين المعايرة الموجهة بالمخاطر، يتطلب SAVAA مقدرًا خفيف الوزن لمخاطر الهلوسة. قدم المؤلفون إنتروبيا الارتباط البصري (VGE)، والتي تعزز الإنتروبيا التنبؤية القياسية بإشارات الارتباط البصري.

الإنتروبيا التنبؤية ( $\bar{H}_t$ ): تقيس عدم يقين النموذج بناءً على لوجيتات (logits) المخرجات. ومع ذلك، تفشل الإنتروبيا وحدها عندما يكون النموذج واثقًا للغاية ولكن ارتباطه بالصورة ضعيف (أي "هلوسات واثقة").
درجة الارتباط البصري ( $G_t$ ): يتم حسابها خلال مرحلة التعبئة المسبقة (prefilling stage)، حيث يتم إنشاء متجه ارتباط $G$ عن طريق تجميع لوجيتات المفردات للرموز البصرية. بالنسبة للرمز المتوقع $v^*_t$ ، تمثل درجة الارتباط $G_t$ قوة الدليل البصي الداعم لذلك الرمز.
حساب VGE: تُعرف درجة المخاطر كتركيبة موزونة:
$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$
حيث يوازن $\alpha$ بين عدم اليقين والارتباط. تشير قيمة VGE العالية إلى أن الرمز غير مؤكد، أو ضعيف الارتباط، أو كلاهما معًا.

2.2 معايرة عامل VAA خطوة بخطوة

يستخدم SAVAA آلية معايرة متأخرة بخطوة واحدة. يتم حساب المخاطر $r_t$ من لوجيتات الخطوة الحالية $t$ ولكنها تُستخدم لمعايرة عامل التضخيم للخطوة التالية $t+1$ .

تطبيع المخاطر: يتم تطبيع VGE إلى درجة مخاطر $r_t \in [0, 1]$ .
معايرة العامل: يتم حساب عامل التضخيم البصري $m_t$ للخطوة $t$ كما يلي:
$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$
إذا كانت الخطوة السابقة ذات مخاطر منخفضة، فإن $m_t \approx 1$ (لا تدخل). إذا كانت الخطوة السابقة ذات مخاطر عالية، تزداد $m_t$ ، مما يطبق تضخيمًا بصريًا أقوى للخطوة الحالية.

2.3 كبح الانتباه النصي

لمعالجة الهلوسات المتبقية التي تستمر حتى في ظل التضخيم البصري القوي (غالبًا بسبب الأولويات اللغوية)، يتضمن SAVAA آلية مكملة لـ كبح الانتباه النصي.

تقوم هذه الآلية بكبح درجات انتباه ما قبل Softmax المخصصة لرموز النص المدخل بعامل ثابت $m_{txt}^{max}$ .
على عكس العامل البصري المتكيف، فإن هذا الكبح ثابت وخفيف الوزن، ومصمم لتقليل التأثير النسبي للأولويات اللغوية دون الحاجة إلى تقدير المخاطر خطوة بخطوة.

2.4 سير العمل العام

التعبئة المسبقة (Prefilling): حساب متجه الارتباط البصري $G$ لمرة واحدة.
حلقة التوليد:
- حساب عامل VAA ( $m_t$ ) وعامل كبح النص بناءً على المخاطر $r_{t-1}$ من الخطوة السابقة.
- تعديل درجات انتباه ما قبل Softmax: تضخيم الرموز البصرية بمقدار $m_t$ وكبح الرموز النصية بمقدار $1/m_{txt}^{max}$ .
- توليد الرمز التالي.
- حساب مخاطر جديدة $r_t$ باستخدام VGE للتكرار التالي.

3. المساهمات الرئيسية

تحديد نمط الفشل المزدوج: يوضح البحث أن عوامل التضخيم الثابتة في أساليب VAA الحالية تؤدي إلى كل من ضعف التضخيم (ترك الهلوسات دون حل) والإفراط في التضخيم (إدخال هلوسات جديدة)، وتتفاوت عبر خطوات التوليد وبنيات النماذج المختلفة.
إطار عمل SAVAA: إطار عمل VAA جديد يقدر مخاطر الهلوسة خطوة بخطوة باستخدام إنتروبيا الارتباط البصري (VGE) ويعاير عامل التضخيم بشكل متكيف.
الكبح النصي المكمل: تقديم آلية كبح انتباه نصي خفيفة الوزن لمعالجة هيمنة الأولويات اللغوية المتبقية، والتي تعمل بالتوازي مع التضخيم البصري.
التحقق التجريبي: تقييم شامل عبر ثلاثة نماذج LVLM متنوعة (LLaVA-NeXT-7B, Qwen3-VL-8B, InternVL3.5-8B) وعدة اختبارات مرجعية (CHAIR, SHR, AMBER, POPE)، مما يظهر تحسينات متسقة مقارنة بالأساليب المرجعية الحالية.

4. النتائج التجريبية

تم تقييم SAVAA على اختبارات مرجعية قياسية للهلوسة:

CHAIR: حقق SAVAA أفضل درجات CHAIRs (على مستوى الجملة) و CHAIRi (على مستوى الحالة) عبر جميع النماذج الثلاثة، مما قلل الهلوسات بهوامش كبيرة (مثل تقليل CHAIRs بمقدار 7.00 نقطة في InternVL3.5-8B) دون التضح𝑜 بجودة التوليد (ظلت درجات F1 قابلة للمقارنة مع النماذج الأصلية).
SHR: تفوق SAVAA على الأساليب المرجعية في جميع المقاييس الأربعة (HSR, HWR, HSPI, HWPI)، مما أظهر فعالية في تقليل الهلوسات على مستوى الجملة والكلمة.
AMBER: حقق SAVAA أدنى معدلات هلوسة (Hal) مع الحفاظ على تغطية المحتوى (Cover) العالية، مما يشير إلى مقايضة مواتية بين التخفيف والاكتمال الدلالي.
POPE: في المهام التمييزية، حافظ SAVAA على فائدة النموذج الأصلية، محققًا دقة ودرجات F1 قابلة للمقارنة مع النماذج الأصلية، رغم أن المكاسب كانت متواضلة مقارنة بالمهام التوليدية.
الكفاءة: لا يتسبب SAVAA إلا في عبء طفيف على وقت الاستدلال مقارنة بالنماذج الأصلية، حيث لا يتطلب VGE تمريرات أمامية إضافية (يتم حساب متجه الارتباط مرة واحدة) كما أن منطق المعايرة خفيف الوزن.

5. الأهمية والادعاءات

يدعي البحث أن SAVAA يمثل تحولًا من التضخيم البصري القائم على الحدس والثابت إلى معايرة الانتباه خطوة بخطوة الموجهة بالمخاطر. من خلال النمذجة الصريحة للحاجة المتغيرة للارتباط البصري عبر خطوات التوليد المختلفة، يعالج SAVAA قيود الأساليب ذات العوامل الثابتة.

يضع المؤلفون SAVAA كحل عملي خالٍ من التدريب يمكن نشره في وقت الاستدلال لتحسين الموثوقية الواقعية لنماذج LVLM في مهام التوليد مفتوحة النهايات. ويقرون بالقيود، مشيرين إلى أن الطريقة تعتمد على المعلمات الفائقة (hyperparameters) الخاصة بالنموذج وتحقق مكاسب أقل في مهام التنبؤ أحادية الرمز مقارنة بالتوليد مفتوح النهايات. ويشير العمل إلى أن الاتجاهات المستقبلية قد تتضمن استراتيجيات معايرة أكثر تكيفًا وتوسيع النهج ليشمل إعدادات التنبؤ مغلقة الشكل.