💻 computer science

Mitigating Object Hallucinations via Sentence-Level Early Intervention

تقدم الورقة البحثية SENTINEL، وهو إطار عمل يعمل على الحد من هلاوس الكائنات في النماذج اللغوية الكبيرة متعددة الوسائط من خلال تعزيز بيانات التفضيل داخل النطاق عبر كواشف ذات مفردات مفتوحة وتطبيق تعلم التفضيل المعتمد على السياق على مستوى الجملة للتدخل المبكر في عملية التوليد دون الحاجة إلى تعليقات توضيحية بشرية.

المؤلفون الأصليون: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً وفناناً يحب وصف الصور لك. هذا الصديق بارع في رؤية الصورة الكبيرة، لكن لديه عادة غريبة: بينما يستمر في الحديث، يبدأ في اختراع أشياء ليست موجودة بالفعل.

إذا عرضت عليه صورة لمطبخ هادئ، فقد يبدأ بالقول: "أرى طاولة وكراسي". هذا صحيح. ولكن بينما يستمر في وصف المشهد، قد يضيف فجأة: "وانظر، هناك زهرية زهور على الطاولة"، رغم عدم وجود زهور. ثم قد يندفع ويقول: "وهناك قطة نائمة على الزهرية"، رغم عدم وجود قطة.

هذا ما تسميه الورقة البحثية "هلوسة الأشياء" (Object Hallucination). النموذج لا يكذب عن قصد؛ هو فقط يندفع وراء قصته الخاصة، فيخترع تفاصيل تتعارض مع الواقع البصري.

المشكلة في الحلول الحالية

يوضح المؤلفون أن باحثين آخرين حاولوا إصلاح ذلك، لكن حلولهم تشبه استخدام مطرقة ضخمة لكسر حبة جوز:

نهج "المحرر البشري": بعض الطرق تطلب من محررين بشريين مكلفين أو نماذج ذكاء اصطناعي فائقة القوة إعادة كتابة القصة بعد كتابتها. هذا الأمر بطيء، ومكلف، وغالباً ما يغير "صوت" النموذج الأصلي.
نهج "التوقف والتحقق": تحاول طرق أخرى إيقاف النموذج بعد كل جملة للتحقق مما إذا كانت الأشياء موجودة أم لا. هذا يشبه مطالبة سائق بالتوقف بالسيارة كل 10 أقدام للتحقق من الخريطة. هذا الأسلوب يعمل، ولكنه يجعل العملية بطيئة للغاية وغير سلسة.

الاكتشاف الكبير: "تأثير كرة الثلج"

لاحظ مؤلفو ورقة SENTINEL ملاحظة حاسمة. لقد أدركوا أن الهلوسة لا تحدث دفعة واحدة؛ بل تحدث مبكراً ثم تتضخم ككرة الثلج.

فكر في الأمر كأنها لعبة "الهاتف المكسور" (Telephone). إذا همس الشخص الأول في الصف بحقيقة خاطئة، فإن الجميع بعده سيكررون تلك الحقيقة الخاطئة ويضيفون عليها المزيد من الأكاذيب. وجدت الورقة أنه إذا هلوس النموذج في الجملة الثانية، فمن المرجح جداً أن يهلوس في الجملة الثالثة والرابعة والخامسة. الخطأ ينتشر ويتضاعف.

الحل: SENTINEL (المتدخل المبكر)

يقترح المؤلفون إطار عمل جديد يسمى SENTINEL. بدلاً من الانتظار حتى تُكتب القصة بأكملها لإصلاحها، يعمل SENTINEL كمحرر يقظ يتدخل في اللحظة التي تُقال فيها أول كذبة.

إليك كيف يعمل SENTINEL، باستخدام تشبيه بسيط:

جولة التدريب (Bootstrapping):
تخيل أن النموذج ممثل يتدرب على مشهد ما. يطلب SENTINEL من النموذج أداء المشهد (وصف الصورة) عدة مرات.

الجولة 1: "أرى طاولة." (صحيح)
الجولة 2: "أرى طاولة وزهرية." (الزهرية ليست موجودة!)
الجولة 3: "أرى طاولة وقطة." (لا توجد قطة!)

التحقق من الحقائق (Cross-Checking):
يستخدم SENTINEL اثنين من "المحققين" البسيطين والسريعين (كاشفات الأشياء) للنظر في الصورة وفي نص النموذج.

إذا قال النص "زهرية" بينما الصورة لا تحتوي على زهرية، فيقوم المحققون بوضع علامة "هلوسة".
إذا قال النص "طاولة" وكانت الصورة تحتوي على طاولة، فيتم تعليمها كـ "حقيقة".
إذا لم يتفق المحققان، فإنهما يتجاهلان الأمر (لتجنب الارتباك).

الدرس (Preference Learning):
الآن، ينشئ SENTINEL درساً بأسلوب "اختر مغامرتك الخاصة".

الخيار (أ) (المسار الجيد): "الطاولة محاطة بالكراسي." (هذا يطابق الصورة).
الخيار (ب) (المسار السيئ): "الطاولة محاطة بالكراسي وبالزهرية." (هذا يتضمن الكذبة).
يتم تدريب النموذج على إدراك: "أوه! الخيار (أ) هو الذي يجب أن أختاره. الخيار (ب) خاطئ لأنه يتضمن الزهرية المزيفة".

لمسة "السياق" (The Context Twist):
هذا هو السر المذهل. النموذج لا يتعلم فقط اختيار الجملة الصحيحة بمعزل عن غيرها. بل يتعلم اختيار الجملة الصحيحة بناءً على ما سبقها.

إذا كانت الجملة السابقة صحيحة ("أرى طاولة")، يتعلم النموذج أن يظل في الجملة التالية صادقاً أيضاً.
يتعلم أنه بمجرد بدء "الكذبة" (الهلوسة)، فإن القصة بأكملها تخرج عن المسار. لذا، يتعلم إيقاف الكذبة فوراً عند ظهورها الأول.

النتائج

تزعم الورقة أنه من خلال كشف هذه الأكاذيب في البداية (التدخل المبكر على مستوى الجملة)، يمنع SENTINEL "كرة الثلج" من التدحرج.

هلوسة أقل: لقد قلل من هلوسة الأشياء بنسبة تزيد عن 90% مقارنة بالنموذج الأصلي.
مهارات عامة أفضل: على عكس الطرق الأخرى التي تجعل النموذج "أغبى" أو أبطأ، جعل SENTINEL النموذج في الواقع أفضل في الإجابة على الأسئلة ووصف الأشياء بدقة.
لا تكلفة إضافية: لا يحتاج إلى محررين بشريين مكلفين أو حواسيب فائقة لتشغيله. إنه يعلم النموذج أن يكون مدققاً للحقائق لنفسه.

باختختصار

فكر في نموذج الذكاء الاصطناعي الأصلي كحكواتي يتحمس كثيراً ويبدأ بتأليف أشياء من خياله.

الطرق القديمة حاولت استئجار محرر صارم لإعادة كتابة القصة بأكملها بعد انتهائها (وهذا مكلف وبطيء).
SENTINEL يعلم الحكواتي كيف يستمع لصوته الداخلي. في اللحظة التي يوشك فيها على قول شيء ليس حقيقياً، يتعلم التوقف، والتحقق من الحقائق، وقول الحقيقة بدلاً من ذلك. هذا يوقف انتشار الأكاذب قبل أن تنتشر، مما ينتج عنه قصة دقيقة ومبدعة في آن واحد.

ملخص تقني: SENTINEL

بيان المشكلة

حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً في الفهم عبر الوسائط، لكنها تعاني من الهلوسة المتعلقة بالأجسام (object hallucinations)، حيث تولد النماذج نصوصاً متماسكة دلالياً ولكنها غير متوافقة واقعياً مع المدخلات البصرية. تواجه استراتيجيات التخفيف الحالية قيوداً كبيرة:

الطرق القائمة على فك التشفير (Decoding-based methods) (مثل فك التشفير التبايني) غالباً ما تتسبب في تكاليف حوسبة باهظة وزيادة في زمن الاستجابة (latency) أثناء الاستنتاج.
طرق مواءمة التفضيلات (Preference alignment methods) تعتمد بشكل متكرر على موارد خارجية مكلفة، مثل النماذج اللغوية الكبيرة (LLMs) المملوكة لجهات خارجية لإعادة الكتابة أو المنسقين البشريين لتنظيم البيانات. علاوة على ذلك، غالباً ما تسبب هذه الطرق عدم تطابق في التوزيع (distribution mismatches) بين بيانات التدريب (التي أعيدت كتابتها بواسطة نماذج خارجية) وتوزيع مخرجات النموذج الأصلي، مما قد يضر بقدرات التعميم.

المنهجية: SENTINEL

يقترح المؤلفون SENTINEL (التعلم التفضيلي المبكر على مستوى الجملة ضمن النطاق - Sentence-level Early iNterdomain prEference Learning)، وهو إطار عمل مصمم للتخفيف من الهلوسة من خلال التدخل في أبكر مرحلة لحدوثها دون الاعتماد على إعادة الكتابة الخارجية أو التنسيق البشري. تعمل الطريقة من خلال ست خطوات رئيسية:

تمهيد المرشحين داخل النطاق (In-domain Candidate Bootstrapping):
- يقوم النموذج الحالي (MLLM) بتوليد استجابات مرشحة متعددة عبر أخذ العينات (sampling).
- يتم استخراج الأجسام المذكورة في هذه المخرجات باستخدام Scene-GraphParser.
- التحقق المتبادل (Cross-Validation): يتم استخدام كاشفي أجسام مفتوحين (GroundingDINO و YOLO World) للتحقق من وجود هذه الأجسام في الصورة المدخلة.
- تُصنف الأجسام على أنها واقعية (يؤكد كلا الكاشفين وجودها)، أو مهلوسة (يؤكد كلا الكاشفين غيابها)، أو غير مؤكدة. تُحدد الجمل التي تحتوي على أجسام مهلوسة كعينات سلبية؛ أما الجمل التي تحتوي فقط على أجسام واقعية فتعتبر عينات إيجابية. يتم تجاهل الأجسام غير المؤكدة لضمان جودة البيانات.
توليد بيانات تفضيل مدركة للسياق (Context-aware Preference Data Generation):
- يبني الإطار أزواج التفضيل $(y_w^+, y_l)$ حيث $y_w^+$ هي جملة غير مهلوسة و $y_l$ هي جملة مهلوسة.
- من الضروري أن تكون العينة الإيجابية $y_w^+$ مختارة لتكون متماسكة سياقياً (context-coherent)، مما يعني أن الأجسام الموصوفة في الجملة يُشار إليها صراحةً أو ترتبط منطقياً بالسياق السابق. وهذا يتناقض مع العينات غير المدركة للسياق، والتي وجد المؤلفون أنها أقل فعالية في التعميم.
التمهيد السياقي التكراري (Iterative Contextual Bootstrapping - ICB):
- لتعزيز المتانة عبر سيناريوهات متنوعة، يقوم الإطار بتوسيع سياق التوليد بشكل تكراري. بعد تحديد عينة إيجابية غير مهلوسة، يتم إلحاقها بالسياق $c$ للدورة التالية. يسمح هذا للنموذج بالتعلم من سياقات أكثر تعقيداً وتنوعاً مع الحفاظ على أساس خالٍ من الهلوسة.
تعلم التفضيل المدرك للسياق (C-DPO):
- يتم تدريب النموذج باستخدام دالة خسارة معدلة من تحسين التفضيل المباشر (DPO)، تسمى C-DPO.
- يتم تعزيز مدخل نموذج السياسة (policy model) بالسياق $c$ : $x' = [v, q, c]$ .
- تعمل دالة الخسارة على تعظيم احتمالية توليد العينة الإيجابية المتماسكة سياقياً $y_w^+$ مع تقليل العينة السلبية المهلوسة $y_l$ .
- التصميم الرئيسي: يتم استبعاد السياق $c$ من حساب الخسارة (masking). تُشتق التدرجات (gradients) فقط من التمييز بين $y_w^+$ و $y_l$ ، مما يضمن تعلم النموذج التمييز بين الهلوسة على مستوى الجملة دون التحيز لرموز السياق (context tokens) أثناء عملية التحسين.

المساهمات الرئيسية

رؤية التدخل المبكر: يوضح المؤلفون من خلال التحليل أن شدة الهلوسة تزداد مع طول النص، وأن التدخل عند أول ظهور للهلوسة يمنع بشكل كبير انتشارها في المخرجات اللاحقة.
إطار عمل فعال وضمن النطاق: يلغي SENTINEL الاعتماد على النماذج الخارجية المملوكة أو المنسقين البشريين. ومن خلال استخدام مخرجات النموذج نفسه وكاشفات خفيفة الوزن مفتوحة المفردات، فإنه يبني بيانات تفضيل عالية الجودة ومتسقة في الأسلوب.
أداء مستقل عن النموذج (Model-Agnostic): يحقق الإطار نتائج رائدة (SOTA) في اختبارات الهلوسة مع الحفاظ على القدرات العامة أو تحسينها، مما يثبت أن تعلم التفضيل داخل النطاق يتفوق على النهج القائم على إعادة الكتابة.

النتائج التجريبية

أُجريت التجارب على نماذج LLaVA-v1.5 (7B و 13B) عبر عدة اختبارات مرجعية:

تخفيف الهلوسة:
- في Object HalBench، خفض SENTINEL معدل الهلوسة على مستوى الاستجابة من 52.7% (الأساس) إلى 4.3% للنموذج 7B، متفوقاً على المستوى القياسي السابق (TPO) بفارق كبير.
- في AMBER، انخفضت الهلوسة بنسبة تقارب 92% (في Object HalBench) و 65% (في AMBER) مقارنة بالنموذج الأصلي.
- نجحت الطريقة في تقليل الهلوسة عبر جميع الفئات الست (الوجود، الصفة، الحالة، العلاقة، الفعل، العدد).
القدرات العامة:
- على عكس العديد من طرق التخفيف التي تضعف الأداء العام، حافظ SENTINEL على درجات VQAv2 و TextVQA و ScienceQA و MM-Vet أو حسنها.
- على سبيل المثال، في MM-Vet، تحسن النموذج 7B من 31.0 إلى 32.6، وتحسن النموذج 13B من 36.0 إلى 36.2.
دراسات الاستئصال (Ablation Studies):
- إعادة الكتابة مقابل داخل النطاق: أدت التدريب على البيانات المعاد كتابتها (عبر GPT-4) إلى تدهور الأداء، مما يؤكد أهمية الحفاظ على التوزيع الجوهري للنموذج.
- تماسك السياق: أدى استخدام العينات الإيجابية المتماسكة سياقياً ( $y_w^+$ ) إلى نتائج أفضل من العينات غير المدركة للسياق.
- التحقق المتبادل: تفوق استخدام كاشفين للتحقق بشكل كبير على نهج الكاشف الواحد.
- القابلية للتوسع: تحسن الأداء مع زيادة حجم بيانات التدريب، مما يظهر كفاءة الطريقة في استخدام مجموعات بيانات أكبر دون الحاجة لتنسيق مكلف.

الأهمية والادعاءات

يزعم البحث أن SENTINEL يقدم حلاً قابلاً للتوسع، وفعالاً، ومستقلاً عن نوع النموذج لتعزيز موثوقية النماذج اللغوية الكبيرة متعددة الوسائط. تكمن أهميته الأساسية في نقل النموذج من التدخلات الخارجية المكلفة والمغيرة للتوزيع إلى التدخل المبكر على مستوى الجملة داخل النطاق. من خلال التركيز على اللحظة الدقيقة لظهور الهلوسة والاستفادة من توزيع النموذج نفسه، ينجح SENTINEL في كبح انتشار الأخطاء دون المساس بالاستدلال العام أو قدرات توليد اللغة للنموذج.

يشير المؤلفون إلى قصور: يفتقر الإطار الحالي إلى قدرات الاستدلال الزماني والمكاني (spatiotemporal reasoning)، مما يعني أنه قد لا يعالج تماماً مشكلات الهلوسة في النماذج متعددة الوسائط القائمة على الفيديو التي تتطلب استدلالاً طويل الأمد. ومع ذلك، بالنسبة لفهم الصور الثابتة، فإنه يضع معياراً جديداً لتخفيف الهلوسة بكفاءة.