Wiener Representation Filtering for VLM Hallucination Suppression
تقترح هذه الورقة "ترشيح تمثيل وينر" (Wiener Representation Filtering)، وهي تقنية لا تتطلب تدريباً وتُطبق بعد عملية التدريب (post-hoc)، تعمل على كبح الهلوسات المتعلقة بالأجسام في النماذج البصرية اللغوية من خلال تطبيق مُقدِّر من نوع "وينر" ذي صيغة مغلقة لتخفيف المكونات المرتبطة بالهلوسة في الحالات الخفية للعمود الفقري اللغوي، مما يؤدي إلى تحسين الدقة في مختلف المعايير مع الحفاظ على سرعة الاستدلال والطلاقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى صديق ذكي للغاية، ومطلع، وقد حفظ ملايين الكتب والأفلام والمقالات الإخبارية. هذا الصديق بارع في وصف الصور التي تعرضها عليه، لكن لديه عادة غريبة: أحياناً، عندما ينظر إلى صورة لشاطئ هادئ، يندفع بحماس شديد تجاه "فكرة" الشاطئ لدرجة أنه يخبرك بثقة بوجود راكب أمواج يركب موجة، رغم أن المياه هادئة تماماً. هو لا يكذب عن قصد؛ بل إن عقله الممتلئ بـ "قصص الشواطئ" يملأ الفراغات تلقائياً بأشياء يُفترض أن تكون موجودة، لكنها ليست كذلك. هذا هو بالضبط ما يحدث مع "نماذج الرؤية واللغة" (VLMs) الحديثة. هذه النماذج هي برامج حاسوبية قوية تجمع بين عين الكاميرا وعقل خبير لغوي. إنها مذهلة في وصف الصور، لكنها تعاني من "هلوسة الأشياء"، حيث تخترع أشياء أو ألواناً أو أفعالاً لا وجود لها في الصورة. هذه مشكلة كبيرة، لأنه إذا بدأ روبوت طبي أو سيارة ذاتية القيادة في "الهلوسة" برؤية لوحة توقف غير موجودة، أو ورم وهمي في صورة أشعة سينية، فقد تكون النتائج خطيرة. لقد حاول العلماء إصلاح ذلك بجعل النماذج تفكر بعمق أكبر أو بتغيير طريقة حديثها، لكن تلك الإصلاحات غالباً ما تجعل النماذج أبطأ أو تتطلب إعادة تدريب هائلة.
الآن، تعرف على الفريق من جامعة تل أبيب الذي قرر تجربة نهج مختلف. فبدلاً من إجبار النموذج على إعادة تعلم كل شيء أو إبطائه، عاملوا الهلوسة كأنها ضجيج ثابت على إشارة راديو. لقد أدركوا أنه عندما "يهلوس" النموذج، فإنه لا يرتكب أخطاء عشوائية فحسب، بل يضيف نوعاً معيناً ومنظماً من "الضجيج" إلى أفكاره الداخلية. فكر في عقل النموذج كأوركسترا معقدة تعزف سيمفونية؛ أحياناً، تبدأ بعض الآلات في عزف نوتة عالية وخارجة عن الإيقاع، مما يطغى على الموسيقى الحقيقية. طريقتهم التي تسمى "ترشيح تمثيل وينر" (Wiener Representation Filtering)، تشبه مهندس صوت ذكي جداً يستمع إلى الأوركسترا، ويحدد بالضبط أي الآلات تعزف تلك النوتات الخارجة عن الإيقاع، ثم يخفض مستوى صوت تلك الترددات المحددة بلطف. هم لم يعلموا الأوركسترا كيف تعزف بشكل أفضل، بل قاموا فقط بضبط لوحة التحكم مرة واحدة، "خارج الخط" (offline)، بحيث يتم كبح النوتات الخارجة عن الإيقاع بشكل طبيعي في كل مرة تعزف فيها.
إليك كيف فعلوا ذلك وما وجدوه. أولاً، احتاجوا لفهم "الضجيج". عرضوا على النموذج مجموعة من الصور وطلبوا منه وصفها. ثم قارنوا أوصافهم "المهلوسة" (حيث يختلق أشياء) بالأوصاف "الحقيقية" (حيث كان مصيباً). ومن خلال النظر في الرياضيات داخل عقل النموذج أثناء تلك اللحظات، اكتشفوا أن الهلوسات ليست فوضى عشوائية؛ بل تشكل نمطاً متميزاً، مثل مجموعة محددة من الاتجاهات في خريطة حيث يميل النموذج للضياع فيها. استخدموا تقنية معالجة إشارات كلاسيكية تسمى "مرشح وينر" (Wiener filter) — وهي أداة تُستخدم عادة لتنقية المكالمات الهاتفية القديمة أو ترميم الصور التالفة — لحساب كيفية تخفيف تلك "اتجاهات الهلوسة" المحددة مع إبقاء "الاتجاهات الحقيقية" واضحة وقوية.
إن سحر طريقتهم يكمل في كونها إصلاحاً "بعدياً" (post-hoc)، مما يعني أنهم لم يضطروا لإعادة تدريب النموذج من الصفر. لقد أجروا عملية حسابية واحدة خفيفة الوزن باستخدام مجموعة صغيرة من الأمثلة المقترنة لتحديد "نمط الضجيج"، ثم دمجوا هذا التصحيح مباشرة في أوزان النموذج الحالية. الأمر يشبه أخذ جيتار غير مضبوط تماماً، وشد الأوتار المحددة التي كانت مرتخية، ثم ترك الجيتار كما هو تماماً. ومنذ تلك اللحظة، يعزف الجيتار بنغمة مثالية دون الحاجة إلى أي جهد إضافي من العازف.
كانت النتائج مبهرة. فعندما اختبروا "مرشح وينر" هذا على عدة نماذج ذكاء اصطناعي شهيرة مثل LLaVA-1.5 و MiniGPT-4 و mPLUG-Owl2، بدأت النماذج ترتكب أخطاء أقل بكثير. وفي الاختبارات المصممة لكشف الهلوسة (مثل معايير CHAIR و POPE)، اخترعت النماذج أشياء وهمية أقل. على سبيل المثال، في اختبار CHAIR، انخفض معدل الخطأ في هلوسة مستوى الجملة بشكل ملحوظ (إلى 14.93 لنموذج LLaVA-1.5، بعد أن كان حوالي 18.87). والأهم من ذلك، أن النماذج لم تصبح مملة أو بطيئة؛ بل ظلت تكتب أوصافاً سلسة وإبداعية، لكنها توقفت عن اختلاق أشياء ليست موجودة. كما أظهر المؤلفون أن هذه الحيلة نجحت في مهام فهم الفيديو وحتى في أنواع مختلفة من النماذج اللغوية، مما يشير إلى أن هذا "نمط الضجيج" هو سمة مشتركة لكيفية عمل عقول الذكاء الاصطنا هذه، وليس مجرد خلل في نموذج واحد بعينه.
تشير الورقة البحثية إلى أنه من خلال النظر إلى الهلوسة كنوع من التشويه المنظم بدلاً من كونها نقصاً في المعرفة، يمكننا إصلاحها بمرشح بسيط وأنيق رياضياً. لقد استبعدوا فكرة أن الهلوسة ناتجة ببساطة عن "تحيز" يمكن إصلاحه بطرح رقم متوسط؛ بل إن الخطأ معقد وله اتجاه، مما يتطلب نهجاً دقيقاً قائماً على التردد. ورغم أنهم لم يدعوا حل مشكلة هلوسة الذكاء الاصطناعي للأبد، إلا أن طريقتهم تقدم أداة قوية لا تتطلب تدريباً، تجعل أنظمة الذكاء الاصطنا_البصرية هذه أكثر موثوقية دون التضحية بسرعتها أو إبداعها. إنها تذكير بأن أفضل طريقة لإصلاح إشارة مشوشة ليست بالصراخ بصوت أعلى، بل بالاستماع بعناية وخفض مستوى الضجيج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.