Scalpel: Fine-Grained Alignment of Attention Activation Manifolds via Mixture Gaussian Bridges to Mitigate Multimodal Hallucination
تُعد Scalpel طريقة استدلال غير مرتبطة بنموذج محدد تعمل على التخفيف من الهلوسة متعددة الوسائط في النماذج اللغوية البصرية الضخمة، وذلك باستخدام نماذج الخليط الغاوسي والنقل الأمثل الإنتروبي لمحاذاة متشعبات تنشيط الانتباه غير المتوافقة بدقة نحو مناطق بصرية أكثر مصداقية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد طباخاً محترفاً وهو يحضر وجبة ما. في معظم الأوقات، يتبع الوصفة بدقة تامة. لكن أحياناً، يتشتت انتباه الطباخ بمنظر جميل خارج النافذة ويبدأ في إضافة مكونات ليست موجودة في الوصفة — مثل وضع صوص الشوكولاتة على قطعة لحم ستيك. الطباخ ليس "معطلاً"، هو فقط فقد تركيزه وترك خياله يطلق العنان لنفسه.
في عالم الذكاء الاصطناعي، يُسمى هذا "الهلوسة" (Hallucination). نماذج اللغة والرؤية الكبيرة (LVLMs) تشبه هؤلاء الطباخين: فهي تنظر إلى صورة (الوصفة) وتصفها (الوجبة)، لكنها أحياناً "تهلوس" بوجود أشياء ليست موجودة بالفعل لأنها تعتمد أكثر مما ينبغي على ما تعتقد أنه يجب أن يكون موجوداً، بدلاً مما تراه فعلياً.
يقدم هذا البحث أداة جديدة تسمى Scalpel لإصلاح ذلك. وإليك كيف تعمل، مشروحة من خلال بعض التشبيهات البسيطة.
1. المشكلة: "الطباخ المشتت" (عدم توافق الانتباه)
عندما ينظر الذكاء الاصطناعي إلى صورة، فإنه يستخدم شيئاً يسمى "الانتباه" (Attention). فكر في "الانتباه" كأنه كشاف ضوئي. لوصف كلب في حديقة، يجب على الذكاء الاصطناعي أن يسلط كشافه على الكلب والعشب.
ومع ذلك، ولأن هذه النماذج قد قرأت ملايين الكتب، فإن لديها "تصورات مسبقة قوية" (Strong Priors) — أي أفكار مسبقة. إذا رأى الذكاء الاصطناعي حديقة، فقد يبدأ "عقله" تلقائياً في التفكير في "سلال النزهات" أو "أقراص الفريسبي"، حتى لو لم تكن موجودة. هنا، ينحرف كشافه (انتباهه) بعيداً عن الصورة الفعلية نحو هذه الأفكار الخيالية.
2. الحل: "نظام تحديد المواقع للتركيز" (نماذج GMMs وجسور شرويدنجر)
أدرك الباحثون أنه عندما يهلوِس الذكاء الاصطناعي، فإن "كشافه الداخلي" يتحرك وفق أنماط محددة ومتوقعة للغاية. لذا قرروا رسم خرائط لهذه الأنماط.
- الخريطة (GMMs): تخيل أن أفكار الذكاء الاصطناعي تشبه السحب في السماء. رسم الباحثون خريطتين لأنواع السحب: "سحب الحقيقة" (حيث يكون الكشاف عندما يكون الذكاء الاصطناعي صحيحاً) و"سحب الهلوسة" (حيث ينحرف الكشاف عندما يخطئ الذكاء الاصطناعي). وقد استخدموا أداة رياضية تسمى نموذج الخليط الغاوسي (Gaussian Mixture Model - GMM) لرسم خرائط دقيقة جداً لهذه السحب.
- الجسر (جسر شرويدنجر - Schrödinger Bridge): الآن، لدينا مشكلة: كشاف الذكما الاصطناعي عالق حالياً في "سحابة هلوسة". نحن بحاجة لنقله إلى "سحبة حقيقة". لكن لا يمكننا نقله عبر الانتقال الآني؛ فنحن نريد تحريكه بأكثر طريقة فعالة وطبيعية ممكنة حتى لا "نكسر" ذكاء النموذج. لذا نستخدم ما يسمى جسر شرويدنجر — فكر في هذا كأنه نظام GPS للأفكار. فهو يحسب أقصر وأسلس مسار لتوجيه الكشاف من "السحابة الخاطئة" للعودة إلى "السحابة الصحيحة".
3. الأداة: "المشرط" (التدخل الدقيق)
سُميت الطريقة باسم Scalpel (المشرط) لأنها لا تجري "جراحة" للدماغ بأكم، (الأمر الذي سيكون بطيئاً ومكلفاً). بدلاً من ذلك، هي دقيقة للغاية.
بدلاً من إعادة تدريب الذكاء الاصطناعي بالكامل (وهو ما يشبه إرسال الطباخ للعودة إلى مدرسة الطهي لمدة أربع سنوات)، يعمل Scalpel أثناء عملية "الطهي" (الاستدلال/Inference). فهو يراقب كشاف الذكاء الاصطناعي في الوقت الفعلي. وفي اللحظة التي يرى فيها الكشاف ينحرف نحو "سحابة هلوسة"، يستخدم ذلك الـ "GPS" ليعطي الكشاف دفعة صغيرة ودقيقة ليعود نحو الحقيقة.
لماذا يعد هذا أمراً هاماً؟
- سريع وغير مكلف: لا يتطلب أجهزة كمبيوتر عملاقة لإعادة تدريب النموذج. إنه حل "جاهز للتشغيل" (Plug-and-play).
- ذكي: هو لا يكتفي بإخبار الذكاء الاصطناعي "لا تكذب"، بل يفهم كيف ينحرف الذكاء الاصطناعي ويوجهه للعودة.
- فعّال: في الاختبارات، نجح بشكل كبير في تحسين قدرة الذكاء الاصطناعي على تحديد الأشياء والألوان والمواقع في الصور بدقة، متفوقاً على الطرق السابقة.
باخت المقول: يعمل Scalpel مثل "مساعد طباخ" (Sous-chef) ماهر يقف بجانب الطباخ الرئيسي، ويدفع يده بهدوء نحو المكونات الصحيحة كلما بدأ في الشرود في أحلام اليقظة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.