Self-Correction Inside the Model: Leveraging Layer Attention to Mitigate Hallucinations in Large Vision Language Models
تقدم هذه الورقة البحثية آلية ICLA، وهي آلية تصحيح ذاتي داخلية تستفيد من آلية انتباه قطرية عبر الطبقات لتمكين نماذج الرؤية واللغة الكبيرة من تحسين حالاتها الخفية والحد من الهلوسة دون إشارات خارجية، مما يظهر تحسينات متسقة عبر المعايير المرجعية مع الحد الأدنى من المعلمات الإضافية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً ذكياً جداً ومطلعاً، بارع في وصف الصور. ومع ذلك، قد يصبح هذا المساعد أحياناً "حالماً"؛ فقد ينظر إلى صورة قطة ويقول بثقة: "هذا كلب يرتدي قبعة"، لأن بيانات تدريبه الضخمة تظهر فيها القطط والكلاب معاً، أو لأنه ببساطة "يحب" فكرة وجود كلب يرتدي قبعة. إنه لا ينظر بتمعن إلى الصورة، بل يقوم فقط بالتخمين بناءً على ما سمعه من قبل. في عالم الذكاء الاصطناعي، يُسمى هذا "الهلوسة" (Hallucination).
لفترة طويلة، حاول الباحثون إصلاح ذلك بتعليم المساعد أن "يفكر بعمق أكبر" أو بإعطائه قواعد محددة لمنعه من أحلام اليقظة. ولكن إليك المفاجأة: المساعدون الجدد فائقو الذكاء (مثل الموجودين في هذه الورقة البحثية) أصبحوا بارعين جداً لدرجة أن القواعد القديمة لم تعد تجدي نفعاً. فهم لا يتبعون نفس الأنماط "الحالمة" التي كانت تتبعها النماذج القديمة. إن محاولة إجبارهم على التوقف عن الهلوسة باستخدام الحيل القديمة تشبه محاولة منع سيارة فورمولا 1 من السرعة عبر إخبارها بأن تقود مثل دراجة هوائية؛ فهذا لا ينجح فحسب، بل قد يؤدي أحياناً إلى تحطم السيارة.
الحل الجديد: "فريق التصحيح الذاتي" (ICLA)
تقترح المؤلفة، أبريل فو، طريقة ذكية وجديدة لإصلاح ذلك تسمى ICLA (التصحيح الذاتي الداخلي باستخدام انتباه الطبقات - Internal self-Correction utilizing Layer Attention).
إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:
1. خط تجميع المصنع
تخيل أن نموذج الذكاء الاصطناعي عبارة عن مصنع ضخم يتكون من 30 طابقاً مختلفاً (طبقات).
- الطابق 1 يرى الصورة الخام.
- الطابق 2 يبدأ في تخمين ماهيتها.
- الطابق 3 يقوم بتحسين ذلك التخمين.
- ... وهكذا وصولاً إلى الطابق 30، الذي يكتب الإجابة النهائية.
في النماذج القديمة، إذا ارتكب الطابق 5 خطأً، فإن الطوابق فوقه ستستمر في ارتكاب نفس الخطأ، أو حتى تجعله أسوأ (وهذه كانت مشكلة "الإفراط في التفكير").
2. المشكلة في الطريقة القديمة
سابقاً، حاول الباحثون إصلاح ذلك بوضع "مدير" في نهاية خط الإنتاج (الطابق الأخير) لمراجعة العمل. لكن في هذه النماذج المتقدمة والجديدة، غالباً ما يكون المدير في النهاية مرتبكاً جداً أو مشغولاً جداً لدرجة تمنعه من إصلاح الأخطاء التي وقعت في أعماق المصنع.
3. ابتكار ICLA: "المصعد العمودي"
يقوم ICLA بتغيير تصميم المصنع. بدلاً من الانتقال للأعلى طابقاً تلو الآخر فقط، أصبح لكل طابق الآن مصعد خاص يربطه بجميع الطوابق الموجودة تحته.
- كيف يعمل: عندما يحاول الطابق 20 تحديد ماهية الصورة، فإنه لا ينظر فقط إلى الطابق 19، بل ينتقل فوراً عبر المصعد للتحقق مما رآه الطابق 10، والطابق 12، والطابق 15.
- قاعدة "القطر": للحفاظ على التنظيم، يتوقف المصعد دائماً في نفس الموقع تماماً في كل الطوابق. فإذا كان الطابق 20 ينظر إلى الجانب الأيسر من الصورة، فإنه يتحقق فقط من الجانب الأيسر للطوابق الأدنى. هو لا يرتبك بسبب الجانب الأيمن.
- التصحيح الذاتي: إذا بدأ الطابق 20 في الانجراف نحو أحلام اليقظة (الهلوسة)، يمكنه فوراً العودة بالنظر إلى الطوابق السابقة، ورؤية الأدلة الواقعية الواضحة، وقول: "مهلاً، أنا مخطئ. الطوابق السابقة رأت قطة، وليس كلباً. دعني أصحح إجابتي".
لماذا يعد هذا أمراً بالغ الأهمية؟
- إنه يعتمد على نفسه: لا يحتاج النموذج إلى إنسان ليقول له: "مهلاً، هذا خطأ!"؛ فهو يصحح نفسه داخلياً، مثل شخص يراجع ذاكرته جيداً قبل التحدث.
- إنه خفيف الوزن: لم تضطر المؤلفة إلا لإضافة قدر ضئيل جداً من "القدرة الذهنية الإضافية" (حوالي 0.1 إلى 0.2 مليون معلمة/parameter) لجعل هذا يعمل. الأمر يشبه إضافة دفتر ملاحظات صغير إلى مكتبة ضخمة؛ فهو لا يزن الكثير، لكنه يجعل أمين المكتبة أكثر ذكاءً.
- إنه يعمل على "أذكى" النماذج: اختبرت الورقة هذا الأسلوب على نموذجين متطورين جداً (LLaVA و Qwen). على النموذج الأقدم، حقق نتائج رائعة. أما على النموذج الأحدث والأكثر تعقيداً، فقد كان بمثابة تغيير لقواعد اللعبة. فبينما جعلت الطرق الأخرى النموذج الجديد أسوأ، جعلت تقنية ICLA النموذج أكثر دقة بشكل ملحوظ.
الخلاصة
فكر في ICL كأنه منح الذكاء الاصطناعي آلة زمن. فبدلاً من المضي قدماً بشكل أعمى، يمكنه استراق النظر إلى أفكاره السابقة لضمان أنه لم يفقد الاتصال بالواقع.
تعلمنا هذه الورقة أنه كلما أصبح الذكاء الاصطناعي أكثر ذكاءً، لا يمكننا استخدام القواعد القديمة والجامدة لمنعه من الكذب. بدلاً من ذلك، نحتاج إلى بناء أنظمة تسمح للذكاء الاصطناعي بمراجعة عمله ديناميكياً في كل خطوة من العملية، لضمان أن ما يقوله يستند بالفعل إلى ما يراه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.