TGIF: Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs
يقدم TGIF وحدة دمج بين الطبقات خفيفة الوزن وموجهة بالنص، تقوم بدمج الميزات المرئية من طبقات مشفر متعددة مجمدة بشكل ديناميكي لتعزيز التأسيس البصري والحد من الهلوسة في النماذج اللغوية الكبيرة متعددة الوسائط دون الحاجة إلى تحديث المشفر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يرى العالم. تمنحه كاميرا (الأعين) ودماغاً فائق الذكاء يعرف كيف يتحدث (النموذج اللغوي الكبير). معاً، يشكلان "نموذج لغوي كبير متعدد الوسائط"، وهو محقق رقمي قادر على الإجابة عن أسئلة حول الصور. لكن هناك مشكلة: أحياناً، يكون هذا المحقق متحمساً جداً ليبدو ذكياً لدرجة أنه يختلق أشياء من خياله. إذا أريته صورة لحديقة وسألته: "هل يوجد كلب؟"، فقد يجيب بثقة قائلاً "نعم" لمجرد أن الكلاب شائعة في الحدائق، حتى لو كانت الصورة خالية. يُسمى هذا "الهلوسة".
ولإصلاح ذلك، يحاول العلماء عادةً تعليم الروبوت أن يكون أكثر حذراً أو تعديل طريقة حديثه. لكن هذه الورقة البحثية الجديدة، التي تحمل عنوان TGIF، تقترح أن المشكلة قد تكمن في الواقع في ما ينظر إليه الروبوت. فكر في عدسة الكاميرا التي يمكنها التركيز بتركيزات مختلفة من العمق. التركيز الضحل يرى الأشكال والألوان الخشنة الموجودة أمام العدسة مباشرة، بينما التركيز العميق يرى الصورة الكبيرة والمعنى الكامن وراءها. معظم الروبوتات اليوم عالقة في النظر عبر إعداد عدسة ثابت واحد فقط—عادة ما يكون الإعداد "العميق" الذي يفهم الأفكار الكبيرة ولكنه يفتقد التفاصيل الصغيرة. اكتشف مؤلفو هذه الورقة أنه اعتماداً على السؤال، يحتاج الروبوت إلى تغيير العدسات. فأحياناً يحتاج إلى التركيز الضحل لرصد كوب صغير؛ وأحياناً أخرى يحتاج إلى التركيز العميق لفهم مشهد معقد. إذا استخدم الروبوت العدسة الخاطئة للمهمة، فإنه يبدأ بالتخمين.
اقترح الباحثون، وهم فريق من جامعة كونيتيكت، وNVIDIA، وستانفورد، أداة ذكية جديدة تسمى TGIF (الدمج بين الطبقات الموجه بالنص). تخيل أن كاميرا الروبوت ليست مجرد عدسة واحدة، بل هي مجموعة من 24 عدسة مختلفة، كل منها يرى العالم بطريقة مختلفة قليلاً. عادةً ما يتجاهل الروبوت جميعها باستثناء الأخيرة منها. يعمل TGIF كمدير ذكي يقرأ النصوص؛ فعندما تطرح سؤالاً، يقرأ الكلمات ويقرر فوراً أي العدسات يجب استخدامها. إذا سألته: "ماذا كُتب على تلك اللافتة؟"، فهو يعرف أنه يجب التركيز على الطبقات الوسطى التي ترى خطوط النص الحادة. وإذا سألته: "هل هناك قطة؟"، فقد يتحقق من الطبقات الأولى ليتأكد من أنه لا يخمن فقط بناءً على كلمة "قطة".
اختبر الفريق هذه الفكرة على نموذج روبوت شهير يسمى LLaVA-1.5. لم يغيروا الكاميرا أو الدماغ، بل أضافوا فقط هذا المدير الصغير لخلط المشاهد من طبقات مختلفة بناءً على النص. كانت النتائج واعدة. ففي الاختبارات المصممة لكشف كذب الروبوتات بشأن ما تراه، ساعد TGIF الروبوت على قول الحقيقة بشكل أكبر بكثير. على سبيل المثال، في اختبار مرجعي يسمى POPE، قفزت دقة الروبوت من حوالي 81% إلى ما يقرب من 88%. كما أصبح أفضل في قراءة النصوص في الصور (OCR) ورصد تفاصيل محددة، مع الحفاظ على قدرته على حل الألغاز العامة بنفس القوة السابقة.
تشير الورقة البحثية إلى أن سر وقف الهلوسة ليس مجرد تدريب الروبوت على أن يكون "صادقاً"، بل منحه المرونة لاختيار المستوى المناسب من التفاصيل للمهمة. ومن خلال السماح للنص بتوجيه التركيز البصري، يتوقف الروبوت عن الاعتماد على خياله ويبدأ في الانتباه إلى البكسلات الفعلية. وجد المؤلفون أن هذا النهج خفيف الوزن، حيث لا يضيف أي وقت أو ذاكرة إضافية إلى عملية تفكير الروبوت. وبينما لم يدّعوا أنهم حلوا كل مشاكل العالم، إلا أن تجاربهم تشير بقوة إلى أن الدمج الديناميكي للطبقات البصرية هو وسيلة قوية لجعل الذكاء الاصطناعي أكثر موثوقية وأقل عرضة لتأليف الأشياء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.