PatchGate: Narrowing the Verbalization Gap with Intrinsic Object Inventories in Frozen Vision-Language Models
يُعد PatchGate إطار عمل لا يتطلب تدريباً يعمل على تضييق فجوة التعبير اللفظي في النماذج البصرية-اللغوية المجمدة عبر استخراج أدلة موضوعاتية ذاتية على مستوى الرقعة (patch-level) وخالية من المطالبات من طبقات فك التشفير واستخدامها لمعايرة لوغاريتمات فك التشفير، مما يؤدي في آن واحد إلى تحسين تغطية الموضوعات المرئية وتقليل الهلوسة دون الحاجة إلى كواشف خارجية أو ضبط دقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال الذكاء الاصطعي المتطور بسرعة، برزت فئة محددة من الأنظمة تُعرف باسم نماذج الرؤية واللغة كجسر يربط بين ما تراه الحواسيب وكيفية حديثها. لقد تم تدريب هذه النماذج على كميات هائلة من الصور والنصوص، مما يسمح لها بالنظر إلى صورة وتوليد وصف لها، أو الإجابة عن أسئلة حول محتواها، أو شرح مشهد ما. ولكي تكون هذه الأدوات مفيدة حقًا في العالم الحقيقي، يجب أن تكون أوصافها دقيقة وكاملة؛ فلا ينبغي لها أن تخترع أشياء غير موجودة، وهو خطأ يُعرف باسم "الهلوسة"، ولا ينبغي لها أن تغفل عن أشياء واضحة للعيان، وهو فشل يُسمى "الإغفال". وحتى وقت قريب، كان إصلاح هذه الأخطاء يتطلب غالبًا إعادة تدريب النماذج الضخمة من الصفر أو إلحاق برمجيات إضافية متخصصة لتعمل بمثابة عين ثانية. وكان هذا النهج مكلفًا حاسوبيًا وبطيئًا، مما حد من سرعة تحسين هذه الأنظمة أو نشرها.
قدم فريق من الباحثين في جامعة سيول الوطنية ومؤسسات أخرى طريقة جديدة تسمى "PatchGate" تعالج قضا_ئية الموثوقية هذه دون تغيير التدريب الأساسي للنموذج أو إضافة أدوات خارجية. وبدلاً من محاولة تعليم النموذج حقائق جديدة، اكتشف الباحثون كيفية الاستماع إلى أفكار النموذج الداخلية قبل أن يتحدث. فقد وجدوا أنه حتى قبل أن يولد النموذج كلمة واحدة من الوصف، فإن طبقاته الداخلية تحتوي بالفعل على جرد تفصيلي وصامت للأشياء الموجودة في الصورة. ومن خلال قراءة هذه الأدلة الخفية واستخدامها لتوجيه خيارات النموذج بلطف أثناء عملية التوليد، تمكنوا من جعل النظام أكثر صدقًا فيما يراه وأكثر شمولاً فيما يبلغه.
يكمن جوهر هذا الاكتشاف في فهم كيفية معالجة هذه النماذج للمعلومات. فعندما ينظر نموذج الرؤية واللغة إلى صورة، فإنه يقسم الصورة إلى أقسام صغيرة تشبه الشبكة تسمى "الرقع" (patches). وبينما يعالج النموذج هذه الرقع عبر طبقاته العميقة من الخلايا العصبية الاصطناعية، يبدأ في تكوين تصور عما إذا كانت الأشياء موجودة، وذلك قبل وقت طويل من التزامه بكتابة جملة. وقد أدرك الباحثون أن هذه الحالة الداخلية تحتوي على قائمة "خالية من المطالبات" (prompt-free) بالأشياء، مما يعني أن النموذج قد حدد بالفعل أشياء مثل قطار، أو علم، أو شخص بناءً على البيانات المرئية وحدها، حتى قبل أن يطلب منه إنسان وصف المشهد. ومع ذلك، عندما يبدأ النموذج أخيرًا في التحدث، فإنه أحيانًا يتجاهل هذه القرائن الداخلية، مما يؤدي إلى تفاصيل مفقودة، أو يخترع بثقة أشياء ليس لها دعم بصري.
ولإصلاح ذلك، طور الباحثون إطار عمل يتكون من خطوتين يعمل كمحرر في الوقت الفعلي لمخرجات النموذج. أولاً، أنشأوا عملية تسمى "استخراج الدليل البصري" (Visual Evidence Extraction). تقوم هذه الخطوة بالنظر في طبقات المعالجة اللاحقة للنموذج لقراءة أقوى الإشارات لأشياء محددة. وهي تبني قائمة قصيرة لما تحتويه الصورة بالفعل، مع تعيين درجة ثقة لكل جسم محتمل بناءً على مدى قوة دعم البيانات المرئية له. يحدث هذا دون أي مطالبات نصية أو كواشف خارجية؛ فالنموذج ببساطة يقرأ خريطته الداخلية للصورة. فإذا رأى النموذج علمًا على قطار، تسجل هذه الخطوة وجود هذا الدليل بثقة عالية. وإذا لم يرَ النموذج شاحنة، فإن الدليل على وجود الشاحنة يظل ضعيفًا أو غير موجود.
الخطوة الثانية، وتسمى "فك التشفير بالاشتمال والاستبعاد القائم على الدليل البصري" (Visual-Evidence Inclusion-Exclusion Decoding)، تستخدم هذه القائمة القصيرة الداخلية لتوجيه كتابة النموذج. فبينما يقرر النموذج الكلمة التالية التي سيولدها، يتحقق هذا النظام من الدليل الداخلي. فإذا كان النموذج على وشك ذكر شيء لديه دعم بصري قوي ولكنه لم يُذكر بعد — مثل سماء مرئية يستمر النموذج في تخطيها — يقوم النظام بإعطاء تلك الكلمة دفعة لطيفة، مما يجعل اختيارها أكثر احتمالية. وعلى العكس من ذلك، إذا كان النموذج على وشك قول شيء يفتقر إلى الدعم البصري، مثل اختراع شاحنة ليست موجودة، فإن النظام يطبق عقوبة، مما يجعل ظهور تلك الكلمة أقل احتمالاً. يحدث هذا في آن واحد، حيث يصحح النظام كلاً من الأشياء التي يتركها النموذج وكالأشياء التي يختلقها، وكل ذلك ضمن تمريرة واحدة للصورة.
كانت نتائج تطبيق هذه الطة كبيرة. فعند اختبارها على معيار قياسي لوصف الصور، حسّن النظام تغطية الأشياء المرئية بنسبة 13.4 بالمائة، مما يعني أنه نجح في ذكر المزيد بكثير من الأشياء الموجودة فعليًا في الصور. وفي الوقت نفسه، قلل من معدل الأشياء المختلقة بنسبة 12 بالمائة، مما جعل الأوصاف أكثر موثوقية. والأهم من ذلك، أن هذه التحسينات تحققت دون إعادة تدريب النموذج، ودون إضافة أي برنامج خارجي للكشف عن الأشياء، ومع زيادة ضئيلة جدًا في وقت الحوسبة. تعمل هذه الطريقة من خلال الاستفضاء من المعرفة الكامنة للنموذج، مما يثبت أن الإجابات على مشكلات الموثوقية موجودة بالفعل داخل النظام، وتنتظر فقط الوصول إليها واستخدامها بشكل صحيح.
يتحدى هذا النهج الفكرة السائدة بأن إصلاح الهلوسة يتطلب بناء أنظمة أكثر تعقيدًا أو إضافة أدوات تحقق خارجية. وبدلاً من ذلك، فإنه يشير إلى أن الطريقة الأكثر فعالية لربط النموذج بالواقع هي مواءمة كلماته النهائية مع الأدلة التي جمعها داخليًا بالفعل. ومن خلال التعامل مع الحالة الداخلية للنموذج ليس كصندوق أسود، بل كمصدر لبيانات يمكن التحقق منها، أثبت الباحثون أنه يمكن جعل نموذج ثابت ومُدرب مسبقًا أكثر موثوقية بشكل كبير من خلال تدخل دقيق لا يتطلب تدريبًا. وتقدم هذه النتائج مسارًا عمليًا لإنشاء ذكاء اصطناعي ليس فقط فصيحًا، بل وأيضًا أمينًا للواقع المرئي الذي يلاحظه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.