ReToken: One Token to Improve Vision-Language Models for Visual Retrieval
تُعد ReToken عبارة عن تضمين واحد خفيف الوزن وقابل للتعلم، يعمل بكفاءة على استرجاع الرموز البصرية ذات الصلة بالاستعلام من ذاكرة التخزين المؤقت (KV cache) المعبأة مسبقاً، مما يحسن بشكل كبير أداء نماذج الرؤية واللغة في مهام استرجاع الصور والفيديوهات ذات السياق الطويل مع بقائه ممكناً من الناحية الحسابية على وحدة معالجة رسوميات واحدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على إبرة محددة في كومة قش هائلة وفوضوية. الآن، تخيل أن هذه الكومة ليست مجرد كومة من القش، بل هي مكتبة عملاقة تضم آلاف الكتب، وأنت تسأل أمين مكتبة آلياً فائق الذكاء أن يقرأ المكتبة بأكملها ليجد الجملة الوحيدة التي تجيب على سؤالك. هذا هو عالم "نماذج الرؤية واللغة" (VLMs)، وهو فرع من فروع الذكاء الاصطناعي يحاول فهم كل من الصور والنصوص معاً.
لفترة طويلة، كانت هذه الروبوتات بارعة في النظر إلى صورة واحدة أو مقطع فيديو قصير. ولكن عندما تعطيهم فيديو مدته ساعة كاملة أو مجموعة من مائة صورة، فإنهم يشعرون بالارتباك. الأمر يشبه أن تطلب من إنسان قراءة ألف كتاب في وقت واحد؛ فدماغه (أو في هذه الحالة، ذاكرة الكمبيوتر) لا يمكنه استيعاب كل ذلك، ويبدأ في الارتباك بسبب الضجيج. قد ينظرون إلى الصفحة الخطأ أو يفقدون الدليل تماماً لأنهم يحاولون معالجة كل شيء في نفس الوقت. السؤال الكبير الذي كان العلماء يتساءلون عنه هو: كيف نعلم هذه الروبوتات أن تكون أفضل في "البحث" داخل ذاكرتها الخاصة؟ كيف نساعدها على تجاهل الأجزاء المملة والتركيز بدقة على اللحظة أو الصورة التي تهم، دون الحاجة إلى سوبر كمبيوتر بحجم منزل؟
هنا يأتي دور فكرة جديدة تسمى ReToken. فكر في نموذج الرؤية واللغة كأنه محقق تم تدريبه على حل الجرائم من خلال النظر إلى الأدلة. عادةً، عندما تطرح على المحقق سؤالاً مثل: "أين السيارة الحمراء؟"، ينظر المحقق إلى جميع الأدلة (الصور) ويحاول تخمين أي منها مهم بناءً على مقدار "الانتباه" الذي يوليه لها. اكتشف الباحثون أن طريقة "الانتباه" هذه في الواقع غير موثوقة للتعامل مع الفيديوهات ومجموعات الصور الكبيرة. الأمر يشبه انشغال المحقق بشيء لامع في الخلفية وتجاهله للسيارة الحمراء تماماً.
وجد الفريق أن طريقة البحث الحالية للروبوت معطلة نوعاً ما. لقد اختبروها ووجدوا أنه عندما يحاول الروبوت اختيار الإطار الصحيح من فيديو باستخدام إشارات "الانتباه" القياسية، فإنه يصيب فقط بنسبة 5% من المرات تقريباً. إنه في الأساس يخمن في الظلام. كما لاحظء شيئاً غريباً: "انتباه" الروبوت مُدرب للتنبؤ بالكلمة التالية في الجملة، وليس للعثور على صور محددة. لذا، فهو ليس جيداً جداً في كونه أمين مكتبة.
لإصلاح ذلك، اخترع المؤلفون ReToken. تخيل أن لديك "زر بحث" سحرياً واحداً يمكنك لصقه على سؤالك. بدلاً من أن تطلب من الروبوت مسح المكتبة بأكملها، تعطيها هذا الزر الخاص. هذا الزر عبارة عن قطعة صغيرة من الكود القابل للتعلم، تم تدريب الروبوت على استخدامها خصيصاً للبحث عن الصورة الصحيحة. وهي تعمل من خلال النظر إلى "محتوى" الصور (ما يسميه البحث بـ "مساحة القيمة") بدلاً من مجرد "العلامات" أو "المفاتيح" التي يستخدمها الروبوت عادةً.
إليك الخدعة السحرية: قام الباحثون بتدريب هذا "الزر" الوحيد على مجموعة صغيرة من أسئلة الصور. لقد علموه كيف يتجاهل الضجيج ويركز بدقة على الإطار الذي يجيب على السؤال. وبمجرد تدريبه، أصبح هذا الرمز (Token) مسترجعاً فائق الكفاءة. عندما يُسأل الروبوت سؤالاً حول فيديو طويل، يعمل هذا الرمز مثل مؤشر الليزر، حيث يجد فوراً الإطارات ذات الصلة من بين آلاف الإطارات ويتجاهل الباقي.
كانت النتائج قوية بشكل مفاجئ. فعندما اختبروا ذلك في تحدي "كومة القش البصرية" (العثور على صورة واحدة ذات صلة من بين العديد)، حسّن الروبوت باستخدام ReToken دقة أدائه بأكثر من 13 نقطة مقارنة بأفضل ما لديه سابقاً. والأمر الأكثر إثارة للإعجاب هو أنهم دربوه فقط على الصور الثابتة، ولكن عندما أعطوه فيديو طويلاً لمشاهدته، ظل يعمل بنجاح! لقد نقل مهاراته بشكل مثالي، حيث حسن درجات فهم الفيديو بمقدار 8 نقاط في اختبار معيار صعب يسمى LVBench.
والجزء الأفضل؟ هذا الحل خفيف الوزن للغاية. فهو لا يتطلب إعادة بناء الروبوت بالكامل أو استخدام سوبر كمبيوتر ضخم. العملية بأكملها، من التدريب إلى مشاهدة فيديو طويل، يمكن تنفيذها على بطاقة رسوميات واحدة عالية الأداء (H100). يشير المؤلفون إلى أن هذا النهج البسيط المعتمد على رمز واحد قد يكون المفتاح لجعل الذكاء الاصطناعي قادراً حقاً على فهم ساعات من الفيديو أو مجموعات الصور الضخمة دون أن يضيع في التفاصيل. إنه تغيير صغير يساعد الروبوت على رؤية الغابة بدلاً من الأشجار، مما يثبت أنه في بعض الأحيان، لا تحتاج إلى عقل أكبر، بل تحتاج فقط إلى طريقة أفضل للنظر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.