What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models
تقدم هذه الورقة "EmbedLens" لتكشف أن النماذج اللغوية الكبيرة متعددة الوسائط تظهر تشتتًا وفائضًا كبيرين في الرموز المرئية، مما يثبت أن مجموعة فرعية فقط من الرموز "الحية" تحمل المعلومات الدلالية الجوهرية التي يمكن معالجتها بكفاءة عبر الحقن في الطبقة الوسطى بدلاً من الحوسبة الداخلية الكاملة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغوي كبير متعدد الوسائط (MLLM) كأنه مترجم فائق الذكاء يحاول وصف صورة لصديقه. يتم التقاط الصورة بواسطة كاميرا (المشفر البصري - Vision Encoder)، ثم تُقطع إلى مربعات صغيرة (بلاطات - patches)، ثم تُسلم إلى المترجم (النموذج اللغوي الكبير - LLM) ليحولها إلى كلمات.
لفترة طويلة، افترضنا أن المترجم يتعين عليه النظر إلى كل بلاطة على حدة والقيام بالكثير من العمليات الذهنية الشاقة ليفهم معنى الصورة.
هذه الورقة البحثية، بعنوان "ما الذي تشفره الرموز البصرية حقاً؟" (What Do Visual Tokens Really Encode?)، تطل على ما وراء الكواليس وتكتشف أن المترجم يقوم في الواقع بالكثير من العمل غير الضروري. في الواقع، بلاطات الصور التي يتلقاها هي في معظمها مجرد "خردة"، وعقل المترجم مبرمج بطريقة تجعل بعض خطوات تفكيره زائدة عن الحاجة.
إليك التفاصيل باستخدام تشبيهات بسيطة:
1. الأنواع الثلاثة لبلاطات الصور
عندما ترسل الكاميرا بلاطات الصورة إلى المترجم، فهي ليست متساوية في القيمة. وجد الباحثون أنها تنقسم إلى ثلاث مجموعات متميزة:
- البلاطات "الميتة" (ضجيج ثابت): تخيل أنك تنظر إلى صورة قطة، لكن 30% من البلاطات هي مجرد مربعات رمادية فارغة أو ضجيج عشوائي. إنها لا تظهر القطة، ولا الخلفية، ولا أي شيء مفيد. إنها مجرد "وزن زائد ميت".
- الاكتشاف: النموذج يتجاهلها. إذا قمت برميها، سيعمل المترجم في الواقع بشكل أفضل لأنه لن يتشتت بالضجيج.
- بلاطات "المصب" (مرتكزات الانتباه): هذه تشبه زر "البدء" (Start) في جهاز التحكم عن بعد. هي لا تحتوي على أي معلومات صورية (مثل "قطة" أو "شجرة")، لكن عقل المترجم مدرب على النظر إليها للحفاظ على استقرار تركيزه. إنها تعمل كغراء هيكلي.
- الاكتشاف: هذه أيضاً عديمة الفائدة لفهم الصورة. يمكنك إزالتها، وسيقوم المترجم ببساطة بتحويل انتباهه إلى زر "البدء" الموجود في النص الموجه (prompt). لا ضرر من ذلك.
- البلاطات "الحية" (المعلومات الحقيقية): هذه هي البلاطات الوحية التي تهم حقاً. فهي تحتوي على التفاصيل المحددة: أذني القطة، الكرة الحمراء، النص الموجود على لافتة.
- الاكتشاف: للمفاجأة، حوالي 60% فقط من البلاطات هي بلاطات "حية". أما الـ 40% الأخرى فهي مجرد بلاطات ميتة أو بلاطات مصب.
2. سر "الترجمة المسبقة"
هذا هو الجزء الأكثر إثارة للدهشة. كنا نعتقد أن المترجم يتعين عليه أخذ هذه البلاطات "الحية" والقيام بالكثير من العمل لتحويلها إلى مفاهيم.
- الفكرة القديمة: تصل البلاطات كبكسلات خام. وعلى عقل المترجم (LLM) معالجتها عبر العديد من طبقات التفكير ليفهم: "أوه، هذه كرة حمراء".
- الاكتشاف الجديد: البلاطات "الحية" تصل مترجمة مسبقاً. إنها تشبه وجبة جاهزة مغلفة؛ فبحلول الوقت الذي تصل فيه إلى المترجم، تكون رائحتها بالفعل مثل "كرة حمراء" أو "نص". إنها متوافقة تماماً مع اللغة لدرجة أن المترجم لا يحتاج إلى القيام بالكثير من الجهد الشاق لفهمها.
3. اختصار "المقعد الأوسط"
لأن البلاطات "الحية" تصل مُعدة جيداً، لا يحتاج المترجم لاستخدام كامل عقله لمعالجتها.
- التشبيه: تخيل طالباً يؤدي اختباراً. عادةً ما يقرأ السؤال، ويفكر فيه في ذهنه (الطبقات الضحلة)، ثم يكتب الإجابة.
- النتيجة: بالنسبة لهذه البلاطات الصورية، فإن جزء "التفكير" في الطبقات الأولى من الدماغ هو في الواقع عديم الفائدة. إنه يشبه محاولة حل مسألة رياضية عبر التحديق في الورقة لمدة 10 ثوانٍ قبل كتابة أي شيء. هذا مجرد إضاعة للوقت.
- الحل: وجد الباحثون أنه إذا تخطيت أول بضع "طبقات تفكير" وحقنت بلاطات الصور مباشرة في الطبقات الوسطى من عقل المترجم، فإن ذلك يعمل بنفس الكفاءة (وأحياناً بشكل أفضل). الأمر يشبه تقديم نموذج الإجابة مباشرة إلى "العقل الأوسط" للطالب، متجاوزاً مرحلة الارتباك.
4. فخ "ارتباك الألوان"
وجدت الورقة أيضاً سمة غريبة في كيفية رؤية النموذج للألوان.
- السيناريو: إذا عرضت على النموذج حرف "A" أسود على خلفية خضراء زاهية، فغالباً ما سيقول النموذج إن الحرف أخضر.
- السبب: النموذج كسول. بدلاً من النظر إلى الحرف المحدد، فإنه ينظر إلى "طابع" (vibe) الجزء بأكه. فهو يرى الخلفية الخضراء ويفترض أن الشيء كله أخضر. الأمر يشبه الحكم على شخصية شخص ما بناءً على لون قميصه بدلاً من حقيقته.
لماذا يهم هذا؟ (ما الفائدة؟)
هذا البحث يغير قواعد اللعبة لجعل الذكاء الاصطناعي أسرع وأرخص:
- تقليم الحشو: بما أن 40% من بلاطات الصور عديمة الفائدة (بلاطات ميتة/مصب)، يمكننا ببساطة حذفها قبل أن يبدأ النموذج حتى في التفكير. هذا يجعل النموذج يعمل بسرعة أكبر ويستخدم ذاكرة أقل.
- تخطي الأمور المملة: بما أن الطبقات الأولى من الدماغ لا تساعد كثيراً في الصور، يمكننا إخبار النموذج بتخطيها. هذا يشبه إخبار عامل: "لا تملأ الأوراق الإدارية؛ اذهب مباشرة إلى خط التجميع".
- تصميم أفضل: يمكن بناء نماذج ذكاء اصطناي مستقبلية عن طريق حقن الصور مباشرة في منتصف الدماغ، مما يجعلها أكثر كفاءة وأقل عرضة للهلوسة (اختلاق المعلومات).
باختدال شديد: تكشف هذه الورقة أن نماذج الذكاء الاصطاني الحالية تحمل الكثير من الأمتعة الثقيلة وغير المفيدة (الرموز الميتة) وتدور في حلقات مفرغة (المعالجة الزائدة) في حين كان بإمكانها فقط اتخاذ طريق مختصر (الحقن في الطبقة الوسطى) وترك الحشو وراءها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.