🤖 machine learning

A More Word-like Image Tokenization for MLLMs

تقترح هذه الورقة البحثية "الترميز البصري المتفكك" (DiVT)، وهي طريقة مبتكرة تعمل على تجميع تضمينات رقع الصور في وحدات دلالية متماسكة وتعديل ميزانيات الرموز ديناميكيًا بناءً على تعقيد الصورة، مما يمكن النماذج اللغوية الكبيرة متعددة الوسائط من معالجة المدخلات البصرية بكفاءة أكبر وتوافق أعلى مع تقليل تكاليف الذاكرة وزمن الاستجابة بشكل كبير.

المؤلفون الأصليون: Hyun Lee, Hyemin Jeong, Yejin Kim, Hyungwook Choi, Hyunsoo Cho, Soo Kyung Kim, Joonseok Lee

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hyun Lee, Hyemin Jeong, Yejin Kim, Hyungwook Choi, Hyunsoo Cho, Soo Kyung Kim, Joonseok Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي للغاية ولكنه حرفي جداً (نموذج لغوي كبير - LLM) كيف "يرى" الصور. حالياً، الطريقة التي نفعل بها ذلك تتسم ببعض العشوائية وعدم الدقة.

المشكلة: "الشبكة" مقابل "القصة"

فكر في صورة رقمية قياسية على أنها شبكة ضخمة من المربعات الصغيرة (البكسلات). في الوقت الحالي، عندما نغذي الروبوت بصورة، فإننا نقوم بتقطيع الصورة إلى مربعات ثابتة الحجم (مثل لوحة الشطرنج) ثم نسلم الروبوت قائمة طويلة ومملة من هذه المربعات.

منظور الروبوت: الروبوت معتاد على قراءة الكلمات. الكلمات هي وحدات متميزة وذات معنى (مثل "قطة"، أو "يركض"، أو "أزرق").
الطريقة الحالية: يُجبر الروبوت على قراءة قائمة طويلة ومكررة من "المربع-1"، "المربع-2"، "المربع-3"، حتى لو كانت كل هذه المربعات مجرد سماء فارغة أو جزءاً من جدار واحد.
النتيجة: يتعرض الروبوت للارتباك بسبب فيض من البيانات المكررة والمربكة. الأمر يشبه محاولة وصف لوحة جميلة من خلال سرد لون كل طوبة في الإطار، بدلاً من القول "وردة حمراء". هذا يهدر ذاكرة الروبوت ويجعله بطيئاً.

الحل: DiVT (الترميز البصري المتمايز - Disentangled Visual Tokenization)

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة تسمى DiVT. بدلاً من تقطيع الصورة إلى شبكة جامدة، تعمل DiVT كمحرر ذكي ينظر إلى الصورة ويقول: "حسناً، ما هي الأشياء المهمة حقاً هنا؟"

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. لعبة "التجميع" (Clustering)
تخيل أن لديك غرفة فوضوية مليئة بالألعاب المبعثرة.

الطريقة القديمة: تلتقط كل لعبة على حدة وتضعها في صندوق، بغض النظر عما إذا كانت قطعة "ليجو"، أو دمية، أو جورب. سينتهي بك الأمر بـ 500 صندوق صغير.
طريقة DiVT: تنظر إلى الألعاب وتجمعها بناءً على ماهيتها. تضع كل قطع "الليجو" في كومة واحدة، وكل الدمى في كومة أخرى، والجوارب في كومة ثالثة. أنت تنشئ "رمزاً" (Token) واحداً (صندوقاً) لكل مجموعة متميزة فقط.
- إذا كانت الغرفة فارغة، ستصنع عدداً قلي ضئيلاً من الصناديق.
- إذا كانت الغرفة مليئة بالألعاب المعقدة، ستصنع صناديق أكثر.
- السر السحري: عدد الصناديق يتعدل تلقائياً حسب مدى "ازدحام" الغرفة.

2. "الملخص الذكي" (Token Formulation)
بمجرد تكوين المجموعات، لا تقوم DiVT بمجرد إلقاء الألعاب في الصندوق. بل تنشئ ملخصاً واحداً مثالياً لكل مجموعة.

بدلاً من إرسال 500 قطعة من "فرو القطة" للروبوت، ترسل رمزاً واحداً يقول "قطة".
بدلاً من إرسال 100 قطعة من "السماء الزرقاء"، ترسل رمزاً واحداً يقول "سماء".
والأهم من ذلك، أنها تحتفظ بالتفاصيل الصغيرة والفريدة (مثل طائر صغير في الزاوية) كرموز منفصلة خاصة بها، حتى لا يضيع أي شيء مهم.

3. "مقبض التحكم" (التحكم في التفاصيل - Granularity Control)
أضاف الباحثون مقبضاً خاصاً (يسمى العتبة - Threshold) يسمح لك بتحديد مدى دقة الملخص الذي تريده.

إذا رفعت المقبض: ستحصل على أوصاف دقيقة جداً (مجموعات صغيرة كثيرة)، وهو أمر رائع للصور المعقدة ولكنه يستهلك ذاكرة أكبر.
إذا خفضت المقبض: ستحصل على ملخصات عامة (مجموعات أقل وأكبر)، وهو أمر سريع جداً ويوفر الذاكرة.
الجزء الأفضل: يمكنك تغيير هذا المقبض بعد تدريب الروبوت بالفعل. لا تحتاج لإعادة تعليم الروبوت؛ كل ما عليك فعله هو تغيير الإعداد ليتناسب مع احتياجاتك.

لماذا يهم هذا الأمر (النتائج)

اختبرت الورقة البحثية هذه الطريقة الجديدة في مهام عديدة مختلفة، من الإجابة على الأسئلة حول الصور إلى وصف المشاهد.

السرعة والكفاءة: حققت DiVT نفس النتائج (أو أفضل من الطرق القديمة) مع استخدام رموز (Tokens) أقل بكثير. في بعض الاختبارات، استخدمت أقل من 1/10 من البيانات التي احتاجتها الطريقة القديمة.
تقليل الارتباك: لأن الرموز تمثل مفاهيم حقيقية (مثل "كوب" أو "شجرة") بدلاً من مجرد مربعات شبكية عشوائية، فإن الروبوت يفهم الصورة بشكل أفضل بكثير.
لا حاجة لإعادة التدريب: يمكنك استخدام هذه الطريقة مع أنواع مختلفة من الكاميرات (مشفرات الرؤية) وعقول الروبوتات المختلفة (نماذج اللغة الكبيرة) دون الحاجة لإعادة بناء النظام بأكمله.

الخلاصة

تزعم الورقة البحثية أنه من خلال معاملة الصور مثل "قصة" (تجميع المفاهيم ذات المعنى) بدلاً من "جدول بيانات" (مربعات شبكية جامدة)، يمكننا جعل رؤية الذكاء الاصطناعي أسرع، وأرخص، وأكثر ذكاءً. الأمر يشبه الانتقال من قراءة الكتاب حرفاً بحرف إلى قراءته كلمة بكلمة.

ملخص تقني: ترميز صوري أكثر شبهاً بالكلمات للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)

1. بيان المشكلة

تستخدم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) عادةً مشفر رؤية مُدرب مسبقاً ونموذج لغة كبير (LLM) ثابت، متصلين عبر مسقط بصري (visual projector). الهدف هو رسم خرائط بكسلات الصورة إلى تسلسل من الرموز (tokens) ضمن فضاء التضمين الخاص بالنموذج اللغوي الكبير. ومع ذلك، حدد المؤلفون عدم تطابق هيكلي جوهري بين الرموز البصرية الحالية والرموز المنفصلة ذات المعنى الدلالي التي تم تحسين النماذج اللغوية الكبيرة لمعالجتها.

يسلط البحث الضوء على ثلاثة تباينات رئيسية:

التشابك الدلالي (Semantic Entanglement): على عكس رموز النصوص الناتجة عن أدوات الترميز المنفصلة (مثل BPE) والتي تعد وحدات مستقلة، فإن ميزات الرقع البصرية (patch features) من محولات الرؤية (ViTs) تكون متشابكة للغاية. يؤدي الانتباه الذاتي المتكرر في مشفرات الرؤية إلى تجانس التضمينات، مما يتسبب في اختلاط دلالات الرقع ببعضها البعض. وتحافظ المساقط الخطية (Linear projectors) على هذا التكرار، مما ينتج عنه رموز بصرية مترابطة للغاية وتفتقر إلى حدود دلالية متميزة.
ميزانية الرموز الثابتة (Fixed Token Budget): تنتج الطرق الحالية (مثل التجميع الشبكي الثابت أو أجهزة إعادة العينات/resamplers) عدداً ثابتاً من الرموز بغض النظر عن تعقيد الصورة. يؤدي هذا إلى تكرار غير ضروري في المشاهد البسيطة وفقدان للتفاصيل في المشاهد المعقدة، مما يفشل في محاكاة الطبيعة متغيرة الطول للأوصاف اللغوية.
الافتقار إلى التحكم في التدرج (Lack of Granularity Control): يعتمد الترميز البصري الحالي على العمليات المكانية دون وجود آلية مبدئية للتحكم في مستوى التفاصيل (التدرج/granularity) لكل رمز، على عكس ترميز النصوص الذي يوازن بين الكلمات الفرعية والكلمات الكاملة.

بناءً على ذلك، تتصرف المدخلات البصرية بشكل مختلف عن الوحدات "الشبه كلمة" التي تتوقعها النماذج اللغوية الكبيرة، مما يؤدي إلى استخدام غير فعال لذاكرة التخزين المؤقت (KV cache)، وزيادة زمن الاستجابة، وقدرات استدلال غير مثالية.

2. المنهجية: الترميز البصري المتفكك (DiVT)

يقترح المؤلفون DiVT، وهو نهج ترميز بصري قائم على التجميع (clustering) مصمم لمواءمة التمثيلات البصرية مع الطبيعة المنفصلة لرموز النماذج اللغوية الكبيرة. يعمل DiVT دون تعديل مشفر الرؤية أو العمود الفقري للنموذج اللغوي الكبير، حيث يعمل كمسقط قابل للتدريب.

تتكون العملية من أربع مراحل:

2.1. تجميع الرقع الأولي (الاختيار التكيفي للمراكز)

بدلاً من فرض عدد ثابت من الرموز، يحدد DiVT ديناميكياً عدد المجموعات بناءً على توزيع ميزات رقع الصورة.

الآلية: يقوم بحساب مصفوفة تشابه جيب التمام الزوجي (pairwise cosine similarity) لميزات الرقع. وباستخدام عتبة تشابه $\theta$ ، يقوم ببناء رسم بياني للجوار (neighborhood graph).
الخوارزمية: تختار خوارزمية جشعة (greedy algorithm) الرقعة ذات الدرجة الأعلى (أكبر عدد من الجيران) كمركز (centroid). يتم تعيين جميع الجيران ضمن العتبة لهذه المجموعة وإزالتهم من مجموعة المرشحين. تتكرر هذه العملية حتى لا يتبقى أي رقع.
النتيجة: يضمن ذلك أن تكون المراكز متميزة دلالياً وأن يتكيف عدد الرموز مع التعقيد الجوهري للصورة (رموز أكثر للمشاهد المعقدة، ورموز أقل للمشاهد البسيطة).

2.2. تنقية المجموعات (Cluster Refinement)

قد يؤدي الاختيار الجشع الأولي إلى تعيين رقعة لمركز غير مثالي. ولتحقيق تفكك دلالي أفضل، تقوم الطريقة بإعادة تعيين كل رقعة إلى المركز ذي التشابه الأعلى، مما يضمن احتواء كل مجموعة على رقع تشترك في دلالات متماسكة.

2.3. صياغة الرمز البصري

بمجرد تحديد المجموعات النهائية، يتم إنشاء رمز بصري واحد لكل مجموعة.

الانتباه المتقاطع (Cross-Attention): يعمل مركز المجموعة كاستعلام ( $Q$ )، بينما تعمل جميع الرقع في المجموعة كمفاتيح ( $K$ ) وقيم ( $V$ ).
الترميز الموضعي (Positional Encoding): يتم حقن تضمينات موضعية قابلة للتعلم فقط في فرع القيم ( $V$ ) للحفاظ على السياق المكاني دون تشويه درجات الانتباه.
القناع (Masking): يضمن قناع الانتباه المقيد بالمجموعة أن تجمع الرموز المعلومات من مجموعتها الخاصة فقط، مما يمنع التلوث المتبادل للمفاهيم الدلالية غير المرتبطة.
التجميع (Aggregation): يتم تمرير النتيجة عبر شبكة MLP لإنتاج الرمز النهائي.

2.4. التحكم في التدرج الدلالي

تعمل عتبة التشابه $\theta$ كمقبض قابل للضبط للتدرج الدلالي:

$\theta$ مرتفعة: معايير تجميع أكثر صرامة، مما ينتج عنه المزيد من الرموز الأكثر دقة (تفاصيل أعلى، حوسبة أعلى).
$\theta$ منخفضة: تجميع أوسع، مما ينتج عنه عدد أقل من الرموز الأكثر خشونة (تفاصيل أقل، حوسبة أقل).
مرونة الاستدلال: من المهم ملاحظة أنه يمكن ضبط $\theta$ في وقت الاستدلال دون إعادة التدريب، مما يسمح للممارسين بالموازنة بين تفاصيل التمثيل وبين الذاكرة وزمن الاستجابة.

3. المساهمات الرئيسية

التفكك الدلالي: يقوم DiVT بتجميع تضمينات الرقع صراحةً في وحدات دلالية متماسكة، مما يعالج التشابك المتأصل في ميزات رقع محولات الرؤية (ViT) القياسية.
ميزانية رموز تكيفية: تخصص الطريقة عدد الرموز ديناميكياً بناءً على تعقيد الصورة، متجنبةً التكرار في النهج ذات الميزانية الثابتة.
ضبط الاستدلال بدون تدريب: تتيح القدرة على ضبط عتبة التشابه $\theta$ عند الاستدلال إجراء مقايضات مرنة بين التكلفة والأداء دون الحاجة لإعادة التدريب.
الاستقلالية عن المشفر والنموذج اللغوي: تم تصميم النهج للعمل مع مختلف مشفرات الرؤية (مثل CLIP، SigLIP، DINOv2) ويتوسع بفعالية مع النماذج اللغوية الكبيرة الأكبر (مثل 13 مليار معلمة).

4. النتائج التجريبية

قيم المؤلفون DiVT باستخدام دعامات LLaVA-1.5 7B و 13B عبر ثمانية اختبارات معيارية (MMBench, VQAv2, GQA, MME, MM-Vet, TextVQA, SQA-IMG, POPE).

الأداء مقابل عدد الرموز: يضاهي DiVT أو يتفوق على النماذج المرجعية (بما في ذلك MLP, ToME, FastV, PruMerge, VisionZip, TokenPacker) باستخدام عدد أقل بكثير من الرموز.
- على سبيل المثال، باستخدام حوالي 136.5 رمزاً (مقابل 576 في MLP الكامل)، يحقق DiVT أداءً مقارباً أو متفوقاً على النماذج المرجعية في MMBench (66.7 مقابل 64.3) و VQAv2 (78.2 مقابل 78.5).
- في ظل الميزانيات الضيقة (مثلاً ~35 رمزاً)، يتفوق DiVT بشكل كبير على الطرق الأخرى، مما يظهر متانة حيث يؤدي تقليل الرموز عادةً إلى تدهور الأداء.
المقارنة مع المساقط (Projectors): يتفوق DiVT على المساقط البصرية الأخرى (Resampler, C-Abstractor, Pixel-Shuffle) في مهام المحادثة العامة وVQA مع بقائه منافساً في المهام المتخصصة.
التحليل النوعي: تظهر خرائط الانتباه أن DiDT ينتج أنماط انتباه أكثر تركيزاً وتماسكاً دلالياً مقارنة بالانتباه المشتت لمساقط MLP القياسية.
التحكم في التدرج: تظهر التجارب أن النماذج التي تم تدريبها باستخدام $\theta$ محددة يمكن تقييمها بقيم $\theta$ مختلفة عند الاستدلال مع حد أدنى من فقدان الأداء، مما يؤكد مرونة النهج.

5. الأهمية والادعاءات

يزعم البحث أن DiVT يعالج "الفجوة النمطية" (modality gap) بين المدخلات البصرية والنصية من خلال إنشاء رموز بصرية تتصرف مثل "الكلمات". من خلال تفكيك المعلومات الدلالية صراحةً وتكييف ميزانية الرموز مع تعقيد الصورة، يقدم DiVT آلية عملية لـ:

تقليل التكاليف الحوسبية: خفض استخدام الذاكرة (KV cache) وزمن الاستجابة بشكل كبير عن طريق تقليل عدد الرموز البصرية.
تحسين التوافق: جعل المدخلات البصرية أكثر توافقاً مع قدرات الاستدلال المنفصلة للنماذج اللغوية الكبيرة.
تمكين النشر المرن: توفير مقبض (knob) جاهز للاستخدام دون تدريب للممارسين لموازنة الدقة وموارد الحوسبة أثناء الاستدلال.

يؤكد المؤلفون أن طريقتهم لا تتطلب إشرافًا خارجيًا (مثل تسميات الأشياء) أو تدريباً معقداً متعدد المراحل، بل تعتمد فقط على هدف نمذجة اللغة لتشكيل الرموز البصرية. وهذا يجعل DiVT حلاً خفيف الوزن، جاهزاً للتركيب (plug-and-play)، ومنخفض التكلفة للفهم متعدد الوسائط المتوافق مع القدرات البشرية.