💻 computer science

MergeTok: Unified Continuous and Discrete Visual Tokenization via Token Merging

يقدم MergeTok مُجزئاً بصرياً موحداً يربط بين المشفرات التلقائية التباينية (VAEs) المستمرة ونماذج التكميم المتجهي (VQ) المنفصلة عبر الاستفادة من دمج الرموز لإنشاء أسبقية هيكلية، مما يحقق إعادة بناء عالية الدقة، وتدريباً مستقراً، وتمثيلات منظمة دلالياً مناسبة لكل من التوليد الصوري بالانتشار والتوليد الصوري بالتسلسل التكراري.

المؤلفون الأصليون: Luyuan Zhang, Siyuan Li, Zedong Wang, Qingsong Xie, Cheng Tan, Anna Wang, Yanhao Zhang, Chen Chen, Haonan Lu, Haoqian Wang

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Luyuan Zhang, Siyuan Li, Zedong Wang, Qingsong Xie, Cheng Tan, Anna Wang, Yanhao Zhang, Chen Chen, Haonan Lu, Haoqian Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية رسم الصور. للقيام بذلك، يحتاج الروبوت إلى "قاموس" ليفهم مما تتكون الصورة. في عالم توليد الصور بالذكاء الاصطناعي، يُسمى هذا القاموس "المُجزئ" (Tokenizer).

لفترة طويلة، كان على الباحثين الاختيار بين نوعين مختلفين تمامًا من القواميس، ولم يكن أي منهما مثاليًا:

القاموس "الناعم" (المستمر/VAE): فكر في الأمر كلوحة مائية. إنها دقيقة للغاية وناعمة، تلتقط كل تفصيل دقيق. ومع ذلك، فإن الألوان كلها مختلطة معًا في بركة كبيرة. إذا أردت من الروبوت تغيير "السماء" فقط دون إفساد "العشب"، فسيكون الأمر صعبًا لأن المعلومات كلها متشابكة.
القاموس "المُجزأ" (المنفصل/VQ): فكر في الأمر كمجموعة "ليجو" (LEGO). إنه يقسم الصورة إلى قطع أو رموز متميزة ومنفصلة. هذا أمر رائع لجعل الروبوت يتعلم الأنماط ويبني الأشياء خطوة بخطوة (مثل كتابة قصة). ولكن، هذه القطع غالبًا ما تكون غير مستقرة؛ فأحيانًا ينسى الروبوت كيفية استخدام بعض القطع، أو تتكدس القطع معًا بطريقة تجعل الصورة تبدو ضبابية أو "منهارة".

الفكرة الكبرى: MergeTok

تساءل مؤلفو هذه الورقة البحثية، MergeTok: "لماذا لا يمكننا الحصول على نعومة الألوان المائية وهيكلية قطع الليجو في نفس القاموس؟"

لقد بنوا نظامًا جديدًا يعمل مثل مترجم ثنائي اللغة يتحدث لغتي "النعومة" و"التجزئة" في آن واحد. لم يقوموا بمجرد لصق نظامين معًا؛ بل أنشأوا جسرًا بينهما باستخدام خدعة ذكية تسمى "دمج الرموز" (Token Merging).

كيف يعمل: تشبيه "التجميع"

تخيل أنك تنظم حفلة ضخمة تضم 1000 ضيف (بكسلات الصورة).

المشكلة: إذا حاولت التحدث إلى كل ضيف على حدًا، فسيكون الأمر فوضويًا وغير فعال. وإذا قمت بتجميعهم عشوائيًا، فستفقد التفاصيل المهمة.
حل MergeTok: يمتلك النظام "حارسًا ذكيًا" (خوارزمية دمج الرموز) ينظر إلى الضيوف ويقول: "أنتم الثلاثة تبدون وكأنكم ترتدون قمصانًا حمراء وتتحدثون عن الرياضة. دعونا نجمعكم معًا كوحدة واحدة تسمى 'فريق رياضي'".

يحدث هذا التجميع بطريقتين لمساعدة الروبوت على التعلم:

للجانب الناعم (VAE): يخبر النظام رسام الألوان المائية: "مهلاً، هؤلاء الثلاثة هم 'فريق رياضي'. عندما ترسمهم، تأكد من أنهم يبدون كفريق متماسك، وليس مجرد بقع حمراء عشوائية". هذا يجبر الرسم الناعم على تنظيم نفسه منطقيًا، مما يسهل التحكم فيه لاحقًا.
للجانب المُجزأ (VQ): يخبر النظام باني الليجو: "بما أننا نعرف أن هؤلاء الثلاثة هم فريق، أعطهم ثلاث قطع ليجو مختلفة حتى لا يبدو الجميع متشابهين، ولكن تأكد من عدم حصول أي فريق آخر على تلك القطع المحددة". هذا يمنع قطع الليجو من الانهيار أو التكرار المفرط.

الجسر السحري

السر يكمه في أن قائمة "الفريق الرياضي" (التي تسمى خريطة المصدر - Source Map) يتم إنشاؤها مرة واحدة ويتم مشاركتها.

تساعد الجانب الناعم على أن يكون منظمًا.
تساعد الجانب المُجزأ على أن يكون مستقرًا ومتنوعًا.

الأمر الأفضل؟ الروبوت الذي يرسم الصور فعليًا (المولد) لا يعرف حتى أن هذا التجميع قد حدث. هو فقط يرى قائمة مرتبة من 256 رمزًا، جاهزة للاستخدام. الأمر يشبه قيام الحارس بكل العمل الشاق خلف الكوالما، ليتفرغ الفنان للتركيز على الرسم فقط.

ما توصلوا إليه

اختبر الباحثون هذا النظام على مجموعة ضخمة من الصور (ImageNet). وإليك ما حدث:

صور أفضل: أعاد النظام بناء الصور بجودة أعلى (درجات "rFID" أقل) من أفضل الأنظمة "الناعمة" أو "المُجزأة" السابقة وحدها.
تنظيم أذكى: كانت الرموز التي أنشأها أفضل بكثير في فهم معنى الصورة (مثل التمييز بين قط وكلب) مقارنة بالطرق القديمة.
متعدد الاستخدامات: نظرًا لأنه نظام موحد، فهو يعمل بشكل مثالي مع نوعين مختلفين من فناني الذكاء الاصطناعي: أولئك الذين يبنون الصور خطوة بخطوة (Autoregressive)، وأولئك الذين يبنونها عن طريق تنظيف الضجيج (Diffusion).

الخلاصة

MergeTok هو مثل منظم بارع يأخذ حشدًا فوضويًا، ويجمعهم بشكل منطقي، ثم يسلم النتيجة إلى فنان. إنه يحل المشكلة القديمة المتمثلة في الاضطرار للاختيار بين "ناعم ولكن فوضوي" و"هيكلي ولكن غير مستقر". من خلال دمج الأجزاء المتشابهة من المعلومات معًا أثناء عملية التعلم، فإنه يخلق قاموسًا واحدًا فائق الكفاءة، وهو عالي الجودة وسهل التحكم فيه من قبل الذكاء الاصطناعي.

ملخص تقني: MergeTok

بيان المشكلة

تنقسم أجهزة الترميز البصري (visual tokenizers) الحالية لتوليد الصور إلى عائلتين متميزتين، تعاني كل منهما من قيود هيكلية متكاملة:

أجهزة الترميز القائمة على VAE المستمرة (Continuous VAE-based tokenizers): بينما توفر إعادة بناء عالية الدقة، إلا أنها تعتمد على فضاءات كامنة تفتقر إلى التنظيم الجوهري. وتحت الضغط الشديد للضغط (compression)، تصبح العوامل الدلالية متشابكة داخل التمثيلات الكامنة الكثيفة، مما يؤدي إلى رموز ضعيفة التفكك تعيق التحكم الدلالي.
أجهزة الترميز القائمة على VQ المنفصلة (Discrete VQ-based tokenizers): بينما تمكن التوليد التنبئي (autoregressive generation)، إلا أنها تواجه اختناقات في التحسين. فالطبيعة غير القابلة للتفاضل للكمية (quantization) تؤدي إلى تحديثات تدرج متفرقة وغير متساوية، مما يتسبب في عدم تلقي العديد من مدخلات كتاب الرموز (codebook entries) للإشراف الكافي. وهذا يزيد من خطر انهيار كتاب الرموز ويقلل من كفاءة التمثيل.

تخلق هذه القيود توتراً مستمراً بين دقة إعادة البناء، والهيكل الدلالي، والكفاءة، واستقرار التدريب.

المنهجية: إطار عمل MergeTok

يقترح MergeTok جهاز ترميز ثنائي الفرع موحد يقوم بتحسين الترميز المستمر (VAE) والمنفصل (VQ) بشكل مشترك ضمن بنية مشفر-فك تشفير واحدة. الابتكار الأساسي هو استخدام دمج الرموز (Token Merging - ToMe) كجسر دلالي بين الفرعين.

نظرة عامة على البنية

بالنسبة لصورة مدخلة $X$ ، ينتج مشفر CNN مشترك $E_c$ خريطة سمات $Z$ . تتم معالجة هذه الخريطة بواسطة فرعين متوازيين:

فرع VAE (المستمر):
- دمج الرموز (Token Merging): مشفر يعتمد على الانتباه مزود بوحدات ToMe يقوم بضغط تسلسل الرموز من $L$ من الرموز إلى $K$ من الرموز ( $K < L$ ) عن طريق دمج الرموز المتشابهة. تولد هذه العملية تمثيلاً مكثفاً $Z^{(vae)}_K$ وخريطة مصدر $S$ تسجل تعيين الرموز الأصلية إلى المجموعات المدمجة.
- المحاذاة الدلالية (Semantic Alignment): يتم محاذاة الرموز المدمجة مع نموذج معلم ثابت من نوع DINO (مزود أيضاً بـ ToMe) باستخدام خسارة المسافة الجيبية ( $L_{align}$ ). يعمل هذا على تنظيم الفضاء الكامن المستمر نحو تمثيلات واعية دلالياً ومنفصلة.
- إعادة البناء: يستخدم فك التشفين الهجين كلاً من الرموز المكثفة وخريطة المصدر $S$ لـ "إلغاء دمج" المجموعات وإعادة بناء صورة فضاء البكسل.
فرع VQ (المنفصل):
- الكمية المدركة للمجموعات (Group-Aware Quantization): يتجاوز هذا الفرع عملية ToMe أثناء التمرير الأمامي للحفاظ على طول التسلسل الكامل ( $L$ من الرموز). ومع ذلك، فإنه يستخدم خريطة المصدر $S$ التي أنشأها فرع VAE كأولوية هيكلية.
- التنظيم (Regularization): يتم تقسيم الرموز $L$ $L$ إلى $K$ $K$ من المجموعات الدلالية باستخدام خريطة المصدر. يتم تطبيق خسارتين مدركتين للمجموعات على تعيينات كتاب الرموز:
  - التنوع داخل المجموعة ( $L_{div}$ ): يعظم الإنتروبيا داخل كل مجموعة لمنع الانهيار إلى رمز واحد.
  - الحصرية بين المجموعات ( $L_{cons}$ ): يقلل التداخل بين المجموعات لضمان استخدام مجموعات دلالية مختلفة لمجموعات فرعية متميزة من الرموز.
- إعادة البناء: يقوم فك تشفير VQ قياسي بإعادة بناء الصورة من الرموز المكممة.

استراتيجية التدريب

الهدف الموحد: يتم تدريب النموذج من البداية إلى النهاية (end-to-end) مع إجمالي خسارة تجمع بين إعادة البناء، والخصومة (adversarial)، والمنظمات المدركة للدمج:
$L_{total} = \lambda_{vae}L_{VAE} + \lambda_{vq}L_{VQ} + \lambda_{ali}L_{align} + \lambda_{div}L_{div} + \lambda_{cons}L_{cons}$
أخذ عينات مدرك للتدريج (Granularity-Aware Sampling): أثناء التدريب، يتم أخذ عينات من نسبة الدمج (وبالتالي عدد الرموز المحتفظ بها $K$ ) من توزيع منفصل ممركز حول معلم فائق $K^*$ . هذا يعرض المشفر لتدريجات مختلفة من الاختناق، مما يشجع على المتانة عبر مستويات مختلفة من التفاصيل الدلالية.
الاستدلال (Inference): عند الاستدلال، يخرج جهاز الترميز دائماً تسلسلاً ثابتاً من 256 رمزاً. تعمل المولدات اللاحقة (سواء التنبؤية أو الانتشارية) على هذا التسلسل الثابت وتكون مستقلة عن بنية الدمج الداخلية.

المساهمات الرئيسية

جهاز ترميز ثنائي الفرع موحد: يعد MergeTok أول بنية تحسن بشكل مشترك التمثيلات المستمرة والمنفصلة تحت هدف واحد، باستخدام دمج الرموز كواجهة دلالية لتعزيز استقرار تدريب VAE والمزايا الهيكلية لـ VQ.
قيود التدريب المدركة للدمج: قدم المؤلفون هدفين جديدين مستمدين من عملية الدمج:
- محاذاة الرموز المدمجة: تحسن الهيكل الدلالي في الفضاء الكامن المستمر.
- الكمية المدركة للمجموعات: تثبت تدريب VQ وتحسن استخدام كتاب الرموز عبر التنوع داخل المجموعة والحصرية بين المجموعات.
أخذ عينات نسبة الدمج المدرك للتدريج: استراتيجية وقت التدريب التي تأخذ عينات من درجات مختلفة من التفاصيل، مما يمكّن النموذج من تعلم ترميز موحد يكون متيناً عبر معدلات ضغط متفاوتة.

النتائج التجريبية

أُجريت التجارب على ImageNet-256 (بدقة 256×256) مع ميزانية رموز ثابتة قدرها 256 رمزاً.

دقة إعادة البناء:
- المنفصل (VQ): حقق MergeTok-BL قيمة rFID بلغت 0.78، متفوقاً على النماذج المرجعية القوية مثل GigaTok-BL (0.81) و MergeVQ-GR (1.12). ومع استخدام مميز DINO مجمد، وصل MergeTok-BL* إلى 0.48 rFID.
- المستمر (VAE): حقق MergeTok-BL قيمة rFID بلغت 0.47، متفوقاً بفارق ضئيل على RAE (0.49) ومتفوقاً بشكل كبير على SoftVQ-L (0.61) و DC-AE-f32 (0.69).
جودة التمثيل:
- حقق MergeTok-BL دقة اختبار خطي (linear probing) بنسبة 78.3%، وهي الأعلى بين أجهزة الترميز المنفصلة المذكورة، متفوقاً على UniTok (70.8%) و MergeVQ-GR (77.9%). يشير هذا إلى تنظيم دلالي متفوق.
التوليد اللاحق:
- التنبؤي (فرع VQ): عند اقترانه بـ LlamaGen-XXL، حقق MergeTok-BL قيمة gFID بلغت 1.93 (بدون CFG) و 2.13 (مع CFG)، متفوقاً على GigaTok-BL (2.03).
- الانتشار/التدفق (فرع VAE): عند اقترانه بـ SiT-XL/1، حقق MergeTok-BL قيمة gFID بلغت 1.79 (بدون CFG) و 1.29 (مع CFG)، مساوياً لأفضل المدخلات في الجدول.

الأهمية والادعاءات

يزعم البحث أن MergeTok يثبت أن بنية واحدة يمكنها منح أجهزة الترميز البصرية كلاً من التنظيم الدلالي القوي والانفصال الصديق للمولدات.

التوحيد: يحل المعضلة بين إعادة البناء عالية الدقة لـ VAEs والهيكل المنفصل المطلوب للتوليد التنبئي.
الجسر الدلالي: من خلال الاستفادة من دمج الرموز كأولوية هيكلية، نجح النموذج في نقل معلومات التجميع الدلالي من الفرع المستمر لتثبيت الفرع المنفصل، والعكس صحيح.
التوافق: ينتج جهاز الترميز تسلسلات مكونة من 256 رمزاً تتوافق مع كل من المولدات التنبؤية (مثل LlamaGen) والانتشارية/التدفقية (مثل DiT, SiT) دون الحاجة إلى تعديلات في المولدات نفسها.

يضع المؤلفون MergeTok ليس مجرد أداة لإعادة البناء، بل كواجهة موحدة تدعم التوليد التنبئي المنفصل، والتوليد الانتشاري المستمر، وتعلم التمثيل ذي البنية الدلالية في آن واحد.