🤖 AI

UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model

يُعد UniWeTok مُجزئاً ثنائياً موحداً يتميز بكتيب رموز ضخم يبلغ $2^{128}$ ، وببنية هجينة تجمع بين الالتفاف والانتباه مع تفعيل SigLu، وإطار تدريب مبتكر ثلاثي المراحل يحقق أداءً هو الأفضل في فئته في توليد الصور والفهم متعدد الوسائط بتكاليف حوسبة أقل بكثير من النماذج الحالية.

المؤلفون الأصليون: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء (نموذج لغوي كبير) كيف يرى، ويفهم، ويبدع الفن. المشكلة الأكبر هي أن الحواسيب "ترى" الصور كملايين النقاط الملونة الصغيرة (البكسلات). محاولة تعليم الروبوت التنبؤ بكل نقطة على حدة تشبه محاولة وصف لوحة من خلال سرد لون كل حبة رمل على الشاطئ؛ فهذا الأمر بطيء للغاية، ومكلف، ويجعل الروبوت يصاب بالارتباك.

لحل هذه المشكلة، يستخدم الباحثون "المجزئ" (Tokenizer). فكر في المجزئ كأنه مترجم يحول صورة معقدة إلى جملة قصيرة وبسيطة من "كلمات الرمز" (الرموز/Tokens) التي يمكن للروبوت فهمها والتنبؤ بها بسهولة.

ومع ذلك، فإن المترجمين الحاليين لديهم مشكلة: فهم إما بارعون في وصف معنى الصورة (جيد للفهم) لكنهم سيئون في إعادة إنتاج الصورة (سيئ في الرسم)، أو بارعون في إعادة إنتاج الصورة لكنهم يفقدون كل المعنى. الأمر يشبه امتلاك مترجم يمكنه كتابة قصيدة جميلة عن غروب الشمس، لكنه لا يستطيع رسم الشمس، أو مترجم يمكنه رسم شمس مثالية، لكنه لا يستطيع إخبارك بما يشعر به المرء عند مشاهدتها.

UniWeTok هو المترجم الجديد الذي يفعل كلاهما بإتقان. وإليك كيف يعمل، باستخدام بعض التشبيهات الممتعة:

1. القاموس الضخم (كتاب الرموز $2^{128}$ )

تخيل أن لديك قاموساً. معظم القواميس تحتوي على بضعة آلاف من الكلمات. أما قاموس UniWeTok فهو ضخم جداً لدرجة أنه يحتوي على $2^{128}$ كلمة.

التشبيه: إذا كان القاموس العادي مكتبة صغيرة، فإن قاموس UniWeTok هو مكتبة بحجم الإنترنت بأكمله.
لماذا هذا مهم: لأن القاموس ضخم جداً، يمكن لكل "كلمة" (رمز) أن تحمل كمية هائلة من المعلومات. يمكن لكلمة واحدة في UniWeTok أن تصف ملمساً معقداً، أو وجهاً محدداً، أو مشهداً كاملاً، بينما تحتاج النماذج الأخرى إلى مئات الكلمات لقول الشيء نفسه. وهذا يجعل الروبوت أسرع وأكثر كفاءة.

2. جلسة الدراسة "قبل-بعد" (التقطير قبل-بعد / Pre-Post Distillation)

للتأكد من أن الروبوت يفهم ما يراه، استخدم الباحثون طريقة "المعلم والتلميذ".

التشبيه: تخيل طالباً (UniWetok) يحاول التعلم عن لوحة فنية.
- التقطير القبلي (Pre-Distillation): قبل أن ينظر الطالب إلى اللوحة، يستمع إلى ناقد فني خبير يصف روح القطعة ومعناها.
- التقطير البعدي (Post-Distillation): بعد أن يحاول الطالب إعادة إنشاء اللوحة من ذاكرته، يراجع الخبير عمله ويقول له: "لقد ضبطت الألوان بشكل صحيح، لكنك أغفلت العاطفة".
النتيـجة: من خلال الاستماع إلى الخبير قبل وبعد المهمة، يتعلم الطالب التقاط التفاصيل البصرية والمعنى العميق في آن واحد.

3. المدرب "التوليدي" (المنطلق المدرك للتوليد / Generative-Aware Prior)

عادةً، تتعلم النماذج كيفية فهم الصور، لكنها تنسى كيفية إنشائها.

التشبيه: تخيل طباخاً بارعاً في تذوق الطعام (الفهم) ولكنه لم يطبخ وجبة من قبل (التوليد). يقوم UniWeTok بتعيين "مدرب توليدي" يهمس للطباخ أثناء التدريب: "مهلاً، تذكر، سيتعين عليك طبخ هذا لاحقاً، لذا حافظ على المكونات طازجة ومنظمة".
النتيجة: يتعلم النموذج تنظيم بيانات الصورة بطريقة تجعل من السهل توليد صور جديدة لاحقاً، دون التضحية بقدرته على فهم الصورة الحالية.

4. المحرك الهجين (الالتفاف-الانتباه + SigLu)

عقل UniWeTok مبني بشكل مختلف.

التشبيه: فكر في النظر إلى مدينة.
- الالتفاف (Convolution) يشبه النظر إلى الطوب والملاط في المباني الفردية (التفاصيل المحلية).
- الانتباه (Attention) يشبه النظر إلى خط الأفق لرؤية كيف تتناسب المدينة بأكملها مع بعضها البعض (السياق العالمي).
- يستخدم UniWeTok كلاهما في نفس الوقت.
- تنشيط SigLu: هذا هو نظام "الفرامل" الخاص. في النماذج السابقة، كان محاولة تعلم التفاصيل والمعنى في آن واحد تسبب ارتباكاً وعطلاً في الدماغ (صراع التحسين). يعمل SigLu كحاكم ذكي يحافظ على تشغيل المحرك بسلاسة، مما يضمن عدم تعرض النموذج للإرهاق بسبب ضخامة القاموس.

5. التدريب ثلاثي المراحل (التعلم المنهجي / Curriculum Learning)

أنت لا تعلم طفلاً القراءة بالبدء بأطروحة دكتوراه، بل تبدأ بكتب الصور، ثم الكتب ذات الفصول، ثم الروايات المعقدة.

المرحلة 1: يتعلم النموذج على صور صغيرة وبسيطة (256×256 بكسل).
المرحلة 2: يتعلم التعامل مع صور ذات أحجام وأشكال مختلفة.
المرحلة 3: يحصل على "تدريب متخصص" على الأشياء الصعبة مثل وجوه البشر والنصوص، وهي أشياء يصعب ضبطها بدقة.

الفوز الكبير

النتيجة هي نموذج أسرع، وأرخص، وأذكى.

الكفاءة: يستخدم 75% أقل من الرموز (الكلمات) لوصف الصورة مقارنة بأفضل النماذج الأخرى.
الجودة: يمكنه توليد صور تبدو مثالية تقريباً (متفوقاً على أفضل النماذج السابقة) وفهم الأسئلة المعقدة حول الصور.
تعدد الاستخدامات: يمكنه الدردشة حول صورة، أو رسم واحدة جديدة من الصفر، أو تعديل صورة موجودة (مثل تغيير لون قطة إلى اللون الوردي)، وكل ذلك باستخدام نفس العقل.

باختصار: UniWeTok هو "السكين السويسري" لرؤية الذكاء الاصطناعي. فهو لا يكتفي بالرؤية فحسب، بل يفهم القصة وراء الصورة ويمكنه رسم واحدة جديدة بنفس الجودة، كل ذلك باستخدام جزء بسيط من قدرة الكمبيوتر المطلوبة من منافسيه.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "UniWeTok: مُرمز رموز ثنائي موحد بحجم كتاب رموز $2^{128}$ لنماذج اللغات الكبيرة متعددة الوسائط الموحدة."

1. بيان المشكلة

تتطلب نماذج اللغات الكبيرة متعددة الوسائط الموحدة (MLLMs) تمثيلاً بصرياً يلبي في آن واحد ثلاثة أهداف متضاربة:

إعادة بناء عالية الدقة: الحفاظ على الأنسجة والتفاصيل الدقيقة.
استخراج دلالي معقد: تمكين الفهم العميق والاستنتاج.
الملاءمة التوليدية: دعم التوليد التراجعي الذاتي (Autoregressive Generation) المستقر دون حدوث انهيار النمط (Mode Collapse).

تعاني الحلول الحالية من صعوبة في موازنة هذه الأهداف:

المُرمزات المستمرة (Continuous tokenizers) (مثل VQGAN، أو القائمة على الانتشار/Diffusion) غالباً ما تعاني من تراكم الأخطاء وانهيار النمط أثناء التوليد التراجعي الذاتي.
المُرمزات المنفصلة (Discrete tokenizers) واجهت تاريخياً انتقادات تتعلق بجودة إعادة البناء الضعيفة والقدرة المحدودة على الاستخراج الدلالي. وبينما قامت الأعمال الحديثة (مثل WeTok وBitDance) بتوسيع أحجام كتب الرموز إلى أبعاد ضخمة (أكبر من $2^{128}$ ) لتحسين كثافة المعلومات، إلا أنها غالباً ما تفشل في استخراج معلومات دلالية كافية أو لا تكون محسنة لمهام الفهم والتوليد الموحدة.
نماذج MLLM الموحدة الحالية غالباً ما تستخدم مشفرات منفصلة للفهم والتوليد، أو تعتمد على أهداف الانتشار (Diffusion) التي تكسر نموذج التراجع الذاتي، مما يؤدي إلى أداء دون المستوى في مهام التحرير متعددة الخطوات أو المهام المتداخلة.

2. المنهجية: UniWeTok

UniWeBot هو مُرمز منفصل موحد مصمم لسد الفجوة بين الضغط عالي الدقة، والفهم الدلالي، والبديهات التوليدية (Generative Priors). وهو يستخدم كتاب رموز ثنائي ضخم بحجم $2^{128}$ ويحقق معدل خفض مكاني قدره 32 ضعفاً.

أ. إطار التدريب

قدم المؤلفون وظيفتين جديدتين للخسارة (Loss Functions) لتعزيز قدرات المُرمز:

التقطير قبل-بعد (Pre-Post Distillation - PPD):
- الهدف: منح الرموز المنفصلة قدرات قوية على الاستخراج الدلالي.
- الآلية: يقوم مشفر دلالي مدرب مسبقاً (المعلم، مثل ViT-SigLIP) بتشفير الصورة المدخلة إلى تمثيلات دلالية كامنة. يقوم مُرمز UniWeTok بمحاذاة كل من ميزاته المتوسطة (التقطير القبلي - Pre-Distillation) وميزاته المكممة النهائية (التقطير البعدي - Post-Distillation) مع مخرجات المعلم باستخدام خسارة تشابه جيب التمام (Cosine Similarity Loss).
- الأثر: يضمن احتفاظ الرموز المنفصلة المضغوطة بالمفاهيم الدلالية عالية المستوى الضرورية لفهم نماذج MLLM.
البديهة المدركة للتوليد (Generative-Aware Prior - GAP):
- الهدف: التخفيف من الصعوبات التي تواجهها مهام التوليد اللاحقة عند استخدام كتب رموز ضخمة.
- الآلية: يتم تغذية تسلسل الكمون المكمم إلى نموذج توليدي خفيف الوزن، تم إنشاؤه عشوائياً (بناءً على BitDance)، لأداء مهمة انتشار الرمز التالي (Next-token diffusion). هذا يضخ "بديهة توليدية" أثناء التدريب، مما يعلم المُرمز إنتاج رموز تتبع توزيعاً مناسباً للتوليد التراجعي الذاتي.
- الأثر: يحسن جودة التوليد (FID) دون التضحية بقدرات إعادة البناء أو الفهم.

ب. بنية النموذج

العمود الفقري الهجين (Hybrid Backbone):
- يجمع بين الطبقات الالتفافية (Convolutional layers) (من أجل الانحياز الاستقرائي المحلي وتفاصيل النسيج) وكتل المحولات (Transformer blocks) (من أجل السياق العالمي والاستنتاج الدلالي).
- يتطابق المشفر وفك التشفير في هذه البنية، مما يحسن المقايضة بين الكفاءة الحسابية ومجال الاستقبال (Receptive Field).
دالة تنشيط SigLu:
- المشكلة: يخلق التكميم غير المعتمد على البحث (Lookup-Free Quantization - GQ) التقليدي صراعاً في التحسين بين خسارة الالتزام (Commitment Loss) (التي تثبت المخرجات عند $\pm 1$ ) وخسارة إنتروبيا الرمز (Token Entropy Loss) (التي تدفع المخرجات نحو اللانهاية)، مما يؤدي إلى فشل التقطير الدلالي.
- الحل: يتم تطبيق دالة تنشيط SigLu ( $1 - \frac{e^x}{1+e^x}$ ) كطبقة التشفير النهائية. وهي تعمل بشكل طبيعي على حصر مخرجات المشفر ضمن الفترة $[-1, 1]$ .
- النتيجة: يجعل هذا "خسارة إنتروبيا الرمز" مكافئة لـ "خسارة الالتزام"، مما يسمح للنموذج بضبط وزن الالتزام إلى الصفر وتمكين التقطير الدلالي المستقر.

ج. مسار التدريب ثلاثي المراحل

للتعامل مع الدقات المتغيرة والسيناريوهات الحساسة إدراكياً (الوجوه، النصوص)، يستخدم UniWeTok استراتيجية تعلم منهجي (Curriculum Learning):

المرحلة 1 (التدريب المسبق واسع النطاق): يتم التدريب على بيانات عامة بدقة ثابتة (256×256) من أجل الكفاءة الحسابية.
المرحلة 2 (التدريب المسبق المستمر متعدد الدقات): التدريب المتزامن على دقات متعددة لضمان القدرة على التكيف.
المرحلة 3 (تكييف النص-الوجه): التركيز على المجالات الحساسة إدراكياً (الوجوه والنصوص) لتنقية التفاصيل في المناطق عالية الحساسية.

3. المساهمات الرئيسية

إطار عمل موحد: أول مُرمز منفصل ينجح في توحيد إعادة البناء عالية الدقة، والاستخراج الدلالي القوي، والملاءمة التوليدية ضمن نموذج واحد باستخدام كتاب رموز ثنائي ضخم بحجم $2^{128}$ .
تنشيط SigLu: دالة تنشيط مبتكرة تحل صراع التحسين بين خسارتي الإنتروبيا والالتزام، مما يسمح بالتقطير الدلالي المستقر على الرموز المنفصلة.
ابتكارات التدريب: تقديم خسارات التقطير قبل-بعد (PPD) والبديهة المدركة للتوليد (GAP)، والتي تعزز بشكل كبير الأداء في كل من مهام الفهم والتوليد.
الكفاءة: يحقق أداءً رائداً (SOTA) مع استهلاك حسابي أقل بكثير مقارنة بالمنافسين (33 مليار رمز تدريبي مقابل 262 مليار لـ REPA).

4. النتائج التجريبية

تم تقييم UniWeTok على ImageNet، ومجموعات البيانات العامة (DataComp-1B)، ومختلف اختبارات MLLM.

توليد الصور (من التصنيف إلى الصورة):
- حقق FID 1.38 على ImageNet 256×256، متفوقاً على REPA (1.42) ونماذج SOTA الأخرى.
- تطلب فقط 33 مليار رمز تدريبي (مقابل 262 مليار لـ REPA) ويولد 64 رمزاً فقط لكل صورة (انخفاض بنسبة 75% في عدد الرموز).
إعادة البناء:
- حقق مستويات رائدة (SOTA) في rFID (0.79) وPSNR (23.26) على ImageNet مع خفض بمقدار 32 ضعفاً.
- تفوق على المُرمزات العامة (مثل WeTok وOpen-MAGVIT2) في مجموعات التحقق من MS-COCO وImageNet باستخدام 25% فقط من عدد الرموز البصرية.
أداء MLLM الموحد:
- الفهم: حقق نموذج UniWeTok-Chat (المبني على Qwen3-8B) درجات تنافسية في اختبارات مثل SEED-Bench وPOPE وMMMU، مما يجعله يضاهي أو يتفوق على نماذج الفهم المتخصصة.
- التوليد: حقق UniWeTok-Gen درجة DPG بلغت 86.63، متفوقاً على النموذج الشهير مفتوح المصدر FLUX.1 [Dev] الذي سجل 83.84.
- التحرير: حقق UniWeWeTok-Edit درجة GEdit إجمالية بلغت 5.09، متفوقاً على OmniGen (5.06) ومنافساً للنماذج الخاصة، مما يمثل المرة الأولى التي يتفوق فيها نموذج تراجعي ذاتي على نماذج الانتشار في هذا الاختبار المحدد عند نفس مقياس المعلمات.

5. الأهمية

يثبت UniWeTok أن مُرمزًا منفصلاً واحدًا، مُحسناً بشكل جيد، كافٍ لمعالجة التحديات المعقدة لنماذج MLLM الموحدة. ومن خلال حل المقايضات التاريخية بين جودة إعادة البناء، والكثافة الدلالية، والاستقرار التوليدي، فإنه يوفر خط أساساً قوياً وفعالاً لنماذج الرؤية واللغة الموحدة المستقبلية. يشير هذا العمل إلى أن كتب الرموز الثنائية الضخمة، عندما تقترن بالبنية والابتكارات الهيكلية المناسبة (SigLu, PPD, GAP)، يمكن أن تحل محل الحاجة إلى مشفرات منفصلة أو بنيات هجينة (الانتشار-LLM)، مما يبسط الطريق نحو ذكاء متعدد الوسائط موحد حقاً.

1. القاموس الضخم (كتاب الرموز 21282^{128}2128)