💻 computer science

AlignTok: Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models

يقدم AlignTok استراتيجية محاذاة ثلاثية المراحل تعمل على تكييف المشفرات البصرية التأسيسية سابقة التدريب لتصبح أجهزة ترميز غنية دلالياً، مما يسرع بشكل كبير من تقارب نماذج الانتشار ويحسن جودة توليد الصور مقارنة بمشفرات VAE التقليدية.

المؤلفون الأصليون: Bowei Chen, Sai Bi, Hao Tan, He Zhang, Tianyuan Zhang, Zhengqi Li, Yuanjun Xiong, Jianming Zhang, Kai Zhang

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bowei Chen, Sai Bi, Hao Tan, He Zhang, Tianyuan Zhang, Zhengqi Li, Yuanjun Xiong, Jianming Zhang, Kai Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فنان كيفية رسم لوحات جميلة. للقيام بذلك، لا تعرض على الروبوت البكسلات الخام والفوضوية لصورة ما (فهذا يشبه محاولة تعليم شخص ما الرسم عبر إعطائه دلوًا من الطين). بدلاً من ذلك، تعلم الروبوت كيف يفكر في المفاهيم والأفكار أولاً، ثم يترجم تلك الأفكار مرة أخرى إلى صورة.

في عالم الذكاء الاصطناعي، يُسمى هذا "مترجم المفاهيم" بـ Tokenizer (المُجزئ).

لفترة طويلة، كانت الطريقة القياسية لبناء هذا المترجم هي تدريبه من الصفر، مما يجبره على تعلم كيفية ضغط الصورة إلى مفهوم ثم فك ضغطها مرة أخرى إلى صورة. المشكلة؟ أصبح الروبوت جيدًا جدًا في تذكر التفاصيل (مثل الدرجة الدقيقة للون ورقة شجر أو ذرة غبار) لكنه نسي المعنى (أنها شجرة في غابة). كان الأمر يشبه طالبًا حفظ كل كلمة في القاموس لكنه لا يستطيع كتابة قصة متماسكة.

دخل "AlignTok" (حل الورقة البحثية)

ابتكر مؤلفو هذه الورقة، المنشورة في ICLR 2026، طريقة ذكية لبناء هذا المترجم. بدلاً من تعليم الروبوت فهم المعنى من الصفر، قالوا: "دعونا نستعير عقلًا يعرف بالفعل معنى الأشياء".

إليك قصة كيف فعلوا ذلك، مقسمة إلى ثلاث خطوات بسيطة:

1. "أمين المكتبة الذكي" (المُشفّر المُدرب مسبقًا)

تخيل أن لديك أمين مكتبة ذكيًا (ذكاء اصطناعي ضخم يسمى DINOv2) قد قرأ كل كتاب في العالم. أمين المكتبة هذا يعرف تمامًا ما هو "الكلب"، أو "الغروب"، أو "الوجه الحزين". إنه خبير في فهم معنى الأشياء، لكنه ليس بارعًا جدًا في رسمها.

عادةً ما يحاول باحثو الذكاء الاصطناعي بناء فنان جديد من الصفر ويأملون أن يتعلم في النهاية فهم المعنى. يقول Align-Tok: لا، دعونا نستخدم أمين المكتبة فحسب.

2. التدريب ثلاثي المراحل (المحاذاة)

تقترح الورقة البحثية رقصة من ثلاث مراحل لتحويل أمين المكتبة هذا إلى مساعد فنان مثالي:

المرحلة 1: المترجم (المحاذاة الكامنة - Latent Alignment)
يتم تجميد أمين المكتبة (لا يمكنه تغيير رأيه). يقوم الفريق بتدريب "مُحول" (Adapter) صغير و"مفكك تشفير" (Decoder - الرسام). يأخذ المُحول الفهم العميق لأمين المكتبة للصورة ويضغطها إلى "كود فكرة" مدمج. يحاول مفكك التشفير رسم الصورة مرة أخرى من ذلك الكود.
- النتيجة: الروبوت الآن يفهم قصة الصورة تمامًا، لكن اللوحة تبدو ضبابية قليلاً لأن أمين المكتبة لم يهتم بالتفاصيل الصغيرة.
المرحلة 2: الفنان المهتم بالتفاصيل (المحاذاة الإدراكية - Perceptal Alignment)
الآن، نقوم بـ "إلغاء تجميد" أمين المكتبة ونسمح له بالتعلم قليلًا. نقول لأمين المكتبة: "مهلاً، احتفظ بفهمك المذهل لماهية الكلب، ولكن انتبه أيضًا لملمس الفراء وشكل الأنف".
استخدموا قاعدة خاصة (خسارة الحفاظ على المعنى - Semantic Preservation Loss) للتأكد من أن أمني المكتبة لن ينسى الصورة الكبيرة أثناء تعلم التفاصيل الصغيرة.
- النتيجة: أصبح لدى الروبوت الآن عقل أمين المكتبة بالإضافة إلى القدرة على رؤية التفاصيل الدقيقة. أصبح "كود الفكرة" الآن مثاليًا: لديه روح الصورة وجلدها.
المرحلة 3: الصقل (تحسين مفكك التشفير - Decoder Refinement)
أخيرًا، نتوقف عن تغيير أمين المكتبة والمُحول. نقوم فقط بإعطاء "الرسام" (مفكك التشفين) المزيد من الممارسة. بما أن "كود الفكرة" جيد جدًا بالفعل، يحتاج الرسام فقط لتعلم كيفية ترجمة تلك الأفكال المثالية إلى صورة واضحة وعالية الجودة.
- النتيجة: لوحة فنية رائعة.

لماذا يعد هذا أمرًا مهمًا؟

فكر في الطريقة القديمة (التدريب من الصفر) كأنك تحاول تعليم طفل كتابة رواية عبر جعله يحفظ كل حرف في الأبجدية وكل قاعدة إملائية. يستغرق الأمر وقتًا طويلاً، وقد يكتب قصة لا معنى لها.

AlignTok يشبه إعطاء الطفل قاموسًا كتبه حائز على جائزة نوبل (أمين المكتبة) وقول: "هذا هو مفردات المعنى. الآن، تعلم فقط كيفية ترتيب هذه الكلمات لصنع صورة جميلة".

النتائج:

تعلم أسرع: لأن الروبوت يبدأ بعقل مليء بالمعنى، فإنه يتعلم توليد الصور بشكل أسرع بكثير. في مجموعة بيانات ImageNet، وصل إلى جودة المستوى الرفيع في 64 جلسة تدريبية فقط، بينما احتاجت الطرق الأخرى إلى مئات الجلسات.
جودة أفضل: الصور أكثر تماسكًا. إذا طلبت "كلبًا أحمر"، فإن الروبوت لا يصنع مجرد كتلة حمراء؛ بل يصنع كلبًا يبدو مثل الكلب ويكون لونه أحمر.
قابل للتوسع: هذه الطريقة تعمل حتى عندما يتم تدريبها على مجموعات بيانات ضخمة (مثل LAION، التي تحتوي على مليارات الصور)، متفوقة على قادة الصناعة الحاليين مثل FLUX.

الخلاصة

AlignTok هو وصفة جديدة لتوليد الصور بالذكاء الاصطناعي. بدلاً من إجبار الذكاء الاصطناعي على تعلم "ماهية الأشياء" و"كيفية رسمها" في نفس الوقت (وهو أمر صعب وفوضوي)، فإنه يفصل بين المهام. إنه يستخدم "عقلًا ذكيًا" موجودًا مسبقًا للتعامل مع المعنى ويقوم ببساطة بتعليم الذكاء الاصطناعي كيفية ترجمة هذا المعنى إلى بكسلات.

إنه تحول بسيط وأنيق: لا تعد اختراع العجلة؛ فقط قم بمحاذاة عجلاتك مع الطريق الموجود بالفعل.

إليك ملخص تقني مفصل لورقة البحث "AlignTok: Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models" (ICLR 2026).

1. بيان المشكلة

تعتمد نماذج الانتشار الكامنة (LDMs) على أجهزة ترميز مرئية مستمرة (عادةً ما تكون مشفرات تلقائية متباينة - VAEs) لخرائط الصور إلى فضاء كامن مضغوط حيث تتم عملية الانتشار.

المشكلة الجوهرية: يهيمن فقدان إعادة البناء (دقة مستوى البكسل) على تدريب الـ VAE التقليدي مع وجود تنظيم ضعيف فقط (تباعد KL). يؤدي هذا إلى فضاء كامن يلتقط التفاصيل منخفضة المستوى بشكل جيد ولكنه يفتقر إلى البنية الدلالية (السمانتية) عالية المستوى. وبناءً على ذلك، فإن الفضاء الكامن يمتلك "قابلية انتشار" (diffusability) ضعيفة، مما يجعل من الصعب على نماذج الانتشار تعلم مسارات إزالة الضجيج بفعالية.
محدودية الحلول الحالية: تحاول الطرق الحديثة إصلاح ذلك عن طريق إضافة تنظيم دلالي (مثل VA-VAE)، والذي يجبر الفضاء الكامن على التوافق مع مشفر مدرب مسبقاً عبر حد خسارة. ومع ذلك، يتطلب هذا النهج من مشفر جهاز الترميز (tokenizer encoder) تعلم البنية الدلالية من الصفر بينما يقوم في الوقت نفسه بتحسين إعادة البناء، مما يخلق مشكلة تحسين متعددة الأهداف صعبة تؤدي غالباً إلى انزياح دلالي أو تقارب دون المستوى الأمثل.

2. المنهجية: AlignTok

يقترح المؤلفون AlignTok، وهو تحول جذري في النموذج (paradigm shift)؛ فبدلاً من تدريب مشفر لـ تعلم الدلالات، يقومون بـ محاذاة مشفر أساسي مرئي مدرب مسبقاً (مثل DINOv2) ليعمل كمشفر لجهاز الترميز. يستفيد هذا من البنية الدلالية الغنية والمتعلمة مسبقاً للنماذج الأساسية.

تستخدم الطريقة استراتيجية محاذاة تدريجية مكونة من ثلاث مراحل:

المرحلة الأولى: المحاذاة الكامنة (التأسيس الدلالي)

الهدف: إنشاء فضاء كامن مؤسس دلالياً.
الآلية: يتم تجميد المشفر المدرب مسبقاً ( $E_p$ ). ويتم تدريب مهايئ (Adapter) خفيف الوزن ( $A$ ) ومفكك شفرة (Decoder) ( $D$ ) باستخدام فقدان إعادة البناء القياسي ( $L_{rec}$ ).
النتيجة: يقوم المهايئ بإسقاط الميزات الدلالية عالية الأبعاد لـ $E_p$ إلى فضاء كامن مدمج مناسب للانتشار. يرث الفضاء الكامن البنية الدلالية القوية لـ $E_p$ ، ولكن جودة إعادة البناء تكون منخفضة في البداية (تفتقر إلى التفاصيل الدقيقة) لأن $E_p$ مجمد.

المرحلة الثانية: المحاذاة الإدراكية (استعادة التفاصيل)

الهدف: تمكين المشفر من التقاط التفاصيل الإدراكية الدقيقة مع الحفاظ على الدلالات عالية المستوى.
الآلية: يتم تحسين جميع المكونات بشكل مشترك ( $E_p$ $E_{p}$ ، $A$ $A$ ، $D$ $D$ ).
- فقدان إعادة البناء: يشجع المشفر على ترميز التفاصيل منخفضة المستوى.
- فقدان الحفاظ على الدلالات ( $L_{sp}$ ): إضافة حاسمة. فهي تقيد الأكواد الكامنة الحالية ( $z_0$ ) لتبقى قريبة من الأكواد الكامنة الناتجة في المرحلة الأولى ( $z^*_0$ ) باستخدام فقدان $L_2$ .
- الصيغة: $L_{pa} = L_{rec} + w_{sp}L_{sp}$ .
النتيجة: يمنع هذا "الانهيار الدلالي" الذي يحدث عادةً عند ضبط المشفر بدقة من أجل إعادة البناء. يتعلم النموذج إضافة التفاصيل دون فقدان البنية الدلالية التي تم تأسيسها في المرحلة الأولى.

المرحلة الثالثة: صقل مفكك الشفرة

الهدف: تعظيم دقة إعادة البناء دون المساس بالفضاء الكامن المتعلم.
الآلية: يتم تجميد المشفر والمهايئ. ويتم فقط صقل مفكك الشفرة (Decoder) باستخدام فقدان إعادة البناء.
النتيجة: يتعلم مفكك الشفرة رسم خرائط مثالية للفضاء الكامن الثابت والغني دلالياً إلى نطاق البكسل، مما يحسن جودة إعادة البناء دون المخاطرة بالانزياح الدلالي.

3. المساهمات الرئيسية

نموذج جديد لتصميم أجهزة الترميز: ينتقل من "تعلم الدلالات من الصفر + التنظيم" إلى "محاذاة المشفرات الدلالية المدربة مسبقاً". هذا يبسط مشهد التحسين من خلال فصل تعلم الدلالات (الذي يتم بواسطة النموذج الأساسي) عن تعلم إعادة البناء.
استراتيجية تدريب ثلاثية المراحل: تقدم نهج تعلم تدرجي مبتكر (تجميد المهايئ $\leftarrow$ ضبط دقيق مشترك مع قيود $\leftarrow$ صقل مفكك الشفرة) يوازن بنجاح بين الحفاظ على الدلالات واستعادة التفاصيل الإدراكية.
فقدان الحفاظ على الدلالات: يثبت أن تقييد الفضاء الكامن للبقاء قريباً من مخرجات المشفر المجمد الأولية أكثر فعالية من خسائر التنظيم الدلالي القياسية.
اختيار النموذج الأساسي: يحدد DINOv2 كأفضل مشفر أساسي لأجهزة ترميز الانتشار، حيث يتفوق على البدائل مثل MAE وSigLIP 2 في موازنة التوليد وإعادة البناء.

4. النتائج التجريبية

ImageNet 256×256 (التوليد المشروط بالفئة)

سرعة التقارب: يسرع AlignTok تدريب نموذج الانتشار بشكل كبير. فقد وصل إلى gFID قدره 1.90 في 64 حقبة فقط، بينما تتطلب المنافسة مثل VA-VAE حوالي 300 ألف خطوة (حوالي 5 أضعاف أبطأ) للوصول إلى جودة مماثلة.
جودة التوليد:
- gFID: بلغ 2.17 (مع CFG) مقابل 3.13 لـ VA-VAE (CNN) و3.16 لـ VA-VAE (ViT).
- كفاءة أخذ العينات: يحقق أداءً قريباً من الأمثل مع 50 خطوة أخذ عينات، بينما يتطلب VA-VAE أكثر من 120 خطوة.
- المتانة: يعمل بشكل جيد حتى مع مقاييس توجيه منخفضة لـ (Classifier-Free Guidance (CFG، مما يشير إلى فضاء كامن دلالي منفصل جيداً.
إعادة البناء: يحقق إعادة بناء تنافسية (rFID 0.26) تضاهي الخطوط المرجعية القوية، رغم التركيز على الدلالات.

LAION (تحويل النص إلى صورة)

التوسع: تم تدريب نماذج توليد النصوص والصور بـ 2 مليار معلمة على LAION.
الأداء: يتفوق باستمرار على FLUX VAE وVA-VAE عبر مقايسات متعددة (gFID، HPSv2، PickScore، ImageReward) تحت نفس خطوات التدريب.
تعميم الدقة: يتعمم جهاز الترميز، المدرب على صور بدقة 256 بكسل، بفعالية على 512 بكسل ومختلف نسب العرض إلى الارتفاع دون إعادة تدريب.

دراسات الاستئصال (Ablation Studies)

فقدان الحفاظ على الدلالات: ضروري للحفاظ على جودة التوليد؛ حيث يؤدي إزالته إلى انهيار في دقة الاختبار الخطي (linear probing) وgFID.
اختيار المشفر: يوفر DINOv2 أفضل توازن؛ حيث يعطي MAE إعادة بناء أفضل ولكن توليد أسوأ؛ بينما يقع SigLIP 2 في المنتصف.
استراتيجية التدريب: الضبط الدقيق المشترك (المرحلة الثانية) يتفوق على ضبط LoRA أو التدريب في المرحلة الأولى فقط.

5. الأهمية والتأثير

الكفاءة: يقدم AlignTok مساراً عالي الكفاءة لتدريب أجهزة ترميز عالية الجودة، مما يقلل التكلفة الحسابية لتدريب نماذج الانتشار عن طريق تسريع التقارب.
البساطة والقابلية للتوسع: الطريقة بسيطة معمارياً (autoencoder قياسي + مهايئ) وقابلة للتوسع إلى مجموعات البيانات الضخمة (LAION) والدقات العالية.
الرؤية النظرية: تثبت الورقة فرضية أن البنية الدلالية أصعب في التعلم من إعادة البناء. ومن خلال نقل عبء تعلم الدلالات إلى نموذج أساسي، يمكن لجهاز الترميز التركيز على المتطلبات المحددة للانتشار (القدرة على الانتشار) وإعادة البناء.
الاتجاهات المستقبلية: تشير الورقة إلى أن استراتيجية المحاذاة هذه يمكن أن تمتد إلى ترميز الفيديو، وأجهزة الترميز المنفصلة للنماذج ذات الترتيب التلقائي (autoregressive)، والتمثيلات متعددة الوسائط الموحدة.

باختدال، يضع AlignTok معياراً جديداً لأجهزة الترميز المرئية المستمرة من خلال الاستفادة من القوة الدلالية للنماذج الأساسية عبر عملية محاذاة هيكلية ثلاثية المراحل، مما يؤدي إلى تدريب أسرع، وجودة توليد أعلى، وقابلية توسع قوية.