💻 computer science

Qwen-Image-VAE-2.0 Technical Report

تُعد Qwen-Image-VAE-2.0 مجموعة مشفرات تلقائية تباينية عالية الضغط تحقق دقة إعادة بناء رائدة وقدرة فائقة على الانتشار من خلال ابتكارات معمارية مثل الوصلات التخطّية العالمية، والتدريب واسع النطاق باستخدام التصيير الاصطناعي، وتعزيز المحاذاة الدلالية، وتتفوق بشكل خاص في السيناريوهات الغنية بالنصوص.

المؤلفون الأصليون: Zekai Zhang, Deqing Li, Kuan Cao, Yujia Wu, Chenfei Wu, Yu Wu, Liang Peng, Hao Meng, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zekai Zhang, Deqing Li, Kuan Cao, Yujia Wu, Chenfei Wu, Yu Wu, Liang Peng, Hao Meng, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yilei Chen, Yixian Xu, Yuxiang Chen, Zhendong Wang, Zihao Liu, Zikai Zhou, Yiliang Gu, Yi Wang, Xiaoxiao Xu, Lin Qu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال صورة عالية الدقة لشارع مزدحم بالمدينة إلى صديق لك، لكن اتصال الإنترنت لديك بطيء جداً. لديك خياران:

الطريقة القديمة: تصغير الصورة قليلاً (مثل البطاقة البريدية العادية). تبدو جيدة نوعاً ما، ولكن إذا حاول صديقك قراءة لافتات الشوارع الصغيرة أو لوحات أرقام السيارات، ستتحول الحروف إلى بقع ضبابية.
الطريقة الجديدة (Qwen-Image-VAE-2.0): تصغير الصورة لتصبح بحجم طابع بريدي (نسبة "ضغط عالٍ"). عادةً، سيجعل هذا الصورة فوضوية، لكن هذه التكنولوجيا الجديدة تنجح في تصغيرها إلى هذا الحجم الصغير مع الحفاظ على وضوح لافتات الشوارع وتفاصيلها بدقة.

إليك تفصيل بسيط لكيفية تحقيق فريق Qwen-Image-VAE-2.0 لهذا الأمر، باستخدام الأفكار من تقريرهم:

1. المشكلة: مقايضة "الضغط"

في عالم توليد الصور بالذكاء الاصطناعي، هناك قاعدة عامة: إذا ضغطت الصورة كثيراً لتوفير المساحة (الضغط)، فستفقد عادةً التفاصيل الدقيقة (إعادة البناء). وإذا حاولت الحفاظ على التفاصيل بجعل البيانات "المضغوطة" أكبر، فإن الذكاء الاصطناعي الذي يولد صوراً جديدة لاحقاً سيصاب بالارتباك ويستغر وقتًا طويلاً للتعلم (قابلية الانتشار). الأمر يشبه محاولة وضع مكتبة كاملة في صندوق أحذية؛ إما أن تتمزق الكتب، أو يصبح الصندوق ثقيلاً جداً بحيث لا يستطيع أحد حمله.

2. الحل: "حقيبة" أكثر ذكاءً

بنى فريق Qwen نوعاً جديداً من الحقائب الرقمية (VAE) يحل هذه المشكلة عبر القيام بثلاثة أشياء ذكية:

"الاتصال المباشر العالمي" (الخط المباشر):
تخيل أنك تحزم حقيبة سفر. عادةً، تقوم بطي كل شيء بعناية، مما قد يؤدي إلى سحق الأشياء الرقيقة مثل مزهرية هشة (التفاصيل النصية الدقيقة). أضاف فريق Qwen "خطاً مباشراً" من الصورة الأصلية إلى الحقيبة المحزومة. إنهم يأخذون أهم التفاصيل عالية التردد (مثل الحواف الحادة للحروف) ويضعونها مباشرة داخل الحقيبة دون طيها أولاً. هذا يضمن أنه حتى عندما تكون الصورة صغيرة جداً، تظل الحواف الحادة للنصوص سليمة.
"الحقيبة الأعرض" (القنوات الموسعة):
عادةً، عندما تصغر حجم صورة، تجعل الحقيبة أضيق. ولكن إذا كان لديك الكثير من المعلومات لتعبئتها، فإن الحقيبة الضيقة ستسحق الأشياء. جعل فريق Qwen الحقيبة أعرض (زيادة أبعاد القنوات). هذا يمنحهم مساحة أكبر لتعبئة تفاصيل الصورة المصغرة دون فقدان أي شيء. وقد أثبتوا أنه على الرغم من أن الحقيبة أصبحت أعرض، إلا أن الذكاء الاصطناعي الذي يحملها لاحقاً لا يصبح أبطأ أو أثقل.
"عجلات التدريب" (المحاذاة الدلالية):
مشكلة شائعة في الحقائب الواسعة هي أن الذكاء الاصطناعي الذي يحملها يصاب بالارتباك بشأن محتواها. لإصلاح ذلك، علم الفريق الحقيبة كيف تنظم محتوياتها من خلال مطابقتها مع "خريطة ذكية" (باستخدام أداة تسمى DINOv2). هذه الخريطة تعرف ماهية الأشياء من الناحية المفاهيمية. ومن خلال محاذاة محتويات الحقيبة مع هذه الخريطة، يتعلم الذكاء الاصطناعي بشكل أسرع وينتج صوراً أفضل. لقد فعلوا ذلك على مراحل: أولاً، فرضوا محاذاة صارمة لتعليم الأساسيات، ثم خففوا القواعد للسماح للذكاء الاصطناعي بالتركيز على جعل الصورة تبدو جميلة.

3. تحدي "الغنى النصي"

معظم اختبارات الذكاء الاصطناعي تستخدم صوراً للقطط أو المناظر الطبيعية. لكن فريق Qwen كان يعلم أن النص هو أصعب شيء يمكن ضغطه. فالقطة الضبابية لا تزال تبدو كقطة، لكن حرف "A" الضبابي يبدو كبقعة.

لإصلاح ذلك، لم يستخدموا مجرد صور عشوائية، بل:

جمعوا مليارات الصور.
جمعوا خصيصاً ملايين الوثائق مثل الكتب المدرسية والملصقات والصحف.
أنشأوا خط إنتاج اصطناعي (مصنع آلي) يقوم بطباعة النصوص على خلفيات عشوائية (مثل وضع لافتة على جدار من الطوب أو شجرة) لتعليم الذكاء الاصطناعي كيفية التعامل مع النصوص في مواقف العالم الحقيقي الفوضوية.

4. الاختبار الجديد: "OmniDoc-TokenBench"

أدرك الفريق أن الاختبارات القياسية (التي تقيس فقط سطوع البكسل) ليست جيدة في التحقق مما إذا كان النص قابلاً للقراءة. لذا، قاموا ببناء اختبار جديد يسمى OmniDoc-TokenBench.

كيف يعمل: يأخذون وثيقة، ويصغرونها باستخدام الذكاء الاصطناعي، ثم يطلبون من "روبوت القراءة" (OCR) قراءة النص من كل من النسخة الأصلية والمصغرة.
النتيجة: يقارنون بين ما قرأه الروبوت. إذا قرأ الروبوت "Hello" من الأصل و "Helo" من النسخة المصغرة، تنخفض الدرجة. هذا يقيس ما إذا كان النص قابلاً للقراءة فعلياً، وليس فقط ما إذا كانت الألوان تبدو صحيحة.

5. النتائج

إعادة البناء: عندما اختبروا نموذجهم، استطاع تصغير الصور بمقدار 16 ضعفاً أو حتى 32 ضعفاً (مما يجعلها 1/16 أو 1/32 من الحجم الأصلي) ومع ذلك حافظ على وضوح النص تماماً. بينما حولت النماذج الأخرى النص إلى كلمات غير مفهومة عند هذا الحجم.
السرعة: لأنهم جعلوا "المُشفّر" (الجزء الذي يحزم الحقيبة) خفيفاً جداً وأزالوا آليات "الانتباه" الثقيلة، فإنهم يحزمون الصور بسرعة كبيرة.
التوليد: عندما استخدموا هذه الحقيبة المحزومة لتدريب مولد صور جديد (DiT)، تعلم المولد بشكل أسرع بكثير مقارنة بنماذج الضغط العالي الأخرى.

ملخص

إن Qwen-Image-VAE-2.0 يشبه خدمة تعبئة فائقة الكفاءة. يمكنه تصغير مستند ضخم مليء بالنصوص إلى حجم صغير جداً دون سحق الحروف، كما أنه ينظم المحتويات بشكل جيد بحيث يمكن للشخص التالي (مولد الصور) تفريغها وإنشاء صور جديدة عالية الجودة بسرعة كبيرة. إنه يحل المشكلة القديمة حيث كان عليك الاختيار بين "حجم ملف صغير"، و"نص واضح"، و"توليد سريع" — هذا النموذج يمنحك الثلاثة معاً.

ملخص تقني: Qwen-Image-VAE-2.0

بيان المشكلة

أصبحت نماذج الانتشار الكامنة (LDMs) هي النموذج المهيمن في مجال تخليق الصور، وهي تعتمد عادةً على المشفرات التلقائية المتغيرة (VAEs) مع نسبة ضغط مكاني قدرها 8 ( $f8$ ) لإسقاط الصور في فضاء كامن. ومع ذلك، ومع تحول الصناعة نحو التخليق الأصلي عالي الدقة، فإن معيار $f8$ يخلق اختناقات حوسبية. تتوسع تعقيدات نماذج محولات الانتشار (DiTs) الحديثة بشكل تربيعي مع عدد الرموز الكامنة؛ وبالتالي، فإن زيادة نسبة الضغط المكاني (على سبيل المثال، إلى $f16$ أو $f32$ ) أمر ضروري للكفاءة.

رغم التقدم في الـ VAEs عالية الضغط، هناك مقايضة ثلاثية حرجة بين نسبة الضغط، ودقة إعادة البناء، وقابلية الانتشار (مدى سهولة نمذجة التوزيع بواسطة الانتشار).

دقة إعادة البناء: غالبًا ما تؤدي نسب الضغط العالية إلى تدهور شديد في جودة إعادة البناء، لا سيما في السيناريوهات الغنية بالنصوص، حيث تُفقد التفاصيل الدقيقة ووضوح الحروف.
قابلية الانتشار: مجرد زيادة أبعاد القنوات الكامنة للتخفيف من اختناقات المعلومات يؤدي غالبًا إلى توزيع كامن معقد وغير منظم. وهذا يعيق التقارب والأداء التوليدي لنماذج الانتشار اللاحقة.
فجوات التقييم: المعايير القياسية (مثل ImageNet وFFHQ) والمقاييس على مستوى البكسل (PSNR وSSIM) غير مناسبة لتقييم إعادة بناء النصوص الغنية، حيث يمكن للتشوهات الطفيفة في الضربات أن تجعل النص غير مقروء دون التأثير بشكل كبير على مقاييس البكسل.

المنهجية

يعالج Qwen-Image-VAE-2.0 هذه التحديات من خلال ابتكارات معمارية، وهندسة بيانات شاملة، واستراتيجيات تدريب محسنة.

1. بنية النموذج

ضغط عالٍ مع قنوات كبيرة: يتبنى النموذج نسب ضغط مكاني قدرها $f16$ و $f32$ . ولتعويض فقدان المعلومات المكانية، تم توسيع بُعد القنوات ( $C$ ) بشكل كبير (يصل إلى 192 قناة)، مما يزيد من سعة اختناق المعلومات الإجمالية ( $N(z) = CHW/f^2$ ) دون المساس بكفاءة تدريب DiT، حيث تقوم DiTs بإسقاط الكوامن إلى بُعد مخفي ثابت.
وصلات التخطي العالمية (GSC): للحفاظ على التفاصيل الدقيقة المفقودة أثناء خفض العينات الشديد، تقدم المعمارية GSC. تعمل هذه الوصلات على إنشاء مسار متبقي مباشر من البكسلات إلى الفضاء الكامن، متجاوزة عملية خفض العينات الأولية. وهي تستخدم عملية "المساحة إلى القناة" (space-to-channel) لـ "طي" المعلومات المكانية في بُعد القنوات، مما يوفر إشارات عالية التردد للشبكة.
العمود الفقري الخالي من الانتباه (Attention-Free): لضمان الإنتاجية والقابلية للتوسع للمدخلات فائقة الدقة، يستخدم النموذج عمودًا فقريًا خاليًا من آلية الانتباه. يتجنب هذا التصميم التعقيد الحسابي والذاكرة من رتبة $O(N^2)$ المرتبط بالانتباه الذاتي، ويعتمد بدلاً من ذلك على العمليات الالتفافية (Convolutional operations).
مشفر-مفكك غير متماثل: يقلل المشفر خفيف الوزن من عبء الترميز أثناء تدريب الانتشار، بينما يضمن المفكك ثقيل الوزن إعادة بناء عالية الدقة.

2. هندسة البيانات

النطاق والتنقية: تم توسيع مجموعة بيانات التدريب لتشمل مليارات الصور. تم تنقية العينات منخفضة الجودة باستخدام فلاتر الوضوح والضبابية.
التركيز على المحتوى الغني بالنصوص: تم تنسيق مجموعة متخصية من المستندات الواقعية (الأوراق الأكاديمية، الشرائح، الملصقات، صفحات الويب). قام فلتر OCR بإعطاء الأولوية للعينات ذات كثافة الحروف العالية.
خط أنابيب الرندرة الاصطناعية: لسد الفجوة بين البيانات الاصطناعية والواقعية، يقوم خط أنابيب برندرة النصوص على خلفيات يتم اختيارها عشوائيًا من صور النطاق العام. تمنع عملية "التخليق المحتوي على الخلفية" ضعف التعميم الملاحظ في النماذج المدربة على بيانات خالية من الخلفية. يدعم خط الأنابيب كلاً من اللغات الأبجدية (الإنجليزية) واللوغوغرافية (الصينية) مع أحجام حروف متفاوتة (5-20 بكسل) لفرض التقاط التفاصيل الدقيقة.

3. استراتيجية التدريب

دالة خسارة مبسطة: يزيل هدف التدريب تنظيم Kullback-Leibler (KL) وخسارة GAN.
- لا توجد خسارة KL: منع قيود الاحتمال الغاوسي (Gaussian prior) من التعارض مع أهداف المحاذاة الدلالية، مما يسمح بفضاء كامن أكثر مرونة.
- لا توجد خسارة GAN: مع وجود بيانات وتكرارات كافية، تعتبر خسائر مستوى البكسل ( $L1$ ) والإدراكية ( $L_{lpips}$ ) كافية لإعادة بناء حادة، مما يبسط التحسين ويحسن الاستقرار.
المحاذاة الدلالية: لضمان أن يكون الفضاء الكامن "صديقًا للانتشار"، يقوم النموذج بمحاذاة التمثيلات الكامنة مع الميزات المتوسطة من مشفر DINOv2 مدرب مسبقًا.
- اختيار الطبقة: تُستخدم الطبقات الوسطى من المشفر بدلاً من الطبقة النهائية لتوفير خرائط مكانية أكثر سلاسة.
- مكونات الخسارة: تجمع خسارة المحاذاة ( $L_{align}$ ) بين تشابه جيب التمام الهامشي (لمحاذاة اتجاهات الميزات) وتشابه مصفوفة المسافة الهامشية (للحفاظ على التخطيطات المكانية النسبية).
نموذج التدريب المرحلي:
- الدقة: تعلم منهجي (Curriculum learning) من الدقة المنخفضة وصولاً إلى 2K.
- حقن النصوص: التدرج من الصور العامة إلى العينات الغنية بالنصوص الواقعية، وأخيرًا إلى بيانات النصوص الاصطناعية ذات الصعوبة المتفاوتة.
- معايرة المحاذاة: يبدأ التدريب بمحاذاة دلالية صارمة لتسريع تقارب DiT، مع تخفيف الهوامش تدريجيًا لموازنة الاتساق الدلالي مع جودة إعادة البناء على مستوى البكسل.

المساهمات الرئيسية

مجموعة VAE عالية الضغط: تقديم VAEs للصور بنسب $f16$ و $f32$ توفر حلاً قويًا لتوليد الصور عالي الدقة بكفاءة.
أداء إعادة بناء فائق: تحقيق حالة متطورة (SOTA) في إعادة البناء عبر اختبارات متعددة. يحافظ النموذج على مقروئية استثنائية في السيناريوهات الغنية بالنصوص حيث تفشل النماذج عالية الضغط التقليدية، حتى عند ضغط $f32$ الشديد.
تعزيز قابلية انتشار الكوامن: إثبات أن الـ VAEs ذات القنوات الكبيرة يمكن أن تحقق قابلية انتشار ممتازة من خلال المحاذاة الدلالية المنقحة. يحل هذا المعضلة الثلاثية، مما يسمح بتقارب سريع لـ DiT رغم الأبعاد الكامنة الكبيرة.
OmniDoc-TokenBench: اقتراح معيار جديد يتكون من حوالي 3,000 صورة مستند متنوعة غنية بالنصوص (تغطي تسع فئات وكل من اللغتين الإنجليزية والصينية). يستخدم مقياس المسافة التحريرية الموحدة (NED) القائم على OCR لتقييم مقروئية المستند على مستوى الصفحة دون الحاجة إلى تسميات توضيحية لمربعات الكلمات.

النتائج

دقة إعادة البناء

المجالات العامة: في ImageNet وFFHQ، يحقق Qwen-Image-VAE-2.0 دقة إعادة بناء SOTA ضمن فئات الضغط الخاصة به ( $f16$ و $f32$ ). ومن الجدير بالذكر أن نسخة $f32c192$ تؤدي بشكل مماثل لـ VAEs المستقرة مثل ( $f8$ ) (مثل Wan2.1) رغم عامل الضغط الذي يصل لـ 4 أضعاف.
السيناريوهات الغنية بالنصوص (OmniDoc-TokenBench):
- في إعدادات $f16$ ، يحقق النموذج NED قدره 0.9617 ( $f16c128$ )، متفوقًا على خطوط الأساس الرائدة في $f8$ (مثل FLUX.1-dev عند 0.9546).
- في إعدادات $f32$ ، حيث تظهر المنافسة تدميرًا شبه كامل للنصوص (NED < 0.57)، يحقق نموذج $f32c192$ قيمة NED قدرها 0.8555، متفوقًا على جميع منافسي $f32$ وحتى متفوقًا على العديد من خطوط الأساس في $f16$ .
- تظهر النتائج النوعية أن النموذج يحافظ على حدود الحروف والمسافات بين الكلمات بوضوح، بينما تعاني النماذج الأخرى من الضبابية، أو اندماج الضربات، أو انهيار النص الكامل.

قابلية الانتشار

أداء DiT اللاحق: تظهر التجارب التي دربت SiT على ImageNet 256x256 أن الفضاءات الكامنة لـ Qwen-Image-VAE-2.0 تسهل التقارب السريع لـ DiT.
جودة التوليد: تتفوق النماذج باستمرار على خطوط الأساس عالية الضغط الموجودة في مقاييس Inception Score (IS) وGenerative FID (gFID)، رغم أبعادها الكامنة الكبيرة.
التكامل مع النماذج التأسيسية: تم دمج الـ VAE في نموذج Qwen-Image-2.0 التأسيسي، مما دعم بنجاح التكييف المعقد مفتوح المفردات والقيود التركيبية المعقدة على نطاق واسع.

الأهمية

يضع هذا البحث Qwen-Image-VAE-2.0 كنموذج رائد نجح في تجاوز المقايضات التاريخية بين الضغط، والدقة، وقابلية الانتشار. من خلال الاستفيد من الأبعاد الكبيرة للقنوات، ووصلات التخطي العالمية، واستراتيجية المحاذاة الدلالية المبتكرة، فإنه يتيح تخليق صور عالي الدقة بكفاءة دون التضحية بمقروئية النصوص أو سرعة التقارب التوليدي. يوفر تقديم OmniDoc-TokenBench معيارًا ضروريًا لتقييم إعادة بناء النصوص الغنية، مما يعالج فجوة حرجة في ممارسات التقييم الحالية. يمهد هذا العمل طريقًا تقنيًا للجيل القادم من أنظمة التخليق البصري، خاصة تلك التي تتطلب قدرات أصلية عالية الدقة ومعالجة قوية للنصوص.