🤖 AI

Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation

يُعد Cheers نموذجاً موحداً متعدد الوسائط يعمل على فصل التفاصيل على مستوى الرقعة عن التمثيلات الدلالية عبر مشفر رؤية (vision tokenizer)، ومحول موحد (unified Transformer)، ورأس مطابقة تدفق متتالي (cascaded flow matching head)، محققاً أداءً هو الأفضل في فئته في كل من الفهم البصري والتوليد مع تحسين كبير في ضغط الرموز وكفاءة التدريب.

المؤلفون الأصليون: Yichen Zhang, Da Peng, Zonghao Guo, Zijian Zhang, Xuesong Yang, Tong Sun, Shichu Sun, Yidan Zhang, Yanghao Li, Haiyan Zhao, Wang Xu, Qi Shi, Yangang Sun, Chi Chen, Shuo Wang, Yukun Yan, Xu Han, Qiang

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yichen Zhang, Da Peng, Zonghao Guo, Zijian Zhang, Xuesong Yang, Tong Sun, Shichu Sun, Yidan Zhang, Yanghao Li, Haiyan Zhao, Wang Xu, Qi Shi, Yangang Sun, Chi Chen, Shuo Wang, Yukun Yan, Xu Han, Qiang Ma, Wei Ke, Liang Wang, Zhiyuan Liu, Maosong Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت أن يكون محققاً (ينظر إلى صورة ويشرح ما يحدث فيها) ورساماً (يبدع صورة جديدة جميلة من وصف معين).

عادةً، تتطلب هاتان الوظيفتان أدوات مختلفة تماماً.

المحقق: يحتاج إلى رؤية "الصورة الكبيرة" وفهم القصة (الدلالات). هو لا يحتاج لمعرفة الملمس الدقيق لكل طوبة في الجدار، بل يكفيه معرفة أنه جدار من الطوب.
الرسام: يحتاج إلى معرفة كل التفاصيل الصغيرة—حبيبات الخشب، الانعكاس في العين، الدرجة المحددة للون الأزرق. إذا فاتته التفاصيل، ستبدو اللوحة باهتة أو مزيفة.

المشكلة:
حاولت نماذج الذكاء الاصطناك السابقة استخدام "عين واحدة" للقيام بالوظيفتين معاً. كان الأمر يشبه محاولة ارتداء نظارات القراءة لقراءة رواية ونظارات شمسية لرسم مشهد غروب الشمس في نفس الوقت. والنتيجة؟ ارتبك المحقق بسبب التفاصيل الصغيرة، وفقد الرسام القدرة على إدراك القصة الكبيرة. عانى النموذج من أجل القيام بكليهما بشكل جيد في آن واحد.

الحل: CHEERS
ابتكر مؤلفو هذه الورقة نموذجاً جديداً يسمى CHEERS. فكر في CHEERS كفنان بارع يمتلك آلية عمل ذكية للغاية. بدلاً من محاولة القيام بكل شيء دفعة واحدة، يقوم CHEers بفصل المهمة إلى طبقتين متمايزتين: القصة والتفاصيل.

إليك كيف يعمل CHEERS، باستخدام تشبيه بسيط:

1. "المخطط الذكي" (موحد ترميز الرؤية - Unified Vision Tokenizer)

تخيل أنك تنظر إلى مشهد مدينة معقد.

الطريقة القديمة: يحاول الذكاء الاصطناعي حفظ كل سيارة، وشخص، وسحابة دفعة واحدة. فيصاب بالارتباك.
طريقة CHEERS: ينظر CHEERS أولاً إلى الصورة وينشئ "مخططاً ذكياً". هو يتجاهل التفاصيل الصغيرة الفوضوية (مثل النمط المحدد على قميص ما) ويركز فقط على المعنى: "هناك حافلة حمراء، سماء زرقاء، وكلب سعيد".
لماذا يساعد هذا؟: هذا "المخطط الذكي" فعال للغاية. فهو يضغط الصورة في ملخص صغير ونظيف يمكن لـ "عقل" الذكاء الاصطناعي (النموذج اللغوي الكبير) فهمه فوراً. وهذا يجعل مهمة المحقق (الفهم) سريعة ودقيقة جداً.

2. "الرسم بخطوتين" (مطابقة التدفق المتتالي - Cascaded Flow Matching)

الآن، تخيل أن الذكاء الاصطناعي يحتاج إلى رسم لوحة جديدة بناءً على وصف.

الخطوة 1: المسودة الأولية (الدلالات): أولاً، يرسم CHEERS نسخة منخفضة الدقة وضبابية من الصورة. هو يضبط التخطيط الصحيح: "حسناً، الكلب هنا، والحافلة هناك". إنه يشبه مسودة أولية بالقلم الرصاص.
الخطوة 2: "غبار السحر" (حقن الترددات العالية): هذا هو السر الخفي. بمجرد الانتهاء من المسودة، يأخذ CHEERS "المخطط الذكي" الذي صنعه سابقاً ويرش فوقه "غبار السوام" (التفاصيل عالية التردد).
- هو لا يخمن التفاصيل فحسب؛ بل يحقنها مباشرة من البيانات البصرية الأصلية.
- يضيف فرو الكلب، والنوافذ اللامعة للحافلة، وملمس السحب.
النتيجة: تحصل على لوحة تمتلك الهيكل المثالي (بسبب الخطوة 1) والتفاصيل فائقة الواقعية (بسبب الخطوة 2).

لماذا يعد هذا أمراً هاماً؟

إنه فعال: لأن CHEERS يضغط الصورة في "مخطط ذكي" أولاً، فإنه يستخدم ذاكرة أقل بـ 4 مرات من النماذج الأخرى للقيام بنفس المهمة. إنه يشبه حزم حقيبة السفر عن طريق لف الملابس بدلاً من طيها؛ حيث تضع المزيد في مساحة أقل.
إنه أرخص: تُظهر الورقة أن CHEERS يمكنه التفوق على نماذج أكبر وأكثر تكلفة بكثير (مثل Tar) بينما يستخدم 20% فقط من تكلفة التدريب. إنه يشبه بناء محرك سيارة فيراري باستخدام قطع من دراجة هوائية، ولكن بجعلها تعمل بشكل أسرع.
إنه متوازن: من خلال فصل "القصة" عن "التفاصيل"، لا يصاب الذكاء الاصطناعي بالارتباك. يظل جزء المحقق حاداً، ويحصل الرسام على التفاصيل التي يحتاجها.

باختصار

CHEERS يشبه الطاهي الذي يجهز أولاً مرقاً مثالياً وغنياً بالنكهات (المعنى الدلالي)، ثم قبل التقديم مباشرة، يضيف لمسة من الزينة الطازجة والمقرمشة (تفاصيل الترددات العالية).

النماذج القديمة حاولت طهي المرق والزينة في نفس القدر، مما أدى إلى طعام رطب ومربك.
CHEERS يبقي كل منهما منفصلاً حتى النهاية، مما يضمن أن يكون الحساء غنياً بالنكهة ومقرمشاً في آن واحد.

يسمح هذا النهج لذكاء اصطناعي واحد بأن يكون خبيراً في فهم الصور وإنشائها، حيث يقوم بكليهما بشكل أفضل من أي وقت مضى، وبقدر أقل بكثير من قوة الحوسبة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "CHEERS: فك الارتباط بين تفاصيل الرقعة (Patch Details) والتمثيلات الدلالية يُمكّن من الفهم والتوليد الموحد متعدد الوسائط."

1. بيان المشكلة

تهدف النماذج متعددة الوسائط الموحدة (UMMs) إلى دمج الفهم البصري (الإدراك) وتوليد الصور ضمن بنية واحدة. ومع ذلك، تواجه النهج الحالية صراعاً في التحسين (Optimization Conflict) جوهرياً:

آليات فك التشفير (Decoding Mechanisms): يعتمد الفهم عادةً على فك التشفير ذاتي الانحدار (Autoregressive) للرموز المنفصلة (Discrete Tokens)، بينما يتطلب توليد الصور عالي الدقة غالباً عمليات انتشار (Diffusion) أو مطابقة تدفق (Flow-matching) مستمرة.
التمثيلات البصرية: يتطلب الفهم سمات غنية دلالياً (سياق عالمي، علاقات الكائنات) تُستخرج غالباً بواسطة مشفرات مثل SigLIP. في المقابل، يتطلب التوليد كمونات (Latents) حافظة للتفاصيل (أنسجة عالية التردد، هياكل دقيقة) توجد غالباً في عمليات إعادة بناء الـ VAE.
الصراع: يؤدي الاعتماد على مساحة تمثيل واحدة إلى حدوث مقايضة: إما أن تفقد النماذج الدقة البصرية أثناء التوليد (بسبب التكميم أو التجريد الدلالي)، أو تعاني من الهلوسة وضعف الاستدلال أثناء الفهم (بسبب الضجيج الناتج عن التفاصيل عالية التردد). وقد أدت المحاولات السابقة لدمج هذه السمات إلى تداخل بين المهمتين.

2. المنهجية: إطار عمل CHEERS

يعالج CHEERS هذه الصراعات من خلال فك الارتباط بين تفاصيل مستوى الرقعة (Patch-level details) والتمثيلات الدلالية ومعالجتها عبر مسار موحد ولكنه متخصص. تتكون البنية من ثلاثة مكونات أساسية:

أ. مُرمز الرؤية الموحد (Unified Vision Tokenizer)

بدلاً من تشفير حالات الكمون مباشرة إلى رموز دلالية (مما يؤدي لفقدان التفاصيل الدقيقة)، يستخدم CHEERS عملية ترميز ثنائية المراحل:

إعادة البناء (Reconstruction): يتم تشفير الصور المدخلة بواسطة مشفر VAE إلى حالات كمون ( $z_1$ ). يتم بعد ذلك فك تشفير هذه الكمونات أولاً وإعادتها إلى مساحة البكسل باستخدام فك تشفير VAE.
الاستخراج الدلالي (Semantic Extraction): تتم معالجة صورة البكسل المعاد بناؤها بواسطة مشفر دلالي مدرب مسبقاً (مثل SigLIP2-ViT) لاستخراج رموز دلالية عالية المستوى.
الضغط (Compression): تقوم عملية Pixel-Unshuffle بتقليل الدقة المكانية وإسقاط بُعد القنوات، مما يضغط الرموز بمقدار 4 أضعاف (على سبيل المثال، من $H \times W$ إلى $H/2 \times W/2$ ) لضمان كفاءة التكييف مع نموذج LLM.

الرؤية الجوهرية: إن إعادة بناء البكسلات قبل الترميز الدلالي يحافظ على التفاصيل الدقيقة (الضرورية لعمليات التعرف على النصوص OCR والتعرف على النصوص) التي قد تُفقد عند معالجة الكمونات الخام مباشرة.

ب. العمود الفقري لترانسفورمر الموحد (Unified LLM-Based Transformer Backbone)

يستخدم CHEERS عموداً فقرياً واحداً من نوع ترانسفورمر (يعتمد على Qwen2.5-1.5B) يتعامل مع كلا الوسيطين عبر آليات انتباه متميزة:

توليد النصوص: يستخدم الانتباه السببي (Causal Attention) لفك التشفير ذاتي الانحدار.
الفهم البصري: يستخدم الانتباه ثنائي الاتجاه (Bidirectional/Full Attention) على الرموز البصرية لالتقاط السياق العالمي.
توليد الصور: يتم توجيه الحالات الخفية المستمرة (Continuous Visual Hidden States) إلى رأس متخصص للتوليد القائم على الانتشار.

ج. رأس مطابقة التدفق المتتالي (Casced Flow Matching - CFM Head)

هذا هو الابتكار الأساسي لتوليد الصور، وهو مصمم لمحاكاة عملية الرسم البشري (الهيكل العالمي $\leftarrow$ التفاصيل المحلية):

المرحلة الأولى (التخليق الدلالي - Semantic Synthesis): يأخذ رأس CFM الحالات الخفية السياقية من LLM ويقوم بـ توليد دلالي منخفض الدقة (سمات منخفضة التردد) باستخدام مطابقة التدفق.
رفع الدقة (Upsampling): يتم رفع دقة السمات عبر وحدة PixelShuffle.
المرحلة الثانية (حقن التردد العالي - High-Frequency Injection): يقوم النموذج بحقن بقايا التفاصيل ذات البوابة الدلالية (Semantically Gated Detail Residuals) من مُرمز الرؤ_الموحد.
- تتحكم شبكة بوابة $G(\cdot)$ تكيفياً في حقن تفاصيل الرقعة عالية التردد ( $S(D(z_t))$ ) في الميزات التي تمت إعادة فك تشفيرها.
- الصيغة: $Z'_{s} \leftarrow G(Z'_{s}) \odot S(D(z_t)) + Z'_{s}$ .
- يضمن ذلك إضافة الأنسجة الدقيقة فقط حيث تكون مناسبة دلالياً، مما يعمل على صقل الصورة دون تعطيل الهيكل العالمي.

3. مسار التدريب

يتبع CHEERS استراتيجية تدريب تدريجي من أربع مراحل:

المحاذاة بين الرؤية واللغة: محاذاة المُسقط (Projector)، ورأس CFM، ووحدات البوابة باستخدام أزواج (صورة-وصف).
التدريب المسبق العام: تحسين جميع المعلمات (باستثناء VAE) على مزيج من بيانات الفهم، والتوليد، والنصوص الصرفة (بنسبة 3:6:1).
التدريب المسبق المكرر (Refined Pre-training): التركيز على الاستدلال البصري والمحاذاة الدلالية باستخدام بيانات تعليمات اصطناعية لتحسين الاستدلال التركيبي.
الضبط الدقيق تحت الإشراف (SFT): ضبط النموذج على بيانات منسقة عالية الجودة بنسبة دفعات (Batch Ratio) تبلغ 1:1 لمهام الفهم والتوليد.

4. المساهمات الرئيسية

التمثيل المفكك (Decoupled Representation): يقترح بنية مبتكرة تفصل بين الفهم الدلالي وتفاصيل الرقعة، مما يحل صراع التحسين بين الإدراك والتوليد.
مُرمز الرؤية الموحد: يقدم استراتيجية "إعادة البناء ثم الترميز" التي تحافظ على التفاصيل الدقيقة (الضرورية لـ OCR) مع توفير رموز دلالية مستقرة لنموذج LLM.
مطابقة التدفق المتتالية (Cascaded Flow Matching): ينفذ عملية توليد هرمية حيث يتم تخليق الدلالات العالمية أولاً، يليه حقن بوابة للبقايا عالية التردد، مما يحاكي سير العمل الفني البشري.
الكفاءة: يحقق ضغطاً للرموز بمقدار 4 أضعاف ويثبت إمكانية تحقيق أداء عالٍ باستخدام عدد أقل بكثير من عينات التدريب مقارنة بالأقران.

5. النتائج التجريبية

تم تقييم CHEERS على معايير قياسية لكل من الفهم والتوليد:

الفهم البصري:
- يتفوق على أو يضاهي النماذج الرائدة (SOTA) في مجال UMMs مثل Janus-Pro و Show-o2 و Tar في اختبارات مثل MMBench و SEED-Bench و MMStar.
- بشكل ملحوظ، يحقق أداءً فائقاً في OCR (مثل OCRBench و ChartQA) مقارنة بالنماذج التي تتخطى مرحلة إعادة بناء البكسلات، مما يؤكد ضرورة نهج "إعادة البناء ثم الترميز".
توليد الصور:
- GenEval: يحقق درجة 0.78، متفوقاً على Tar (0.76) و Janus-Pro (0.73) رغم استخدام عدد أقل بكثير من عينات التدريب.
- DPG-Bench: يحقق 83.48، متجاوزاً Tar (82.96) و Show-o2 (85.02 هو أعلى ولكن مقارنة CHEERS بـ Tar تظهر أن CHEERS تنافسي للغاية).
- كفاءة البيانات: يحقق CHEERS هذه النتائج باستخدام 83 مليون عينة تدريب فقط، بينما يستخدم منافسوه مثل Tar نحو 403 مليون و Janus-Pro نحو 162 مليون. إنه يتطلب 20% فقط من تكلفة تدريب Tar ليتفوق عليه في المعايير الرئيسية.
القدرات الناشئة (Emergent Abilities): رغم تدريبه فقط على مهام (نص-إلى-صورة) لصورة واحدة، يُظهر CHEERS قدرات تعديل الصور من نوع Zero-shot (مثل تغيير الألوان، استبدال الكائنات، وتكوين صور متعددة) بعد مرحلة التدريب المسبق المكرر.

6. الأهمية

تثبت ورقة البحث أن النماذج متعددة الوسائط الموحدة لا تتطلب التضحية بالأداء في مهمة واحدة من أجل اكتساب ميزة في مهمة أخرى. من خلال الفصل الصريح بين الاستقرار الدلالي وحقن التفاصيل عالية التردد، يوفر CHEERS إطار عمل قوياً للجيل القادم من النماذج متعددة الوسائط الموحدة.

الكفاءة: يثبت أنه يمكن تحقيق توليد عالي الدقة واستدلال عميق باستخدام تمثيلات رموز مدمجة ومجموعات بيانات أصغر.
تصميم البنية: تقدم استراتيجيات "إعادة البناء ثم الترميز" و "مطابقة التدفق المتتالية" نموذجاً جديداً للتعامل مع المتطلبات المتعارضة لمشفرات الرؤية وفك التشفير التوليدي.
الأثر المستقبلي: يضع هذا الإطار معياراً جديداً للنماذج الموحدة عالية الكفاءة والجودة، مما يشير إلى أن جهود التوسع المستقبلية يجب أن تركز على فك ارتباط التمثيل بدلاً من مجرد زيادة حجم النموذج أو حجم البيانات.