💬 NLP

OmniGen2: Towards Instruction-Aligned Multimodal Generation

يُعد OmniGen2 نموذجاً مفتوح المصدر، متوافقاً مع التعليمات ومتعدد الوسائط، يستخدم بنية ذات مسارين بمعلمات منفصلة لتحقيق أداء رائد في مهام تحويل النص إلى صورة، وتحرير الصور، والتوليد السياقي القائم على الموضوع، مع الحفاظ على القدرات النصية الحالية.

المؤلفون الأصليون: Chenyuan Wu, Pengfei Zheng, Ruiran Yan, Shitao Xiao, Xin Luo, Yueze Wang, Wanli Li, Xiyan Jiang, Yexin Liu, Junjie Zhou, Ze Liu, Ziyi Xia, Chaofan Li, Haoge Deng, Jiahao Wang, Kun Luo, Bo Zhang, Defu

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chenyuan Wu, Pengfei Zheng, Ruiran Yan, Shitao Xiao, Xin Luo, Yueze Wang, Wanli Li, Xiyan Jiang, Yexin Liu, Junjie Zhou, Ze Liu, Ziyi Xia, Chaofan Li, Haoge Deng, Jiahao Wang, Kun Luo, Bo Zhang, Defu Lian, Xinlong Wang, Zhongyuan Wang, Tiejun Huang, Zheng Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً جداً يمكنه رسم أي شيء تصفه له. لكن هناك عقبة: أحياناً يسيء فهم تعليماتك، أو ينسى كيف يبدو شكل "دراجة حمراء"، أو يرتبك عندما تطلب منه تعديل صورة موجودة بالفعل.

OmniGen2 يشبه منح هذا الفنان ترقية هائلة. إنه نموذج ذكاء اصطناعي جديد مصمم ليكون الآلة المثالية في "تنفيذ التعليمات" للصور. إليك كيف يعمل، مقسماً إلى مفاهيم بسيية:

1. التدريب على مرحلتين: "المدرسة" ثم "التلمذة"

لم يقم الباحثون بمجرد إلقاء الذكاء الاصطناعي في أعماق التجربة. بل استخدموا عملية تدريب ذكية مكونة من خطوتين:

المرحلة الأولى: بناء الأساس (مرحلة "المدرسة")
أولاً، علموا الذكاء الاصطناعي قدراً هائلاً من المعرفة العامة. فكر في الأمر كإرسال الفنان إلى مدرسة الفنون. لقد تعلموا عن العالم، وكيف تبدو الأشياء، وكيف يعمل الضوء، وكيف يرسم أي شيء من "بروكلي أصفر" إلى "مدينة سايبربانك".
- السر الخفي: قاموا ببناء "عقل" خاص (نموذج لغوي بصري) يفهم النصوص والصور بعمق. يعمل هذا العقل كمعلم، يوجه عملية الرسم حتى لا يقوم الذكاء الاصطناعي بمجرد التخمين، بل يفهم ما تريده حقاً.
المرحلة الثانية: التلمذة (مرحلة "محاذاة التعليمات")
بمجرد أن يتعلم الفنان كيفية الرسم، يحتاج إلى تعلم كيفية الاستماع. هنا يتم تدريب الذكاء الاصطناعي على تعليمات محددة مثل "غيّر الخلفية إلى حديقة" أو "أزل البط".
- المدرب: بدلاً من مجرد عرض الأمثلة، يلعب الذكاء الاصطناعي لعبة "حاول، احصل على ملاحظات، حاول مرة أخرى". إذا رسم بروكلي أخضر بينما طلبت أنت لوناً أصفر، فإن "المدرب" (نظام المكافأة) يخبره: "لا، حاول مرة أخرى!". يتعلم الذكاء الاصطناعي من هذه الأخطاء حتى ينجح في كل مرة. وهذا ما يسمى بـ التعلم التعزيزي (Reinforcement Learning).

2. نظام "GPS" خاص للصور (Omni-RoPE)

أحد أصعب الأمور على الذكاء الاصطناعي هو تتبع أين توجد الأشياء في الصورة، خاصة عندما تقوم بتعديل صورة موجودة.

المشكلة: تخيل أن لديك صورة لقطة على سجادة. إذا قلت للذكاء الاصطناعي "انقل القطة إلى الأريكة"، فقد يرتبك الذكاء الاصطناعي العادي بشأن أي بكسلات تنتمي للقطة وأيها تنتمي للسجادة.
الحل (Omni-RoPE): منح الباحثون الذكاء الاصطناعي نظام GPS خاصاً. إنه يضع علامة على كل جزء من الصورة بمعرف فريد (مثل بطاقة الاسم) وموقع (مثل عنوان الشارع). بهذه الطريقة، عندما تقول "انقل القطة"، يعرف الذكاء الاصطناعي بالضبط أي "بطاقة اسم" تنتمي للقطة ويمكنه نقلها دون إفساد بقية الصورة.

3. اختبار "OmniContext": الامتحان النهائي الجديد

أدرك الباحثون أن الاختبارات الحالية للذكاء الاصطناعي ليست جيدة بما يكفي. كانت تشبه سؤال طباخ "اصنع شطيرة" دون التحقق مما إذا كان الخبز طازجاً أو إذا كان الجبن ذائباً.

الاختبار الجديد: أنشأوا اختباراً أصعب يسمى OmniContext. يختبر ما إذا كان بإمكان الذكاء الاصطناعي النظر إلى صورة لشخص أو شيء معين ووضعه في مشاهد جديدة بشكل مثالي.
- مثال: "خذ هذه الصورة لكلبي وضعه على شاطئ في هاواي".
- يجب على الذكاء الاصطناعي الحفاظ على الكلب ليبدو تماماً مثل كلبك، وليس كلباً عشوائياً، مع جعل الشاطئ يبدو حقيقياً. وقد تفوق OmniGen2 في هذا الاختبار، متفوقاً على معظم النماذج الأخرى.

4. ما الذي يمكنه فعله حقاً؟

OmniGen2 هو "سكين سويسري" للصور. يمكنه القيام بثلاثة أشياء رئيسية في خطوة واحدة:

تحويل النص إلى صورة (Text-to-Image): تكتب "قطة ترتدي قبعة"، وهو يرسمها.
تعديل الصور (Image Editing): ترفع صورة وتقول "غيّر السماء إلى وقت الغروب"، وهو يفعل ذلك دون إفساد بقية الصورة.
التوليد في السياق (In-Context Generation): ترفع صورة لشخصية وتقول "ضع هذه الشخصية في غابة"، وهو ينشئ مشهداً جديداً بنفس تلك الشخصية تماماً.

لماذا يعد هذا أمراً مهماً؟

قبل هذا، كنت غالباً بحاجة إلى أدوات ذكاء اصطناعي مختلفة لمهام مختلفة (واحدة للرسم، واحدة لتعديل الصور، وواحدة لتغيير الخلفيات). يجمع OmniGen2 كل هذه الميزات في نموذج واحد ذكي ومطيع. إنه يشبه امتلاك مساعد واحد يمكنه الرسم، وتعديل الصور، واتباع التعليمات المعقدة بشكل أفضل من فريق من المتخصصين.

باخت-القول: OmniGen2 هو فنان رقمي فائق الذكاء تم تعليمه معرفة العالم أولاً، ثم تدريبه على الاستماع لتعليماتك بشكل مثالي، وأخيراً اختباره في أصعب التحديات لإثبات قدرته على التعامل مع أي شيء تلقيه عليه.

إليك ملخص تقني مفصل لورقة البحث "OmniGen2: نحو توليد متعدد الوسائط متوافق مع التعليمات".

1. بيان المشكلة

حققت النماذج التوليدية متعددة الوسائط خطوات سريعة في توليد الصور من النصوص (T2I)، وتحرير الصور، والتوليد في السياق (in-context generation). ومع ذلك، تواجه النماذج الحالية قيوداً كبيرة في السيناريوهات الواقعية المعقدة بسبب عدم كفاية التوافق العام مع التعليمات. وتشمل التحديات الرئيسية ما يلي:

نقص النماذج الأساسية القوية: العديد من النماذج مفتوحة المصدر إما متخصصة للغاية (غير قادرة على التعامل مع المهام خارج نطاق تدريبها) أو مُحسّنة بشكل مفرط لجماليات معينة، مما يؤدي إلى فقدان المرونة وتعدد الاستخدامات.
ندرة البيانات: تندر مجموعات البيانات عالية الجودة للمهام المعقدة مثل تحرير الصور التفصيلي والتوليد المتسق في السياق (توليد صور بناءً على موضوعات مرجعية). تعتمد مجموعات البيانات الموجودية غالباً على عمليات "ترميم" (inpainting) منخفضة الجودة أو كشط محدود للإنترنت.
تعقيد التوافق: يصعب مواءمة نموذج أساسي لاتباع تعليمات متنوعة ودقيقة عبر وسائط متعددة (نص، صورة، تحرير) دون حدوث تداخل بين المهام أو تدهور في الأداء.
فجوات التقييم: هناك نقص في المعايير القياسية لتقييم التوليد في السياق، لا سيما فيما يتعلق بالاتساق عبر الأفراد والأشياء والمشاهد.

2. المنهجية

يعالج OmniGen2 هذه التحديات من خلال تصميم ذي مرحلتين: بناء نموذج أساسي قوي يرتكز على المعرفة العالمية، يليه استراتيجية تدريب تعليمي متعدد المهام وتدريجي.

أ. البنية الهيكلية

يستخدم OmniGen2 بنية منفصلة لتوحيد التوليد متعدد الوسائط:

المحول ذاتي الانحدار (VLM): تم تهيئته من Qwen2.5-VL-3B، ويتولى هذا الجزء فهم الوسائط المتعددة ومعالجة التعليمات، حيث يوفر فهماً دلالياً عميقاً ومعرفة عالمية.
محول الانتشار (Diffusion Transformer): مخصص حصرياً لتخليق الصور عالي الدقة، وقد تم تهيئته عشوائياً.
الاشتراط المنفصل (Decoupled Conditioning): يقوم الـ VLM بمعالجة السياق المدخل ويصدر رمزاً خاصاً <|img|> لتفعيل عملية التوليد. يتم استخراج الحالات الخفية (hidden states) لـ VLM (تحديداً رموز النصوص) وتغذيتها في فك تشفير الانتشار (diffusion decoder) كشرط.
الميزات منخفضة المستوى: لضمان الاتساق البصري الدقيق (وهو أمر بالغ الأهمية للتحرير)، يتم أيضاً دمج ميزات الصور منخفضة المستوى من Flux-VAE.
Omni-RoPE: مخطط ترميز موضعي مبتكر يوسع ترميز الموضع الدوار (RoPE). يقوم بتعيين معرف ثلاثي الأبعاد $(\Delta_I, h, w)$ للرموز، حيث $\Delta_I$ هو هوية المثيل (للتمييز بين الصور المختلفة) و $(h, w)$ هما الإحداثيات المكانية المحلية. يسمح هذا للنموذج بالتمييز بين صور متعددة مدخلة مع الحفاظ على المحاذاة المكانية داخل كل صورة.

ب. بناء البيانات

للتغلب على ندرة البيانات، بنى المؤلفون مسارات واسعة النطاق:

بيانات التأسيس: دمج 140 مليون زوج من (صورة-نص) مفتوحة المصدر مع 10 ملايين صورة تم وصفها بواسطة Qwen2.5-VL-72B.
بيانات التحرير والتوليد في السياق: الاستفادة من مصادر الفيديو لإنشاء ثلاثيات متنوعة ومتسقة دلالياً. استخدموا نماذج VLM للكشف عن الموضوعات، والتقسيم (segmentation)، والفلترة، كما وظفوا تقنيات الترميم (inpainting) وإكمال الصور (outpainting) لتوليد أزواج تحرير عالية الجودة.
بيانات الاستدلال: بناء مجموعات بيانات متداخلة وانعكاسية لتعزيز قدرات الاستدلال الزمني والتصحيح الذاتي.

ج. استراتيجية التدريب: التعلم التعزيزي التدريجي

بدلاً من مرحلة تدريب مشتركة واحدة، يستخدم OmniGen2 منهجاً تعليمياً تدريجياً باستخدام تحسين السياسة النسبي الجماعي (GRPO):

تدريب التأسيس: التدريب المسبق على مهام (T2I) والمهام المختلطة، يليه الضبط الدقيق تحت الإشراف (SFT) لصقل الاستدلال.
توافق التعليمات (RL): منهج تعليمي ثلاثي المراحل مصمم لتعزيز نقل المعرفة عبر المهام:
- المرحلة 1 (التحرير): مهام التحرير العامة باستخدام EditScore (نموذج مكافأة متعلم).
- المرحلة 2 (T2I): توليد الصور من النصوص باستخدام GenEval (مكافآت قابلة للتحقق).
- المرحلة 3 (IC): التوليد في السياق باستخدام Qwen2.5-VL-72B كنموذج مكافأة.
- رؤية جوهرية: ترتيب المهام مهم؛ فإعطاء الأولوية لمهام التحرير يبني أساساً قوياً للتعلم اللاحق، بينما يؤدي الترتيب العشوائي إلى انخفاض في الأداء.

3. المساهمات الرئيسية

نموذج OmniGen2: مولد موحد متعدد الوسائط يظهر تفوقاً في اتباع التعليمات، واتساق السياق، وجودة التوليد عبر مهام (T2I)، والتحرير، والتوليد في السياق.
مسار توافق شامل (End-to-End): نهج منهجي يبدأ من بناء نموذج أساسي متعدد الاستخدامات وصولاً إلى مواءمة تعزيزية متعددة المهام مخصصة، مما يتجنب عيوب التخصص المفرط.
Omni-RoPE: مخطط ترميز موضعي موحد يتعامل بفعالية مع مدخلات الصور المتعددة والاتساق المكاني، متفوقاً على متغيرات RoPE الحالية في سرعة التقارب وفقدان إعادة البناء.
معيار OmniContext: معيار جديد وصارم يتكون من ثماني فئات مهام (فردي، متعدد، مشهد) لتقييم اتساق التوليد في السياق. وهو يعالج غياب الأدوات القياسية لهذه القدرة المحددة.
الإصدار المفتوح: أصدر المؤلفون النماذج، والأكواد، ومجموعات بيانات التدريب، ومعيار OmniContext.

4. النتائج

تم تقييم OmniGen2 باستخدام المعايير القياسية ومعيار OmniContext الجديد:

توليد الصور من النصوص (T2I): حقق درجة 0.95 في GenEval، متفوقاً على النماذج الموحدة القوية مثل UniWorld-V1 (0.84) وBAGEL (0.88)، بل وتفوق حتى على نماذج T2I المتخصصة مثل Qwen-Image.
تحرير الصور: في GEdit-Bench-EN، حقق OmniGen2 درجة إجمالية قدرها 7.21 (7.58 للاتساق الدلالي، 7.94 للجودة الإدراكية)، محتلاً المركز الثاني بين النماذج مفتوحة المصدر (بعد Qwen-Image-Edit فقط)، ومتفوقاً على النماذج مغلقة المصدر مثل Gemini-2.5-Flash-Image. وقد أظهر توازناً استثنائياً بين دقة التحرير والحفاظ على المناطق غير المعدلة.
التوليد في السياق: في معيار OmniContext، حقق OmniGen2 درجة إجمالية قدرها 7.95، متفوقاً بشكل كبير على أفضل نموذج مفتوح المصدر سابق (Qwen-Image-Edit-2509 الذي سجل 7.69) ومقترباً من أداء GPT-4o.
الكفاءة: رغم أدائه القوي، يتميز OmniGen2 بالكفاءة، حيث يستخدم 3 مليارات (VLM) + 4 مليارات (Diffusion) من المعلمات فقط، ويتطلب خطوات تدريب أقل بكثير للوصول إلى التقارب مقارنة بمخططات الترميز الموضعي الأخرى.

5. الأهمية

القدرة الموحدة: يثبت OmniGen2 أن نموذجاً واحداً يمكنه التعامل بفعالية مع وسائط متنوعة (الفهم، التوليد، التحرير) دون الحاجة إلى ضبط دقيق لكل مهمة، مما يقربنا أكثر من الذكاء التوليدي العام.
التوافق مع التعليمات كمحرك رئيسي: تقدم الورقة دليلاً قوياً على أن التعلم التعزيزي التدريجي متعدد المهام خطوة حاسمة لتحقيق أنظمة متعددة الوسائط قوية، مما يعزز الأداء بشكل كبير مقارنة بالنماذج الأساسية.
التقييس: يسد تقديم OmniContext فجوة حرجة في المجتمع، حيث يوفر أداة معيارية لقياس التقدم في توليد الصور القابل للتحكم والقائم على المراجع.
القابلية للتوسع والكفاءة: توفر بنية OmniGen2 المنفصلة وتصميم Omni-RoPE مساراً قابلاً للتوسع وفعالاً لنماذج المستقبل متعددة الوسائط، مما يثبت أن الأداء العالي لا يتطلب بالضرورة أعداداً ضخمة من المعلمات أو تعقيدات هيكلية متشابكة.

في الختام، يمثل OmniGen2 قفزة نوعية في جعل نماذج التوليد متعددة الوسائط أكثر قدرة على التحكم والاتساق وتعدد الاستخدامات، واضعاً معياراً جديداً لتوليد الصور المتوافق مع التعليمات.