🤖 AI

OmniPrism: Learning Disentangled Visual Concept for Image Generation

يُعد OmniPrism إطار عمل مبتكرًا لفك تشابك المفاهيم البصرية، يستفيد من مسار تدريب تبايني متعامد على مجموعة بيانات متخصصة لتعلم تمثيلات مفاهيمية مفككة وموجهة لغويًا، مما يمكّن نماذج الانتشار من توليد صور إبداعية عالية الجودة مع تحكم دقيق في جوانب محددة مثل المحتوى والأسلوب والتكوين دون حدوث خلط بين المفاهيم.

المؤلفون الأصليون: Yangyang Li, Daqing Liu, Wu Liu, Allen He, Xinchen Liu, Yongdong Zhang, Guoqing Jin

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yangyang Li, Daqing Liu, Wu Liu, Allen He, Xinchen Liu, Yongdong Zhang, Guoqing Jin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك ألبوماً سحرياً للصور، حيث كل صورة هي مزيج مثالي من ثلاثة أشياء: مَن يوجد في الصورة (المحتوى)، وكيف تبدو من الناحية الفنية (الأسلوب)، وأين تقف الأشياء (التخطيط/التوزيع).

في الماضي، إذا أردت نسخ "المحتوى" فقط من صورة ما ووضعه في مشهد جديد، كانت السحر سيصبح فوضوياً. كنت ستنسخ بالخطأ "كيف تبدو الصورة" أو "أين توجد الأشياء" أيضاً. الأمر يشبه محاولة فصل صفار البيض عن البياض دون كسر القشرة؛ فعادةً ما ينتهي بك الأمر بمزيج مخفوق ومختلط.

تقدم هذه الورقة البحثية OmniPrism، وهي أداة ذكاء اصطناعي جديدة تعمل مثل منشور (Prism) فائق القدرة للصور. تماماً كما يقوم المنشور الفيزيائي بتفكيك الضوء الأبيض إلى ألوان متميزة (أحمر، أزرق، أخضر) دون أن تختلط ببعضها البعض، يقوم OmniPrism بتفكيك الصورة إلى "ألوان مفاهيمية" متميزة بحيث يمكنك استخدامها بشكل فردي أو خلطها بطرق جديدة.

إليك كيف يعمل، مقسماً إلى أفكار بسيطة:

1. المشكلة: تأثير "البيض المخفوق"

مولدات صور الذكاء الاصطناعي الحالية رائعة في صنع الصور، لكنها تعاني من نقص الدقة.

الطريقة القديمة: إذا طلبت من الذكاء الاصطناعي "أخذ أسلوب لوحة لفان جوخ وتطبيقه على صورة قطة"، فقد يفعل ذلك. لكن إذا طلبت منه "أخذ القطة من هذه الصورة ووضعها في مشهد جديد"، فقد يسحب معه أسلوب فان جوخ بالخطأ، أو يغير وضعية القطة.
النتيجة: تتسرب المفاهيم إلى بعضها البعض. كنت تريد قطة، لكنك حصلت على قطة تبدو كلوحة فنية وتقف في وضعية غريبة.

2. الحل: الـ OmniPrism

بنى المؤلفون نظاماً يعامل الصورة مثل مجموعة قطع الليغو (Lego). فبدلاً من رؤية القلعة بأكملها، يقوم النظام بتفكيك القطع إلى ثلاث حاويات متميزة:

الحاوية أ (المحتوى): الموضوع (مثل: كلب، طباخ، أسد).
الحاوية ب (الأسلوب): الطابع الفني (مثل: لوحة زيتية، سايبربانك، ألوان مائية).
الحاوية ج (التخطيط/التوزيع): الترتيب (مثل: شخص يجلس على كرسي، سيارة تسير على طريق).

يستخدم OmniPrism "دليلاً لغوياً" خاصاً ليخبر الذكاء الاصطناعي بالضبط أي حاوية يجب أن يأخذ منها.

3. كيف يتعلم: "دراسة التوائم"

لتعليم الذكاء الاصطناعي كيفية فصل هذه الحاويات، أنشأ الباحثون مجموعة بيانات ضخمة وجديدة تسمى PCD-200K.

التشبيه: تخيل أنهم أنشأوا 200,000 زوج من الصور "التوأم".
- الصورة 1: طباخ يطبخ في مطبخ (الأسلوب: واقعي، التخطيط: واقف).
- الصورة 2: طباخ يطبخ في مطبخ، لكن الطباخ أصبح الآن كلباً (الأسلوب: واقعي، التخطيط: واقف).
ولأن الشيء الوحيد الذي تغير هو الموضوع (طباخ مقابل كلب)، يتعلم الذكاء الاصطناعي أن "الطباخ" و"الكلب" هما الشيئان الوحيدان المهمان هنا. "الأسلوب الواقعي" و"الوضعية الواقفة" ظلا كما هما في كلتا الصورتين، لذا يتعلم الذكاء الاصطناعي تجاهلهما عندما يُطلب منه استبدال الموضوع.
لقد فعلوا ذلك للأساليب والتخطيطات أيضاً، لتعليم الذكاء الاصطناعي كيفية التعرف على ما يبقى ثابتاً وما يتغير.

4. السر الكامن في: التفكير "المتعامد" (Orthogonal)

تستخدم الورقة مصطلحاً رياضياً معقداً وهو "Orthogonal"، وهو ما يشبه قولنا متعامد (مثل زاوية الغرفة حيث يلتقي الجدار بالأرض).

التشبيه: تخيل أن عقل الذكاء الاصطناعي عبارة عن غرفة.
- مفهوم "المحتوى" يعيش على الجدار الشمالي.
- مفهوم "الأسلوب" يعيش على الجدار الشرقي.
- مفهوم "التخطيط" يعيش على الأرضية.
ولأن هذه الجدران تلتقي بزوايا 90 درجة مثالية، فهي لا تتداخل أبداً. يمكنك السير على طول الجدار الشمالي (تغيير الموضوع) دون الاصطدام بالجدار الشرقي (تغيير الأسلوب). هذا يضمن أنه عند خلط المفاهيم، تظل نظيفة ولا تصبح "مخفوقة".

5. "تضمينات الكتل" (Block Embeddings): المترجم الشخصي

نموذج الذكاء الاصطناعي الذي يستخدمونه (نموذج الانتشار - Diffusion Model) يشبه أوركسترا ضخمة ذات أقسام مختلفة (وتريات، نحاسيات، إيقاع).

المشكلة: أحياناً يختلط مفهوم "الأسلوب" ويحاول التحدث مع قسم "التخطيط" في الأوركسترا.
الحل: يمنح OmniPrism كل قسم من الأوركسترا مترجماً شخصياً (يسمى Block Embeddings). هذا يضمن أنه عندما يتم عزف مفهوم "الأسلوب"، فإنه يتحدث اللغة التي يفهمها قسم "الأسلوب" تحديداً، مما يمنع أي تداخل أو تشويش بين الأقسام.

لماذا هذا مهم؟

مع OmniPrism، يمكنك أخيراً القيام بأشياء إبداعية كانت مستحيلة سابقاً:

الخلط والمطابقة: خذ وجه أحد المشاهير، ونمط ملابس رجل عصابات من عشرينيات القرن الماضي، ووضعية مدرب يوغا، واجمعهم في صورة واحدة مثالية دون أن يتصارعوا فيما بينهم.
الحرية الإبداعية: يمكن للفنانين تغيير الخلفيات، أو تغيير الأنماط الفنية، أو إعادة ترتيب المشاهد فوراً دون أن يرتبك الذكاء الاصطناعي ويفسد الصورة.

باختصار: OmniPrism هو أداة "القص واللصق" المثالية للعالم المرئي، ولكن بدلاً من قص البكسلات، فإنه يقص الأفكار، ويبقيها نظيفة تماماً لتتمكن من بناء أي شيء تتخيله.

إليك ملخص تقني مفصل لورقة البحث بعنوان "OmniPrism: تعلم المفاهيم البصرية المتفككة لتوليد الصور".

1. بيان المشكلة

تعاني طرق توليد الصور من نص إلى صورة (T2I) الحالية القائمة على نماذج الانتشار (diffusion models) من مشكلة تفكك المفاهيم البصرية (visual concept disentanglement). وبينما تتفوق الأساليب الحالية في المهام أحادية البعد (مثل تخصيص الموضوع أو نقل الأسلوب)، فإنها تواجه عقبتين حرجتين عند محاولة التوليد متعدد الأبعاد:

تسرب المفهوم (Concept Leakage): عند محاولة الجمع بين عدة مفاهيم (مثل موضوع محدد في أسلوب وتخطيط معينين)، غالبًا ما تتسرب المفاهيم غير ذات الصلة من الصورة المرجعية إلى المخرجات، مما يسبب ارتباكًا (على سبيل المثال، قد يؤدي نموذج التنميط إلى تغيير الموضوع دون قصد).
نقص المرونة: صُممت معظم الأساليب لأبعاد محددة (الموضوع فقط أو الأسلوب فقط) ولا يمكن تكييفها بسهولة مع أبعاد أخرى أو دمجها بمرونة دون معالجة مسبقة معقدة أو ضبط دقيق عبر الإنترنت.
تشابك التمثيل (Representation Entanglement): في فضاء التمثيل الكامن، غالبًا ما تكون المفاهيم البصرية المختلفة (المحتوى، الأسلوب، التخطيط) متشابكة، مما يجعل من الصعب عزلها والتحكم فيها بشكل مستقل باستخدام اللغة الطبيعية.

2. المنهجية: OmniPrism

يقترح المؤلفون OmniPrism، وهو إطار عمل مصمم لتفكيك المفاهيم البصرية إلى أبعاد متعامدة (المحتوى، الأسلوب، التخطيط) مدفوعة باللغة الطبيعية. المكونات الأساسية هي:

أ. مجموعة البيانات المزدوجة للمفاهيم المتفككة (PCD-200K)

لمعالجة نقص بيانات التدريب حيث تكون المفاهيم المستهدفة مفصولة صراحة عن المفاهيم غير ذات الصلة، أنشأ المؤلفون مجموعة بيانات جديدة مكونة من 200,000 عينة مزدوجة.

الهيكل: تتكون كل زوج من صورة مرجعية ( $I_{ref}$ ) وصورة مستهدفة ( $I_{tar}$ ) تشتركان في مفهوم مستهدف محدد ولكنهما تختلفان في أبعاد أخرى.
البناء:
- المحتوى (Content): استخدام FLUX وKolors-inpainting لتبديل المواضيع مع الحفاظ على المشهد.
- الأسلوب (Style): استخدام Instant-Style لتطبيق نفس الأسلوب على مواضيع مختلفة.
- التخطيط (Layout): استخدام ControlNet-Depth للحفاظ على العلاقات المكانية مع تغيير المحتوى.
التوجيه: يتضمن كل زوج مطالبة توجيهية للمفهوم ( $T_{cg}$ ) (مثل "طباخ"، "أسلوب"، "تخطيط") تشير إلى المفهوم المشترك.

ب. تفكيك المفاهيم المدفوع باللغة

يستخدم OmniPrism مستخرج مفاهيم متعدد الوسائط يعتمد على Q-Former (من BLIP-2) لاستخراج تمثيلات مفاهيم محددة من الصورة المرجعية بتوجيه من النص.

الآلية: يأخذ المستخرج الصورة المرجعية ونص توجيه المفهوم. ويستخدم استعلامًا (Query - $q$ ) قابلًا للتعلم للتفاعل مع ميزات الصورة عبر الانتباه المتقاطع (cross-attention).
تضمينات الكتل (Block Embeddings): تم تقديم مجموعة جديدة من تضمينات الكتل ( $e_1 \dots e_N$ ) القابلة للتعلم، والتي تُضاف إلى الاستعلام لكل كتلة انتشار (diffusion block) محددة في شبكة U-Net. يسمح هذا للنموذج بتكييف تمثيل المفهوم المستخرج مع "نطاق المفهوم" الخاص بكل طبقة (مثل الطبقات الخشنة للأسلوب، والطبقات الدقيقة للدلالات)، مما يحسن الاتساق.

ج. التعلم التبايني المتعامد المتفكك (COD)

لضمان أن المفاهيم المستخرجة مستقلة حقًا ولا تتداخل مع بعضها البعض، قدم المؤلفون آلية تعلم تبايني أثناء التدريب.

الاستعلام المضاد (Anti-Query - $q_a$ ): تم تصميم "استعلام مضاد" قابل للتعلم لالتقاط المفاهيم غير ذات الصلة (عينات سلبية) من الصورة المرجعية.
قيد التعامد (Orthogonality Constraint): تفرض دالة الخسارة ( $L_{COD}$ $L_{C O D}$ ) شرطين في فضاء التمثيل:
1. التشابه: يجب أن يكون تمثيل المفهوم المستهدف ( $f_{cpt}$ ) قريبًا من المفهوم المستهدف في الصورة المستهدفة ( $f_{tar}_{cpt}$ ).
2. التعامد: يجب أن يكون تمثيل المفهوم المستهدف متعامدًا (تشابه جيب التمام $\approx 0$ ) مع تمثيل المفهوم غير ذي الصلة ( $f^a_{cpt}$ ) الذي التقطه الاستعلام المضاد.
إجمالي الخسارة: $L_{total} = L_{ldm} + \lambda \cdot L_{COD}$ ، حيث $L_{ldm}$ هي خسارة الانتشار القياسية.

3. المساهمات الرئيسية

إطار عمل OmniPrism: نهج مبتكر لتوليد المفاهيم البصرية متعددة الأبعاد المتفككة التي تحقق دقة عالية لكل من المطالبات النصية والمفاهيم المطلوبة دون تسرب للمفاهيم.
آلية تعلم COD: استراتيجية تعلم تبايني تجبر تمثيلات المفاهيم صراحةً على أن تكون متعامدة، مما يسمح بالجمع الحر للمفاهيم غير المتجانسة (مثل الجمع بين موضوع معين، وأسلوب، وتخطيط من صور مختلفة).
تضمينات الكتل (Block Embeddings): تقنية لمحاذاة تمثيلات المفاهيم مع النطاقات الدلالية المحددة لكتل الانتشار المختلفة، مما يعزز اتساق التوليد.
مجموعة بيانات PCD-200K: أول مجموعة بيانات مزدوجة واسعة النطاق مصممة خصيصًا لتفكيك المفاهتم، مما يوفر موردًا حيويًا للتدريب والتقييم.

4. النتائج التجريبية

تم تقييم الطريقة على DreamBench (للموضوع الواحد) وعلى DisenBench الجديد (لتفكيك المفاهيم المتعددة).

الأداء الكمي:
- اتساق المفهوم: حقق أعلى درجات Mask CLIP-I و Mask DINO على DisenBench، مما يشير إلى قدرة فائقة على الحفاظ على المفهوم المستهدف مع تجاهل المفاهيم غير ذات الصلة.
- الدقة النصية: حقق أعلى درجات CLIP-T، مما يظهر محاذاة قوية مع المطالبة النصية.
- الأسلوب والتخطيط: تفوق على الأساليب الرائدة (مثل IP-Adapter، BLIP-Diffusion، DEADiff، SSR-Encoder، MS-Diffusion، OmniGen) في تشابه الأسلوب واتساق التخطيط (المقاس بمسافة الهيكل البارز).
- جودة الصورة: حقق أعلى درجة جمالية (Aesthetic Score).
الأداء النوعي:
- أظهر القدرة على تفكيك المحتوى والأسلوب والتخطيط من صورة مرجعية واحدة بناءً على مطالبات اللغة الطبيعية.
- نجح في الجمع بين مفاهيم متعددة من صور مختلفة (مثل الموضوع A + الأسلوب B + التخطيط C) دون حدوث تعارضات.
- دراسات الاستئصال (Ablation Studies): أكدت أن إزالة تضمينات الكتل قللت من المحاذاة، وإزالة COD تسببت في تسرب المفهوم، وإزالة التعامد أدت إلى خلط المفاهيم أثناء عملية الجمع.

5. الأهمية

حل مشكلة تسرب المفهوم: يعالج OmniPrism عقبة أساسية في الذكاء الاصطناعي التوليدي: عدم القدرة على التحكم في سمات بصرية متعددة بشكل مستقل دون أن تتداخل مع بعضها البعض.
المرونة الإبداعية: من خلال تمكين "الجمع الحر" للمفاهيم، يفتح OmniPrism آفاقًا جديدة لسير العمل الإبداعي، مما يسمح للفنانين بخلط ومطابقة المواضيع والأساليب والتكوينات من مصادر متنوعة بسلاسة.
الابتكار المرتكز على البيانات: يسلط إنشاء PCD-200K الضوء على أهمية هياكل البيانات المزدوجة المتخصصة لتدريب التمثيلات المتفككة، مما يضع سابقة للأبحاث المستقبلية في التوليد القابل للتحكم.
القدرة على التعميم: الطريقة متوافقة مع نماذج أساسية مختلفة (SDXL، ونماذج الرسوم المتحركة ثلاثية الأبعاد)، وتدعم ضوابط إضافية مثل ControlNet، مما يجعلها أداة متعددة الاستخدامات لمجتمع توليد الصور الأوسع.

باختصار، يمثل OmniPrism خطوة مهمة نحو توليد الصور القابل للتحكم، منتقلاً من تخصيص البعد الواحد إلى نموذج توليد مفاهيم متعدد الأبعاد ومتفكك بالكامل مدفوع باللغة الطبيعية.