🤖 AI

InstructMoLE: Instruction-Guided Mixture of Low-rank Experts for Multi-Conditional Image Generation

يقدم InstructMoLE إطار عمل لخليط من الخبراء منخفضة الرتبة بتوجيه تعليماتي يستبدل التوجيه على مستوى الرمز بإشارة عالمية مشتقة من التعليمات لحل مشكلات التداخل بين المهام والتجزئة المكانية في توليد الصور متعدد الشروط، مما يحقق تحكماً تركيبياً وفاءً دلالياً فائقين مقارنة بالطرق الحالية.

المؤلفون الأصليون: Jinqi Xiao, Qing Yan, Liming Jiang, Zichuan Liu, Hao Kang, Shen Sang, Tiancheng Zhi, Jing Liu, Cheng Yang, Xin Lu, Bo Yuan

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jinqi Xiao, Qing Yan, Liming Jiang, Zichuan Liu, Hao Kang, Shen Sang, Tiancheng Zhi, Jing Liu, Cheng Yang, Xin Lu, Bo Yuan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً فائق الذكاء (ذكاء اصطناعي) يمكنه رسم أي شيء تصفه. ولكن في بعض الأحيان، عندما تعطيه تعليمات معقدة مثل: "ارسم طفلاً يحبو على العشب، وحصاناً أبيض يرعى في مكان قريب، وخوذة كرة قدم"، يصاب الفنان بالارتباك.

إذا حاول الفنان أن يقرر ما سيرسمه لكل بكسل صغير في الصورة بشكل مستقل (بكسل تلو الآخر)، فقد يرسم رأس الطفل بشكل صحيح ولكنه يعطي جسمه ساق حصان، أو يجعل الخوذة تطفو في مكان خاطئ. النتيجة هي صورة مشتتة وغير متسقة حيث لا تتناسب الأجزاء المختلفة مع بعضها البعض منطقياً.

تقدم هذه الورقة البحثية طريقة جديدة لتعليم هذا الفنان، تسمى InstructMoLE. وإليك كيف تعمل، باستخدام تشبيهات بسيية:

1. المشكلة: الارتباك "بكسل تلو الآخر"

الطرق التقليدية (مثل LoRA) تشبه إعطاء تعليمات مختلفة لكل بكسل منفرد في الصورة.

التشبيه: تخيل جوقة موسيقية حيث يقرأ كل مغنٍ نوتة موسيقية مختلفة. أحد المغنيين يعتقد أنه يغني عن حصان، والآخر يعتقد أنه يغني عن خوذة. النتيجة هي ضجيج، وليست أغنية.
المشكلة: في توليد الصور، يتسبب هذا في "تجزؤ مكاني". قد يبدو الطفل كأنه حصان، أو قد تكون الخوذة داخل العشب. يفقد الفنان القدرة على رؤية "الصورة الكبيرة" لطلبك.

2. الحل: "مجلس الخبراء"

يقترح المؤلفون نظاماً يسمى خليط من الخبراء منخفض الرتبة (Mixture of Low-rank Experts - MoLE).

التشبيه: بدلاً من فنان عام واحد، تخيل فريقاً من 8 خبراء متخصصين.
- الخبير (أ) بارع في رسم الحيوانات.
- الخبير (ب) بارع في رسم الملابس.
- الخبير (ج) بارع في الإضاءة والظلال.
الطريقة القديمة: كان النظام القديم يطلب من كل بكسل اختيار خبيره الخاص. بكسل العشب قد يختار "الخبير أ"، بينما بكسل الحصان يختار "الخبير ب"، مما يؤدي إلى مزيج فوضوي.
طريقة InstructMoLE: ينظر النظام إلى تعليماتك الكاملة أولاً. ويقول: "حسناً، هذا الطلب يتعلق بمشهد يحتوي على حيوانات وأشياء. أحتاج أن يتفق الفريق بأكمله على خطة واحدة".

3. السر الكامن: "التوجيه الموجه بالتعليمات" (Instruction-Guided Routing - IGR)

هذا هو الابتكار الجوههري. بدلاً من ترك البكسلات تختار الخبراء، يقرأ النظام جملتك الكاملة ويختار "مجلس خبراء" واحداً لطبقة الصورة بأكملها.

التشبيه: فكر في مخرج سينمائي. قبل تصوير مشهد ما، يجمع المخرج طاقم العمل ويقول: "اليوم سنصور مشهداً يحتوي على طفل وحصان. الجميع، ركزوا على هذا الأسلوب وهذه العلاقة المحددة".
كيف يساعد ذلك: يضمن المخرج (نظام التوجيه) أن يتبع كل جزء من الصورة نفس الخطة. يظل الطفل طفلاً، ويظل الحصان حصاناً، ويظلان في العلاقة الصحيحة مع بعضهما البعض. هذا يمنع المظهر "المجزأ".

4. الحفاظ على تنوع الفريق: "خسارة التعامد" (Orthogonality Loss)

هناك خطر من أنه إذا كان لديك فريق من الخبراء، فقد يبدأ الجميع في فعل الشيء نفسه تماماً (على سبيل المثال، جميع الخبراء الثمانية يتعلمون رسم الخيول فقط). وهذا ما يسمى "انهيار الخبير".

التشبيه: تخيل فريقاً رياضياً حيث يقرر حارس المرمى والمهاجم والمدافع جميعاً الوقوف في منطقة المرمى فقط. سيفشل الفريق لأن لا أحد يقوم بوظيفته المحددة.
الحل: أضاف المؤلفون قاعدة خاصة (عقوبة رياضية) تجبر الخبراء على أن يكونوا مختلفين عن بعضهم البعض. الأمر يشبه مدرباً يقول: "أنت، يجب أن تكون حارس المرمى. وأنت، يجب أن تكون المهاجم. لا يمكنك القيام بنفس وظيفة زميلك".
النتيجة: يضمن هذا أنه عندما يختار النظام "مجلس خبراء"، فإنه يحصل على مجموعة من الخبراء الذين يقدمون بالفعل مهارات مختلفة، مما يجعل الصورة النهائية أغنى وأكثر دقة.

الخلاصة

تزعم الورقة البحثية أنه باستخدام نهج "المخرج العالمي" (التوجيه الموجه بالتعليمات) وإجبار "الفريق المتخصص" على البقاء متنوعاً، يمكن للذكاء الاصطناعي اتباع التعليمات المعقدة بشكل أفضل بكثير من ذي قبل.

قبل: كان بإمكان الذكاء الاصطناعي رسم طفل برأس حصان أو وضع خوذة على الشخصية الخطأ لأنه كان يفكر بشكل محلي للغاية.
الآن: يفهم الذكاء الاصطناعي القصة الكاملة التي أخبرته بها ويطبق تلك القصة باستمرار عبر الصورة بأكملها، مما ينتج صوراً متماسكة وعالية الجودة تطابق قصدك بدقة.

اختبر المؤلفون ذلك على نموذج ذكاء اصطناعي قوي (Flux.1) ووجدوا أنه يعمل بشكل أفضل بكثير في التعامل مع المواضيع المتعددة، وتغيير الأساليب، واتباع التعليمات المكانية المعقدة مقارنة بالطرق السابقة.

ملخص تقني: InstructMoLE

بيان المشكلة

تواجه عملية الضبط الدقيق كفء المعلمات (PEFT) لنماذج محولات الانتشار (Diffusion Transformers - DiTs) من أجل توليد الصور متعددة الشروط (مثل: تكوين متعدد الموضوعات، تحرير الصور) تحديات كبيرة عند استخدام المهايئات الأحادية مثل LoRA، ويرجع ذلك أساساً إلى التداخل بين المهام والنسيان الكارثي. وبينما توفر بنياويات خليط الخبراء (Mixture-of-Experts - MoE) حلاً نموذجياً عبر تنويع الخبراء للمهام المختلفة، إلا أن تطبيقها على نماذج الانتشار ظل محدوداً بسبب سياسات التوجيه الموروثة من النماذج اللغوية.

تستخدم النهج الحالية عادةً التوجيه على مستوى الرمز (token-level routing)، حيث يختار كل جزء من الصورة (patch) خبيراً بشكل مستقل بناءً على الحالات الخفية المحلية. وتجادل الورقة بأن عملية اتخاذ القرار المحلية هذه لا تتوافق جوهرياً مع الطبيعة العالمية لتعليمات المستخدم. ففي مهام التوليد المعقدة (مثل: "طفل يحبو على العشب، حصان أبيض في مكان قريب، وخوذة كرة قدم")، تضع التعليمات علاقات دلالية عالمية. ويفشل التوجيه على مستوى الرمز في الحفاظ على هذه العلاقات، مما يؤدي إلى:

التجزئة المكانية: عدم استمرارية إقليمية في الأسلوب والدرجة اللونية.
اضطراب التوجيه (Routing Jitter): تضخيم الضوضاء عالية التردد.
الانجراف الدلالي: الفشل في الالتزام بالقصد الكلي للتعليمات، مما يؤدي إلى موضوعات غير متماسكة أو تجاهل السمات.

المنهجية

يقترح المؤلفون InstructMoLE، وهو إطار عمل يستبدل التوجيه على مستوى الرمز بسياسة متسقة عالمياً وموجهة بالتعليمات. تعتمد البنية على العمود الفقري Flux.1 Kontext وتستخدم خبراء التكيف منخفض الرتبة (LoRA).

1. التوجيه الموجه بالتعليمات (IGR)

بدلاً من اختيار الخبراء لكل رمز، يستخدم InstructMoLE سياسة توجيه على مستوى النموذج (instance-level routing).

استخلاص الإشارة العالمية ( $Z_{global}$ ): يتم استخلاص إشارة توجيه عالمية من تعليمات النص الخاصة بالمستخدم ( $I_c$ $I_{c}$ ). تقوم هذه الإشارة بدمج تمثيلين:
- تضمين CLIP: يوفر ركيزة دلالية شاملة وقوية.
- الاستخلاص بأسلوب Perceiver: استعلام كامن قابل للتعلم يتفاعل تكرارياً مع السمات على مستوى الرمز من مشفر T5. يلتقط هذا التفاصيل التركيبية الدقيقة (مثل: الارتباطات بين اللون والموضوع) التي قد يتجاهلها مجرد تضمين CLIP المجمع.
مجلس الخبراء الموحد: في كل طبقة من طبقات النموذج، يحسب الموجه مجموعة واحدة من أوزان البوابة بناءً على $Z_{global}$ . يتم بعد ذلك بث هذا "المجلس الخبير" (مجموعة Top- $k$ من الخبراء) بشكل متطابق لجميع الرموز المكانية داخل تلك الطبقة. يضمن ذلك أن عملية توليد الصورة بأكملها عند مستوى تجريد معين تخضع لمجموعة متسقة من الخبراء المتوافقين مع نية المستخدم.

2. فقدان التعامد في مساحة المخرجات

لمنع انهيار الخبراء (expert collapse) (حيث تتعلم الخبراء المتميزة وظائف مكررة)، قدم المؤلفون منظمًا جديدًا.

تضمن خسائر موازنة الحمل القياسية تكرار الاستخدام فقط ولكنها لا تضمن التنوع الوظيفي.
تعمل خسارة التعامد ( $L_{ortho}$ ) على مخرجات ما قبل البوابة لجميع الخبراء. وهي تحسب تشابه جيب التمام المربع لمتجهات المخرجات المسطحة لكل زوج من الخبراء.
من خلال تقليل هذه الخسارة، يُجبر النموذج على تعلم أدوار وظيفية متعامدة متبادلاً لكل خبير، مما يضمن أن المجلس المختار يقدم مجموعة متنوعة من القدرات بدلاً من الحلول المكررة.

3. أهداف التدريب

تجمع دالة الخسارة الإجمالية بين ثلاثة مكونات:
$L_{total} = L_{flow} + \lambda_{aux}L_{aux} + \lambda_{ortho}L_{ortho}$

$L_{flow}$ : خسارة مطابقة التدفق/الانتشار القياسية لدقة التوليد.
$L_{aux}$ : خسارة موازنة الحمل المساعدة لمنع الاعتماد المفرط على عدد قليل من الخبراء.
$L_{ortho}$ : خسارة التعامد المقترحة للتنوع الوظيفي.

المساهمات الرئيسية

تحديد عدم توافق التوجيه: تحدد الورقة عدم التطابق الحرج بين التوجيه المحلي للرموز والدلالات العالمية للتعليمات في توليد الصور متعدد الشروط.
التوجيه الموجه بالتعليمات (IGR): إطار عمل جديد يشترط اختيار الخبراء بالكامل على إشارة عالمية مستمدة من تعليمات المستخدم، مما يضمن الاتساق الهيكلي والدلالي عبر الصورة.
تنظيم التعامد: دالة خسارة جديدة تعزز صراحة التنوع الوظيفي بين الخبراء، مما يخفف من انهيار التمثيل بشكل أكثر فعالية من موازنة الحمل وحدها.
التحقق التجريبي: تجارب مكثفة تثبت تفوق InstructMoLE على مهايئات LoRA الحالية ومتغيرات MoE (بما في ذلك خطوط الأساس للتوجيه على مستوى الرمز) في اختبارات معايير متعددة الشروط صعبة.

النتائج التجريبية

تم ضبط النموذج بدقة باستخدام العمود الفقري Flux.1 Kontext على مجموعة بيانات متنوعة من البيانات المصنعة والعامة (بما في ذلك تبديل الوجوه، نقل الأسلوب، التكوين متعدد الموضوعات، والتحكم المكاني).

توليد متعدد الموضوعات (XVerseBench): حقق InstructMoLE أعلى متوسط درجة (71.07)، متفوقاً على خط الأساس القوي Flux.1 Kontext (68.04) و DreamO-v1.1 (69.57). وأظهر قوة خاصة في الحفاظ على الهوية (ID-Sim) ودقة الكائن (IP-Sim).
تحرير صورة واحدة (GEdit-EN-full): حققت الطريقة أعلى متوسط درجة (6.17) بين النماذج المقارنة، متجاوزة OmniGen2 (5.45) بنسبة تزيد عن 13% و Flux.1 Kontext (6.06). وقد برعت في المهام التي تتطلب تلاعبات عالمية ومحلية معاً.
التوليد في السياق (OmniContext): حقق InstructMoLE أعلى درجة ID-Sim (38.85) بين النماذج المنشورة، محققاً توازناً أفضل بين الالتزام بالتعليمات والحفاظ على الهوية مقارنة بـ OmniGen2 (الذي كان لديه اتباع عالٍ للمطالبات ولكن حفظ ضعيف للهوية).
دراسات الاستئصال (Ablation Studies):
- سياسة التوجيه: تفوق IGR بشكل كبير على التوجيه على مستوى الرمز (Standard, Expert Choice, Expert Race) في مهام المحاذاة المكانية (Depth RMSE, Ccut Canny F1, Pose F1)، مما يؤكد أن الاتساق العالمي أمر بالغ الأهمية للسلامة الهيكلية.
- المكونات: أدى إزالة خسارة التعامد أو استخلاص الإشارة بأسلوب Perceiver إلى انخفاض ملموس في الأداء، مما يؤكد ضرورة كل من التنوع الوظيفي والترميز الدقيق للتعليمات.

الأهمية والادعاءات

تدعي الورقة أن التوجيه الموجه بالتعليمات (IGR) يمثل نموذجاً أكثر فعالية من التوجيه التقليدي على مستوى الرمز للضبط الدقيق الموجه بالتعليمات للنماذج التوليدية. ومن خلال ربط اختيار الخبير بالنية الكلية للمستخدم، يتيح InstructMoLE ما يلي:

تحكم تركيبي فائق: القدرة على رسم مشاهد معقدة مع موضوعات متعددة وعلاقات مكانية محددة دون تجزئة.
الدقة في نية المستخدم: تحسين الالتزام بالتعليمات المعقدة (سلسلة الأفكال) والحفاظ على الهوية في مهام التحرير.
المتانة: يحافظ الإطار على دقة عالية حتى عند معالجة تعليمات معقدة، رغم أن المؤلفين يشيرون إلى قيود في حالات الفساد النصي الشديد أو أحمال المراجع القصوى (ربط أكثر من 3 كيانات).

يؤسس هذا العمل إطار عمل قوياً وقابلاً للتعميم للضبط الدقيق كفء المعلمات لنماذج محولات الانتشار، معالجاً التحديات المحددة لتوليد متعدد الشروط التي تفشل في حلها المهايئات الأحادية ونماذج MoE ذات التوجيه المحلي.