ملخص تقني: InsertFuse

بيان المشكلة

يهدف إدراج الصور الموجه بالمرجع إلى وضع موضوع مستهدف من صورة مرجعية في منطقة محددة من مشهد مصدر، مع الحفاظ على مظهر الموضوع وهويته، وتكييف حجمه وموضعه المكاني مع السياق الجديد. وبينما أدت التطورات الأخيرة في نماذج الانتشار (diffusion models) ومطابقة التدفق (flow matching) إلى تحسين توليد وتعديل الصور بشكل عام، فإن بناء نموذج موحد قادر على التعامل مع فئات إدراج متنوعة (مثل الإكسسوارات، الملابس، البشر، الحيوانات، والأشياء العامة) لا يزال يمثل تحديًا كبيرًا.

تتطلب فئات الإدراج المختلفة استراتيجيات توليد وأهداف نمذجة مختلفة جوهريًا. فعلى سبيل المثال، يتطلب إدراج الإكسسوارات الحفاظ على دقة الأنسجة، بينما يتطلب تجربة الملابس الافتراضية تشوهًا معقدًا غير صلب، ويمنح إدراج البشر الأولوية لاتساق الهوية. إن تدريب نموذج واحد مباشرة على بيانات مختلطة الفئات يؤدي إلى إدخال إشارات تحسين متضاربة، مما قد يضعف القدرات المتخصصة المطلوبة لكل مهمة. علاوة على ذلك، فإن الأساليب الحديثة مثل "خليط المحولات" (Mixture-of-Transformers - MoE) التي تحاول توجيه المدخلات إلى فروع متخصبة، لا تزال تعتمد على التحسين المشترك ضمن عملية تدريب موحدة، مما يترك النزاعات الخاصة بالفئات دون حل جزئي فقط. بالإضافة إلى ذلك، تفتقر الطرق الحالية غالبًا إلى التحكم المكاني الدقيق وتواجه صعوبة في موازنة الإشراف بين منطقة الإدراج الصغيرة والخلفية الكبيرة، مما يؤدي إلى هيمنة الخلفية على عملية التحسين أو مشاكل في الأداء تعتمد على الحجم.

المنهجية: InsertFuse

يقترح InsertFuse إطار عمل موحد يفصل بين تعلم الخبرة الخاصة بالفئة ودمج القدرات عبر الفئات. يعمل إطار العمل في مرحلتين متميزتين ويقدم ثلاثة مكونات تقنية رئيسية لتعزيز التحكم المكاني ودقة المرجع.

1. إطار التدريب ثنائي المراحل

• المرحلة الأولى: تعلم الخبير الخاص بالفئة. يقوم إطار العمل بتهيئة خبراء متعددين من نموذج تعديل صور يعتمد على مطابقة التدفق مُدرب مسبقًا (تحديدًا Qwen-Image-Edit-2511). يتم تدريب كل خبير بشكل مستقل على فئة إدراج محددة (إكسسوار، حيوان، ملابس، شيء عام، بشر). وهذا يسمما لكل خبير باكتساب معرفة متخصصة من توزيع البيانات المقابل له دون تداخل من الفئات الأخرى.
• المرحلة الثانية: الدمج عبر الفئات عبر تقنية IOPD. يتم تهيئة نموذج "طالب" موحد من نفس العمود الفقري المُدرب مسبقًا. يتم تجميد جميع الخبراء المتخصصين في الفئات. يتم تدريب الطالب باستخدام التقطير على السياسة للتدخل (Insertion On-Policy Distillation - IOPD). في هذه العملية، يقوم الطالب بتوليد مساراته (rollouts) الخاصة. لكل حالة يزورها الطالب، يوفر الخبير المجمد المطابق (الذي يتم اختياره بناءً على تسمية الفئة) هدف سرعة (velocity target). يقوم هذا التقطير بنقل سلوكيات الإدراج المتخصصة ودقة المرجع من الخبراء إلى نموذج الطالب الواحد، مما يخفف من التداخل الناتج عن التدريب المشترك المباشر.

2. المكونات التقنية الرئيسية

لتزويد الخبراء والطالب بالتحكم الدقيق، يقدم InsertFuse ثلاث وحدات مبتكرة:

• الاشتراط الهندسي المتوافق مع الرموز (Token-Aligned Geometry Conditioning - TAGC):
  بدلاً من مجرد دمج قناع ثنائي مع المدخلات المرئية (مما يتطلب من النموذج تعلم الارتباط بين القناع والرمز ضمنيًا)، يقوم TAGC برسم خريطة صريحة للقناع إلى شبكة الرموز المرئية. فهو يبني تمثيلًا هندسيًا مدمجًا $G(M)$ يحتوي على القناع، وتحويل المسافة الموقعة، وخريطة تقارب الحدود. يستخرج مشفر هندسي خفيف الوزن ميزات يتم إسقاطها وحقنها بشكل متبقٍ (residually) في كل من فروع الكمون المستهدفة وسياق المصدر. وهذا يؤسس ارتباطًا مكانيًا صريحًا دون إضافة مدخلات قناع تشبه الصور الإضافية.

• مطابقة التدفق المتوازنة إقليميًا (Region-Balanced Flow Matching - RBFM):
  تعمل أهداف مطابقة التدخل القياسية على حساب متوسط أخطاء التنبؤ بشكل موحد، مما قد يجعل المناطق الكبيرة من الخلفية تهيمن على العملية، تاركةً موضوعات الإدراج الصغيرة دون إشراف كافٍ. يعالج RBFM ذلك من خلال تطبيع أخطاء التنبؤ داخل وخارج منطقة الإدراج بشكل منفصل. فهو يحدد مصطلحات خسارة منفصلة لمنطقة الإدراج ($\ell_{ins}$) والخلفية ($\ell_{bg}$)، بحيث يتم تطبيع كل منها حسب مساحاتها الفعالة الخاصة. هذا يمنع قوة الإشراف من التوسع مع حجم الإدراج ويضمن تحسينًا متوازنًا لكل من الموضوع والخلفية.

• توجيه المرجع الخالي من الفئة (Reference Classifier-Free Guidance - Reference CFG):
  لتعزيز الحفاظ على مظهر وهوية المرجع، يقدم إطار العمل تقنية Reference CFG. أثناء تدريب الخبير، يتم إسقاط شرط المرجع عشوائيًا باحتمالية $p_{drop}$. عند الاستنتاج، يحسب النموذج الفرق بين التنبؤ مع المرجع والتنبؤ بدونه (مع إبقاء شروط المشهد والهندسة ثابتة). يعزل هذا الفرق اتجاه السرعة الناتج عن المرجع، والذي يتم بعد ذلك تضخيمه لتوجيه عملية التوليد. يتم نقل هذا الإشراف المعزز إلى الطالب عبر IOPD، مما يسمح للنموذج الموحد بالحفاظ على اتساق قوي للمرجع دون الحاجة إلى فرع CFG إضافي أثناء الاستنتاج.

المساهمات الرئيسية

1. إطار عمل موحد مع تعلم مفصول: اقتراح InsertFuse، وهو إطار عمل يفصل بين تعلم الخبرة الخاصة بالفئة ودمج القدرات عبر الفئات. يستخدم التقطير على السياسة للتدخل (IOPD) لنقل السياسات المتخصصة إلى طالب واحد، مما يقلل بفعالية من التداخل المتأصل في التدريب المشترك المباشر.
2. تحكم مكاني وإقليمي معزز: تقديم الاشتراط الهندسي المتوافق مع الرموز (TAGC) للمحاذاة الصريحة بين القناع والرمز، ومطابقة التدفق المتوازنة إقليميًا (RBFM) لتطبيع أخطاء الإشراف، مما يضمن أداءً مستقرًا عبر الأجسام ذات الأحجام المختلفة ويمنع هيمنة الخلفية.
3. دقة مرجع معززة: اقتراح Reference CFG، الذي يعزل ويضخم توجيه المرجع المرئي تحت ظروف المشهد الثابتة، مما يحسن الحفاظ على المظهر والهوية.
4. أداء رائد (State-of-the-Art): تجارب واسعة النطاق تثبت أن InsertFuse يتفوق على طرق الإدراج الموجه بالمرجع الحالية ونماذج تحرير الصور الموحدة عبر مقاييس متعددة.

النتائج التجريبية

قيم المؤلفون InsertFuse على معيار AnyInsertion العام ومجموعة اختبار متعددة الفئات مخصصة تغطي الإكسسوارات، الحيوانات، الملابس، الأشياء العامة، والبشر.

• الأداء الكمي: حقق InsertFuse نتائج رائدة في معظم المقاييس. في معيار AnyInsertion، سجل 0.7838 (DINO-I) و 0.9156 (CLIP-I)، مما يشير إلى دقة مرجع قوية. وفي مجموعة الاختبار متعددة الفئات، حقق 0.7148 (DINO-I) و 0.9020 (CLIP-I). كما أظهر جودة إعادة بناء فائقة مع قيم PSNR عالية (24.26/24.40) وSSIM، وقيم LPIPS وFID منخفضة مقارنة بالنماذج المرجعية مثل AnyDoor، وInsert Anything، وA2-Edit، والنماذج العامة مثل FLUX.1 Kontext وQwen-Image-Edit.
• الأداء النوعي: تُظهر المقارنات البصرية أن InsertFuse يحافظ بشكل أفضل على التفاصيل الخاصة بالمرجع (مثل الأنسجة، الشعارات، والأنماط) ويتكيف بشكل طبيعي أكثر مع الهندسة، والوضعية، وعلاقات الاحتجاب مقارنة بالطرق المنافسة، التي تعاني غالبًا من عيوب هيكلية أو انحراف في الهوية.
• دراسة المستخدم: في دراسة مستخدم متعددة الاتجاهات، حصل InsertFuse على أعلى حصص تفضيل (51.8% لدقة المرجع، 58.2% لجودة الإدراج، و55.4% للجودة الإجمالية) عبر جميع المعايير.
• الدراسات الاستقصائية (Ablation Studies):
  • أدى TAGC إلى تحسين المحاذاة الهندسية وانتقالات الحدود بشكل ملحوظ مقارنة بدمج القناع الأساسي أو الحقن الخام.
  • وفر RBFM مكاسب ثابتة مقارنة بمطابقة التدفق العالمية القياسية، خاصة لمناطق الإدراج الصغيرة، من خلال منع هيمنة الخلفية.
  • حسن Reference CFG مقاييس المرجع الموجهة والحفاظ على الأنسجة الدقيقة.
  • أظهر IOPD قدرة فعالة على دمج قدرات الخبراء، حيث تفوق بشكل كبير على التدريب المشترك المباشر (الذي عانى من تداخل التدرج عبر الفئات، كما هو واضح من تشابه جيب التمام السالب بين بعض أزواج الفئات مثل البشر والملابس).

الأهمية

يزعم البحث أن InsertFuse يوفر حلاً موحداً وعملياً لمهام إدراج الصور المتنوعة الموجهة بالمرجع. ومن خلال فصل اكتساب الخبرة المتخصصة عن دمج القدرات عبر الفئات، يعالج إطار العمل النزاع الأساسي في تدريب النماذج الموحدة للمهام غير المتجانسة. توفر المكونات المقترحة (TAGC، RBFM، Reference CFG) توجيهاً هندسياً صريحاً وتحسيناً إقليمياً متوازناً، مما يؤدي إلى أداء قوي في الحفاظ على المرجع، والتكيف المكاني، وجودة التوليد. وتشير النتائج إلى أن فصل التخصص عن الدمج يعد استراتيجية أكثر فعالية من محاولة حل نزاعات الفئات من خلال التحسين المشترك أو آليات التوجيه فقط.