💻 computer science

Cora: Correspondence-aware image editing using few step diffusion

تُعد "كورا" (Cora) إطار عمل جديد للانتشار متعدد الخطوات لتحرير الصور، يستفيد من تصحيح الضوضاء المدرك للتوافق وخرائط الانتباه المستقاة من الاستيفاء لتصحيح البنية والسمات الهوية بفعالية، مع تمكين تشوهات غير صلبة وتعديلات للأجسام وتوليد للمحتوى بشكل كبير وبأقل قدر من العيوب.

المؤلفون الأصليون: Amirhossein Alimohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amirhossein Alimohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة لصديقك وهو جالس على مقعد في حديقة. تريد استخدام الذكاء الاصطنا आर्टिफिशियल لتعديل الصورة بحيث يصبح صديقك الآن يقفز في الهواء، ويرتدي رداء بطل خارق، وتتغير الخلفية من حديقة إلى أفق مدينة.

القيام بذلك باستخدام أدوات الذكاء الاصطناعي القديمة يشبه محاولة تعديل منحوتة طينية بمجرد الطلاء فوقها. إذا قلت للذكاء الاصطناعي "اجعلهم يقفزون"، فقد يحاول الذكاء الاصطناعي مطّ الطين، مما ينتج عنه وجه غريب مشوه أو جسد يبدو وكأنه مصنوع من المطاط. وإذا طلبت منه إضافة رداء، فقد يضع الرداء بالخطأ على المقعد أو يجعل وجه صديقك يختفي.

Cora هي طريقة جديدة وأكثر ذكاءً للقيام بذلك. فكر فيها كـ خياط رقمي ماهر لا يفهم فقط كيف تبدو الصورة، بل يفهم أيضاً كيف يتصل كل جزء منها بالأجزاء الأخرى.

إليك كيف يعمل Cora، مقسماً إلى ثلاثة مفاهيم بسيطة:

1. مشكلة "الخريطة" (الضجيج المدرك للمراسلات - Correspondence-Aware Noise)

الطريقة القديمة: تخيل أن لديك خريطة لمدينة. قررت نقل أيقونة المكتبة إلى شارع جديد. إذا قمت بسحب أيقونة المكتبة فقط على الخريطة دون تحديث الطرق، ستنتهي المكتبة عائمة في منتصف نهر.
طريقة Cora: يقوم Cora بإنشاء خريطة ديناميكية (تسمى "المراسلة") قبل أن يبدأ التعديل. ينظر إلى الصورة الأصلية والفكرة الجديدة ويقول: "حسناً، ساق الصديق اليسرى في الصورة الأصلية أصبحت الآن في الهواء في الصورة الجديدة. أحتاج إلى نقل ملمس (texture) تلك الساق إلى الموقع الجديد".
إنه يضمن أنه عندما "يرسم" الذكاء الاصطناعي الصورة الجديدة، فإنه يعرف بالضبط أين يجب أن تذهب البشرة والشعر والملابس الأصلية، حتى لو تغير مكانها أو شكلها. هذا يمنع التشويه أو "الذوبان" أو العيوب التي تراها في الأدوات الأخرى.

2. مشكلة "الخلاط" (الاستيفاء الانتباهي - Attention Interpolation)

الطريقة القديمة: تخيل أنك تخلط اثنين من العصائر (Smoothies). أحدهما بالفراولة (الصورة الأصلية) والآخر بالتوت الأزرق (الفكرة الجديدة).

الطريقة (أ) (النسخ فقط): تستخدم عصير الفراولة فقط. النتيجة سيكون طعمها فراولة، رغم أنك أردت توتاً أزرق. هنا يرفض الذكاء الاصطناعي التغيير الكافي في الصورة.
الطريقة (ب) (سكّهما معاً): تسكب عصير الفراولة بالكامل داخل عصير التوت الأزرق. الآن أصبح لديك خليط غريب وغير متجانس حيث تطفو بذور الفراولة داخل عصير التوت. هنا يضع الذكاء الاصطناعي أجزاءً من الخلفية الأصلية على الجسم الجديد عن طريق الخطأ.
طريقة Cora: يستخدم Cora خلاطاً ذكياً (يسمى "الاستيفاء الكروي" - Spherical Interpolation). هو لا يمزج الاثنين فحسب؛ بل يمزجهما بشكل مثالي بناءً على مدى تشابه المكونات.
إذا كان الذكاء الاصطناعي بحاجة للحفاظ على وجه الصديق (لأنه لا يزال نفس الشخص)، فإنه يمزج "نكهة الفراولة".
إذا كان الذكاء الاصطناعي بحاجة لابتكار رداء بطل خارق جديد لم يكن موجوداً من قبل، فإنه يعرف أنه يجب استخدام 100% من "التوت الأزرق" (الفكرة الجديدة) ويتجاهل الفراولة.
هذا يسمح للذكاء الاصطناعي بالحفاظ على الهوية مع ابتكار أشياء جديدة حول الشخص دون أن يختلطا ببعضهما البعض.

3. مشكلة "الهيكل العظمي" (المحاذاة الهيكلية - Structural Alignment)

الطريقة القديمة: تخيل أنك تعيد ترتيب الأثاث في غرفة. إذا قمت بنقل الأريكة فقط دون التحقق من الجدران، فقد تنتهي بالأرية عائمة في الهواء أو تسد الباب.
طريقة Cora: يتحقق Cora أولاً من الهيكل العظمي للصورة. يسأل نفسه: "أين توجد الهياكل الرئيسية؟" (مثل خط الأفق، موقع رأس الشخص، الأرجل).
يقوم بتثبيت هذه الهياكل في مكانها أولاً. ثم يترك "اللحم" (الألوان والملامس) يتغير. هذا يضمن أنه حتى لو كان صديقك يقفز، فإنه لا يزال واقفاً على الأرض (أو في الهواء، حسب الطلب) بطريقة منطقية فيزيائياً، بدلاً من أن يكون عائماً بشكل عشوائي.

النتيجة؟

لأن Cora مبني على نسخة "سريعة" من الذكاء الاصطناعي (تسمى الانتشار في خطوات قليلة - Few-Step Diffusion)، فإنه يقوم بكل هذا التفكير والرسم في 4 خطوات فقط بدلاً من الـ 20 إلى 50 خطوة المعتادة.

الذكاء الاصطناعي القديم: يستغرق وقتاً طويلاً، وتكون النتيجة تبدو كتمثال شمعي ذائب.
Cora: يعمل فورياً، يحافظ على ملامح صديقك كما هي، يضيف الرداء بشكل مثالي، ويجعل القفزة تبدو طبيعية.

باختصار: Cora هو الفرق بين الرسام المبتدئ الذي يلطخ اللوحة وبين المحرر الماهر الذي يعرف تماماً أي بكسلات تنتمي إلى "القصة القديمة" وأي بكسلات تنتمي إلى "القصة الجديدة"، ويمزجهما معاً بسلاسة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Cora: تحرير الصور القائم على الارتباط باستخدام الانتشار في خطوات معدودة".

1. بيان المشكلة

تقدم تحرير الصور باستخدام نماذج الانتشار (Diffusion Models) بشكل كبير، لا سيال مع نماذج الانتشار ذات الخطوات المعدودة (مثل SDXL-Turbo) التي تتيح التوليد السريع. ومع ذلك، تعاني طرق التحرير الحالية ذات الخطوات المعدودة من صعوبة في التعامل مع التحريرات التي تتطلب تغييرات هيكلية كبيرة، مثل:

التشوهات غير الصلبة (Non-rigid deformations): (مثل تغيير الوضعية من الوقوف إلى القفز).
إدراج/إزالة الكائنات: (إدخال محتوى جديد غير موجود في الصورة المصدر).
نقل الأنسجة المعقدة (Complex texture transfers): مع الحفاظ على الهوية.

قصور النهج الحالية:

عيوب عكس الضجيج (Noise Inversion Artifacts): تعتمد طرق مثل TurboEdit على عكس الضجيج. عندما يتطلب الهدف تغييرات هيكلية، فإن تصحيحات الضجيج ( $z_t$ ) المستمدة من الصورة المصدر لا تعود متوافقة مكانياً مع الصورة المستهدفة المولدة. يؤدي هذا إلى عيوب شديدة، وعدم اتساق في الأنسجة، واختلالات في الخطوط الخارجية (مثل عودة الأرجل إلى الوضعية الأصلية فجأة).
حقن الميزات الصلب (Rigid Feature Injection): تقوم طرق مثل MasaCtrl بحقن مفاتيح وقيم (Keys and Values - $K_S, V_S$ ) الصورة المصدر في آلية الانتباه الذاتي للصورة المستهدفة للحفاظ على الهوية. وبينما يعد هذا فعالاً لنقل المظهر، إلا أنه يفشل عندما تكون هناك حاجة لمحتوى جديد، حيث يجبر النموذج على نسخ أنسجة غير ذات صلة من المصدر إلى مناطق لا يوجد فيها ارتباط.
فشل الاستيفاء البسيط (Simple Interpolation Failures): غالباً ما تؤدي عمليات الربط (Concatenation) أو الاستيفاء الخطي (LERP) بين ميزات المصدر والهدف إلى "نزيف المظهر" (على سبيل المثال، تسرب ألوان السيارة الحمراء إلى الحافلة البيضاء) أو انتقالات غير طبيعية.

2. المنهجية: Cora

Cora هو إطار عمل مبتكر مبني على SDXL-Turbo (نموذج انتشار بـ 4 خطوات) يقدم تصحيح ضجيج مدرك للارتباط وخرائط انتباه مستوفاة لتحقيق التوازن بين المرونة الهيكلية والحفاظ على المحتوى.

أ. تصحيح الكامن المدرك للارتباط (Correspondence-Aware Latent Correction)

لمعالجة عيوب عدم المحاذاة في عكس الضجيج:

المفهوم: بدلاً من إعادة حقن تصحيحات الضجيج الخام ( $z_t$ ) من المصدر، تقوم Cora بمحاذاتها مكانياً مع الهندسة المتطورة للصورة المستهدفة.
الآلية:
1. ميزات DIFT: تستخدم ميزات DIFT (Diffusion Features) لحساب الارتباط الدلالي بين صورتي المصدر ( $I_S$ ) والهدف ( $I_T$ ).
2. المطابقة عبر الرقع (Patch-wise Matching): للتعامل مع الضجيج في الميزات، تقوم بتقسيم خرائط الميزات إلى رقع متداخلة. وتحسب خريطة ارتباط $C_{T \to S}$ عن طريق إيجاد الرقعة الأكثر تشابهاً في المصدر مع كل رقعة في الهدف عبر تشابه جيب التمام (Cosine Similarity).
3. المحاذاة: يتم تغيير ترتيب حد تصحيح الضجيج $z_t$ بناءً على هذه الخريطة ( $z^{aln}_t(p) = z_t(C_{T \to S}(p))$ ).
4. حجم الرقعة الديناميكي: تتناقص أحجام الرقع مع تقدم عملية إزالة الضجيج (من $5\times5$ إلى $3\times3$ ) للتكيف مع زيادة موثوقية الميزات في الخطوات اللاحقة.
التوقيت: يتم تطبيق هذه المحاذاة في آخر خطوتين من عملية إزالة الضجيج المكونة من 4 خطوات، حيث يتم تثبيت الهيكل بينما يتم صقل الأنسجة.

ب. استيفاء الانتباه المدرك للارتباط (Correspondence-Aware Attention Interpolation)

للموازنة بين الحفاظ على هوية المصدر وتوليد محتوى جديد:

المشكلة: استخدام $K, V$ للمصدر فقط يحد من التوليد؛ واستخدام $K, V$ للهدف فقط يفقد الهوية.
الحل: تجمع الطريقة بين مفاتيح وقيم المصدر ( $K_S, V_S$ $K_{S}, V_{S}$ ) والهدف ( $K_T, V_T$ $K_{T}, V_{T}$ ) باستخدام الاستيفاء الخطي الكروي (SLERP) بدلاً من الاستيفاء الخطي (LERP) أو الربط.
- SLERP: يحافظ على العلاقة الزاوية بين المتجهات، مما يؤدي إلى مزج أكثر سلاسة وطبيعية للمظاهر.
- استيفاء المقدار: يتم أيضاً استيفاء مقادير المتجهات خطياً للحفاظ على معلومات الكثافة.
استراتيجية تكيف المحتوى:
- ليست كل بكسلات الصورة المستهدفة لها ارتباط صالح في المصدر (مثل إضافة قبعة جديدة).
- المطابقة ثنائية الاتجاه: يحدد النظام الرقع "غير المتطابقة" (المحتوى الجديد) من خلال التحقق مما إذا كان أفضل تطابق لرقعة الهدف في المصدر ضعيفاً (أقل من عتبة الـ $\gamma$ -quantile).
- الوزن الديناميكي ( $\alpha$ ):
  - للمناطق المتطابقة: يتم الاستيفاء بين المصدر والهدف باستخدام وزن $\alpha$ المحدد من قبل المستخدم.
  - للمناطق غير المتطابقة (الجديدة): يتم ضبط $\alpha = 1$ ، والاعتماد كلياً على النص الوصفي (Prompt) لتوليد محتوى جديد، مما يمنع تسرب الأنسجة.

ج. المحاذاة الهيكلية (Structural Alignment)

للحفاظ على التخطيط العام (الوضعية/الهيكل) مع السماح بتغييرات غير صلبة:

الآلية: في خطوة إزالة الضجيج الأولى (حيث يتشكل الهيكل الخشن)، تقوم الطريقة بمحاذاة الاستعلامات (Queries - $Q$ ) للصورة المستهدفة مع المصدر.
مطابقة هانغاريان (Hungarian Matching): تحسب مصفوفة تكلفة تجمع بين:
1. محاذاة المصدر ( $C_{SA}$ ): تشجع استعلامات الهدف على مطابقة استعلامات المصدر.
2. اتساق الهدف ( $C_{TC}$ ): تعاقب الاختلافات في الفهرسة للحفاظ على الاتساق الذاتي.
التحكم: يتحكم وزن المزج $\beta$ في قوة المحاذاة؛ حيث $\beta \approx 0$ يحافظ على هيكل المصدر، و $\beta \approx 1$ يسمح للنص الوصفي بفرض تخطيط جديد.

3. المساهمات الرئيسية

تصحيح الضجيج المدرك للارتباط: تقنية مبتكرة لإعادة محاذاة بقايا الضجيج باستخدام مطابقة الرقع الدلالية، مما يلغي العيوب الناتجة عن التشوهات الهيكلية في تحرير الخطوات المعدودة.
خلط الانتباه القائم على SLERP: طريقة متفوقة لمزج ميزات المصدر والهدف تتجنب نزيف المظهر وتسمح بانتقالات سلسة بين الحفظ والتوليد.
الاستيفاء المتكيف مع المحتوى: آلية تلقائية للتمييز بين المحتوى "الموجود" والمحتوى "الجديد"، مما يضمن توليد الكائنات الجديدة من النص الوصفي فقط مع الحفاظ على هوية الكائنات الموجودة.
المحاذاة الهيكلية عبر تغيير ترتيب الاستعلامات: طريقة للتحكم في درجة التغيير الهيكلي (الوضعية/التخطيط) باستخدام مطابقة هانغاريان على استعلامات الانتباه.
معلمات قابلة للتحكم من قبل المستخدم: تقديم $\alpha$ (مزج المظهر) و $\beta$ (محاذاة الهيكل) للسماح بالتحكم الدقيق في نتيجة التحرير.

4. النتائج

الأداء النوعي: تفوقت Cora على الطرق الرائدة في الخطوات المعدودة (TurboEdit, InfEdit) والطرق متعددة الخطوات (MasaCtrl, P2P) في الحفاظ على الهوية، وتقليل العيوب، والتعامل مع التشوهات غير الصلبة (مثل وضعيات القفز، وإضافة الكائنات).
الدراسات المستخدمة: في دراسة شارك فيها 51 مشاركاً، حققت Cora أعلى متوسط ترتيب (3.29/4) من حيث توافق النص والحفاظ على الموضوع، متفوقة بشكل كبير على TurboEdit (2.24) و MasaCtrl (1.02).
المقاييس الكمية: تحقق Cora درجات تنافسية أو متفوقة في PSNR و SSIM و LPIPS للحفاظ على الخلفية، ودرجة عالية من تشابه CLIP للتوافق مع النص.
دراسات الاستئصال (Ablation Studies): يؤدي إزالة أي مكون (تصحيح الكامن، أو SLERP، أو المحاذاة الهيكلية) إلى تدهور كبير في الجودة البصرية، مما يؤكد ضرورة كل وحدة.

5. الأهمية

تمثل Cora قفزة نوعية في تحرير الصور بالخطوات المعدودة. فمن خلال حل مشكلة عدم المحاذاة الجوهرية بين تصحيحات ضجيج المصدر وهندسة الهدف، تمكن نماذج الانتشار من إجراء تحريرات هيكلية معقدة (مثل تغيير الوضعية وإدراج الكائنات) في 4 خطوات فقط دون التكلفة الحسابية لعكس الخطوات المتعددة أو الضبط الدقيق. إنها تسد الفجوة بين سرعة النماذج التوليدية والدقة المطلوبة لعمليات المؤثرات البصرية (VFX) والتحرير الاحترافي للصور، مما يوفر إطار عمل مرناً، وقابلاً للتحكم، وعالي الدقة.