🤖 machine learning

Exploring Low-Dimensional Subspaces in Diffusion Models for Controllable Image Editing

تقدم هذه الورقة LOCO Edit، وهو أسلوب غير خاضع للإشراف وخالٍ من التدريب لتعديل الصور، يستفيد من الاكتشاف النظري للفضاءات الفرعية الدلالية منخفضة الأبعاد والخطية المحلية في نماذج الانتشار لتحقيق تعديلات محلية دقيقة، ومنفصلة، وقابلة للتحكم دون تدريب إضافي.

المؤلفون الأصليون: Siyi Chen, Huijie Zhang, Minzhe Guo, Yifu Lu, Peng Wang, Qing Qu

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Siyi Chen, Huijie Zhang, Minzhe Guo, Yifu Lu, Peng Wang, Qing Qu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً سحرياً، فائق الذكاء يدعى Diffusion. هذا الفنان مشهور برسم صور واقعية للغاية من الصفر، فقط بمجرد الاستماع إلى أوصافك. ومع ذلك، إذا طلبت منه تغيير شيء صغير واحد فقط — مثل "اجعل أذني الكلب أكبر" أو "غير لون الشعر إلى الأحمر" — فغالباً ما يرتبك الفنان، أو قد يغير وجه الكلب بالكامل، أو قد لا يفهمك على الإطلاق ما لم تقم بإعادة تدريبه لأسابوة.

تقدم هذه الورقة البحثية حيلة ذكية جديدة تسمى LOCO Edit (التعديل القابل للتحكم منخفض الرتبة)، والتي تتيح لك أن تهمس بتعليمات بسيطة للفنان، فيقوم بتغيير ذلك الجزء المحدد فقط، فوراً، ودون الحاجة إلى أي تدريب إضافي.

إليك كيف يعمل الأمر، مشروحاً عبر تشبيهات من الحياة اليومية:

1. "المنتصف السحري" (نقطة التوازن المثالية)

عادةً، عندما يرسم Diffusion، فإنه يبدأ بلوحة مليئة بضجيج الستاتيك (مثل تشويش التلفاز) ثم يقوم بتنظيفها ببطء ليكشف عن الصورة.

المشكلة: إذا حاولت تغيير الصورة في البداية (عند وجود الكثير من الضجيج)، سيكون الفنان مرتبكاً جداً. وإذا حاولت في النهاية (عندما تصبح الصورة مثالية)، سيكون الفنان متصلباً جداً بحيث لا يستطيع تغيير أي شيء دون إفساد الصورة بأكملها.
الاكتشاف: وجد الباحثون "منطقة ذهبية" في منتصف عملية الرسم (حوالي 50% إلى 70% من العمل). في هذه اللحظة المحددة، يعمل عقل الفنان بطريقة بسيطة ومتوقعة للغاية. الأمر يشبه أن الفنان يمسك بسكتش شبه شفاف حيث تكون الخطوط واضحة، لكن التفاصيل لم تُثبّت بعد بشكل نهائي.

2. "لوحة التحكم السرية" (الفضاءات الفرعية منخفضة الأبعاد)

هذا هو الجزء الأكثر إذهالاً. اكتشف الباحثون أنه على الرغم من أن الفنان يتعامل مع ملايين البكسلات، إلا أنه في لحظة "المنطقة الذهبية" هذه، يهتم عقل الفنان فقط بـ عدد ضئيل جداً من الاتجاهات لإجراء التغييرات.

التشبيه: تخيل غرفة تحكم ضخمة وفوضوية بها مليون زر. ستظن أنك بحاجة للضغط على مليون زر مختلف لتغيير حجم أذن الكلب. لكن الباحثين وجدوا أن الفنان يستخدم في الواقع لوحة تحكم سرية صغيرة تحتوي على عدد قليل فقط من الأزرار.
السحر: إذا ضغطت على واحد من هذه الأزرار المحددة (اتجاه دلالي)، ستكبر أذنا الكلب. إذا ضغطت على زر آخر، سيتحول لون الشعر إلى الأحمر. وإذا ضغطت على زر ثالث، ستتسع الابتسامة.
لماذا هذا رائع: لأنه يوجد عدد قليل جداً من الأزرار، يمكنك العثور عليها بسهولة دون الحاجة إلى دليل تعليمات. أنت فقط تنظر إلى الرياضيات الخاصة بعملية التفكير الحالية للفنان، وتجد "زر الأذن"، ثم تضغط عليه.

3. "مؤشر الليزر" مقابل "الكشاف الضوئي" (التحديد الموضعي)

كانت الطرق القديمة تشبه استخدام كشاف ضوئي؛ إذا أردت تغيير الشعر، فإن الضوء سيصيب الوجه بالكامل، مما يغير الجلد والعينين أيضاً.

LOCO Edit يشبه مؤشر الليزر: طور الباحثون طريقة لاستخدام "قناع" رياضي (مثل الاستنسل). هم يخبرون الفنان: "اضغط على 'زر الشعر' فقط، ولكن تأكد من عدم لمس 'زر الجلد'".
الحيلة: يستخدمون تقنية تسمى Nullspace Projection (إسقاط الفضاء الصفري). فكر في الأمر كأنه حارس عند ملهى ليلي؛ الحارس يسمح لـ "تغيير الشعر" بالدخول إلى النادي، لكنه يمنعه من لمس منطقة "الجلد". هذا يضمن بقاء بقية الصورة دون أي تغيير على الإطلاق.

4. "جهاز التحكم الشامل" (القابلية للنقل)

أحد أفضل ميزات هذه الطريقة هو أنها تعمل مثل جهاز التحكم الشامل (الريموت كنترول).

التشبيه: إذا عرفت كيفية الضغط على زر "جعل الابتسامة" في صورة لصديقك، يمكنك أخذ نفس ضغطة الزر هذه وتطبيقها على صورة لشخص غريب، أو كلب، أو حتى شخصية كرتونية.
السبب: لأن "الأزره" (الاتجاهات الرياضية) تعتمد على البنية الأساسية لكيفية بناء الصور، وليس على الشخص الموجود في الصورة تحديداً. الأمر يشبه تعلم عزف مقطوعة "عيد ميلاد سعيد" على البيانو؛ يمكنك عزفها على أي بيانو، وليس فقط على ذلك الذي تدربت عليه.

5. لا تدريب، لا نصوص، فقط رياضيات

معظم أدوات التعديل الأخرى تتطلب منك:

تدريب نموذج ذكاء اصطناعي جديد لأيام (وهو أمر مكلف وبطيء).
إعطاءه وصفاً نصياً مثل "أضف نظارات" (والذي قد يكون غامضاً أو متحيزاً).

LOCO Edit مختلف:

بدون تدريب: يستخدم الفنان الموجود بالفعل. لا حاجة لتدريب جديد.
خطوة واحدة: يقوم بإجراء التغيير في لحظة واحدة.
لا حاجة للنصوص: لا تحتاج لوصف ما تريد. أنت فقط تشير إلى الجزء الذي تريد تغييره في الصورة (باستخدام قناع)، والرياضيات ستكتشف "الزر" الذي يجب ضغطه تلقائياً.

الملخص

تخيل أن لديك صورة لشخص. تريد تغيير نمط القبعة مع الحفاظ على وجهه كما هو تماماً.

الطريقة القديمة: قد تضطر لإعادة تدريب الذكاء الاصطناعي، أو استخدام أداة قد تغير أنفه أو الخلفية بالخطأ.
طريقة LOCO Edit: تخبر الذكاء الاصطناعي: "انظر إلى هذه الصورة في منتصف عملية رسمها. ابحث عن زر 'القبعة' في لوحة التحكم السرية الخاصة بك. اضغط عليه، ولكن تأكد من بقاء زر 'الوجه' مطفأً". سيقوم الذكاء الاصطناعي باستبدال القبعة فوراً، تاركاً كل شيء آخر مثالياً.

لقد قدمت هذه الورقة البحثية في الأساس دليل التعليمات للوحة التحكم السرية داخل هؤلاء الفنانين الأقوياء من الذكاء الاصطناعي، مما يسمح لنا بتعديل الصور بدقة جراحية، وبسرعة، ودون الحاجة لأن نكون عباقرة في الرياضيات للقيام بذلك.

إليك ملخص تقني مفصل لورقة البحث "استكشاف الفضاءات الجزئية منخفضة الأبعاد في نماذج الانتشار للتحكم في تحرير الصور" (LOCO Edit).

1. بيان المشكلة

على الرغم من نجاح نماذج الانتشار (Diffusion Models) في توليد صور عالية الجودة، إلا أن تحقيق تحكم دقيق، ومنفصل، وموضعي في توليد الصور لا يزال يمثل تحديًا كبيرًا. تعاني الطرق الحالية غالبًا من عدة قيود:

متطلبات التدريب: تتطلب العديد من النهج عمليات ضبط دقيق (Fine-tuning) إضافية أو تدريب نماذج مساعدة.
العالمي مقابل الموضعي: تتحكم الطرق غالبًا في السمات العالمية بدلاً من مناطق محلية محددة (مثل تغيير لون الشعر دون تغيير شكل الوجه).
الطبيعة التجريبية (Heuristic): تعتمد العديد من الطرق التي لا تتطلب تدريبًا على قواعد تجريبية أو وحدات خارجية (مثل CLIP) تفتقر إلى التفسيرات الرياضية الواضحة، مما يؤدي إلى التحيز أو الفشل في التقاط الدلالات الدقيقة.
نقص النظرية: هناك فهم نظري محدود للمساحات الدلالية داخل نماذج الانتشار، مما يجعل من الصعب ضمان خطية وقابلية نقل اتجاهات التحرير.

2. المنهجية: LOCO Edit

يقترح المؤلفون LOCO Edit (التحرير الموضعي القابل للتحكم منخفض الرتبة)، وهو أسلوب خطي الخطوة الواحدة، ولا يتطلب تدريبًا، وغير خاضع للإشراف للتحرير الموضعي الدقيق للصور. يعتمد جوهر الطريقة على ملاحظتين تجريبيتين وتبريرين نظريين فيما يتعلق بـ متنبئ المتوسط اللاحق (Posterior Mean Predictor - PMP) في نماذج الانتشار.

الملاحظات الرئيسية

الخطية المحلية: ضمن نطاق محدد من مستويات الضجيج (تحديدًا في الخطوات الزمنية المتوسطة إلى المتأخرة، $t \in [0.2, 0.7]$ )، يعمل الـ PMP (الذي يتنبأ بالصورة النظيفة $\hat{\mathbf{x}}_0$ من المدخل المشوش $\mathbf{x}_t$ ) كـ تخطيط خطي محلي.
جاكوبي منخفض الرتبة: مصفوفة جاكوبي الخاصة بالـ PMP، وهي $\mathbf{J}_{\theta,t} = \nabla_{\mathbf{x}_t} \mathbf{f}_{\theta,t}(\mathbf{x}_t)$ ، هي منخفضة الرتبة. تقع متجهات الوحدة الخاصة بها في فضاءات دلالية جزئية منخفضة الأبعاد.

الأساس النظري

يقدم المؤلفون تبريرًا نظريًا بافتراض أن توزيع البيانات هو خليط من توزيعات غاوس منخفضة الرتبة. وقد أثبتوا ما يلي:

رتبة مصفوفة جاكوبي للـ PMP محدودة بالبعد الجوهري لتوزيع البيانات (وهو أقل بكثير من البعد المحيط).
يُظهر الـ PMP خطية محلية، حيث تتلاشى أخطاء التقريب مع زيادة مستوى الضجيج (بالاقتراب من $t=1$ ).
متجهات الوحدة لـ جاكوبي تشغل المساحات الدلالية لتوزيع الصور.

المسار الخوارزمي

تتضمن عملية التحرير الخطوات التالية:

العكس (Inversion): بالنظر إلى صورة أصلية $\mathbf{x}_0$ ، استخدم عكس DDIM لتوليد نسخة مشوشة $\mathbf{x}_t$ عند خطوة زمنية محددة $t$ (عادةً $0.5 \leq t \leq 0.7$ ).
تقدير جاكوبي: احسب مصفوفة جاكوبي للـ PMP المقيدة بـ منطقة الاهتمام (ROI) المحددة بواسطة قناع $\Omega$ . يتم ذلك بكفاءة باستخدام طريقة القدرة المعممة (Generalized Power Method - GPM) لتقدير أعلى $k$ من متجهات الوحدة دون حساب مصفوفة جاكوبي الكاملة.
اختيار الاتجاه: اختر متجه وحدة $\mathbf{v}$ من جاكوبي منطقة الاهتمام ليكون اتجاه التحرير الأولي.
إسقاط الفضاء الصفري (Nullspace Projection): لضمان أن يكون التحرير موضعيًا ولا يؤثر على المناطق خارج القناع ( $\Omega^c$ $Ω^{c}$ )، يتم إسقاط الاتجاه $\mathbf{v}$ $v$ على الفضاء الصفري لجاكوبي المنطقة المكملة.
- ليكن $\bar{\mathbf{J}}$ هو جاكوبي للمنطقة خارج القناع.
- اتجاه التحرير النهائي هو $\mathbf{v}_p = (\mathbf{I} - \bar{\mathbf{V}}\bar{\mathbf{V}}^\top)\mathbf{v}$ ، حيث يحتوي $\bar{\mathbf{V}}$ على متجهات الوحدة لـ $\bar{\mathbf{J}}$ .
التحرير: قم بإزعاج الصورة المشوشة: $\mathbf{x}'_t = \mathbf{x}_t + \lambda \mathbf{v}_p$ .
التوليد: استخدم عملية DDIM الأمامية لتوليد الصورة المحررة النهائية $\mathbf{x}'_0$ .

التوسع إلى تحويل النص إلى صورة (T-LOCO Edit)

تم توسيع الطريقة لتشمل نماذج تحويل النص إلى صورة (مثل Stable Diffusion و DeepFloyd) في نمطين:

غير خاضع للإشراف: يستخدم القناع فقط للعثور على اتجاهات التحرير، على غرار الحالة غير المشروطة.
خاضع لإشراف نصي: يستخدم مطالبة تحرير (مثل "مع نظارات") لتحديد الاتجاه الدلالي. يتم استخدام الفرق بين المتوسطات اللاحقة للمطالبة الأصلية ومطالبة التحرير لتهيئة اتجاه التحرير، والذي يتم صقله بعد ذلك عبر إسقاط الفضاء الصفري.

3. المساهمات الرئيسية

الرؤية النظرية: أول من قدم أساسًا نظريًا صارمًا (بافتراض خليط من توزيعات غاوس) يشرح لماذا يكون جاكوبي الـ PMP خطيًا محليًا ومنخفض الرتبة، ولماذا تتوافق متجهات الوحدة الخاصة به مع الاتجاهات الدلالية.
خوارزمية LOCO Edit: طريقة تحرير في خطوة واحدة، لا تتطلب تدريبًا، وغير خاضعة للإشراف، تحقق تحريرًا موضعيًا دقيقًا دون الحاجة إلى CLIP أو أي توجيه خارجي آخر.
الخصائص المرغوبة: تمتلك اتجاهات التحرير المحددة أربع خصائص رئيسية:
1. الخطية: التغييرات في الاتجاه تتناسب خطيًا مع التغيير الدلالي.
2. التجانس/القابلية للنقل: يمكن نقل الاتجاهات المتعلمة من صورة واحدة إلى صور أخرى ذات نفس الدلالات.
3. القابلية للتركيب: يمكن دمج عدة اتجاهات منفصلة للقيام بتحريرات متزامنة.
4. الموضعية: يضمن إسقاط الفضاء الصفري بقاء التحريرات محصورة في المنطقة المقنعة.
القدرة على التعميم: تعمل الطريقة عبر مختلف البنى (UNet، Transformers) ومجموعات البيانات (CelebA، FFHQ، LSUN-Church، إلخ)، وتمتد لتشمل نماذج تحويل النص إلى صورة.

4. النتائج التجريبية

أجرى المؤلفون تجارب مكثفة على مجموعات بيانات مثل CelebA-HQ، وFFHQ، وAFHQ، وLSUN-Church، مقارنين LOCO Edit بالطرق الرائدة (Asyrp، Pullback، NoiseCLR، BlendedDiffusion).

المقاييس الكمية:
- معدل نجاح التحرير الموضعي: حقق LOCO Edit نسبة 80%، متفوقًا بشكل كبير على أفضل طريقة تالية (BlendedDiffusion بنسبة 55%).
- معدل نجاح النقل: حقق LOCO Edit نسبة 91%، مما أظهر قدرة فائقة على نقل التحريرات إلى صور جديدة مقارنة بالآخرين (مثل NoiseCLR بنسبة 66%).
- الكفاءة: يتطلب LOCO Edit 79 ثانية فقط من وقت التعلم (حساب الاتجاهات) وثانيتين للتحرير بالنقل، بينما تتطلب طرق مثل NoiseCLR أيامًا من التدريب.
- جودة الصورة: بينما حققت BlendedDiffusion درجة SSIM أعلى قليلاً (بسبب المزج العالمي)، حافظ LOLO Edit على تشابه هيكلي عالٍ (SSIM 0.71) مع النجاح في إجراء تحريرات موضعية حيث فشلت الطرق الأخرى أو أنتجت عيوبًا عالمية.
النتائج النوعية:
- أظهر تحريرات دقيقة مثل تغيير شكل العين، وانحناء الشعر، وشكل الفم دون التأثير على ملامح الوجه الأخرى.
- أظهر نجاح التحريرات الخاضعة للإشراف النصي (مثل إضافة نظارات) في نماذج T2I دون ضبط دقيق.
- أوضح أن اتجاهات التحرير تتوافق دلاليًا مع المناطق المقنعة (على سبيل المثال، متجه "شكل العين" يبدو كعين).

5. الأهمية

القابلية للتفسير: يسد هذا العمل الفجوة بين الطبيعة "الصندوق الأسود" لنماذج الانتشار والتحكم الدلالي القابل للتفسير. فهو يثبت أن المساحات الدلالية هي بطبيعتها منخفضة الأبعاد وخطية في عملية إزالة الضجيج.
الكفاءة وسهولة الوصول: من خلال إلغاء الحاجة إلى التدريب، أو الضبط الدقيق، أو توجيه CLIP الخارجي، يجعل LOCO Edit تحرير الصور عالي الجودة والقابل للتحكم متاحًا وفعالًا من الناحية الحسابية.
أساس للأعمال المستقبلية: يفتح الإطار النظري آفاقًا جديدة لفهم هندسة نماذج الانتشار، مما قد يؤدي إلى تقنيات عكس أفضل، وتحرير ثلاثي الأبعاد، ونماذج توليدية أكثر قوة.

باختًا، يستفيد LOCO Edit من الخصائص الجوهرية منخفضة الرتبة والخطية لنماذج الانتشار لتوفير حل دقيق وعالي الكفاءة ومبني رياضيًا للتحكم في تحرير الصور.