🤖 machine learning

Align & Invert: Solving Inverse Problems with Diffusion and Flow-based Models via Representation Alignment

تقترح هذه الورقة إطار عمل لمحاذاة التمثيل (REPA) يستفيد من مشفرات DINOv2 سابقة التدريب لتوجيه النماذج القائمة على الانتشار والتدفق في حل المشكلات العكسية، مع إثبات نظري بأن هذا النهج يقلل من تباعد فضاء التضمين لتحسين جودة إعادة البناء والواقعية الإدراكية مع تقليل خطوات الاستدلال عبر مهام متنوعة.

المؤلفون الأصليون: Loukas Sfountouris, Giannis Daras, Paris Giampouras

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Loukas Sfountouris, Giannis Daras, Paris Giampouras

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: إصلاح الصور التالفة باستخدام "دليل ذكي"

تخيل أن لديك صورة فوتوغرافية جميلة وعالية الدقة، لكنها تعرضت للتلف. ربما أصبحت ضبابية، أو ربما فُقد جزء منها (مثل صندوق أسود يغطي وجهاً)، أو ربما تم تصغيرها لتصبح مجرد بقعة صغيرة مشوشة من البكسلات. هدفك هو إصلاحها واستعادة الصورة الأصلية.

في عالم الذكاء الاصطناعي، لدينا أدوات قوية تسمى نماذج الانتشار (Diffusion Models)، وهي بارعة في "الهلوسة" أو تخيل كيف يجب أن تبدو الصورة المفقودة أو التالفة. إنها تعمل مثل النحات الذي ينحت ببطء من كتلة حجرية، يزيل الضجيج تدريجياً حتى تظهر المنحوتة.

ومع ذلك، أحياناً يفقد هؤلاء النحاتون الآليون طريقهم. قد يصلحون الضبابية ولكن يجعلون الملمس يبدو كالبلاستيك، أو قد يملؤون وجهاً مفقوداً بملامح خاطئة. هم جيدون في ضبط "الهيكل" العام للصورة، لكنهم يواجهون أحياناً صعوبة في ضبط "الروح" أو التفاصيل الدقيقة التي تجعل الصورة تبدو حقيقية للعين البشرية.

المشكلة: النحات "الأعمى"

تحدد الورقة البحثية مشكلة محددة: عندما يحاول الذكاء الاصطناعي إصلاح صورة تالفة، فإنه لا يملك "المخطط الأصلي" (الحقيقة الأرضية) ليقارن به. إنه يحاول تخمين الإجابة دون معرفة السؤال.

وللمساعدة، عادة ما يخبر الباحثون الذكاء الاصطناعي: "تأكد من أن تخمينك يطابق البكسلات الضبابية التي أعطيتك إياها". لكن هذا ليس كافياً. يحتاج الذكاء الاصطناعي إلى إدراك أفضل لما يعنيه أن يكون الشيء "حقيقياً".

الحل: "الناقد الفني" (REPA)

يقدم المؤلفون طريقة جديدة تسمى REPA (محاذاة التمثيل - Representation Alignment). لفهم هذا، تخيل أن النحات الآلي يعمل في غرفة مظلمة.

النحات (نموذج الانتشار): هذا هو الذكاء الاصطناعي الذي يحاول إصلاح الصورة. لديه "مشاعره" الداخلية الخاصة حول شكل الصورة أثناء عمله.
الناقد الفني (DINOv2): هذا ذكاء اصطناعي مُدرب مسبقاً، وهو خبير في التعرف على السمات البصرية. إنه يشبه ناقداً فنياً متمرساً شاهد ملايين الصور ويعرف تماماً كيف تبدو شجرة "حقيقية"، أو عين "حقيقية"، أو ملمس "حقيقي". هو لا يهتم بالبكسلات؛ بل يهتم بـ "المعنى" و"الهيكل" للصورة.

الخدعة السحرية:
عادةً ما يتحدث النحات والناقد لغات مختلفة. النحات يفكر بـ "الأكواد الكامنة" (رياضيات مجردة)، بينما يفكر الناقد بـ "السمات البصرية".

ابتكار الورقة البحثية هو إجبار النحات على الاستماع إلى الناقد أثناء عمله. هما لا ينظران فقط إلى الصورة النهائية؛ بل يتفقدان العملية في كل خطوة.

يقول النحات: "أعتقد أن هذا الجزء من الصورة هو شجرة".
يتحقق الناقد من قاعدة بياناته الداخلية ويقول: "نعم، ولكن ملمس هذه الشجرة في مسودتك الحالية لا يطابق شجرة حقيقية. عدّل تمثيلك الداخلي لتبدو أكثر شبهاً بشجرة حقيقية".

من خلال محاذاة الأفكار الداخلية للنحات باستمرار مع المعرفة الخبيرة للناقد، تكون النتيجة النهائية أكثر واقعية وتفصيلاً.

كيف يتعاملون مع "المخطط المفقود"

قد تتساءل: "ولكن مهلاً، إذا كانت الصورة الأصلية تالفة، فكيف يعرف الناقد كيف تبدو الشجرة 'الحقيقية' في هذه الصورة تحديداً؟"

لدى الورقة البحثية حيلة ذكية. بما أنهم لا يملكون الصورة الأصلية، فإنهم يستخدمون وسيطاً (Proxy) (بديلًا).

في بداية العملية: يستخدم الذكاء الاصطناعي الصورة التالفة والضبابية كدليل تقريبي للناقد.
في وقت لاحق من العملية: بينما يبدأ الذكاء الاصطناعي في تنظيف الصورة، فإنه يستخدم أفضل تخمين حالي للصورة النظيفة كدليل.

الأمر يشبه محاولة ترميم لوحة قديمة. في البداية، ليس لديك سوى النسخة المتسخة والمخدوشة لتنظر إليها. ولكن مع تنظيفها، تبدأ في استخدام الأجزاء النظيفة التي كُشفت حديثاً لتوجيه عملية ترميم الأجزاء المتسخة المتبقية. تُظهر الورقة أن "الناقد الفني" (DINOv2) قوي جداً لدرجة أنه لا يزال قادراً على التعرف على موضوع الصورة حتى لو كانت ضبابية أو مليئة بالضجيج، مما يجعل استراتيجية الوسيط هذه تعمل بشكل مثالي.

النتائج: أكثر حدة، أسرع، وأكثر واقعية

اختبر المؤلفون هذه الطريقة على أربعة أنواع من تلف الصور:

الدقة الفائقة (Super-Resolution): جعل صورة صغيرة وضبابية كبيرة وحادة.
إزالة الضبابية (Deblurring): إصلاح ضبابية الحركة (مثل اهتزاز الكاميرا).
الترميم (Inpainting): ملء مربع مفقود من الصورة.
الضبابية الغاوسية (Gaussian Deblurring): إصلاح الغبش العام.

ماذا حدث؟

جودة أفضل: بدت الصور أكثر واقعية. الملامس (مثل مسام الجلد أو العشب) كانت أكثر حدة وأقل "بلاستيكية".
عمل أسرع: للمفاجأة، سمح استخدام توجيه "الناقد الفني" للذكاء الاصطناعي بالوصول إلى نتائج عالية الجودة في خطوات أقل. إنه مثل النحات الذي احتاج إلى ضربات إزميل أقل لأن الناقد أبقاه على المسار الصحيح، مما منعه من التيه نحو أشكال غريبة وغير واقعية.
المقايضة: تشير الورقة إلى أنه بينما بدت الصور "أفضل" للعين البشرية (الجودة الإدراكية)، فإن الدرجات الرياضية القياسية (التي تقيس الدقة بكسل مقابل بكسل) لم ترتفع دائماً. وهذا أمر شائع: يمكن أن تبدو الصورة أكثر "واقعية" حتى لو لم تكن متطابقة رياضياً مع الأصل بكسل بكسل.

النظرية: لماذا ينجح هذا؟

تقدم الورقة أيضاً برهاناً رياضياً (نظرية) لشرح سبب نجاح ذلك.

التباعد (The Divergence): يوضحون أن المحاذاة مع الناقد تعني أساساً تقليل "المسافة" بين تخمينهم وطبيعة الصورة الحقيقية في فضاء السمات.
الانكماش (The Contraction): يثبتون أنه مع اقتراب الذكاء الاصطناعي من الحل، تعمل هذه المحاذاة كمغناطيس، حيث تسحب الحالة الداخلية للذكاء الاصطناعي نحو الحالة "النظيفة" وتدفع الأخطاء بعيداً.

الملخص

باختختصار، تعلم هذه الورقة البحثية ذكاءً اصطناعياً قوياً لترميم الصور كيف يستمع إلى ذكاء اصطناعي بصري خبير (DINOv2) أثناء عمله. وحتى بدون رؤية الصورة المثالية الأصلية، تساعد هذه "المحاذاة" الذكاء الاصطناعي على إصلاح الصور التالفة بشكل أسرع ومع تفاصيل أكثر واقعية بكثير، محولةً الفوضى الضبابية أو التالفة إلى صورة حادة ونابضة بالحياة.

ملخص تقني: المحاذاة والقلب (Align & Invert)

بيان المشكلة

تهدف المسائل العكسية إلى استعادة إشارة نظيفة $x_0$ من قياسات مشوشة أو متدهورة $y$ . وبينما أصبحت نماذج الانتشار (Diffusion) والنماذج القائمة على التدفق (Flow-based) المدربة مسبقاً أدوات قوية لهذه المهام، إلا أنها غالباً ما تعاني في إنتاج صور عالية التفاصيل في السيناريوهات التي تنطوي على تدهور شديد (مثل التكبير الفائق الشديد، أو ضبابية الحركة) أو مشاهد معقدة. وتبرز محدودية محددة في نماذج الانتشار الكامنة (LDMs)، حيث يمكن لعدم الخطية في بنية المشفر-المفكك (Encoder-Decoder) أن يؤدي إلى ظهور عيوب (Artifacts) أثناء عملية أخذ العينات العكسية. علاوة على ذلك، تتطلب الطرق الحالية عدداً كبيراً من خطوات التجزئة (Discretization steps) لتحقيق إعادة بناء عالية الجودة، كما أنها تفتقر إلى قيود دلالية (Semantic constraints) قوية أثناء الاستدلال لتوجيه المسار نحو حلول واقعية إدراكياً.

المنهجية

يقترح البحث إطار عمل "المحاذاة والقلب" (Align & Invert)، وهو إطار يدمج محاذاة التمثيل (REPA) في عملية الاستدلال للمحللات القائمة على الانتشار أو التدفق للمسائل العكسية.

المفهوم الجوهري

تفرض الطريقة محاذاة بين التمثيلات الداخلية للنموذج التوليدي (الانتشار/التدفق) وميزات مشفر بصري مدرب مسبقاً عبر التعلم الذاتي (تحديداً DINOv2). وبينما استُخدمت تقنية REPA سابقاً كمنظم تدريب لتحسين الجودة التوليدية، فإن هذا العمل يكيفها للاستخدام في مرحلة الاستدلال للمسائل العكسية حيث لا تتوفر الإشارات الحقيقية (Ground-truth).

التنفيذ التقني

بناء الوكيل (Proxy Construction): بما أن الحقيقة الأرضية $x_0$ غير معروفة، تقوم الطريقة ببناء تمثيل وكيل $c_{proxy}$ ليحل محل الميزات المستهدفة المفقودة.
- في البداية، يتم اشتقاق $c_{proxy}$ من ميزات DINOv2 للقياس المتاح $y$ .
- مع تقدم عملية الانتشار العكسية، يتم تحديث الوكيل تدريجياً ليصبح ميزات DINOv2 للتقدير المنقى الحالي للنموذج $f_{DINOv2}(D(E[z_0 | z_t]))$ .
- تعتمد هذه الاستراتيجية على المتانة الملحوظة لميزات DINOv2 تجاه التدهورات الصورية الشائعة.
التوزيع المائل (Tilted Distribution): يتم توجيه عملية أخذ العينات بواسطة توزيع مائل يتضمن حد المحاذاة كـ "مكافأة":
$\tilde{p}(x_t | y) \propto p(y | x_t) p_t(x_t) \exp(\lambda \cdot \text{REPA}(\bar{x}_0, h_t))$
هنا، يعمل $p(y | x_t)$ على فرض الاتساق مع القياس، و $p_t(x_t)$ هو التوزيع القبلي غير المشروط، بينما يشجع حد REPA على المحاذاة بين الحالات الخفية الوسيطة لنموذج الانتشار $h_t$ وميزات DINOv2 الوكيلية.
تكامل الخوارزمية: يتم دمج النهج في المحللات الحالية ذات الحالة الراهنة (مثل Latent DPS و ReSample) عن طريق إضافة خطوة تدرج (Gradient step) بناءً على هدف REPA خلال حلقة أخذ العينات العكسية. تعمل هذه الخطوة على محاذاة حالة الانتشار الكامنة مع الميزات الدلالية للهدف.
القابلية للتكيف: بالنسبة للنماذج التي لم يتم تدريبها أصلاً باستخدام REPA، يتعلم الإطار رأس إسقاط خفيف الوزن (Post-hoc projection head $g_\phi$ ) لخرائط التمثيلات الداخلية لنموذج الانتشار إلى فضاء ميزات DINOv2. يتم تحسين هذا الربط مع إبقاء نموذج الانتشار ثابتاً، مما يجعل عملية التكيف غير مكلفة حوسبياً.

الرؤى النظرية

يقدم البحث نتيجتين رئيسيتين توضحان منظم REPA:

تقليل التباعد (Divergence Minimization): ثبت أن تعظيم هدف REPA يكافئ تقليل التباعد الأقصى (Maximum Mean Discrepancy - MMD) بين توزيعات ميزات DINOv2 للصورة المعاد بناؤها والحقيقة الأرضية، وذلك مع مراعاة الحدود المتعلقة بعدم محاذاة الميزات وأخطاء تقريب الوكيل.
تقلص الحالة الكامنة (Latent State Contraction): تحت افتراضات الانتظام المتعلقة بجاكوبي (Jacobians) مشفر الانتشار ورأس الإسقاط، تؤدي خطوة REPA واحدة إلى إحداث تقلص في فضاء الحالة الكامنة. وتحديداً، فهي توجه الحالة الكامنة الحالية $z_t$ لتكون أقرب إلى التمثيل الكامن للصورة النظيفة $z^*$ ، بشرط أن تكون الحالة الحالية ضمن جوار محلي للحل.

النتائج التجريبية

قيم المؤلفون الطريقة على أربع مسائل عكسية: التكبير الفائق (4×، 8×، 16×)، ملء الفراغات (Box Inpainting)، إزالة الضبابية الغاوسية (Gaussian Deblurring)، وإزالة ضبابية الحركة (Motion Deblurring) باستخدام مجموعات بيانات ImageNet و FFHQ.

الجودة الإدراكية: أدى دمج REPA باستمرار إلى تحسين المقاييس الإدراكية (LPIPS و FID) عبر جميع المهام والمحللات (Latent DPS، ReSample، Latent DAPS). على سبيل المثال، في التكبير الفائق 4× على ImageNet، خفض Latent DPS + REPA قيمة LPIPS من 0.238 إلى 0.217 وقيمة FID من 123.82 إلى 86.88.
مقاييس البكسل: ظلت مقاييس البكسل القياسية (PSNR، SSIM) مقاربة للنماذج المرجعية، مما يعكس مقايضة الإدراك والتشويه (Perception-distortion trade-off) المعروفة حيث تعطي REPA الأولوية للواقعية الدلالية على الدقة المتطابقة للبكسل.
الكفاءة: النتيجة الهامة هي أن REPA تسمح للمحللات بالوصول إلى نفس مستوى الجودة الإدراكية بعدد أقل بكثير من خطوات التجزئة. في التكبير الفائق وإزالة الضبابية الغاوسية، حققت الطريقة درجات LPIPS مماثلة بـ 4 أضعاف أقل من الخطوات تقريباً مقارنة بالنموذج المرجعي، مما أدى إلى تقليل وقت التشغيل الإجمالي رغم الحسابات الإضافية لكل خطوة.
المتانة: ظلت الطريقة فعالة تحت حالات التدهور الشديد (مثل التكبير 16×، والضبابية عالية الكثافة) وعند تطبيقها على نماذج مدربة بشكل مستقل عبر رأس الإسقاط المتعلم.

الأهمية والادعاءات

يزعم البحث أن محاذاة التمثيل تشكل أداة فعالة لتحسين حلول المسائل العكسية التوليدية في وقت الاستد.

التوجيه الدلالي: من خلال محاذاة التمثيلات الداخلية للنموذج مع الميزات البصرية المتينة (DINOv2)، توفر الط méthode سابقاً دلالياً قوياً يوجه إعادة البناء نحو حلول ذات معنى إدراكي، حتى بدون إشراف من الحقيقة الأرضية.
التبرير النظري: يوضح العمل لماذا تعمل المحاذاة، حيث يبين أنها تعمل كآلية لتقليل التباعد في فضاء الميزات وتقليص الحالة الكامنة نحو حل الصورة النظيفة.
القدرة العامة على التطبيق: الإطار عام، ومتوافق مع مختلف محللات الانتشار/التدفق، وقابل للتكيف مع النماذج التي لم تُدرب أصلاً على المحاذاة عبر رسم خرائط إسقاط خفيفة الوزن.
الكفاءة: تعالج الطريقة الاختناق الحوسبي لأخذ عينات الانتشار من خلال تسريع التقارب، مما يسمح بإعادة بناء عالية الجودة بعدد أقل من خطوات أخذ العينات.

يخلص المؤلفون إلى أن هذا النهج يسد الفجوة بين القدرات التوليدية لنماذج الانتشار والفهم الدلالي للمشفرات ذات التعلم الذاتي، مما يوفر طريقة منهجية لتعزيز جودة إعادة البناء في إعدادات المسائل العكسية الصعبة.