💻 computer science

Leveraging Multimodal Large Language Models for All-in-One Image Restoration via a Mixture of Frequency Experts

تقترح هذه الورقة إطار عمل مبتكر لترميم الصور بتوجيه من النماذج اللغوية الكبيرة متعددة الوسائط (MLLM)، والذي يستخدم ميزات مستمدة من هذه النماذج ووحدة خليط من خبراء التردد (MoFE) مع محاذاة علاقاتية للتعامل بفعالية مع التدهورات المستمرة والمركبة، محققةً أداءً هو الأفضل في فئته على معايير قياسية مثل CDD11.

المؤلفون الأصليون: Eunho Lee, Youngbae Hwang, Rei Kawakami

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Eunho Lee, Youngbae Hwang, Rei Kawakami

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة جميلة، لكنها تعرضت للتلف بسبب مزيج من المشكلات: ربما تكون ضبابية، ومغطاة بالمطر، وتبدو مظلمة للغاية في آن واحد. إصلاح مشكلة واحدة من هذه المشكلات أمر صعب بما يكفي، لكن إصلاحها جميعاً معاً يشبه محاولة فك عقدة متشابكة وأنت ترتدي قفازات وتضع عصبة على عينيك.

تقدم هذه الورقة البحثية طريقة جديدة لإصلاح هذه الصور "الفوضوية الشاملة" باستخدام مساعد رقمي ذكي يسمى النموذج اللغوي الكبير متعدد الوسائط (MLLM). فكر في هذا الـ MLLM ليس فقط كروبوت للدردشة النصية، بل كناقد فني شديد الملاحظة، شاهد ملايين الصور ويعرف تماماً كيف يبدو "المطر" أو "الضباب" أو "الضبابية" وكيف يشعر بها.

إليك كيف يعمل نظامهم الجديد، مقسماً إلى أجزاء بسيطة:

1. المشكلة: فخ "المقاس الواحد الذي يناسب الجميع"

حاولت الأساليب القديمة إصلاح الصور عبر التعامل مع المشكلات كصناديق منفصلة. كان لديهم "صندوق الضبابية"، و"صندوق المطر"، و"صندوق الظلام". لكن الحياة الواقعية ليست بهذا الترتيب؛ فقد تكون الصورة مكونة من 70% مطر و30% ضباب. عانت الأنظمة القديمة من هذا المزيج لأنها لم تستطع رؤية الاتصال السلس بينهما؛ كانت ترى فقط مشكلتين منفصلتين وغير مرتبطتين.

2. الحل: مرشد ذكي (الـ MLLM)

أدرك المؤلفون أن هذه النماذج الذكية الكبيرة (MLLMs) تفهم بالفعل "الفروق الدقيقة" للصور السيئة. فهي لا تكتفي بالقول "هذا مطر" فحسب، بل تدرك أن "المطر الغزير" يختلف عن "الرذاذ الخفيف"، وكيف يمتزج المطر مع الضباب.

إنهم يستخدمون نموذج الذكاء الاصطنا_ي هذا كـ مرشد لأداة إصلاح الصور.

التشبيه: تخيل طباخاً ماهراً (مرمم الصور) يحاول طهي طبق معقد. بدلاً من مجرد إعطائه وصفة، قاموا بتوظيف ناقد طعام (الـ MLLM) ليقف بجانبه. يتذوق الناقد المكونات ويهمس له: "مهلاً، هذا الصوص يحتاج إلى القليل من الملح، والقوام غير مضبوط تماماً". ثم يقوم الطباخ بتعديل الطهي في الوقت الفعلي بناءً على تلك النصيحة.

3. السلاحان السريان

لجعل هذا المرشد يعمل، قدمت الورقة البحثية أداتين خاصتين:

أ. "الجسر الهامس" (MGFB)

عادةً، تتحدث أداة إصلاح الصور والمدرب الذكي لغات مختلفة. أداة الإصلاح تنظر إلى البكسلات (نقاط الألوان)، بينما يفكر المرشد في المفاهيم (مثل "ضبابي" أو "محبب").

ما فعلوه: بنوا "جسراً" (يسمى كتلة الاندماج الموجهة بواسطة MLLM) تترجم نصيحة المرشد مباشرة إلى لغة أداة الإصلاح.
كيف يعمل: بينما تنظر أداة الإصلاح إلى الصورة، يهمس الجسر: "ركز على الهيكل هنا لأنه يبدو كالضباب"، ولاحقاً: "انتبه للألوان هنا لأنها تبدو كالمطر". يساعد هذا أداة الإصلاح على معرفة ما يجب البحث عنه في كل خطوة.

ب. "أوركسترا الترددات" (MoFE)

هذا هو الجزء الأكثر ذكاءً. أدرك المؤلفون أن المشكلات المختلفة تعيش في "ترددات" مختلفة.

التشبيه: فكر في الصورة كأنها أغنية.
- الترددات المنخفضة هي نغمات "الباص" (الأشكال الكبيرة، السطوع العام، الضباب).
- الترددات العالية هي النغمات الحادة (الحواف الحادة، خطوط المطر، التفاصيل الدقيقة).
المشكلة: حاولت الأدوات القديمة إصلاح الأغنية بأكملها دفعة واحدة، مما أدى غالباً إلى تشويه الصوت.
الحل: أنشأوا خليطاً من خبراء التردد (MoFE). تخيل فرقة تضم 8 موسيقيين مختلفين.
- أحد الموسيقيين خبير في إصلاح نغمات "الباص" (الضباب).
- آخر خبير في إصلاح الأصوات الحادة (المطر).
- آخر يصلح النغمات المتوسطة (الضبابية).
المايسترو: يعمل دليل الذكاء الاصطناعي كـ "مايسترو". يستمع إلى الصورة الفوضوية ويخبر الفرقة: "نحن بحاجة لمزيد من المساعدة من عازف الباص الآن، لكن عازف الكمان يمكنه الاسترخاء". وهذا يسمح للنظام باختيار "الخبير" المناسب لنوع الضجيج الموجود في الصورة.

4. النتيجة: مزيج أفضل

لأن النظام يستخدم دليل الذكاء الاصطناعي لفهم العلاقة بين المشكلات المختلفة (مثل كيفية امتزاج المطر والضباب معاً)، فإنه لا يقوم بإصلاحها واحداً تلو الآخر، بل يصلح المزيج بأكمله دفعة واحدة.

اختبر المؤلفون طريقتهم على مجموعة بيانات صعبة جداً تسمى CDD11، والتي تحتوي على صور تعاني من ثلاث مشكلات مختلفة تحدث في وقت واحد (مثل: إضاءة منخفضة + ضباب + مطر).

النتيجة: أنتجت طريقتهم صوراً أكثر وضوحاً وحدة من أي طريقة سابقة. لقد حسنت الجودة بفارق ملحوظ (يصل إلى 1.35 ديسيبل)، وهو في عالم إصلاح الصور بمثابة الانتقال من صورة ضبابية وباهتة إلى صورة حادة وعالية الدقة.

الملخص

باختاً، تعلم هذه الورقة البحثية روبوت إصلاح الصور كيف يستمع إلى دليل ذكاء اصطناي فائق الذكاء. بدلاً من التخمين فيما يخص الخطأ في الصورة الفوضوية، يسأل الروبوت الدليل: "ماذا يبدو هذا؟". يشرح الدليل مزيج المشكلات، وتستخدم الأداة فريقاً من "خبراء التردد المتخصصين" لإصلاح كل جزء من المشكلة بدقة، مما يؤدي إلى صورة نظيفة وطبيعية المظهر.

ملخص تقني: الاستفادة من النماذج اللغوية الكبيرة متعددة الوسائط لترميم الصور الشامل عبر خليط من خبراء التردد

بيان المشكلة

يهدف ترميم الصور الشامل (All-in-one image restoration) إلى استعادة الصور النظيفة من المدخلات المتأثرة بتدهورات متنوعة وغير معروفة باستخدام إطار عمل موحد. وبينما حسنت الطرق الحديثة الأداء من خلال تحديد خصائص التدهور، إلا أنها غالبًا ما تعامل التدهورات كفئات منفصلة. يفشل هذا النهج في نمذجة البنية العلاقاتية المستمرة المتأصلة في التدهورات المركبة (مثل صورة تعاني في آن واحد من انخفاض الإضاءة، والضباب، والمطر حيث يكون أحد أنواع التدهور هو المهيمن). كما أن التمثيلات الحالية الحساسة للتدهور، والتي يتم تعلمها غالبًا عبر أهداف التباين (contrastive objectives)، تميل إلى تقسيم أنواع التدهور إلى مجموعات معزولة، متجاهلة الطيف المستمر للتدهورات المختلطة. علاوة على ذلك، فإن النهج الحالي الذي يستفيد من النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) يعتمد بشكل متكرر فقط على التمثيلات النصية عالية المستوى، مما يؤدي إلى عدم استغلال المعرفة البصرية الغنية المشفرة داخل هذه النماذج، وهو ما يخلق فجوة تمثيلية لعمليات إعادة البناء الدقيقة على مستوى البكسل.

المنهجية

يقترح المؤلفون إطار عمل MMFE-IR، الذي يدمج نموذجًا لغويًا كبيرًا متعدد الوسائط مدربًا مسبقًا (تحديدًا Qwen2.5-VL) مع شبكة ترميم صور منخفضة المستوى. تتكون البنية من ثلاثة مكونات رئيسية:

1. كتلة الاندماج الموجهة بواسطة MLLM (MGFB)

لسد الفجوة بين المعرفة الدلالية عالية المستوى والترميم منخفض المستوى، يقوم إطار العمل بحقن الميزات المستمدة من MLLM في هيكل المشفّر-المفكك (encoder-decoder backbone) القائم على Restormer. تستخدم كتلة MGFB آلية الانتباه المتقاطع لتعيين تضمينات MLLM محددة لمراحل الشبكة المختلفة:

المشفّر (Encoder): يتلقى $E_{Image}$ ، وهو تضمين سياقي مستمد من الرؤية يتم تجميعه من رموز الصورة الخاصة بـ MLLM. هذا يعزز استخراج الميزات الهيكلية.
المفكك (Decoder): يتلقى $E_{Joint}$ ، وهي تضمينات مشروطة بالرؤية واللغة يتم تجميعها من جميع الرموز. هذا يسهل إعادة البناء المدرك للتدهور من خلال دمج السياق الدلالي.
يتم تحقيق الاندماج عبر اتصال متبقٍ (residual connection) حيث تعمل الخريطة الميزية البصرية كاستعلام (query) وتعمل تضمينات MLLM كمفاتيح (keys) وقيم (values).

2. خليط من خبراء التردد (MoFE)

إدراكًا بأن التدهورات المختلفة تظهر خصائص ترددية متميزة، قدم المؤلفون وحدة MoFE تعمل في نطاق التردد بدلاً من النطاق المكاني.

تفكيك التردد: يتم تفكيك الصورة المتدهورة الأصلية باستخدام تحويل المويجات المنفصل (DWT) إلى نطاقات فرعية. يتم استبعاد المكون منخفض التردد ( $LL$ )، لأنه يتم التقاطه بطبيعته عبر آليات الانتباه الذاتي في المحولات (Transformers). ويتم معالجة النطاقات الفرعية عالية التردد المتبقية ( $LH, HL, HH$ ).
توجيه الخبراء: تقوم مجموعة من الخبراء التلافيفيين خفيفي الوزن ( $N=8$ ) بمعالجة هذه المكونات عالية التردد. ويقوم موجه (router)، مسترشد بالتضمين النصي عالي المستوى من MLLM ( $E_{Answer}$ )، بالتنبؤ بأوزان الخليط لهذه الخبراء. يسمح هذا بالتركيب الديناميكي للتعامل مع التدهورات المتنوعة والمركبة.
الاندماج: يتم دمج ميزات التردد المجمعة مرة أخرى في الميزات المكانية باستخدام انتباه الرأس المتبدل متعدد التلافيف ذو الأبعاد المتعددة (MDTA)، مما يسمح للميزات المكانية بالاستعلام التكيفي عن التفاصيل عالية التردد الضرورية.

3. تحسين الموجه الموجه بواسطة MLLM

لضمان أن الموجه يحافظ على العلاقات الدلالية المستمرة للتدهور التي يلتقطها MLLM، تم تقديم دالة خسارة محددة.

خسارة المحاذاة العلاقاتية ( $\mathcal{L}_{MGL}$ ): تحسب هذه الخسارة تشابه جيب التمام الزوجي لتضمينات MLLM عالية المستوى وتعمل على محاذاتها مع التشابه الزوجي لأوزان مخرجات الموجه. يشجع هذا الموجه على تخصيص تركيبات خبراء متشابهة للتدهورات المتشابهة دلاليًا وتركيبات متميزة للتدهورات المختلفة، مما يحافظ على البنية المستمرة لمساحة التضمين.
استراتيجية التدريب: يستخدم النموذج استراتيجية تدريب متعددة المقاييس تصاعدية، حيث تزداد دقة المدخلات تدريجيًا لاستقرار تحسين الموجه وتحسين المتانة عبر أحجام الصور المتفاوتة.

المساهمات الرئيسية

نمذجة التدهور المستمر: يستفيد إطار العمل من تضمينات التدهور المستمرة لنماذج MLLM المدربة مسبقًا للتغلب على قيود التقطيع الصارم للمطالبات (prompts)، مما يتيح التقاط هياكل التدهور المعقدة بدقة أكبر.
تكامل MGFB: تم تقديم كتلة اندماج موجهة بواسطة MLLM لسد فجوة التمثيل من خلال دمج كل من تضمينات الرؤية من MLLM والتضمينات المشروطة بالرؤية واللغة مباشرة في شبكة الترميم (المشفّر والمفكك).
توجيه خبير التردد: تم اقتراح وحدة Mixture-of-Frequency-Experts (MoFE)، التي تستخدم موجهًا موجهًا بواسطة MLLM ومدربًا بخسارة محاذاة علاقاتية. يسمح هذا للنموذج بتعلم علاقات التدهور الموزعة ودمج خبراء التردد بشكل تكيفي للتدهورات المتنوعة والمركبة.

النتائج التجريبية

تم تقييم الطريقة على عدة معايير، بما في ذلك مجموعة بيانات CDD11 الصعبة للتدهورات المركبة، وإعدادات "الكل في واحد" القياسية للتدهورات الفردية.

التدهور المركب (CDD11): حققت الط المقترحة أداءً هو الأفضل في فئتها (SOTA)، حيث تفوقت على الطرق السابقة بما يصل إلى 1.35 dB على مجموعة بيانات CDD11. وأظهرت متانة فائقة في سيناريوهات التدهور المزدوج (مثل انخفاض الإضاءة + الضباب) والثلاثي (مثل انخفاض الإضاءة + الضباب + المطر)، محققة متوسط PSNR قدره 30.40 dB وSSIM قدره 0.889.
معايير الكل في واحد (All-in-One): حققت الطريقة أعلى متوسط PSNR بلغ (31.44 dB) في إعداد التدهور الخماسي و 32.94 dB في إعداد التدهور الثلاثي. وأظهرت قوة خاصة في كل من مهام التردد المنخفض (إزالة الضباب) ومهام التردد العالي (إزالة التغبيش).
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن:
- استخدام $E_{Image}$ للمشفّر و $E_{Joint}$ للمفكك يعطي الأداء الأمثل.
- تعزز وحدة MoFE الأداء بشكل كبير (+1.02 dB عن النموذج الأساسي) مع حد أدنى من زيادة المعلمات.
- خسارة توجيه MLLM والتدريب متعدد المقاييس التصاعدي ضروريان لتحقيق مكاسب الأداء.
- يتفوق MoE في نطاق التردد على MoE في النطاق المكاني.
- تظل الإطار يعمل بكفاءة حتى عند استخدام نماذج MLLM أصغر (مثل FastVLM-0.5B)، رغم أن أكبر نموذج (Qwen2.5-VL-3B) يوفر أفضل توازن بين الجودة وزمن الاستجابة.

الأهمية والادعاءات

يدعي البحث أن MMFE-IR يضع معيارًا جديدًا في مجال ترميم الصور الشامل، لا سيما للتدهورات المركبة والمعقدة. تكمن أهمية العمل في نجاحه في توسيع توجيه MLLM ليتجاوز مجرد التمثيلات النصية ليشمل الميزات البصرية الداخلية وتوجيه الخبراء في نطاق التردد. ومن خلال الحفاظ على العلاقات الدلالية المستمرة للتدهور عبر الموجه وخسارة المحاذاة الموجهة بـ MLLM، ينجح إطار العمل في التخفيف من فجوة التمثيل التي غالبًا ما توجد في مهام الرؤية منخفضة المستوى. ويؤكد المؤلفون أن هذا النهج يسم يسمح للنموذج بالتعامل مع وجود وتفاعل التدهورات المتعددة بدقة أكبر من الطرق التي تعامل التدهورات كفئات منفصلة ومعزولة.