FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration
إن FAPE-IR هو إطار عمل موحد لترميم الصور يستفيد من نموذج لغوي كبير متعدد الوسائط مجمد لتوليد خطط ترميم مدركة للتردد، مما يوجه منفذ انتشار يعتمد على خليط من الخبراء (MoE) مع تقنية LoRA لاختيار الخبراء المناسبين ديناميكيًا لتحقيق أداء رائد في مجال الحالة الراهنة وقدرة قوية على التعميم الصفري عبر مهام التدهور المتنوعة.
المؤلفون الأصليون:Jingren Liu, Shuning Xu, Qirui Yang, Yun Wang, Xiangyu Chen, Zhong Ji
تخيل أن لديك صورة عائلية قديمة وجميلة، لكنها عانت من مزيج من المشكلات: فهي ضبابية قليلاً، ومغطاة بخطوط آثار المطر، وتبدو مظلمة نوعاً ما، مع وجود بعض ذرات الغبار عليها.
في الماضي، كان إصلاح هذا الأمر يشبه استئجار سبعة متخصصين مختلفين. كنت ستستأجر "مصلح الضباب"، ثم "مزيل آثار المطر"، ثم "محسن الإضاءة". وإذا حاولت القيام بكل ذلك دفعة واحدة مع شخص واحد، فسيصاب بالارتباك، ويخلط بين أدواته، مما يجعل الصورة تبدو أسوأ (مثل محاولة استخدام مطرقة لإصلاح ساعة يد).
FAPE-IR هو نظام جديد وذكي للغاية يعمل مثل "مرمم بارع" لا يكتفي فقط بإصلاح الصورة، بل يفكر أولاً في كيفية إصلاحها.
إليك كيف يعمل، مقسماً إلى خطوات بسيطة:
١. "العقل" (المخطط)
تخيل ناقداً فنياً ذكياً جداً (يعمل بواسطة عقل اصطناعي ضخم يسمى MLLM) ينظر إلى صورتك التالفة.
ما يفعله: بدلاً من التخمين، يقوم هذا الناقد بتحليل الصورة ويكتب ملاحظة قصيرة وواضحة.
الملاحظة: تقول الملاحظة: "حسناً، هذه الصورة بها خطوط آثار المطر (وهي خطوط حادة وسريعة) وهي أيضاً مظلمة قليلاً (وهو تغيير عام وبطيء). لإصلاح المطر، نحتاج للتركيز على التفاصيل الحادة. ولإصلاح الظلام، نحتاج للتركيز على التوهج العام."
السر السحري: إنه يقسم المشكلة إلى فئتين: التردد العالي (الحواف الحادة، الأنسجة، المطر، الثلج، والضجيج) والتردد المنخفض (السطوع العام، الضباب، وتغيرات الألوان).
٢. "الأيدي" (المنفذ)
بمجرد أن يكتب "العقل" الخطة، فإنه يسلمها لفريق من العمال المتخصصين (يسمى LoRA-MoE).
الفريق: تخيل ورشة عمل بها محطتان رئيسيتان:
المحطة (أ) (خبير التردد العالي): بارعة في إصلاح الخطوط الحادة، وإزالة آثار المطر، وتنظيف الضجيج الحبيبي.
المبدل: يخبر "العقل" النظام: "مهلاً، المطر هو المشكلة الأكبر هنا، لذا أرسل الصورة إلى المحطة (أ) أولاً، ثم ربما القليل إلى المحطة (ب)."
لماذا يساعد هذا: في الماضي، كانت هناك آلة واحدة ضخمة تحاول فعل كل شيء في وقت واحد وتصاب بالارتباك. هذا النظام ينتقل ديناميكياً بين الخبراء، مما يضمن استخدام الأداة المناسبة للجزء الصحيح من الصورة.
٣. "ضبط الجودة" (التدريب التنافسي)
تخيل مدرساً فنياً صارماً (المميز - Discriminator) يجلس بجانب المرمم.
المشكلة: أحياناً، يصبح الذكاء الاصطناعي مبدعاً أكثر من اللازم. قد يزيل المطر ولكنه قد يرسم بالخطأ شجرة مزيفة أو يجعل السماء تبدو ناعمة وبلاستيكية أكثر من اللازم. وهذا ما يسمى بـ "الهلوسة".
الحل: يقوم المعلم بفحص العمل باستمرار. إذا حاول المرمم إضافة تفاصيل مزيفة أو جعل الأشياء تبدو ناعمة أكثر من اللازم، يقول المعلم: "لا، هذا لا يبدو حقيقياً. عد وأصلحه."
النتيجة: تبدو الصورة النهائية حادة وحقيقية، دون تلك العيوب الغريبة التي تبدو مزيفة.
لماذا يعد هذا أمراً كبيراً؟
إنه وجهة شاملة: لست بحاجة لمعرفة ما إذا كانت صورتك تحتوي على مطر، أو ضباب، أو غباش. فقط ضع الصورة السيئة في النظام، وسيقوم FAPE-IR بمعرفة المزيج وإصلاح كل شيء.
إنه ذكي: إنه يفهم أن إصلاح المطر (الخطوط الحادة) يختلف عن إصلاح الضباب (السحب الناعمة). ومن خلال فصل هذه المهام، يتجنب "الارتباك" الذي تفسد به أدوات الذكاء الاصطناعي الأخرى الصور.
إنه يعمل على الفوضى المختلطة: الحياة الواقعية فوضوية. قد تكون الصورة ممطرة ومظلمة في آن واحد. يتعامل FAPE-IR مع هذه الحالات المعقدة والمختلطة بشكل أفضل من أي طريقة سابقة.
باخترد شديد: FAPE-IR يشبه توظيف مدير مشروع (المخطط) الذي يفهم المشكلة، ويكلف العمال المتخصصين (الخبراء) بالمهام المناسبة، ويضع مفتشاً صارماً (المدرب التنافسي) لضمان أن المنتج النهائي يبدو طبيعياً ومثالياً. إنه يحول الفوضى العارمة لمشكلات الصور إلى تحفة فنية نظيفة ومستعادة.
إليك ملخص تقني مفصل لورقة البحث بعنوان "FAPE-IR: إطار عمل التخطيط والتنفيذ المدرك للتردد لترميم الصور الشامل (All-in-One Image Restoration)."
1. بيان المشكلة
يهدف ترميم الصور الشامل (AIO-IR) إلى بناء نموذج موحد واحد قادر على التعامل مع أنواع متعددة من تدهور الصور (مثل المطر، الثلج، الضباب، الغبش، الضجيج، الإضاءة المنخفضة، وتكبير الدقة/Super-resolution) في آن واحد. ومع ذلك، تواجه الأساليب الحالية تحديات كبيرة:
التداخل بين المهام (Cross-Task Interference): تعاني الطرق التي تستخدم خرائط متعددة الفروع من صراعات في التدرج (gradient conflicts) عند التحسين لمهام مختلفة ضمن مساحة بارامترات مشتركة.
العزل التدرجي (Gradient Isolation): تعتمد الطرق التي تستهلك التوجيه الكامن أو التجميع (clustering) على فصل المهام بشكل صارم للغاية، مما يمنع اكتشاف الهياكل المشتركة ويحد من القدرة على التعميم في حالات التدهور المركب.
الافتقار إلى الفهم الدلالي: تعتمد معظم النماذج الحالية على تسميات مهام ثابتة أو معرفات يدوية، وتفتقر إلى القدرة على إدراك وفك تشابك سمات التدهور ذاتيًا في السيناريوهات الواقعية غير المعروفة.
العيوب في النماذج التوليدية: غالبًا ما تعاني النهج الحديثة القائمة على الانتشار (diffusion) من الإفراط في التوليد (over-generation)، أو تفاصيل مهلوسة، أو تشوهات هيكلية بسبب الانحيازات الطيفية في أهداف التدريب الخاصة بها (على سبيل المثال، نموذج مطابقة التدفق "Flow Matching" يقلل من وزن الترددات العالية).
2. المنهجية: FAPE-IR
يقترح المؤلفون FAPE-IR، وهو إطار عمل يربط بين نموذج لغوي كبير متعدد الوسائط (MLLM) كـ "مخطط" (Planner) مع منفذ قائم على الانتشار (Diffusion-based Executor) مجهز ببنية LoRA-Mixture-of-Experts (LoRA-MoE) المدركة للتردد.
أ. المخطط المدرك للتردد (العقل المدبر)
بدلاً من الاعتماد على تسميات مهام محددة مسبقًا، يستخدم FAPE-IR نموذج MLLM مجمد (Qwen2.5-VL) لتحليل الصورة المتدهورة وتوليد خطة ترميم مهيكلة.
مجمع السمات الخالي من التسميات: يقوم النظام بحساب إحصائيات بسيطة خالية من التسميات منخفضة المستوى (مثل اتجاه التدرج للمطر، كثافة الكتل للثلج، والقناة المظلمة للضباب) مباشرة من قيم البكسل لتوصيف التدهور.
التعليمات والتخطيط: يتلقى الـ MLLM هذه التلميحات البصرية، وتعليمات الترميم العالمية، وقواعد الخبراء. ثم يخرج زوجًا (tuple) مهيكلًا يتكون من:
نوع المهمة: نوع (أو أنواع) التدهور الموجودة.
التركيز الترددي: ما إذا كان الترميم يتطلب معالجة ترددات عالية (الحواف، الأنسجة، إزالة المطر/الثلج/الضجيج) أو ترددات منخفضة (الإضاءة العالمية، إزالة الضباب).
سلسلة العمليات (Pipeline): تتبع استدلالي خطوة بخوة.
ترميز الرموز (Token Encoding): يتم تشفير مخرجات المخطط إلى رموز مدمجة توجه المنفذ، مما يضمن أن عملية الترميم مدفوعة دلاليًا وقابلة للتفسير.
المنفذ هو نموذج قائم على الانتشار (FLUX transformer) يعمل على تحسين التمثيل الكامن للصورة.
آلية البوابة مزدوجة الأطراف: يقدم وحدة Frequency-Aware LoRA-MoE مبتكرة تختار ديناميكيًا بين خبيرين متخصصين: خبير الترددات العالية وخبير الترددات المنخفضة.
موجه النص (Text Router): يستخدم الرموز الدلالية للمخطط لاقتراح اختيار أولي للخبير.
موجه الطيف (Spectral Router): يحلل رموز التوليد المتوسطة باستخدام مرشح FIR (مرشح الاستجابة النبضية المحدودة) لتقسيم طاقة التردد العالي والمنخفض، مما يحسن الاختيار بناءً على المحتوى الطيفي الفعلي.
التوجيه الديناميكي: أوزان البوابة النهائية هي دمج بين الإشارات الدلالية والطيفية، مما يسمح للنموذج بالتعامل مع التدهور المختلط عبر تفعيل الخبير المناسب أو مزيج منهما.
ج. استراتيجية التدريب: التدريب التنافسي + تنظيم التردد
لمعالجة العيوب الشائعة في نماذج الانتشار (مثل مطابقة التدماء)، يستخدم FIPE-IR وصفة تدريب محددة:
التدريب التنافسي (Adversarial Training): يستبدل أهداف مطابقة التدفق القياسية بخسارة تنافسية مركبة. يتضمن ذلك مميزًا (Discriminator) يعتمد على SigLIP لضمان المحاذاة التوزيعية، بالإضافة إلى خسارة MSE لكل بكسل، وخسارة إدراكية (LPIPS). هذا يمنع "الإفراط في التوليد" أو التفاصيل المهلوسة.
تنظيم التردد (Frequency Regularization): يوجد حد خسارة محدد (Lfreq) يعاقب الخبراء على توليد طاقة خارج نطاق التردد المخصص لهم (على سبيل المثال، منع خبير التردد المنخفض من توليد ضجيج عالي التردد). هذا يفرض تخصصًا صارمًا ويقلل من التداخل بين المهام.
3. المساهمات الرئيسية
إطار عمل موحد للفهم والتوليد: يعد FAPE-IR أول إطار عمل AIO-IR يربط صراحة بين مخطط دلالي (MLLM) ومنفذ متخصص في التردد، مما يتيح إدراك التدهور ذاتيًا دون الحاجة لتسميات مهام.
Frequency-Aware LoRA-MoE: يقدم آلية بوابة مزدوجة توجه المعلومات ديناميكيًا بين خبراء التردد العالي والمنخفض بناءً على كل من القصد الدلالي والأدلة الطيفية، مما يقلل بفعالية من صراعات التدرج.
الدقة النظرية والتجريبية: يوفر تحليلًا نظريًا يوضح سبب تسبب "مطابقة التدفق" في ظهور عيوب في الترميم (الانحياز الطيفي)، ويثبت أن التدريب التنافسي مع تنظيم التردد ينتج دقة أعلى وعيوبًا أقل.
أداء رائد (SOTA): يحقق نتائج رائدة في سبعة مهام ترميم ويظهر قدرة قوية على التعميم (Zero-shot) على التدهورات المركبة غير المرئية.
4. النتائج التجريبية
الأداء الكمي: يتفوق FAPE-IR على طرق AIO-IR الحالية (مثل PromptIR، AdaIR، DFPIR، MoCE-IR) ونماذج SR المتخصصة في سبعة معايير (إزالة المطر، إزالة الثلج، إزالة الضباب، إزالة الغبش، إزالة الضجيج، الإضاءة المنخفضة، وتكبير الدقة).
مهام الطقس: تحقيق مكاسب كبيرة في مقياس PSNR (مثل +6–8 ديسيبل في إزالة المطر) والمقاييس الإدراكية (LPIPS، FID).
التدهورات المختلطة: يظهر قدرة قوية على التعميم (Zero-shot) على معيار CDD-11 (التدهورات المركبة)، حيث تفشل النماذج الأخرى.
الجودة النوعية: تُظهر المقارنات البصرية أن FAPE-IR يحافظ على الأنسجة الدقيقة والحواف بشكل أفضل من النماذج الموحدة (التي تهلوس) ومن نماذج AIO-IR الأساسية (التي تفرط في التنعيم). كما أنه يزيل بفعالية العيوب مثل ظاهرة الارتداد (ringing) وانزياحات الألوان.
الكفاءة: على الرغم من عدد البارامترات الأكبر، فإن وقت الاستنتاج معقول (~1.57 ثانية على GPU H200) وهو أسرع بكثير من بعض النماذج التوليدية ذات الترتيب الذاتي (Autoregressive) الموحدة.
5. الأهمية
يمثل FAPE-IR تحولًا جذريًا في مجال الرؤية منخفضة المستوى (Low-level vision) للترميم. فمن خلال الانتقة من التوليد المشروط بالمهمة إلى التخطيط الدلالي والتنفيذ المدرك للتردد، فإنه يحل المقايضة الجوهرية بين تخصص المهمة والنمذجة الموحدة.
القابلية للتفسير: يوفر المخطط تتبع استدلالي يمكن للبشر قراءته، مما يجعل عملية الترميم شفافة.
المتانة: يضمن التصميم المدرك للتردد تكيف النموذج مع الطبيعة الطيفية للتدهور، مما يؤدي إلى استقرار أكبر في التحسين وتقليل العيوب في السيناريوهات المعقدة والواقعية.
التوجه المستقبلي: يضع حجر الأساس لدمج الاستدلال الدلالي عالي المستوى (عبر MLLMs) مع معالجة الإشارات منخفضة المستوى (عبر الانتشار وتحليل التردد) لمهام الرؤية العامة.