FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration

Le papier présente FAPE-IR, un cadre unifié pour la restauration d'images qui combine un grand modèle de langage multimodal figé pour la planification sémantique et un module LoRA-MoE guidé par les fréquences au sein d'un exécuteur basé sur la diffusion, permettant d'atteindre des performances de pointe sur sept tâches de restauration avec une forte généralisation zéro-shot.

L'essentiel

🎨 FAPE-IR : Le Restaurateur d'Images "Super-Sage"

Imaginez que vous avez une vieille photo de famille abîmée. Elle est peut-être floue, couverte de pluie, de neige, ou trop sombre. Habituellement, pour la réparer, il faut un expert différent pour chaque problème : un pour la pluie, un autre pour le flou, un troisième pour la lumière. C'est fastidieux et souvent imparfait.

FAPE-IR, c'est comme engager un super-restaurateur tout-en-un qui ne se contente pas de "réparer" l'image, mais qui la comprend d'abord, puis agit avec précision.

Voici comment cela fonctionne, étape par étape, avec des analogies simples :

1. Le Chef d'Orchestre (Le Planificateur) 🧠

Au lieu de lancer une machine aveugle sur l'image, FAPE-IR utilise un cerveau artificiel très intelligent (un modèle de langage multimodal, un peu comme un chatbot très cultivé en art).

• L'analogie : Imaginez un chef d'orchestre qui écoute une symphonie désordonnée. Avant de donner le coup d'envoi, il analyse : "Ah, il y a trop de violons qui jouent faux (c'est du bruit), et les cuivres sont étouffés (c'est du brouillard)."
• Ce qu'il fait : Il ne regarde pas juste les pixels. Il analyse l'image et rédige un plan d'action simple : "Ce problème vient des hautes fréquences (les détails fins comme les gouttes de pluie), donc il faut utiliser l'outil 'nettoyage de détails'. Ce problème vient des basses fréquences (la lumière globale), donc il faut ajuster l'éclairage."

2. L'Atelier de Réparation (L'Exécutant) 🛠️

Une fois le plan rédigé, il est envoyé à l'atelier de réparation. Mais au lieu d'avoir un seul ouvrier qui fait tout, l'atelier est divisé en deux équipes spécialisées :

• L'équipe "Haute Fréquence" (Les Détailistes) : Ils s'occupent des choses fines et tranchantes : les contours des bâtiments, les textures de la peau, les gouttes de pluie. C'est comme des chirurgiens qui enlèvent des taches de rousseur sans toucher à la peau saine.
• L'équipe "Basse Fréquence" (Les Architectes) : Ils s'occupent des grandes structures : la luminosité globale, les couleurs, le brouillard qui couvre tout. C'est comme un peintre qui ajuste la lumière d'une pièce entière.

La magie de FAPE-IR : Le plan du Chef d'Orchestre dit exactement à quelle équipe travailler. Si c'est de la pluie, on active les "Détailistes". Si c'est du brouillard, on active les "Architectes". Cela évite que l'équipe des détails essaie de réparer la lumière (ce qui créerait des erreurs) et vice-versa.

3. Le Contrôleur de Qualité (L'Entraînement Adversaire) 🕵️‍♂️

C'est ici que FAPE-IR devient vraiment intelligent. Souvent, les robots de restauration ont tendance à "halluciner" : ils inventent des détails qui n'existaient pas (comme ajouter des fenêtres à un bâtiment qui n'en avait pas) ou ils rendent l'image trop lisse (comme une photo de plâtre).

• L'analogie : Imaginez un inspecteur de police très strict qui compare la photo réparée à la photo originale (ou à ce qu'une photo réelle devrait ressembler).
• Ce qu'il fait : Il dit : "Non, cette texture de mur est trop parfaite, c'est faux !" ou "Cette ombre est trop dure, ce n'est pas naturel."
• Grâce à ce système, FAPE-IR apprend à ne pas inventer de fausses choses. Il reste fidèle à la réalité tout en supprimant les défauts.

Pourquoi est-ce si spécial ?

Avant, les systèmes essayaient de tout faire en même temps, un peu comme un cuisinier qui essaie de faire cuire un steak et de faire un gâteau en même temps sur le même feu : ça finit souvent par brûler l'un ou l'autre.

FAPE-IR, lui, sépare les tâches :

1. Comprendre (Quel est le problème ?).
2. Planifier (Quelle équipe de spécialistes faut-il ?).
3. Agir (Réparer avec précision).
4. Vérifier (Est-ce que c'est naturel ?).

Le Résultat Final 🌟

Grâce à cette méthode, FAPE-IR peut prendre une photo prise sous la pluie, avec du brouillard et un peu sombre, et la transformer en une image claire et nette, sans inventer de détails bizarres et sans effacer les vraies textures.

C'est comme passer d'un réparateur qui utilise un marteau sur tout ce qui bouge, à un horloger suisse qui sait exactement quel petit engrenage ajuster pour que tout fonctionne parfaitement.

En résumé : FAPE-IR ne se contente pas de "nettoyer" l'image ; il la comprend pour la réparer intelligemment, en utilisant les bons outils pour les bons problèmes, le tout sans créer de fausses images.

Résumé technique

Titre : FAPE-IR : Un cadre de planification et d'exécution sensible aux fréquences pour la restauration d'images tout-en-un

1. Problématique

La restauration d'images vise à récupérer des images propres à partir de dégradations telles que la pluie, la neige, le brouillard, le flou, la faible luminosité et le bruit. Bien que des modèles spécialisés existent pour chaque type de dégradation, les scénarios réels impliquent souvent des dégradations multiples, inconnues et co-occurrentes.
Les approches actuelles de Restauration d'Image Tout-en-Un (AIO-IR) souffrent de limitations majeures :

• Conflits de gradients : Les architectures multi-branches ou les stratégies de routage latent entraînent des interférences entre les tâches, rendant difficile l'atteinte d'optima spécifiques à chaque tâche.
• Manque de compréhension sémantique : La plupart des méthodes dépendent d'étiquettes de tâches explicites ou de priors manuels, ce qui limite leur capacité à percevoir et à dissocier automatiquement les attributs de dégradation.
• Artéfacts et généralisation : Les modèles peinent à généraliser aux dégradations composées et génèrent souvent des artéfacts (sur-génération, distorsions géométriques) en raison d'une mauvaise allocation des capacités de reconstruction.

2. Méthodologie

FAPE-IR propose un cadre unifié couplant un planificateur multimodal et un exécuteur basé sur la diffusion, structuré autour d'une analyse sensible aux fréquences.

A. Architecture Globale

Le système fonctionne en deux étapes principales :

1. Planification (Planner) : Utilisation d'un Modèle de Langage Multimodal (MLLM) gelé (Qwen2.5-VL) pour analyser l'image dégradée.
2. Exécution (Executor) : Utilisation d'un modèle de diffusion (basé sur FLUX) équipé d'un module LoRA-MoE (Mixture of Experts) pour effectuer la restauration.

B. Le Planificateur Sensible aux Fréquences

• Pool de caractéristiques sans étiquette : Au lieu d'utiliser des étiquettes de dégradation, le système extrait des statistiques d'images à bas niveau (orientations de gradients, densité de blobs, statistiques de canal sombre, etc.) pour caractériser la dégradation.
• Instruction et Planification : Le MLLM reçoit ces indices visuels et des instructions expertes. Il génère un plan structuré contenant :
  • Le type de dégradation.
  • La bande de fréquence dominante à restaurer (Haute ou Basse).
  • La cause sous-jacente et le pipeline de restauration proposé.
• Encodage : Ces décisions sont converties en tokens d'entendement qui guident l'exécuteur.

C. L'Exécuteur : LoRA-MoE Sensible aux Fréquences

• Architecture MoE (Mixture of Experts) : L'exécuteur utilise deux experts spécialisés : l'un pour les hautes fréquences (détails, textures, bords) et l'autre pour les basses fréquences (illumination, contraste global, brouillard).
• Mécanisme de Portes (Gating) Dual :
  • Porte textuelle : Utilise les tokens du planificateur pour proposer une sélection d'expert.
  • Porte spectrale : Analyse les caractéristiques visuelles intermédiaires (via un filtre FIR) pour affiner le choix.
• Fusion : Les poids des portes sont fusionnés pour sélectionner dynamiquement l'expert approprié, permettant une adaptation précise au contenu de l'image.

D. Stratégie d'Entraînement

• Entraînement Adversaire : Contrairement aux méthodes de Flow Matching (FM) ou de régression automatique (AR) qui peuvent causer des artéfacts ou un lissage excessif, FAPE-IR utilise une fonction de perte adversaire.
• Régularisation de Fréquence : Une perte de régularisation basée sur l'énergie est ajoutée pour forcer chaque expert à se spécialiser dans sa bande de fréquence respective, évitant ainsi le chevauchement et les artéfacts.
• Avantage Théorique : Les auteurs démontrent théoriquement que l'entraînement adversaire évite les biais de sous-pondération des hautes fréquences (communs au FM) et les effondrements déterministes (communs à l'AR), garantissant une fidélité élevée sans sur-génération.

3. Contributions Clés

1. Cadre Unifié Sémantique-Fréquentiel : FAPE-IR est le premier cadre AIO-IR qui couple explicitement la compréhension sémantique (via MLLM) et la restauration basée sur les fréquences, rendant le processus interprétable.
2. Stratégie de Routage Dynamique : Le mécanisme LoRA-MoE sensible aux fréquences permet de partager les connaissances entre tâches similaires (ex: débruitage et défloutage) tout en isolant les tâches conflictuelles, réduisant ainsi les interférences.
3. Performance et Généralisation : Le modèle atteint des performances de pointe (SOTA) sur sept tâches de restauration et démontre une forte capacité de généralisation zero-shot sur des dégradations composées non vues durant l'entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur une large gamme de benchmarks (pluie, neige, brouillard, flou, bruit, faible luminosité, super-résolution).

• Performance Quantitative : FAPE-IR surpasse les méthodes de l'état de l'art (PromptIR, FoundIR, AdaIR, etc.) sur la majorité des métriques (PSNR, SSIM, LPIPS, FID, DISTS).
  • Exemple : Sur la tâche de dérainage, le PSNR passe de ~21.9 dB (baselines) à 28.3 dB.
  • Exemple : Sur la super-résolution, le PSNR atteint 28.53 dB contre ~26.8 dB pour les meilleurs concurrents.
• Qualité Visuelle : Le modèle préserve mieux les structures fines et les textures tout en éliminant les artéfacts (halos, flou excessif, hallucinations de textures) souvent observés dans les modèles unifiés ou basés sur la diffusion standard.
• Généralisation : Sur le benchmark CDD-11 (dégradations composées réelles), FAPE-IR montre une robustesse exceptionnelle, réussissant à restaurer des images avec des mélanges complexes (ex: pluie + brouillard) sans avoir été entraîné spécifiquement sur ces mélanges.
• Efficacité : Malgré un nombre de paramètres plus élevé, le temps d'inférence reste raisonnable et compétitif par rapport aux méthodes unifiées lourdes.

5. Signification et Impact

FAPE-IR représente une avancée significative dans le domaine de la vision par ordinateur de bas niveau :

• Interprétabilité : En décomposant la restauration en étapes de planification explicite et d'exécution fréquentielle, le modèle offre une transparence sur pourquoi et comment une image est restaurée.
• Robustesse Réelle : La capacité à gérer des dégradations inconnues et composées sans étiquettes de tâche rend le modèle particulièrement adapté aux applications réelles (conduite autonome, imagerie médicale, photographie grand public).
• Nouvelle Direction : Le papier suggère que l'intégration de la planification sémantique (via les LLM) avec des mécanismes de contrôle spectral (fréquences) est une voie prometteuse pour dépasser les limitations des modèles de diffusion et de régression automatique actuels.

En résumé, FAPE-IR propose une solution unifiée, interprétable et performante qui surmonte les compromis traditionnels entre la fidélité des pixels et la qualité perceptive dans la restauration d'images complexes.