💻 computer science

UniSER: A Foundation Model for Unified Soft Effects Removal

Le papier présente UniSER, un modèle fondamental unifié qui surpasse les approches spécialisées et les modèles généralistes en éliminant efficacement divers effets de dégradation douce (comme les reflets, la brume ou les ombres) des images numériques grâce à un entraînement sur un jeu de données massif de 3,8 millions de paires et à l'exploitation de la nature semi-transparente commune de ces artefacts.

Auteurs originaux : Jingdong Zhang, Lingzhi Zhang, Qing Liu, Mang Tik Chiu, Connelly Barnes, Yizhou Wang, Haoran You, Xiaoyang Liu, Yuqian Zhou, Zhe Lin, Eli Shechtman, Sohrab Amirghodsi, Xin Li, Wenping Wang, Xiaohang Z

Publié 2026-03-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jingdong Zhang, Lingzhi Zhang, Qing Liu, Mang Tik Chiu, Connelly Barnes, Yizhou Wang, Haoran You, Xiaoyang Liu, Yuqian Zhou, Zhe Lin, Eli Shechtman, Sohrab Amirghodsi, Xin Li, Wenping Wang, Xiaohang Zhan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous prenez une magnifique photo de votre famille lors d'un pique-nique. C'est parfait, sauf qu'il y a un gros problème : un rayon de soleil a créé un reflet éblouissant sur l'objectif, un brouillard couvre le fond, et l'ombre d'un arbre cache le visage de votre enfant.

Autrefois, pour réparer cela, il fallait un expert différent pour chaque problème : un "magicien des reflets", un "chasseur de brouillard", et un "détective des ombres". C'était lent, coûteux, et souvent, le résultat semblait faux ou flou.

Aujourd'hui, l'équipe d'Adobe Research et de l'université Texas A&M a créé UniSER. Voici comment cela fonctionne, expliqué simplement :

1. Le "Super-Héros" de la Restauration

Pensez à UniSER comme à un chef cuisinier universel plutôt qu'à un simple cuisinier spécialisé dans une seule recette.

Les anciens modèles étaient comme des chefs qui ne savaient faire que des crêpes (enlever les ombres) ou que des gâteaux (enlever le brouillard). Si vous leur demandiez de faire les deux, ils échouaient.
UniSER, lui, est un chef qui a appris à cuisiner tout. Il comprend que le reflet, le brouillard et l'ombre sont tous la même chose : une sorte de "voile transparent" qui se pose sur la photo. Au lieu d'apprendre une règle pour chaque voile, il a appris la nature même de ces voiles.

2. L'École de Cuisine (Les Données)

Pour devenir ce chef expert, UniSER n'a pas seulement lu quelques livres de cuisine. Il a avalé une bibliothèque entière de 3,8 millions de photos !

Les chercheurs ont collecté des millions de paires d'images : une photo "abîmée" et la même photo "parfaite".
Comme il manquait des recettes pour certains plats rares (comme des reflets très étranges), ils ont utilisé des simulateurs 3D (comme dans les jeux vidéo) pour créer des milliers de nouvelles situations de brouillard, de fumée et de reflets réalistes. C'est comme si le chef s'entraînait dans une cuisine virtuelle pour maîtriser des situations qu'il ne verrait peut-être jamais dans la vraie vie.

3. La Baguette Magique Contrôlable

C'est ici que la magie opère. Avec les anciens outils, c'était tout ou rien : soit on enlevait tout le brouillard (et on risquait de gâcher le ciel), soit on ne faisait rien.

Avec UniSER, vous avez une baguette magique avec deux boutons :

Le Pinceau (Le Masque) : Vous pouvez peindre uniquement sur la zone qui vous dérange. Vous voulez enlever l'ombre sur le visage de votre enfant, mais garder l'ombre de l'arbre ? Pas de problème. UniSER ne touche qu'à ce que vous lui montrez.
Le Bouton de Volume (La Force) : C'est comme le volume d'une radio. Vous pouvez demander à UniSER d'enlever le reflet un peu (pour garder un effet artistique) ou complètement (pour voir clair). Vous glissez un curseur de 0 à 100 %, et l'image s'adapte instantanément.

4. Pourquoi c'est mieux que l'Intelligence Artificielle "Générale" ?

Aujourd'hui, il existe des IA très puissantes (comme celles qui écrivent des histoires ou génèrent des images à partir de texte) qui peuvent dire : "Enlève le brouillard".

Le problème : Ces IA sont un peu comme des artistes qui rêvent. Si vous leur demandez d'enlever le brouillard, elles peuvent décider de changer la couleur de votre voiture ou de remplacer votre chien par un chat, car elles "inventent" trop de détails.
La solution UniSER : UniSER est un restaurateur de précision. Il sait exactement ce qu'il doit faire : retirer le voile sans toucher à ce qui est dessous. Il ne change pas l'identité de votre photo, il la rend juste plus claire.

En résumé

UniSER est comme un nettoyeur de vitres intelligent.

Il ne se contente pas de frotter toute la vitre au hasard.
Il sait exactement où est la tache (grâce à votre pinceau).
Il sait à quel point frotter (grâce à votre bouton de force).
Et surtout, il ne raye pas la vitre et ne change pas la vue derrière (il préserve l'image originale).

Grâce à ce modèle, vous pouvez maintenant sauver vos photos de vacances gâchées par le soleil, la pluie ou la poussière, avec un contrôle total et une qualité incroyable, le tout en quelques secondes.

1. Problématique et Contexte

Les images numériques capturées dans le monde réel souffrent fréquemment de dégradations dites « mous » (soft effects), telles que les reflets de lentille (lens flare), la brume (haze), les ombres et les reflets. Ces phénomènes altèrent la radiance de la scène de manière additive ou multiplicative, réduisant le contraste, la fidélité des couleurs et les détails fins.

Les approches existantes présentent deux limites majeures :

Modèles spécialisés (Specialist Models) : Ils traitent chaque type de dégradation de manière isolée (ex: un modèle pour la brume, un autre pour les ombres). Bien que performants sur des tâches spécifiques, ils manquent d'évolutivité et ne peuvent pas gérer des dégradations complexes ou inattendues.
Modèles généralistes (Generalist Models) : Les grands modèles de fondation récents (comme GPT-4o, Flux Kontext, Nano Banana) offrent un éditing par texte, mais ils peinent sur des tâches fines comme la suppression d'effets. Ils manquent souvent de contrôle pixelique précis, modifient l'identité des objets de la scène et dépendent fortement de prompts textuels complexes.

Le défi central réside dans le fait que, malgré leurs apparences différentes, ces effets partagent une propriété intrinsèque commune : ce sont des occlusions semi-transparentes qui dégradent l'image sans détruire totalement l'identité sous-jacente de la scène.

2. Méthodologie

L'approche proposée, UniSER, est un modèle fondation unifié conçu pour inverser ces processus de dégradation diversifiés au sein d'un seul cadre.

A. Curration d'un Dataset à Grande Échelle (3,8 Millions de paires)

La robustesse du modèle repose sur un jeu de données massif et équilibré, compilé à partir de quatre tâches principales :

Sources existantes : Intégration de benchmarks publics (Flare7K, SRD, RESIDE, SIR2, etc.).
Expansion des données : Pour combler les lacunes (notamment le manque de données réalistes pour les reflets de lentille et la diversité de la brume), les auteurs ont généré :
- HALO Dataset : 70 000 paires d'images synthétiques rendues en 3D (Blender) avec des effets de lentille géométriquement cohérents.
- LR-SRD : 26 000 paires d'ombres synthétisées à partir de données réelles en assemblant des objets sans ombre sur des arrière-plans.
- Synthèse de brume physique : Utilisation d'un pipeline de rendu atmosphérique basé sur l'équation du transfert radiatif (RTE) et de générateurs de textures procédurales pour simuler des brumes non homogènes, de la fumée et du brouillard avec un contrôle précis des paramètres physiques (visibilité, couleur de la lumière diffuse, épaisseur optique).

B. Architecture du Modèle

UniSER est basé sur un Transformateur de Diffusion (DiT) et reformule la tâche comme un problème de génération de trames discontinues dans un espace latent.

Encodage : Une VAE encode l'image d'entrée dans un espace latent.
Conditionnement : Le modèle reçoit l'encodage latent de l'image, des embeddings textuels (ex: « remove haze ») et des contrôles utilisateurs.
Contrôles Fins :
- Masque (Mask Control) : L'utilisateur peut définir une région précise pour la suppression. Pendant l'entraînement, une stratégie de masquage aléatoire (combinaison de formes géométriques et de traits libres) est utilisée pour que le modèle apprenne à gérer n'importe quelle forme de masque.
- Contrôle de l'Intensité (Strength Control) : Un paramètre continu $\alpha \in [0, 1]$ permet de moduler la force de suppression (de 0 = aucun changement à 1 = suppression totale). La cible d'entraînement est générée par interpolation linéaire entre l'image d'entrée et l'image propre selon ce facteur.
Généralisation Zero-Shot : Le modèle est entraîné avec des prompts génériques (« remove effects ») et des tâches auxiliaires sur des images propres dégradées artificiellement, lui permettant de supprimer des effets non vus durant l'entraînement (ex: pluie, taches).

3. Contributions Clés

Dataset Massif et Diversifié : Création d'un ensemble de données de ~3,8 millions de paires d'images, incluant des données synthétiques physiquement plausibles pour combler les lacunes des benchmarks publics.
Modèle Fondation Unifié (UniSER) : Un seul modèle capable de supprimer simultanément les reflets de lentille, la brume, les ombres et les reflets avec des performances state-of-the-art, surpassant les modèles spécialisés et les modèles généralistes beaucoup plus grands.
Édition Contrôlable : Intégration native de contrôles granulaires (masques spatiaux et niveaux d'intensité) permettant une restauration précise et intuitive, adaptée aux besoins spécifiques des utilisateurs.
Capacités Génératives Inversées : Le modèle peut non seulement supprimer des effets, mais aussi en ajouter ou les renforcer de manière réaliste sur des images propres.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des benchmarks standards (Flare7K, SRD, RESIDE, SIR2) et sur des données « in-the-wild » (réelles, sans vérité terrain).

Performance Quantitative :
- Sur les benchmarks standards, UniSER atteint les meilleures performances (PSNR et SSIM) sur les quatre tâches, surpassant les modèles spécialisés de pointe.
- Sur les données « in-the-wild », UniSER dépasse largement les modèles généralistes (Nano Banana, Flux Kontext, GPT-4o) et les modèles spécialisés selon des métriques sans référence (LIQE, gain de contraste) et une évaluation basée sur un VLM (Qwen2.5-VL).
Qualité Visuelle :
- Contrairement aux modèles généralistes qui altèrent souvent l'identité des objets ou le fond, UniSER préserve fidèlement la structure de la scène.
- Le contrôle par masque permet une suppression localisée sans affecter le reste de l'image.
- Le contrôle d'intensité permet des transitions douces et naturelles.
Généralisation Zero-Shot : Le modèle réussit à supprimer des artefacts non vus durant l'entraînement (pluie, taches), démontrant une robustesse exceptionnelle.

5. Signification et Impact

UniSER représente une avancée significative dans le domaine de la restauration d'images en passant d'une approche « un problème, un modèle » à une approche unifiée fondée sur les données.

Unification : Il démontre que des dégradations apparemment hétérogènes partagent des essences communes (occlusions semi-transparentes) qui peuvent être apprises par un seul modèle fondation.
Praticité : La capacité à contrôler précisément la zone et l'intensité de la suppression rend l'outil viable pour l'édition photo professionnelle et les pipelines de vision par ordinateur critiques, là où les modèles génératifs actuels sont trop imprévisibles.
Ressources Open Source : Les auteurs prévoient de libérer le dataset curaté, favorisant ainsi la recherche future sur la restauration d'images unifiée.

En conclusion, UniSER établit un nouvel état de l'art pour la suppression d'effets mous, combinant la puissance des modèles de diffusion, la richesse des données synthétiques physiquement plausibles et un contrôle utilisateur intuitif.