💻 computer science

Bend the Basics: Degradation-Aware Deformable Tokenization for All-in-One Image Restoration

Le papier propose le Flexible Image Transformer (FIT), un modèle de restauration d'image unifié qui améliore les performances à travers diverses dégradations spatialement non uniformes en intégrant explicitement la conscience de la dégradation tout au long de l'ensemble du pipeline de tokenisation via une déformation de patch adaptative et une nouvelle stratégie de dropout de task-token.

Auteurs originaux : Zihao He, Yunfeng Wu, Xinchao Wang, Songhua Liu

Publié 2026-08-10

📖 10 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zihao He, Yunfeng Wu, Xinchao Wang, Songhua Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de ranger une chambre en désordre, mais que le désordre n'est pas le même partout. Dans un coin, il y a un tas de vêtements mouillés et boueux ; dans un autre, une fenêtre brisée ; et dans un troisième, une couche de poussière épaisse. Si vous aviez un robot nettoyeur qui utilisait exactement le même motif de balayage pour toute la pièce, il ignorerait probablement la boue, briserait le verre ou se contenterait de déplacer la poussière. C'est le combat quotidien de la « restauration d'image », une branche de l'informatique dédiée à la réparation de photos gâchées par la pluie, le brouillard, le flou ou l'obscurité. Pendant des années, les outils les plus intelligents pour cette tâche ont été comme ce robot rigide : ils découpent l'image en de minuscules tuiles de taille fixe (comme une grille de Post-it) pour les analyser. Ils tentent ensuite de réparer chaque tuile indépendamment. Mais lorsqu'une traînée de pluie traverse la limite entre deux tuiles, le robot est confus. Il essaie de réparer la moitié supérieure de la pluie dans une tuile et la moitié inférieure dans une autre, laissant souvent une couture visible et inesthétique là où les deux morceaux ne correspondent pas tout à fait.

Le document que vous allez lire s'attaque précisément à ce problème de « couture ». Il introduit une nouvelle façon de concevoir la manière dont les ordinateurs regardent les images dégradées. Au lieu de forcer l'image dans une grille rigide, les auteurs proposent un système qui permet à la grille elle-même de se courber et de se déformer pour s'adapter au désordre. Imaginez une feuille de caoutchouc flexible plutôt qu'une boîte en carton rigide. Si une traînée de pluie court en diagonale, la feuille de caoutchouc étire et déplace ses « tuiles » pour suivre parfaitement la traînée, garantissant ainsi que l'ordinateur voit l'ensemble du problème d'un seul coup. En faisant cela, l'ordinateur peut réparer l'image sans laisser derrière lui ces lignes de blocs distrayantes. Les chercheurs appellent leur nouveau système FIT, qui signifie Flexible Image Transformer, et ils démontrent qu'en faisant « plier » l'image pour correspondre aux dégâts, ils peuvent créer des photos plus propres et plus nettes que jamais.

Le Problème : La « Grille » qui ne veut pas plier

Pour comprendre pourquoi cette nouvelle méthode est importante, nous devons examiner comment fonctionne l'IA de réparation d'image actuelle. La plupart des systèmes modernes utilisent une technique appelée « tokenisation par patch ». Imaginez que vous avez un immense puzzle, mais qu'au lieu de formes irrégulières, chaque pièce est un carré parfait. Pour réparer une photo floue, l'ordinateur découpe l'image en ces petits carrés, étudie chacun d'eux, puis tente de reconstruire l'image.

Le problème, comme le soulignent les auteurs, est que les dommages du monde réel ne respectent pas ces carrés. Les traînées de pluie, le flou de mouvement et le brouillard traversent souvent les limites de ces carrés fixes. Lorsque l'ordinateur essaie de réparer un carré qui contient la moitié d'une traînée de pluie et la moitié d'un ciel clair, il est confus. Il mélange les pixels « mauvais » avec les pixels « bons ». Lorsqu'il rassemble les carrés, le décalage crée un « artefact de grille » visible — une ligne ou une couture ténue et artificielle là où les carrés se rejoignent. C'est comme essayer de recoudre une chemise déchirée avec des pièces de tissu carrées qui ne s'alignent pas avec la déchirure ; la réparation semble maladroite et évidente.

Les auteurs soutiennent que les tentatives précédentes pour corriger cela revenaient à essayer d'apprendre au robot nettoyeur à être plus intelligent après qu'il ait déjà découpé la pièce en carrés. Ils injectaient des informations sur le type de dommage (par exemple, « c'est de la pluie ») dans le cerveau de l'ordinateur, mais l'ordinateur restait coincé dans sa vision du monde à travers une grille rigide. Le dommage était déjà mélangé à l'intérieur des carrés avant même que l'ordinateur ne commence à réfléchir à la façon de les réparer.

La Solution : Une Grille Flexible et Changeante

Les auteurs proposent un changement radical : n'utilisez pas de grille fixe du tout. À la place, laissez la grille se courber.

Ils introduisent un système appelé FIT (Flexible Image Transformer). Voici comment il fonctionne, étape par étape, en utilisant une analogie simple :

Le « Détective des Dégâts » (Décodeur de Dégradation) : Avant même que l'ordinateur ne commence à regarder les morceaux d'image, il envoie un éclaireur rapide pour observer toute la photo. Cet éclaireur ne se contente pas de dire « il pleut » ; il crée une carte. Il dessine un tableau global des dégâts (un « vecteur global ») et une carte détaillée montrant précisément où les dégâts sont les plus importants (une « carte spatiale »). C'est comme un pompier qui regarde un bâtiment en feu et sait immédiatement quelles pièces sont les plus chaudes et vers où le feu se propage.
La « Grille Déformable » (Tokenisation Déformable) : C'est là que la magie opère. Au lieu de couper l'image en carrés rigides, l'ordinateur utilise la carte des dégâts pour étirer et déplacer les carrés. S'il y a une longue traînée de pluie, l'ordinateur étire les lignes de la grille pour suivre la traînée. Si une partie de l'image est très floue, la grille se déplace pour regrouper ces pixels flous ensemble.
- L'Analogie : Imaginez que vous coupez un gâteau. Si le gâteau contient une longue et fine fraise qui le traverse, un couteau rigide couperait la fraise en deux, ruinant le morceau. Mais si vous avez un couteau flexible capable de se courber pour suivre la courbe de la fraise, vous pouvez couper autour d'elle parfaitement. FIT fait exactement cela. Il courbe les « lignes de coupe » de l'image afin que chaque morceau (ou « token ») contienne une partie cohérente du dommage, plutôt qu'un mélange désordonné de pixels propres et sales.
Le « Réparateur Intelligent » (Transformer) : Une fois l'image découpée en ces morceaux flexibles et conscients des dégâts, l'ordinateur les traite. Parce que les morceaux sont désormais organisés logiquement (la pluie est dans un morceau, le ciel clair dans un autre), l'ordinateur peut les réparer avec beaucoup plus de précision.
La « Courbure Inverse » (Unembedding) : Après que l'ordinateur a réparé les morceaux, il doit les remettre en place. Il utilise la même carte de courbure pour replacer les morceaux dans leurs positions d'origine. Comme les morceaux étaient alignés avec les dégâts dès le départ, ils s'emboîtent parfaitement, ne laissant aucune couture visible.

Le Tour de Passe-passe du « Dropout » : Apprendre à Deviner

Il existe un autre tour de passe-passe ingénieux utilisé par les auteurs appelé Task-Token Dropout. Habituellement, lorsque vous entraînez une IA à réparer une photo, vous lui dites exactement ce qui ne va pas : « C'est de la pluie » ou « C'est du flou ». Mais dans le monde réel, on ne sait pas toujours ce qui ne va pas. On voit juste une mauvaise photo.

Pour rendre l'IA assez robuste pour gérer cela, les auteurs l'entraînent à parfois ignorer l'étiquette. Ils disent aléatoirement à l'IA : « Voici une photo pluvieuse », puis retirent immédiatement cette étiquette, forçant l'IA à comprendre par elle-même qu'il s'agit de pluie simplement en regardant l'image. C'est comme apprendre à un élève à résoudre un problème de mathématiques en lui donnant parfois la solution et en la lui retirant parfois, le forçant ainsi à apprendre la logique plutôt qu'à simplement mémoriser la réponse. Cela garantit que lorsque l'IA est confrontée à une photo mêlant pluie et brouillard (ou à un type de dommage qu'elle n'a jamais vu auparavant), elle peut toujours identifier le problème et le réparer sans être confuse.

Les Résultats : Plus Net, Plus Propre, Sans Coutures

Les auteurs ont testé leur nouveau système FIT sur cinq types différents de dégradations d'image : suppression du bruit, suppression de la pluie, suppression du brouillard (brume), correction du flou de mouvement et éclaircissement de photos sombres. Ils l'ont comparé aux meilleures méthodes existantes, y compris une base très solide appelée JIT (Just Image Transformers).

Les résultats sont impressionnants. Sur un test standard de cinq types de dommages différents, FIT a atteint un score moyen de 30,72 dB (une mesure de la proximité de l'image restaurée avec l'originale). Cela a battu les meilleures méthodes précédentes de manière significative, améliorant le score de 0,5 à 1,1 dB par rapport aux autres systèmes de pointe. Dans le monde de la restauration d'image, même une fraction de décibel est cruciale ; un bond de 1 dB est souvent considéré comme un progrès massif en termes de qualité.

Plus précisément, l'article souligne que FIT est particulièrement efficace pour gérer les dommages « spatialement non uniformes » — là où le désordre est différent dans différentes parties de la photo.

Sur la Pluie : FIT a éliminé les traînées de pluie plus en profondeur tout en gardant les textures de l'arrière-plan nettes.
Sur le Brouillard : Il a dégagé les zones brumeuses sans rendre les parties claires étranges ou délavées.
Sur le Flou : Il a récupéré des bords nets là où d'autres méthodes créaient des taches floues.

La preuve visuelle la plus frappante est le « Score de Grille ». Les auteurs ont inventé une façon de mesurer ces vilaines coutures. Les anciennes méthodes à grille rigide présentaient des scores de grille élevés (beaucoup de coutures), surtout lorsque les dommages étaient importants. Le score de grille de FIT est beaucoup plus bas, ce qui signifie que les images paraissent lisses et naturelles, sans lignes de blocs visibles.

Pourquoi Cela Importe

L'article suggère que la façon dont nous découpons une image (la « tokenisation ») est tout aussi importante que le cerveau qui la répare. Pendant longtemps, les chercheurs ont supposé que la grille devait être fixe et rigide. Ce document prouve que cette supposition est erronée. En rendant la grille flexible et en la laissant se courber selon la forme des dégâts, l'ordinateur peut voir le problème plus clairement et le réparer plus efficacement.

Les auteurs ne prétendent pas que cela résout tous les problèmes de restauration d'image, et ils notent que le système doit encore être testé dans des scénarios réels et imprévisibles. Cependant, ils démontent que cette approche de « courbure » est un nouvel outil puissant. Cela suggère qu'à l'avenir, nos outils de retouche photo ne seront pas seulement des algorithmes plus intelligents, mais aussi des outils plus flexibles — des outils capables de remodeler leur propre vision du monde pour faire face au désordre que nous essayons de nettoyer.

En bref, FIT nous enseigne que parfois, pour réparer une image brisée, il faut arrêter de la regarder à travers une fenêtre rigide et commencer à la regarder à travers une lentille flexible. Et quand on le fait, l'image est bien meilleure.

Résumé technique : Bend the Basics : Degradation-Aware Deformable Tokenization for All-in-One Image Restoration

1. Énoncé du problème

La restauration d'images « all-in-one » (AiOIR) vise à entraîner un modèle unique capable de restaurer des images dégradées par des corruptions diverses et spatialement non uniformes (par exemple, le bruit, la pluie, la brume, le flou, la faible luminosité) sans commutation spécifique à la tâche. Bien que les récentes méthodes basées sur les Transformers unifiés aient fait progresser ce domaine, elles reposent sur un partitionnement de patchs fixe pour la tokenisation et la reconstruction.

L'article identifie une limitation critique dans les approches existantes (y compris la base de référence JIT récente) : les frontières de patchs $P \times P$ fixes coupent souvent les structures de dégradation (par exemple, les traînées de pluie ou les noyaux de flou). Cela force le modèle à mélanger des pixels corrompus et des pixels propres au sein d'un même token. Lors de la reconstruction, la cartographie de ces tokens mélangés vers une grille rigide produit des artefacts de grille visibles aux frontières des patchs. À mesure que la sévérité de la dégradation augmente, ces artefacts deviennent plus prononcés, créant un goulot d'étranglement qui limite la qualité de la restauration, quelle que soit la capacité du modèle. De plus, les méthodes existantes injectent généralement les conditions de dégradation uniquement après la tokenisation (dans les blocs du backbone), laissant les étapes d'incorporation (embedding) et de reconstruction insensibles aux variations locales de dégradation.

2. Méthodologie : Flexible Image Transformer (FIT)

Les auteurs proposent FIT, une architecture de restauration unifiée qui modélise explicitement la conscience de la dégradation à travers l'ensemble du pipeline, de l'échantillonnage des patchs à la reconstruction des pixels. Le principe central est de rendre les frontières de patchs et les fonctions de reconstruction dépendants de la sévérité de la dégradation locale.

2.1 Dual-Granularity Degradation Encoder (DGDE)

Au lieu de s'appuyer uniquement sur un vecteur de dégradation global, FIT utilise un backbone CNN léger pour extraire deux représentations complémentaires :

Vecteur Global ( $g$ ) : Encode les statistiques de dégradation de l'image entière.
Carte de Dégradation Spatiale ( $M$ ) : Une carte à haute résolution capturant la sévérité dépendante de la localisation.
Pendant l'entraînement, des têtes auxiliaires supervisent ces représentations à l'aide de labels de type et de force de dégradation de vérité terrain (ground-truth), bien que le modèle fonctionne sans eux lors de l'inférence.

2.2 Degradation-Guided Deformable Tokenization (DGDT)

Il s'agit de l'innovation centrale, remplaçant le partitionnement en grille fixe par un échantillonnage adaptatif :

Embedding de Patch Déformable : L'image d'entrée est traitée conjointement avec la carte spatiale suréchantillonnée $M$ et le vecteur global $g$ . Un réseau d'offsets, modulé par $g$ via FiLM (Feature-wise Linear Modulation), prédit les décalages d'échantillonnage ( $\Delta$ ). Ces offsets permettent aux frontières de patchs de s'aligner avec les motifs de corruption locaux (par exemple, en décalant les frontières pour éviter de couper à travers les traînées de pluie). Les pixels sont échantillonnés à ces emplacements d'offsets via une interpolation bilinéaire pour former les tokens.
Unembedding de Patch Déformable : Après le traitement des tokens par le backbone Transformer, les tokens sont projetés de nouveau dans l'espace des pixels. Un réseau d'offsets inverse prédit les décalages ( $\Delta'$ ) pour ramener les tokens reconstruits vers la grille d'origine, assurant une reconstruction fluide sans discontinuités de grille.

2.3 Transformer Backbone et Task-Token Dropout

La séquence de tokens est traitée par un AdaLN Transformer où le vecteur global $g$ module les couches d'attention et les couches feed-forward.

Task-Token Dropout (TTD) : Pour améliorer la robustesse contre les dégradations spatialement mélangées ou non vues, le modèle emploie une stratégie stochastique pendant l'entraînement. Il bascule aléatoirement entre l'utilisation de tokens de tâche « durs » explicites (si les labels sont disponibles) et de tokens « mous » dérivés du vecteur global $g$ inféré. Cela encourage le modèle à se reposer sur l'inférence de dégradation pilotée par le contenu plutôt que de trop dépendre des labels oracle.

2.4 Objectifs d'Entraînement

Le modèle est entraîné avec une fonction de perte pondérée incluant :

Perte de Reconstruction ( $L_{recon}$ ) : Fidélité pixel par pixel ( $L_1$ ).
Pertes Auxiliaires : Classification du type et régression de la force (entraînement uniquement).
Perte de Couture ( $L_{seam}$ ) : Pénalise explicitement les discontinuités à travers les frontières de patchs en faisant correspondre les gradients de bord de vérité terrain et en décourageant les sauts de type couture.
Régularisation d'Offset ( $L_{off}$ ) : Encourage des offsets spatiaux de petite taille et lisses pour éviter un échantillonnage dégénéré.

3. Contributions Clés

Architecture FIT : Un cadre de restauration unifié qui conditionne l'embedding et la reconstruction déformables sur des représentations de dégradation globales et locales, rendant le pipeline end-to-end conscient de la dégradation.
Task-Token Dropout : Une stratégie de régularisation qui comble l'écart entre l'inférence étiquetée et sans étiquette, améliorant la robustesse aux dégradations mixtes.
Performance de l'État de l'Art : Démonstration de performances supérieures sur cinq tâches de restauration (débruitage, dérainage, désembuage, défloutage, amélioration de la faible luminosité) sur des benchmarks standards (BSD68, Rain100L, SOTS, GoPro, LOLv1).
Interprétabilité : Les offsets appris fournissent un mécanisme direct pour visualiser comment le modèle s'adapte spatialement aux structures de dégradation.

4. Résultats Expérimentaux

L'article évalue FIT sur cinq benchmarks standards sous deux configurations : trois dégradations et cinq dégradations.

Performance Quantitative :
- Configuration à Cinq Dégradations : FIT atteint un PSNR moyen de 30,72 dB, surpassant les méthodes unifiées récentes comme AdaIR (+0,52 dB) et la base de référence JIT (+1,44 dB).
- Configuration à Trois Dégradations : FIT atteint un PSNR moyen de 32,83 dB, dépassant le précédent meilleur (VLU-Net) de +0,13 dB et JIT de +1,11 dB.
- Des gains significatifs sont observés dans les tâches avec des dégradations spatialement non uniformes (par exemple, +2,52 dB par rapport à JIT sur le désembuage).
Analyse Qualitative :
- Atténuation des Artefacts de Grille : Les comparaisons visuelles montrent que FIT élimine les artefacts de grille visibles (coutures) présents dans les méthodes à patchs fixes comme JIT, particulièrement dans les scénarios de forte dégradation.
- Visualisation des Offsets : Les offsets appris démontrent un comportement interprétable : ils s'alignent avec la direction des traînées de pluie, corrèlent avec la profondeur de scène dans les images brumeuses et se concentrent autour des bords dans les images floues.
Études d'Ablation :
- Le retrait de la tokenisation déformable provoque une chute significative du PSNR et une augmentation des artefacts de grille.
- Le Task-Token Dropout s'avère crucial pour maintenir les performances lorsque les labels de tâche sont incorrects ou indisponibles, réduisant les baisses de performance dans les scénarios de dégradation mixte.
- L'analyse de mise à l'échelle révèle que, tandis que les modèles à patchs fixes (JIT) plafonnent à cause des artefacts de grille, FIT continue de bénéficier de l'augmentation de la capacité du modèle.

5. Signification et Revendications

L'article affirme que la géométrie de la tokenisation est une composante active et critique de la qualité de la restauration. En adaptant l'interface image-token elle-même à la structure de dégradation, FIT répond à un goulot d'étranglement fondamental de la restauration unifiée : le décalage entre le partitionnement en grille rigide et les corruptions spatialement variables.

Les auteurs soutiennent que les méthodes précédentes, qui ne conditionnent la dégradation que lors de la transformation des tokens, sont sous-optimales pour les dégradations non uniformes. FIT démontre que rendre les étapes d'embedding et de reconstruction « conscientes de la déformation » permet une restauration sans artefacts et une meilleure gestion des types de dégradations mixtes. Ce travail suggère que les futures architectures de restauration unifiée devraient considérer la flexibilité du processus de tokenisation lui-même, plutôt que de le traiter comme une étape de prétraitement fixe.

L'article conclut que FIT atteint l'état de l'art en atténuant efficacement les artefacts de grille et en permettant un traitement spatialement adaptatif, offrant une nouvelle direction pour la restauration d'images « all-in-one ».