Résumé Technique : Échantillonnage Postérieur Diffusif Conscient des Dynamiques Triadiques pour les Problèmes Inverses

1. Énoncé du Problème

Les problèmes inverses en imagerie visent à retrouver un signal inconnu $x_0$ à partir de mesures bruitées $y = Ax_0 + n$, où $A$ est un opérateur direct connu et $n$ un bruit. Alors que les méthodes classiques reposent sur des a priori conçus à la main, les paradigmes récents exploitent des a priori génératifs issus de modèles de diffusion et d'appariement de flux pour résoudre ces problèmes mal posés.

L'échantillonnage postérieur dans ce contexte repose généralement sur trois composants fondamentaux pour guider le processus de diffusion inverse :

1. Guidage par Cohérence des Données (DC) : Impose l'alignement entre le signal estimé et les mesures ($Ax \approx y$).
2. Guidage sans Classificateur (CFG) : Oriente la trajectoire d'échantillonnage vers un prompt textuel conditionnel pour exploiter les a priori sémantiques.
3. Stochasticité : Injecte du bruit durant le processus inverse pour maintenir la diversité et éviter l'effondrement de mode.

Les travaux existants traitent souvent ces composants avec des calendriers indépendants du temps (constants) ou ne les ajustent que partiellement (par exemple, en variant uniquement le DC). Cela conduit à des performances sous-optimales car les interactions entre ces composants sont dynamiques. Plus précisément, un CFG agressif au début du processus peut entrer en conflit avec le guidage DC, et un guidage excessif sans stochasticité peut éloigner les trajectoires des régions de haute probabilité de la variété des données.

2. Méthodologie : TriPS

Les auteurs proposent TriPS (Échantillonnage Postérieur Conscient des Dynamiques Triadiques), un cadre qui reformule l'échantillonnage postérieur comme un problème de contrôle variant dans le temps. L'idée centrale est que les trois composants forment un « système triadique » couplé nécessitant un calendrier coordonné et dépendant du temps.

2.1 Analyse des Dynamiques de Couplage Triadique

L'article établit trois découvertes théoriques et empiriques clés :

• Conflit de Guidage en Phase Précoce : Il existe un conflit inhérent entre le guidage DC et le CFG lors des premières étapes de l'échantillonnage, caractérisées par un bruit élevé. Des échelles CFG élevées ($\lambda(t)$) au début peuvent contrarier la direction du guidage DC, ralentir la minimisation du résidu de mesure et provoquer des hallucinations sémantiques.
• Stochasticité comme Régularisateur : La stochasticité agit comme un régularisateur qui s'oppose au phénomène « hors-variété ». Alors qu'un DC et un CFG forts peuvent pousser les trajectoires d'échantillonnage vers des régions de faible probabilité, une stochasticité correctement calibrée ($\eta(t)$) ramène la trajectoire vers la variété de données à haute probabilité.
• Tendance de Calendrier Triadique : Sur la base de ce qui précède, la stratégie optimale suit une tendance spécifique :
  • Guidage DC ($\beta(t)$) : Décroissance monotone. Élevé au début pour imposer la structure, faible à la fin pour éviter le surajustement au bruit.
  • CFG ($\lambda(t)$) : Croissance monotone. Faible au début pour éviter le conflit avec le DC, élevé à la fin pour affiner la sémantique et les détails une fois la structure globale établie.
  • Stochasticité ($\eta(t)$) : Décroissance monotone. Élevée au début pour régulariser la trajectoire, faible à la fin pour assurer une convergence précise vers la distribution cible.

2.2 Cadre d'Optimisation

Pour réaliser ces calendriers, TriPS emploie deux stratégies complémentaires :

1. Recherche de Calendrier Basée sur des Modèles (TriPST) :

   • Explore un espace discret de priors fonctionnels (Linéaire, Exponentiel, Logarithmique) satisfaisant les contraintes de monotonie.
   • Utilise une recherche par grille sur un petit ensemble de calibration pour maximiser une fonction d'utilité équilibrant la distorsion (PSNR) et la qualité perceptive (LPIPS).
   • Fournit une base robuste et un point de départ chaud pour une optimisation ultérieure.

2. Optimisation de Calendrier Basée sur GRPO (TriPSG) :

   • Utilise l'Optimisation de Politique Relative par Groupe (GRPO), un cadre d'apprentissage par renforcement, pour découvrir des courbes temporelles complexes et non fonctionnelles qui transcendent les modèles fixes.
   • Paramétrisation : Les calendriers sont modélisés comme des courbes continues utilisant des polynômes de Bernstein, avec des coefficients échantillonnés à partir de distributions Bêta apprenables. Cela garantit que les calendriers restent dans des bornes physiquement valides.
   • Récompense : Une fonction de récompense hybride combine des métriques de distorsion (PSNR) et des métriques perceptives (LPIPS, CLIP-IQA+, Q-Align) pour naviguer dans le compromis perception-distorsion.
   • Mise à Jour de la Politique : La politique est mise à jour à l'aide d'un objectif de substitution tronqué avec une standardisation de la récompense par groupe, évitant ainsi le besoin d'une fonction de valeur.

3. Contributions Clés

• Analyse du Couplage Triadique : L'article identifie et formalise le conflit entre le CFG en phase précoce et le guidage DC, et caractérise la stochasticité comme un régularisateur nécessaire pour maintenir l'alignement avec la variété des données.
• Cadre de Calendrier Triadique : Propose une tendance de calendrier unifiée (DC/Stochasticité décroissants, CFG croissant) qui s'aligne sur la nature du grossier au fin de l'échantillonnage par diffusion.
• Paradigmes d'Optimisation Duale : Introduit une approche d'optimisation en deux étapes : une recherche basée sur des modèles pour des bases robustes et une méthode basée sur GRPO pour une adaptation de calendrier fine et spécifique à la tâche.
• Généralisabilité : Démontre l'applicabilité du cadre à travers différents socles génératifs (Appariement de Flux et Modèles de Diffusion) et divers problèmes inverses (Super-Résolution, Défloutage, Inpainting).

4. Résultats Expérimentaux

Les auteurs ont évalué TriPS sur des benchmarks haute résolution (FFHQ, DIV2K) couvrant plusieurs problèmes inverses linéaires : Super-Résolution (8x, 12x), Défloutage de mouvement, Défloutage gaussien et Inpainting.

• Performance Quantitative :

  • TriPS (tant les variantes TriPST que TriPSG) a constamment surpassé les bases de l'état de l'art (par exemple, ReSample, FlowChef, FlowDPS, FLAIR, PSLD, DDPG) tant sur les métriques de distorsion (PSNR, SSIM) que sur les métriques perceptives (FID, LPIPS, KID, MUSIQ).
  • Par exemple, en Super-Résolution 8x sur FFHQ utilisant l'Appariement de Flux, TriPSG a atteint un PSNR de 28,55 et un LPIPS de 0,107, surpassant le meilleur précédent (FLAIR) qui avait un PSNR de 28,88 mais un LPIPS significativement plus élevé de 0,123.
  • La méthode a montré une forte transférabilité ; les calendriers optimisés pour la SR 8x se sont généralisés efficacement aux tâches SR 12x et de Défloutage.

• Résultats Qualitatifs :

  • Les comparaisons visuelles ont démontré que TriPS atténue les artefacts structurels et les hallucinations sémantiques courants dans les bases avec un guidage fixe ou mal calibré.
  • Les calendriers optimisés par GRPO (TriPSG) ont permis un contrôle flexible du compromis perception-distorsion, permettant des variantes privilégiant les textures nettes (orientées perception) ou la fidélité structurelle (orientées distorsion).

• Études d'Ablation :

  • L'optimisation conjointe des trois composants (DC, CFG, Stochasticité) a produit des résultats supérieurs par rapport à l'optimisation d'un ou deux composants seulement tout en fixant les autres.
  • L'approche basée sur GRPO a appris avec succès des courbes temporelles complexes s'écartant des modèles simples, prouvant la nécessité d'une optimisation de calendrier flexible.

5. Signification et Revendications

L'article revendique que le cadre TriPS proposé fournit une base robuste pour le contrôle adaptatif dans la modélisation générative pour les problèmes inverses. En modélisant explicitement les interactions variant dans le temps entre la cohérence des données, le guidage sémantique et la stochasticité, la méthode atteint une restauration haute fidélité avec un réalisme perceptif amélioré.

Les auteurs soulignent que leur travail offre de nouvelles perspectives théoriques sur les dynamiques de l'échantillonnage postérieur, spécifiquement le rôle de la stochasticité en tant que régularisateur contre les conflits de guidage. Ils affirment que ces découvertes ont une utilité pratique étendue dans des domaines tels que l'imagerie médicale, la reconstruction scientifique et la télédétection, tout en ne soulevant aucune préoccupation éthique concernant la technologie elle-même. Le travail se concentre sur l'amélioration de la précision de reconstruction sans conséquences sociétales négatives.