Physics-Guided VLM Priors for All-Cloud Removal

L'article propose PhyVLM-CR, une méthode unifiée de suppression de nuages qui intègre les capacités sémantiques d'un modèle vision-langage dans un modèle de restauration physique pour traiter simultanément les nuages fins et épais sans nécessiter de délimitation explicite, garantissant ainsi une fidélité radiométrique élevée et l'absence d'hallucinations.

L'essentiel

Imaginez que vous essayez de regarder un paysage magnifique à travers une vitre sale. Parfois, la vitre est juste un peu embuée (des nuages fins), ce qui rend l'image floue et décolorée. Parfois, il y a un gros bloc de glace collé dessus (des nuages épais), qui cache complètement ce qu'il y a derrière.

C'est exactement le problème que rencontrent les satellites qui prennent des photos de la Terre : les nuages gâchent les images.

Jusqu'à présent, les scientifiques utilisaient deux méthodes séparées :

1. Pour les nuages fins, ils utilisaient des formules mathématiques complexes pour "nettoyer" la vitre.
2. Pour les nuages épais, ils regardaient une photo du même endroit prise à un autre moment (quand il n'y avait pas de nuage) et tentaient de recoller les morceaux manquants.

Le problème ? La nature ne fait pas de différence nette entre un nuage fin et un nuage épais. C'est un continuum. En séparant les deux méthodes, les anciens systèmes créaient des "coutures" visibles et faisaient des erreurs à la frontière entre les deux types de nuages.

La solution : Le "Détective Physicien" assisté par une IA

Les auteurs de cet article (Liying Xu, Huifang Li et Huanfeng Shen) ont créé une nouvelle méthode appelée PhyVLM-CR. Voici comment elle fonctionne, avec une analogie simple :

1. L'IA qui a "l'esprit" mais pas la "réalité" (Le VLM)

Imaginez un artiste très talentueux, disons un peintre nommé Qwen, qui a vu des millions de paysages. Si vous lui montrez une photo floue de Paris sous la pluie, il peut deviner à quoi ressemble la Tour Eiffel derrière le brouillard. Il a une excellente "intuition" (cognitive prior).

• Le problème : Si vous lui demandez de dessiner la Tour Eiffel, il risque d'inventer des détails qui n'existent pas (par exemple, ajouter un escalier magique ou changer la couleur du métal). C'est ce qu'on appelle une "hallucination". En science, on ne veut pas d'inventions, on veut la vérité.

2. Le Physicien qui a la "règle" mais pas l'imagination (Le Modèle Physique)

À côté de l'artiste, il y a un physicien rigoureux. Il connaît les lois de la lumière et de l'atmosphère. Il sait exactement comment la lumière traverse un nuage. Mais il est un peu aveugle : s'il y a un nuage trop épais, il ne peut pas deviner ce qu'il y a derrière, il ne fait que des calculs qui s'arrêtent.

3. La Grande Collaboration : PhyVLM-CR

La méthode proposée est comme une équipe de détectives où l'artiste et le physicien travaillent ensemble, mais avec des rôles très précis :

• L'artiste (VLM) ne dessine pas la photo finale. Il sert de guide. Il dit au physicien : "Regarde, je pense qu'il y a une forêt ici, et une rivière là." Il fournit une "carte de confiance" : "Je suis sûr à 90% qu'il y a un arbre ici, mais seulement à 10% qu'il y a un château."
• Le physicien utilise cette carte.
  • Là où l'artiste est très confiant (zones claires, nuages fins), le physicien utilise ses lois physiques pour nettoyer l'image avec précision, sans inventer de détails.
  • Là où l'artiste dit "Je ne suis pas sûr, c'est caché" (zones très sombres, nuages épais), le physicien arrête d'essayer de deviner. Il dit : "D'accord, on va utiliser la photo de l'année dernière pour remplir ce trou."

Pourquoi c'est génial ?

Imaginez que vous réparez un vieux mur.

• Les anciennes méthodes : Vous mettez un scotch rouge sur la partie abîmée et un scotch bleu sur la partie sale. Vous réparez chaque partie séparément. Résultat : on voit une ligne droite moche entre le rouge et le bleu.
• La nouvelle méthode (PhyVLM-CR) : C'est comme si vous aviez un peintre intelligent qui vous dit : "Ici, le mur est juste sale, nettoie-le avec de l'eau (physique). Là, le mur est cassé, utilise du plâtre (reconstruction temporelle)." Mais le peintre ne pose pas le plâtre lui-même ; il donne juste les instructions. Le résultat est une réparation fluide, sans aucune ligne de démarcation, même si le mur est à moitié sale et à moitié cassé.

En résumé

Cette recherche réussit à :

1. Éviter les inventions : L'IA ne dessine pas de fausses maisons ou de fausses routes (pas d'hallucinations).
2. Gérer tous les nuages : Que ce soit un brouillard léger ou un orage épais, tout est traité dans un seul flux continu.
3. Être précis : Les tests montrent que les images finales sont beaucoup plus nettes et plus fidèles à la réalité que les méthodes actuelles.

C'est une belle alliance entre l'intuition créative de l'intelligence artificielle et la rigueur inébranlable des lois de la physique.

Résumé technique

1. Problématique

La suppression des nuages dans l'imagerie optique de télédétection (comme Sentinel-2) reste un défi majeur en raison de l'hétérogénéité de la dégradation.

• Nuages fins : Ils déforment la radiométrie par transmission partielle et diffusion, mais la surface reste visible.
• Nuages épais : Ils occultent totalement la surface, entraînant une perte d'information.
• Limites des approches existantes : Les méthodes actuelles traitent ces deux cas séparément (correction radiométrique pour les nuages fins vs reconstruction d'information pour les nuages épais). Cette séparation impose une décision explicite sur le type de nuage (segmentation binaire), ce qui crée des discontinuités visibles aux frontières, accumule des erreurs dans les zones de transition et dépend fortement de la précision de la détection des nuages.

2. Méthodologie : PhyVLM-CR

L'article propose une approche unifiée nommée PhyVLM-CR (Physical-VLM All-Cloud Removal). Elle intègre les capacités sémantiques d'un Modèle Vision-Langage (VLM) dans un modèle de restauration physique rigoureux, sans nécessiter de classification explicite des nuages.

Le processus se déroule en trois étapes séquentielles :

A. Acquisition de l'Antérieur Cognitif (Cognitive Prior Acquisition)

• Un VLM pré-entraîné (spécifiquement Qwen-Image-Edit) est utilisé pour générer une première estimation de l'image sans nuages ($J_{VLM}$) à partir de l'observation dégradée ($I$), guidée par un prompt textuel (« supprimer les nuages »).
• Rôle du VLM : Il n'est pas utilisé comme résultat final (car sujet aux hallucinations et aux artefacts génératifs), mais comme un porteur d'antérieurs cognitifs. Il fournit une structure de scène plausible et un contexte d'éclairage global.

B. Extraction de Paramètres Guidée par la Physique

Les antérieurs cognitifs sont transformés en contraintes physiques pour estimer les paramètres du modèle de diffusion atmosphérique :

1. Lumière atmosphérique globale ($A$) : Estimée à partir des régions les plus nuageuses (haute luminosité, faible saturation, faible gradient) pour capturer la couleur du voile atmosphérique.
2. Carte de transmission ($t(x)$) : Calculée en ajustant le modèle de diffusion entre l'image observée et la prédiction du VLM, en supposant initialement un résidu négligeable.
3. Carte de confiance d'hallucination ($U(x)$) : C'est un composant clé. Elle quantifie l'incertitude du VLM en comparant la prédiction générative avec la réalité radiométrique. Elle distingue les incohérences physiques globales des désalignements locaux (hallucinations). Cette carte sert de « porte douce » (soft gate) continue.

C. Suppression Unifiée de Tous les Nuages

La restauration finale fusionne l'inversion physique et la reconstruction temporelle via un mécanisme de pondération adaptative :

1. Estimation Physique ($J_{phy}$) : Inversion du modèle d'imagerie pour les zones où le signal de surface est encore partiellement visible.
2. Ajustement Cognitif ($J_{cog}$) : Correction radiométrique de l'estimation physique en utilisant les antérieurs du VLM, tout en injectant les détails haute fréquence de l'image originale pour préserver la structure réelle et supprimer les hallucinations du VLM.
3. Fusion avec Référence Temporelle : Dans les zones d'occlusion totale (nuages très épais), l'image est fusionnée avec une image de référence temporelle ($I_{ref}$) sans nuages.
   • Le poids de fusion $\omega(x)$ est déterminé par la carte de transmission et la carte de confiance.
   • Principe : Dans les zones à haute transmission, la méthode privilégie l'inversion physique (fidélité radiométrique). Dans les zones à faible confiance/occlusion, elle bascule progressivement vers la reconstruction temporelle.

3. Contributions Clés

1. Méthode unifiée « Zero-shot » : Élimine le besoin de classification explicite des nuages (binaire), préservant ainsi la continuité spatiale de la dégradation nuageuse.
2. Stratégie d'extraction d'antérieurs cognitifs : Utilise la sémantique du VLM non pas pour générer des pixels, mais pour guider l'estimation des paramètres de diffusion et créer une carte de confiance pour supprimer les hallucinations.
3. Mécanisme de fusion adaptative : Intègre de manière fluide l'inversion physique (pour les nuages fins) et la reconstruction temporelle (pour les nuages épais), garantissant une cohérence visuelle dans les scènes à nuages mixtes.

4. Résultats Expérimentaux

Les expériences ont été menées sur des images de réflectance de surface Sentinel-2 avec une couverture nuageuse hétérogène, comparées à des observations sans nuages (vérité terrain) et à d'autres méthodes.

• Comparaison qualitative :

  • Les méthodes physiques traditionnelles (séparées) laissent des résidus de nuages et créent des artefacts aux frontières.
  • Les méthodes Deep Learning « Zero-shot » (sans entraînement spécifique) souffrent d'un écart de domaine et produisent des résultats médiocres.
  • L'utilisation pure du VLM génère des hallucinations graves (textures fictives, caractères inexistants).
  • PhyVLM-CR produit des résultats visuellement cohérents, sans hallucinations, et préserve les détails de la surface.

• Comparaison quantitative (PSNR et SSIM) :

  • PhyVLM-CR surpasse nettement toutes les autres méthodes sur tous les sites testés (Sichuan, Hainan, Qinghai, etc.).
  • Exemple (Site Hubei) : PSNR de 27.188 (PhyVLM-CR) contre 19.701 (Physique traditionnel) et 18.937 (VLM seul).
  • Le SSIM est également significativement supérieur, indiquant une meilleure préservation de la structure et de la fidélité spectrale.

5. Signification et Conclusion

L'article démontre qu'il est possible de dépasser les limites des approches binaires traditionnelles en utilisant l'IA générative de manière contrôlée.

• Innovation conceptuelle : Le VLM est redéfini comme un extracteur d'antérieurs cognitifs plutôt que comme un générateur d'images final.
• Robustesse : La méthode gère efficacement la transition continue entre les nuages fins et épais, éliminant les artefacts de bordure.
• Fidélité : En combinant les lois physiques de la diffusion atmosphérique avec la sémantique du VLM, la méthode assure une suppression des nuages sans hallucination, tout en maintenant une précision radiométrique élevée, ce qui est crucial pour les applications de télédétection quantitative.