💻 computer science

Unwarping the Lens: A Physics-Grounded Approach to Video Glasses Removal

Cet article propose JFSnet, un cadre de suppression de lunettes vidéo fondé sur la physique qui transfère des connaissances multi-vues d'un modèle génératif commercial via l'augmentation de données synthétiques et la simulation optique afin d'obtenir une restauration de haute fidélité et temporellement cohérente tout en empêchant la dérive d'identité.

Auteurs originaux : Radim Spetlik, David Futschik, Radek Danecek, Feitong Tan, Ziqian Bai, Rohit Pandey, Yinda Zhang

Publié 2026-08-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Radim Spetlik, David Futschik, Radek Danecek, Feitong Tan, Ziqian Bai, Rohit Pandey, Yinda Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'image numérique, les visages sont les repères les plus reconnaissables que nous connaissions. Nous identifions instantanément nos amis, des célébrités et des inconnus grâce à la disposition unique de leurs yeux, de leur nez et de leur bouche. Cependant, lorsqu'une personne porte des lunettes de vue, une barrière optique complexe se dresse entre le spectateur et le vrai visage. Les lentilles ne sont pas de simples morceaux de plastique plats ; ce sont des surfaces courbes qui courbent la lumière, agrandissant ou rétrécissant les traits situés derrière elles, tandis que les montures projettent des ombres et créent des reflets nets. Pendant des décennies, les informaticiens ont tenté d'apprendre aux machines à retirer ces lunettes des photos et des vidéos, dans l'espoir de révéler le visage qui se cache dessous. Les premières tentatives reposaient souvent sur des suppositions de ce à quoi pourrait ressembler le visage caché, en utilisant de vastes bibliothèques de visages humains pour combler les vides. Bien que ces méthodes aient parfois pu produire un œil d'apparence plausible, elles échouaient fréquemment à préserver la véritable identité de la personne, modifiant accidentellement son expression, décalant son regard ou floutant les détails subtils qui rendent un visage unique. Le défi consistait à retirer le verre sans perdre la personne.

Une équipe de chercheurs a maintenant développé une nouvelle approche qui traite le retrait des lunettes non pas comme un jeu de devinettes, mais comme un problème de physique. Au lieu de demander à une intelligence artificielle d'imaginer ce qui se trouve sous les lentilles, ils ont construit un système qui comprend comment la lumière se comporte réellement lorsqu'elle traverse le verre. Les chercheurs ont créé un pipeline qui génère d'abord des milliers de paires synthétiques de visages : un ensemble montrant une personne sans lunettes, et un autre montrant la même personne portant des lunettes. Pour s'assurer que ces paires sont parfaitement alignées, ils ont utilisé un processus de filtrage sophistiqué pour écarter toute image où la pose ou l'expression de la personne dérivait, même légèrement. Ensuite, plutôt que de s'appuyer uniquement sur ces images générées, ils ont simulé la physique réelle de la réfraction de la lumière. Ils ont calculé comment une lentille spécifique courberait la lumière provenant de l'œil de la personne, créant une distorsion réaliste que l'ordinateur pourrait apprendre à inverser. Ce processus leur a permis d'entraîner un réseau spécialisé, qu'ils appellent un réseau conjoint espace-caractéristiques (joint feature-spatial network), pour agir comme un bouton de « retour arrière » numérique pour les lunettes.

Les résultats de cette méthode constituent une étape importante dans la manière dont les machines comprennent et éditent la vidéo. Lors de tests sur des milliers de portraits haute résolution, le système a réussi à retirer les lunettes tout en préservant l'identité de la personne, atteignant un niveau de détail que les méthodes précédentes ne pouvaient égaler. Dans les séquences vidéo, où la personne bouge et la lumière change, le système a maintenu un résultat stable et sans scintillement, préservant la direction exacte du regard de la personne et les mouvements subtils de ses muscles faciaux. Dans des comparaisons directes avec d'autres outils avancés, y compris des éditeurs vidéo commerciaux et des générateurs basés sur l'image, cette nouvelle approche a été systématiquement préférée par les observateurs humains pour sa capacité à maintenir le visage semblable au sujet original. Le système fonctionne avec une rapidité remarquable, traitant la vidéo à près de vingt-huit images par seconde, ce qui est assez rapide pour des applications en temps réel.

Les chercheurs ont également démontré que leur méthode évite les pièges courants des technologies antérieures. De nombreux systèmes précédents « hallucinaient » de nouveaux traits, comme changer la couleur des yeux d'une personne ou altérer la forme de son sourire, car ils essayaient de générer un nouveau visage à partir de zéro. En ancrant leur entraînement dans les lois physiques de l'optique, le nouveau système a appris à simplement inverser la distorsion causée par la lentille, révélant le visage qui était déjà là. Cette distinction est cruciale : le système n'invente pas une nouvelle personne ; il découvre celle qui était masquée. L'étude confirme qu'en combinant le pouvoir créatif des générateurs d'images à grande échelle avec les règles rigides de la physique, il est possible d'atteindre un niveau de fidélité qui était auparavant hors de portée. Ces travaux suggèrent que l'avenir de l'édition numérique ne réside pas seulement dans la génération de nouveaux contenus, mais dans la compréhension de la réalité physique de la lumière qui les crée.

Résumé Technique : Déplier la Lentille : Une Approche Fondée sur la Physique pour le Retrait de Lunettes Vidéo

Énoncé du Problème

Le retrait haute fidélité de lunettes de vue dans une vidéo représente un défi significatif dans l'édition d'attributs faciaux. Contrairement aux occlusions standards, les lunettes sont des éléments optiques complexes qui introduent des distorsions de réfraction dépendantes de la profondeur et des réflexions spéculaires dépendantes de la vue, masquant souvent la géométrie faciale sous-jacente. Les approches existantes reposant sur des priors génératifs stochastiques (par exemple, les modèles GAN ou de diffusion) peinent à séparer ces effets optiques de la véritable structure faciale. Par conséquent, ces méthodes souffrent fréquemment de « dérive d'identité », où l'expression, la pose ou les caractéristiques structurelles uniques du sujet restauré divergent de l'original. De plus, l'application de tels modèles image par image entraîne souvent un scintillement temporel dû à un manque de contraintes à travers le domaine temporel.

Méthodologie

Les auteurs proposent un nouveau cadre de transfert qui fait le pont entre les priors génératifs à grande échelle et les principes de restauration physique. Le pipeline se compose de trois composants principaux : la curation de données, l'augmentation basée sur la physique et une architecture de restauration spécialisée.

1. Création et Filtrage de Données Génératives

Les données d'entraînement sont synthétisées à l'aide de Nano Banana (Gemini 3 Pro Image), un modèle génératif de qualité commerciale.

Synthèse : Pour chaque identité synthétique, le modèle génère 13 ensembles d'images haute fidélité capturant diverses poses de tête et expressions, avec et sans lunettes.
Alignement : Pour remédier au désalignement spatial inhérent aux modèles génératifs, les auteurs utilisent un maillage de déformation As-Rigid-As-Possible (ARAP). Cela aligne le visage « propre » sur la pose et la configuration exactes de l'image « portant des lunettes » en utilisant des contraintes de points de repère (landmarks) et une perte photométrique multi-échelle.
Filtrage : Un processus de filtrage rigoureux en trois étapes garantit la qualité des données :
1. Filtrage L1 : Supprime les échantillons présentant des changements significatifs de pose de tête, de regard ou d'identité via une analyse de l'arrière-plan et de l'erreur oculaire.
2. Cohérence Structurelle : Filtre les identités où le modèle génératif a introduit une dérive d'expression indésirable.
3. Proxy de Reconstruction : Un U-Net léger effectue une restauration préliminaire ; les identités présentant une erreur de reconstruction élevée (indiquant des désalignements ou des artefacts résiduels) sont écartées.
  Ce processus produit un ensemble de données organisé de 1 860 identités (24 180 paires d'images).

2. Augmentation d'Entraînement Fondée sur la Physique

Pour surmonter le biais de simplification des modèles génératifs concernant les effets optiques, les auteurs introduisent un pipeline d'augmentation basé sur la physique qui opère pendant l'entraînement :

Simulation de Réfraction : En utilisant l'ajustement de visage paramétrique 3D et l'estimation de la profondeur monoculaire, le système simule les propriétés optiques des lentilles. Des rayons sont projetés à travers des surfaces de lentilles sphériques définies par des puissies dioptriques cibles (en utilisant la règle de Vogel), et la loi de Snell est appliquée pour calculer la déformation de réfraction. Cela crée un champ de déformation dense ( $W$ ) qui simule une magnification/minification dépendante de la profondeur.
Simulation de Réflexion : Les réflexions spéculaires sont générées à l'aide de cartes d'environnement à vue inverse conditionnées par le portrait du sujet, simulées en HDR pour capturer des reflets réalistes et des revêtements de lentilles variables.
Entrée d'Entraînement : L'entrée finale d'entraînement $I$ est une composition de l'image avec lunettes générative et du visage propre physiquement simulé :
$I = (1 - M_{lens}) \cdot G_{glasses} + M_{lens} \cdot (\mathcal{W}(G_{clean}) + \mathcal{R}) + \epsilon$
où $M_{lens}$ est le masque de la lentille, $\mathcal{W}$ est la déformation de réfraction, et $\mathcal{R}$ est la couche de réflexion.

3. Architecture JFSnet

Le réseau de restauration, JFSnet (Joint Feature-Spatial network), opère directement dans l'espace des pixels pour préserver les détails de haute fréquence souvent perdus dans les approches de diffusion latente.

Encodeur : Utilise un encodeur DINOv2 (ViT-L/14) pré-entraîné pour capturer des priors d'identité sémantique stables, invariants aux distorsions locales. Seuls les quatre dernières couches sont affinées (fine-tuned).
Décodeur : Un décodeur convolutif basé sur ResNet reconstruit les caractéristiques faciales fines.
Connexions de Saut (Skip Connections) : Des connexions de saut directes de l'image d'entrée contournent le goulot d'étranglement de l'information, garantissant que le réseau conserve les détails non obstrués par les lunettes.
Cohérence Temporelle : Pour éviter le scintillement sans une estimation de flux coûteuse, le modèle impose l'équivariance de translation pendant l'entraînement. Un terme de perte ( $\mathcal{L}_{temp}$ ) force le réseau à commuter avec de petits décalages spatiaux, garantissant que les caractéristiques restaurées se déplacent de manière cohérente avec le sujet.

Contributions Clés

Cadre de Transfert Déterministe : Les auteurs formulent le retrait de lunettes vidéo comme le transfert hors ligne d'un prior génératif vers un modèle déterministe et de type feed-forward, combinant des ensembles génératifs organisés avec une augmentation basée sur la physique.
Architecture JFSnet : Une architecture hybride ViT-CNN qui intègre des caractéristiques sémantiques avec une reconstruction spatiale, permettant la préservation de l'identité et la cohérence temporelle.
Augmentation Basée sur la Physique : Un nouveau pipeline qui simule une réfraction et des réflexions de lentilles réalistes, permettant au modèle d'apprendre à inverser des distorsions optiques spécifiques plutôt que de compter uniquement sur l'hallucination.
Évaluation Complète : Évaluation étendue sur les ensembles de données FFHQ et CelebV-Text, démontrant une performance supérieure par rapport aux lignes de base de l'état de l'art en termes de préservation du regard, de stabilité temporelle et de fidélité structurelle.

Résultats

Performance Quantitative : Sur l'ensemble de données FFHQ (12 163 images), la méthode atteint une distance de Fréchet Inception (FID) de 0,379 et une erreur L2 de points de repère de 0,632, surpassant les modèles de référence comme Nano Banana, ProPainter et divers modèles de diffusion.
Vitesse d'Inférence : Le modèle fonctionne à 27,68 FPS, ce qui est adapté aux applications vidéo en temps réel.
Études Perceptuelles : Dans des études utilisateur sur des séquences vidéo CelebV-Text, l'approche a été systématiquement préférée aux bases de référence basées sur la diffusion et les GAN (y compris Runway Gen-4.5) pour la cohérence du regard, la stabilité temporelle et la qualité globale de la restauration.
Ablation : Les expériences confirment que les simulations de réfraction/réflexion ainsi que la perte d'équivariance de translation sont critiques pour obtenir de faibles scores FID et une stabilité temporelle.

Signification

L'article affirme combler le fossé entre les priors génératifs à grande échelle et la restauration physique. En transférant la connaissance photoréaliste et multi-vues d'un modèle génératif vers une architecture spécialisée entraînée sur des données physiquement simulées, l'approche atteint une précision structurelle de haute fidélité tout en maintenant des performances en temps réel. Le travail traite des limitations spécifiques des priors stochastiques dans la préservation de l'identité et de l'expression, offrant une solution qui respecte les contraintes géométriques et optiques du visage humain. Les auteurs positionnent cela comme une avancée dans l'édition locale précise, allant au-delà du transfert de style global pour gérer des occlusions optiques complexes avec une fiabilité déterministe.