Résumé Technique : IConFace

Énoncé du Problème

La restauration de visage aveugle (BFR) est un problème fortement mal posé, en particulier sous une dégradation sévère où les détails critiques pour l'identité et les indices faciaux locaux sont souvent perdus. Bien que les priors génératifs modernes (diffusion, codebooks, transformers) améliorent le réalisme perceptuel, ils peinent à maintenir la cohérence de l'identité sans preuves explicites. La restauration consciente de la référence tente de résoudre ce problème en utilisant des images de même identité pour fournir les preuves d'identité manquantes. Cependant, les méthodes existantes font face à un compromis critique : les références encodent non seulement l'identité, mais aussi la pose, l'expression, l'éclairage, l'âge et le maquillage. Le transfert direct de ces caractéristiques conduit souvent à une « sur-attention », où le visage restauré adopte l'apparence spécifique de la référence (par exemple, la pose ou l'expression) plutôt que de préserver la structure implicite de l'entrée dégradée. De plus, les systèmes pratiques doivent gérer des scénarios où les références sont absentes, bruyantes ou limitées, pourtant de nombreux modèles conscients de la référence échouent à se dégrader gracieusement vers une restauration robuste sans référence.

Méthodologie : IConFace

Les auteurs proposent IConFace, un cadre unifié qui prend en charge à la fois la restauration consciente de la référence et la restauration sans référence au sein d'un seul point de contrôle. L'innovation centrale est le Conditionnement Asymétrique Identité–Structure, qui traite l'entrée dégradée et les images de référence différemment en fonction de leurs rôles.

1. Conception du Conditionnement Asymétrique

Le cadre est construit sur une architecture hybride de concaténation FLUX.2-klein-base-4B. La séquence principale concatène des tokens de scène bruyants, des tokens d'image dégradée et des tokens de référence optionnels ($x_{in} = [x_{scene}; x_{deg}; x_{ref}]$). L'asymétrie est mise en œuvre via deux voies distinctes :

• Voie Globale d'Identité (Rôle de la Référence) :

  • Les références ne sont pas traitées comme des entrées spatiales locales, mais sont distillées en un ancrage d'identité global.
  • En utilisant un encodeur AdaFace figé, les embeddings bruts ($z_r$) sont séparés en direction d'identité ($e_r$) et fiabilité/norme ($q_r$).
  • Plusieurs références sont agrégées via un softmax pondéré par la norme ($w_r$) pour produire un seul ancrage d'identité effectif ($e_{id}$).
  • Cet ancrage est projeté dans l'espace caché du backbone pour générer des deltas de modulation ($\Delta$) pour les blocs d'image. Crucialement, cette modulation est uniquement sur l'image ; le flux de texte reste intact, garantissant que les références contrôlent l'identité globalement sans agir comme une branche de transfert de structure locale.
  • Repli : Si les références sont absentes, la voie utilise l'embedding AdaFace normalisé de l'image dégradée elle-même comme un ancrage d'auto-conditionnement faible.

• Voie de Structure Dégradée (Rôle de l'Entrée) :

  • L'image dégradée est traitée comme l'ancrage de structure spatiale, car c'est la seule observation spatialement alignée avec la cible.
  • Résidu de Rang Inférieur : Les tokens dégradés sont redimensionnés et injectés comme un résidu d'entrée de rang inférieur pour renforcer la structure de la scène.
  • Mémoire à Deux Voies : L'attention complète dégradée est compressée dans un budget mémoire fixe en utilisant deux poolers de requêtes apprises :
    • Voie de Base : Regroupe $x_{deg}$ pour préserver la disposition globale et l'éclairage.
    • Voie de Détail : Regroupe les résidus haute fréquence ($x_{deg} - \text{smooth}(x_{deg})$) pour mettre l'accent sur les indices faciaux locaux.
  • Cela permet à chaque bloc de lire à la fois la structure grossière et les détails fins sans remplacer la voie principale de concaténation.

2. Objectif d'Entraînement

Le modèle est entraîné dans l'espace latent en utilisant un objectif d'appariement de flux.

• Perte de Restauration : Régresse le champ de flux ($L_{fm}$).
• Perte d'Identité ($L_{id}$) : Pour les échantillons conscients de la référence, une perte de similarité cosinus est calculée entre l'image restaurée et l'ancrage de référence.
  • Un terme stabilisateur ($L_{hard}$) est introduit pour les références imparfaites, pondéré par la cohérence entre la référence et la cible propre.
  • La perte d'identité est pondérée par sigma ($\omega(\sigma)$), réduisant le poids des étapes à fort bruit plutôt que de les sauter purement et simplement.
• Mode Sans Référence : La perte d'identité est nulle lorsque les références sont absentes, reposant uniquement sur la perte d'appariement de flux et l'auto-conditionnement faible provenant de l'image dégradée.

Contributions Clés

1. Formulation Unifiée à Référence Optionnelle : Un seul point de contrôle prend en charge à la fois la restauration consciente de la référence et la restauration sans référence grâce au conditionnement asymétrique, éliminant le besoin de modèles séparés.
2. Conditionnement Asymétrique Identité–Structure : Une conception novatrice où les références sont compressées en un contrôleur d'identité global (modulation AdaFace), tandis que l'image dégradée est renforcée en tant qu'ancrage de structure spatiale via des résidus de rang inférieur et une mémoire à deux voies.
3. Voies Légères : L'utilisation de la modulation AdaFace pondérée par la norme et de l'attention croisée de rang inférieur assure une intégration efficace de l'identité et de la structure sans surcharge computationnelle lourde.
4. Robustesse aux Références Manquantes : Le modèle retombe naturellement vers une restauration uniquement dégradée lorsque les références sont absentes, maintenant une forte qualité perceptuelle.

Résultats Expérimentaux

Les auteurs ont évalué IConFace sur quatre benchmarks conscients de la référence (CelebA-Test-Ref, FFHQ-Ref Moderate, FFHQ-Ref Severe, CelebHQRef100) et cinq benchmarks sans référence (LFW, CelebChild, WebPhoto, Wider-Test, CelebA-Test).

• Performance Consciente de la Référence : IConFace a obtenu des performances de pointe sur Ref-ArcFace et Ref-AdaFace sur tous les benchmarks. Notamment, sur les splits de dégradation sévère (FFHQ-Ref Severe et CelebHQRef100), il a montré des gains significatifs (par exemple, +0,104 Ref-AdaFace sur FFHQ-Ref Severe par rapport à la meilleure base). Il a également maintenu des performances de premier plan sur les métriques perceptuelles (MUSIQ, CLIP-IQA, MANIQA), démontrant que la récupération de l'identité ne s'est pas faite au détriment de la fidélité visuelle.
• Performance Sans Référence : En l'absence de références, IConFace s'est classé premier sur MUSIQ, CLIP-IQA et MANIQA sur tous les ensembles de données sans référence, prouvant que l'entraînement conscient de la référence n'a pas trop spécialisé le modèle.
• Études d'Ablation : Les expériences ont confirmé que la Voie Globale d'Identité était le principal moteur de l'alignement de la référence, tandis que la Voie de Structure Dégradée apportait des gains constants dans la stabilisation de la structure de sortie. La Mémoire à Deux Voies (Base + Détail) a surpassé les variantes à voie unique, validant la séparation de la disposition globale et du détail local.

Importance et Revendications

L'article revendique que IConFace répond avec succès au problème de la « surutilisation de l'apparence de la référence » en découplant explicitement le contrôle de l'identité de la structure spatiale. En assignant aux références un rôle d'identité global et à l'entrée dégradée un rôle de préservation de la structure, le modèle récupère des détails cohérents avec l'identité (par exemple, l'espacement des yeux, la texture de la peau, les grains de beauté) tout en adhérant strictement à la pose et à l'expression de l'entrée dégradée.

Les auteurs soulignent que cette approche est particulièrement précieuse sous dégradation sévère, où l'image dégradée manque de preuves d'identité suffisantes, mais où la référence les fournit sans dicter l'état facial. La nature unifiée du modèle lui permet de servir de solution robuste à la fois pour l'amélioration de photos personnelles (où les références sont disponibles) et pour la restauration aveugle générale (où elles ne le sont pas), comblant le fossé entre les paradigmes conscients de la référence et sans référence.