Résumé Technique : Guidance Sans Classeur Factorisée

Énoncé du Problème

La génération contrefactuelle vise à simuler des résultats hypothétiques réalistes sous des interventions causales (par exemple : « À quoi ressemblerait la progression de la maladie de ce patient s'il avait reçu le traitement A au lieu du B ? »). Bien que les modèles de diffusion combinés à l'inversion DDIM et à la Guidance Sans Classeur (CFG) soient devenus l'état de l'art pour cette tâche, les auteurs identifient une limitation critique dans la CFG standard : l'amplification des attributs.

La CFG standard applique un seul poids de guidance global ($\omega$) à l'ensemble de l'embedding de conditionnement. Dans la génération contrefactuelle, ce renforcement uniforme amplifie par inadvertance non seulement les attributs intervenus, mais aussi les attributs qui devraient rester invariants sous l'intervention causale. Cette amplification « hors cible » viole le graphe causal prévu, modifie des attributs en dehors de la voie causale et provoque un dérive de la trajectoire de génération par rapport à la variété des données originales, dégradant ainsi la préservation de l'identité et la validité axiomatique des contrefactuels inférés.

Méthodologie : Guidance Sans Classeur Factorisée (FCFG)

Pour atténuer l'amplification d'attributs spuriaires sans modifier le modèle de diffusion sous-jacent, les auteurs proposent la Guidance Sans Classeur Factorisée (FCFG). Il s'agit d'une technique flexible, agnostique au modèle, appliquée au moment de l'inférence, permettant un contrôle attribut par attribut suivant un graphe causal.

1. Embedding de Conditionnement à Attributs Séparés

La méthode introduit une modification structurelle du mécanisme de conditionnement. Au lieu d'entremêler plusieurs attributs dans un vecteur unique, la FCFG emploie un embedder à attributs séparés. Chaque attribut parent sémantique $pa_i$ est encodé indépendamment via un Perceptron Multicouche (MLP) dédié, $E_i$. Le vecteur de conditionnement final $c$ est formé par la concaténation de ces embeddings indépendants :
$$c = \text{concat}(E_1(pa_1), E_2(pa_2), \dots, E_K(pa_K))$$
Cette architecture préserve l'identité de chaque attribut dans l'espace d'embedding, permettant une null-tokenisation sélective ou une modulation d'attributs individuels lors de l'inférence.

2. Formulation de la Guidance par Groupes

La FCFG partitionne les attributs sémantiques en $M$ groupes disjoints (par exemple, un groupe « affecté » contenant les attributs intervenus et leurs descendants, et un groupe « invariant » contenant les attributs censés rester inchangés). Sous l'hypothèse que ces groupes sont conditionnellement indépendants étant donné la variable latente $x_t$, les auteurs dérivent une vraisemblance a posteriori factorisée :
$$p_\omega(x_t | pa) \propto p(x_t) \prod_{m=1}^M p(pa^{(m)} | x_t)^{\omega_m}$$
où $\omega_m$ est un poids de guidance distinct pour le groupe $m$.

La prédiction de bruit guidée $\epsilon_{\text{FCFG}}$ est calculée en additionnant la prédiction inconditionnelle aux différences pondérées pour chaque groupe :
$$\epsilon_{\text{FCFG}}(x_t, t, c) = \epsilon_\theta(x_t, t, \emptyset) + \sum_{m=1}^M \omega_m \left( \epsilon_\theta(x_t, t, c^{(m)}) - \epsilon_\theta(x_t, t, \emptyset) \right)$$
Ici, $c^{(m)}$ est un embedding masqué où seuls les attributs appartenant au groupe $m$ sont conservés, les autres étant remplacés par des tokens nuls.

3. Intégration avec l'Inférence Contrefactuelle

La FCFG est intégrée dans le pipeline standard d'inférence contrefactuelle en trois étapes (Abduction, Action, Prédiction) :

• Abduction : Utilise l'inversion DDIM pour estimer le bruit exogène $u$ à partir de l'image observée et des attributs factuels.
• Action : Applique l'intervention causale pour générer des attributs contrefactuels.
• Prédiction : Utilise la trajectoire DDIM inverse guidée par la FCFG. Crucialement, l'étape de prédiction applique des poids distincts ($\omega_{\text{aff}}$ pour les attributs affectés, $\omega_{\text{inv}}$ pour les attributs invariants) pour orienter la génération vers l'intervention tout en préservant les facteurs invariants.

Le cadre est conçu pour être compatible avec des schémas de guidance avancés, notamment CFG++ et la Guidance Projectée Adaptative (APG), en appliquant la même décomposition par groupes à leurs formulations de scores respectives.

Contributions Clés

1. Identification de l'Échec Induit par la CFG : Les auteurs analysent et démontrent que le mécanisme de guidance global dans la CFG standard est une source principale d'amplification des attributs, provoquant des changements spuriaires dans les attributs invariants même lorsque le graphe causal est connu.
2. Proposition de la FCFG : Ils introduisent la Guidance Sans Classeur Factorisée, une extension simple qui attribue des poids de guidance séparés aux groupes d'attributs. Cela permet un contrôle fin et interprétable du processus génératif sans nécessiter de modifications de l'architecture du modèle ni de réentraînement.
3. Validation Empirique : Grâce à des expériences extensives sur des ensembles de données d'images naturelles (CelebA-HQ) et médicales (EMBED, MIMIC-CXR), l'article démontre que la FCFG réduit considérablement l'amplification hors cible tout en maintenant ou en améliorant l'efficacité de l'intervention.

Résultats Expérimentaux

Les auteurs évaluent la FCFG par rapport à la CFG standard et à d'autres méthodes de génération contrefactuelle (HVAE, HVAE-soft, SA-DCG) sur trois ensembles de données :

• CelebA-HQ : Dans les interventions ciblant des attributs comme « Sourire », « Homme » ou « Jeune », la CFG globale avec des poids de guidance élevés ($\omega \ge 2.0$) a provoqué des changements non intentionnels significatifs dans les attributs non intervenus (par exemple, changer l'âge ou l'identité lorsque seul le sourire était ciblé). La FCFG, utilisant un poids plus faible pour les attributs invariants ($\omega_{\text{inv}} \approx 1.0-1.2$) et un poids plus élevé pour les attributs affectés ($\omega_{\text{aff}} \ge 2.0$), a obtenu des changements d'attributs cibles comparables tout en maintenant les attributs invariants stables. Cela a résulté en des erreurs absolues moyennes (MAE) et des scores LPIPS plus faibles pour la réversibilité, indiquant une meilleure préservation de l'identité.
• EMBED (Mammographie mammaire) : Lors de l'intervention sur la densité mammaire, la CFG globale a par inadvertance amplifié la présence de marqueurs cutanés circulaires. La FCFG a supprimé ce déplacement spuriaire, maintenant des performances stables sur l'attribut non intervenu.
• MIMIC-CXR (Radiographies thoraciques) : Les interventions sur les findings de maladies (« finding ») avec la CFG globale ont conduit à des changements non intentionnels dans les attributs de race et de sexe. La FCFG a réussi à localiser les changements sur le finding de la maladie, réduisant les variations d'AUC hors cible de grandes valeurs positives (indiquant une amplification) à des valeurs proches de zéro ou négatives.

Dans tous les cas, la FCFG a amélioré le compromis entre l'efficacité de l'intervention et l'amplification hors cible. De plus, la FCFG a démontré sa compatibilité avec CFG++ et APG, atténuant l'amplification d'attributs inhérente à ces méthodes avancées également.

Importance et Revendications

L'article revendique que la FCFG adresse une limitation fondamentale des modèles de diffusion guidés pour le raisonnement causal. En découplant le signal de guidance à travers des groupes définis sémantiquement ou causalement, la FCFG permet la génération de contrefactuels qui sont axiomatiquement plus sains (adhérant au graphe causal) et plus réversibles (préservant fidèlement l'identité).

Les auteurs soulignent que la FCFG est un remède simple, appliqué au moment de l'inférence, qui ne nécessite pas :

• D'objectifs d'entraînement supplémentaires basés sur des prédicteurs (contrairement aux variantes HVAE).
• De cadres complexes de diffusion-autoencodeur (contrairement à SA-DCG).
• De découverte causale (elle suppose l'accès à un graphe causal pré-spécifié ou un regroupement sémantique).

Ce travail suggère que la nature « globale » de la CFG standard est un goulot d'étranglement pour une inférence contrefactuelle fiable et que factoriser le signal de guidance est une étape nécessaire pour un éditing d'images précis et contrôlé dans des contextes causaux. Les auteurs notent des limitations, spécifiquement que la FCFG dépend de variables de conditionnement structurées et de regroupements pré-spécifiés, et que les poids de guidance sont actuellement choisis empiriquement plutôt que de manière adaptative.