Active Learning for Conditional Generative Compressed Sensing

Énoncé du problème
La compression sensing générative (GCS) récupère des signaux structurés à partir de mesures sous-échantillonnées en supposant que le signal se situe à proximité de l'image d'un modèle génératif préentraîné $G$. Bien que la théorie existante établisse des garanties de récupération pour des modèles inconditionnels sous des mesures gaussiennes, les applications pratiques impliquent souvent des transformées unitaires sous-échantillonnées structurées (par exemple, des mesures de Fourier en IRM) et possèdent des informations auxiliaires disponibles au moment de l'acquisition ou de l'inférence. Cet article comble le manque dans le domaine de la compression sensing générative conditionnelle, où le modèle génératif est conditionné par des invites (par exemple, des descriptions textuelles, des métadonnées). Le défi central réside dans le fait que le conditionnement introduit une interaction tripartite : l'invite définissant le vrai signal ($c^*$), l'invite utilisée pour concevoir la distribution d'échantillonnage ($c_s$), et l'invite utilisée pour définir le modèle de récupération ($c_r$). Les incohérences entre ces invites peuvent conduire à des stratégies d'échantillonnage sous-optimales ou à des reconstructions biaisées, pourtant les cadres existants traitent largement le conditionnement comme une priorité statique plutôt que comme une variable de conception dynamique pour l'acquisition et la récupération.

Méthodologie
Les auteurs formulent un cadre pour l'apprentissage actif conditionné par des invites sous des mesures de Fourier sous-échantillonnées, en adaptant l'approche de l'échantillonnage de Christoffel pour l'apprentissage automatique (CS4ML).

1. Classes de modèles conditionnés par des invites : L'espace des signaux est défini par un générateur conditionnel $G(z, c)$, où $z$ est un vecteur latent et $c$ est une invite. Les auteurs distinguent trois invites :

   • $c^*$ : L'invite du vrai signal (si $f^* \in F_{c^*}$).
   • $c_r$ : L'invite de récupération définissant l'ensemble candidat $F_{c_r}$.
   • $c_s$ : L'invite d'échantillonnage utilisée pour construire la distribution d'échantillonnage $\mu_{c_s}$.

2. Facteur de compatibilité des invites ($\Lambda$) : Pour quantifier l'interaction entre ces invites, les auteurs définissent un Facteur de Compatibilité des Invites :
   $$\Lambda(c_1, c_2, c_3) = \max_{i \in D} \frac{K(F_{c_1} - F_{c_2})(i)}{\mu_{c_3}(i)}$$
   où $K$ est la fonction de Christoffel généralisée mesurant l'« informativité » d'une coordonnée de Fourier pour distinguer les signaux dans une classe, et $\mu$ est la distribution d'échantillonnage.

   • $\Lambda(c_r, c_r, c_s)$ contrôle la complexité de l'échantillonnage requise pour une récupération stable.
   • $\Lambda(c^*, c_r, c_s)$ contrôle l'erreur de reconstruction (erreur d'approximation) lorsque le vrai signal ne correspond pas à l'invite de récupération.

3. Analyse théorique : L'article dérive des bornes de complexité d'échantillonnage pour deux classes de générateurs conditionnels :

   • Réseaux ReLU : En supposant un réseau feedforward ReLU sans biais et de profondeur $d$.
   • Générateurs Lipschitziens : En supposant que le générateur est $L$-Lipschitzien sur la boule latente.
     Dans les deux cas, les bornes montrent que le nombre de mesures $m$ évolue avec $\Lambda$, la complexité du générateur (par exemple, largeur/profondeur pour ReLU, constante Lipschitzienne $L$), et la probabilité d'échantillonnage minimale $\mu$.

4. Garanties de récupération : Sous la Condition de Valeur Propre Restreinte à un Ensemble (S-REC), les auteurs prouvent que l'erreur de reconstruction est bornée par la meilleure erreur d'approximation dans la classe de récupération, amplifiée par $\sqrt{\Lambda(c^*, c_r, c_s)}$, plus des termes pour le bruit et l'erreur d'optimisation.

Contributions clés

• Formulation : Un cadre unifié pour la GCS conditionnée par des invites qui sépare explicitement les rôles des invites dans la conception de l'échantillonnage et la modélisation de la récupération.
• Métrique théorique : L'introduction du Facteur de Compatibilité des Invites $\Lambda$, qui unifie l'analyse du décalage échantillonnage-récupération et du décalage signal-récupération en une seule statistique régissant à la fois la complexité de l'échantillonnage et les bornes d'erreur.
• Bornes de complexité d'échantillonnage : Des bornes explicites pour les générateurs conditionnels ReLU et Lipschitziens, démontrant qu'un décalage d'invite entraîne une pénalité (complexité d'échantillonnage accrue) proportionnelle à la divergence entre les géométries d'échantillonnage et de récupération.
• Validation empirique : Des expériences utilisant Stable Diffusion 1.5 (SD15) démontrent que :
  • Les invites remodelent de manière significative les distributions d'échantillonnage de Christoffel (concentrant la masse sur différentes fréquences de Fourier).
  • Les décalages entre les invites d'échantillonnage et de récupération ($c_s \neq c_r$) augmentent le facteur de compatibilité $\Lambda$.
  • Les performances de reconstruction sont sensibles à ces décalages, bien que les auteurs notent que la récupération inconditionnelle ($c_r = \text{""}$) a souvent été robuste dans leur configuration expérimentale spécifique, potentiellement en raison de la flexibilité du modèle inconditionnel ou des dynamiques d'optimisation spécifiques.

Résultats

• Théoriques : L'article prouve qu'une récupération stable est possible avec une forte probabilité si le nombre de mesures évolue avec $\Lambda(c_r, c_r, c_s)$. Si $c_s = c_r$, $\Lambda$ se réduit à la constante de complexité de Christoffel standard. Si $c_s \neq c_r$, $\Lambda$ peut croître, reflétant la nécessité de plus d'échantillons pour capturer les caractéristiques du signal pertinentes pour $c_r$ qui sont sous-représentées dans l'échantillonnage basé sur $c_s$.
• Expérimentaux :
  • Distributions d'échantillonnage : Différentes invites (par exemple, « plage au coucher du soleil » vs « chat ») induisent des distributions d'échantillonnage distinctes, les paires appariées minimisant $\Lambda$.
  • Reconstruction : Dans les expériences « dans la plage » (où le vrai signal est généré par le modèle), l'échantillonnage avec une invite sémantiquement similaire ($c_s$ proche de $c^*$) a amélioré le PSNR et le SSIM par rapport aux invites décalées.
  • Ablation CFG : Les auteurs ont constaté que des valeurs élevées de Guidance sans Classificateur (CFG) (par exemple, 7,5) restreignaient trop le générateur, conduisant à de moins bonnes performances de reconstruction par rapport à des valeurs CFG plus faibles (par exemple, 1), suggérant que la classe de récupération « effective » dépend fortement des hyperparamètres.

Signification et affirmations
L'article affirme que les invites doivent être traitées comme des variables de conception ayant des effets distincts sur l'acquisition (distribution d'échantillonnage), l'approximation (classe de récupération) et l'interaction entre les deux. La signification principale réside dans l'extension de la théorie GCS aux contextes conditionnels, montrant que :

1. L'apprentissage actif dépend de l'invite : La stratégie d'échantillonnage optimale dépend de l'invite spécifique utilisée pour la récupération, et non seulement de la classe de signal.
2. Pénalités de décalage : Il existe un coût théorique explicite (en termes de complexité d'échantillonnage et d'amplification de l'erreur) lorsque l'invite d'échantillonnage ne correspond pas à l'invite de récupération.
3. Implications pratiques : Bien que la théorie suppose des générateurs idéalisés, les expériences avec Stable Diffusion suggèrent que le conditionnement par invite peut modifier substantiellement les distributions d'échantillonnage induites et influencer la qualité de la reconstruction, bien que l'interaction avec les hyperparamètres d'optimisation (comme CFG) soit complexe.

Les auteurs notent modestement que leur théorie s'applique à des classes de générateurs idéalisées (ReLU/Lipschitziennes) et que les modèles de diffusion modernes sont des abstractions complexes de ces classes. Ils suggèrent que les travaux futurs devraient investiguer des versions basées sur la divergence de $\Lambda$ et mieux caractériser les constantes Lipschitziennes effectives des modèles de diffusion pratiques sous différentes échelles de CFG.