Local-Order Auxiliary Losses Can Improve Autoencoder Reconstruction

Résumé technique : Les pertes auxiliaires d'ordre local peuvent améliorer la reconstruction par autoencodeur

Énoncé du problème
Dans les autoencodeurs conçus pour reconstruire des tableaux numériques (tenseurs), l'objectif standard d'entraînement est l'erreur quadratique moyenne (MSE). Bien que la MSE assure une précision point par point, les reconstructions compressées dépendent souvent de la préservation de l'ordre spatial local (par exemple, l'arrangement relatif des crêtes, des creux et des fronts). Le consensus suggère un compromis : l'optimisation de métriques structurelles (comme la similarité structurelle ou la fidélité du gradient) dégrade souvent la MSE point par point. Cet article examine si ce compromis est nécessaire. Plus précisément, il s'interroge sur la possibilité que des pertes auxiliaires structurelles améliorent la MSE de validation dans des autoencodeurs à capacité finie, plutôt que d'améliorer simplement des métriques perceptuelles au détriment de la précision point par point.

Méthodologie
Les auteurs introduisent l'Erreur de Signe des Différences Finies (FDSE), un objectif auxiliaire d'ordre local conçu pour pénaliser les désaccords entre les signes des différences finies voisines dans la cible et la reconstruction.

• Définition : Pour un tenseur $X$ de rang $d$, la FDSE calcule les différences avant le long de chaque axe. Elle remplace la comparaison exacte des signes par une approximation différentiable utilisant une fonction lisse, impaire, monotone et saturante $\phi_s$ (par exemple, une tangente hyperbolique ou un arc tangente mis à l'échelle). La perte est définie comme suit :
  $$\text{FDSE}_{\phi,s}(X, \hat{X}) = \sum_{i=1}^d \| \phi_s(\delta_i(X)) - \phi_s(\delta_i(\hat{X})) \|_1$$
  où $\delta_i$ désigne la différence avant le long de l'axe $i$.
• Objectif d'entraînement : Le modèle est entraîné en utilisant un mélange convexe de MSE et de FDSE :
  $$\mathcal{L}_{\text{train}}(\theta) = \lambda \text{MSE}(X, A_\theta(X)) + \mu \text{FDSE}_{\phi,s}(X, A_\theta(X))$$
  où $\lambda > 0$ et $\mu \ge 0$.
• Justification : La FDSE est invariante aux transformations affines positives (décalage et échelle), ce qui signifie qu'elle ne peut pas contrôler l'amplitude ou le décalage seule ; elle doit donc être associée à la MSE. Les auteurs soutiennent que, dans des contextes à capacité limitée, une erreur d'ordre local (par exemple, inverser le signe d'une différence finie) implique souvent une caractéristique déplacée ou aplatie, ce qui augmente intrinsèquement l'erreur point par point. En corrigeant l'ordre local, le modèle peut involontairement réduire la MSE point par point.
• Configuration expérimentale : L'étude évalue quatre tâches de reconstruction : états de l'eau peu profonde, blocs de potentiel-vorticité ERA5, champs scalaires de rupture de barrage radial de PDEBench, et images CIFAR-10. Quatre architectures d'autoencodeurs différentes sont utilisées (CRA5, NDAE, codec ND de style MBT, et un autoencodeur d'images à prior factorisé). Les auteurs comparent l'entraînement uniquement avec MSE à des mélanges de MSE avec FDSE et sept autres objectifs auxiliaires standards (L1, magnitude du gradient, SSIM, résidu laplacien, variation totale et magnitude spectrale).

Contributions clés

1. Amélioration couplée : L'article démontre que, dans la reconstruction à latent compressé, les pertes auxiliaires structurelles peuvent simultanément améliorer les métriques structurelles non point par point et la MSE de validation, remettant en cause l'hypothèse selon laquelle ces objectifs doivent être en compromis.
2. Objectif FDSE : L'introduction de la FDSE comme supervision d'ordre local légère, indépendante de l'architecture et différentiable, qui pénalise les incohérences de signe dans les différences finies adjacentes sans nécessiter une correspondance exacte des magnitudes dérivées.
3. Preuve empirique : À travers quatre tâches distinctes et paires d'autoencodeurs, des mélanges modérés de MSE et de FDSE atteignent systématiquement une MSE de validation inférieure à celle de l'entraînement purement MSE.
4. Analyse diagnostique : Les auteurs emploient des contrôles « appariés par projection » pour écarter l'hypothèse selon laquelle l'amélioration serait simplement un effet implicite de la taille de pas (c'est-à-dire que la perte auxiliaire rescale simplement le gradient MSE). Ils montrent que le gain FDSE inclut un composant de mise à jour directionnellement distinct que l'entraînement purement MSE, même avec des taux d'apprentissage ajustés, ne peut pas reproduire.

Résultats

• Réduction de la MSE : Dans les balayages de coefficients sur les quatre tâches, des mélanges modérés MSE:FDSE ont réduit la MSE de validation par des facteurs allant de 2,3$\times$ à 7,0$\times$ par rapport à l'entraînement purement MSE.
  • Exemple : Sur CIFAR-10, la MSE de validation est passée d'environ $3,0 \times 10^{-3}$ (MSE pure) à environ $4,3 \times 10^{-4}$ (mélange 0,8:0,2).
  • Exemple : Sur les blocs de potentiel-vorticité ERA5, la MSE a été réduite de $4,60 \times 10^{-4}$ à $1,02 \times 10^{-4}$ (réduction de 4,5$\times$) avec un mélange 0,6:0,4.
• Métriques structurelles : Les améliorations de la MSE étaient généralement accompagnées d'améliorations dans les diagnostics sensibles à la topologie (PERSD, MERGD, CORRD) et le SSIM.
• Comparaison avec d'autres auxiliaires : Bien que d'autres auxiliaires (comme L1 ou SSIM) aient parfois amélioré des métriques spécifiques, la FDSE figurait fréquemment parmi les objectifs structurels les plus puissants testés. Notamment, la FDSE pure a mal performé, confirmant la nécessité du terme MSE pour ancrer l'amplitude et le décalage.
• Applicabilité : Les gains étaient les plus prononcés dans les tâches avec des champs spatiaux cohérents (ERA5, eau peu profonde, PDEBench) où l'ordre local porte une information significative. La méthode est moins efficace pour les signaux dominés par la texture ou les empilements d'axes de quantités physiques sans rapport.

Signification et affirmations
L'article affirme qu'une supervision de structure locale correctement pondérée peut guider l'optimisation vers des solutions offrant une meilleure précision point par point dans la reconstruction à latent compressé, plutôt que d'améliorer simplement des métriques perceptuelles au détriment de la MSE. Les auteurs soulignent qu'il ne s'agit pas d'une règle universelle ; l'effet dépend du champ cible présentant une variation locale cohérente à l'échelle résolue et de l'objectif d'entraînement étant une reconstruction à cible fixe sous un terme de fidélité de valeur.

Ce travail suggère que le compromis conventionnel entre diagnostics structurels et MSE est souvent inversé dans ces contextes spécifiques. En traitant le poids du mélange comme un hyperparamètre sélectionné par validation plutôt qu'en proposant une règle complexe d'équilibrage dynamique, les auteurs montrent que des mélanges simples et modérés de MSE et de FDSE peuvent produire des reconstructions supérieures pour les tenseurs scientifiques et analytiques, améliorant potentiellement la visualisation et l'analyse en aval. Cependant, ils mettent en garde contre l'utilisation de la FDSE en dehors de ses conditions d'applicabilité (par exemple, sur des données dominées par la texture), ce qui pourrait préserver des structures locales incorrectes et déformer des caractéristiques pertinentes pour l'application.