Tunable Soft Equivariance with Guarantees

1. Problématique

L'équivariance est une propriété fondamentale en vision par ordinateur : si l'entrée est transformée (par exemple, une rotation ou une translation), la sortie du modèle doit subir une transformation prévisible correspondante. Bien que les architectures strictement équivariantes (comme les réseaux de convolution de groupes) offrent des garanties théoriques, elles sont rarement parfaites sur des données réelles qui ne respectent qu'approximativement ces symétries.

Les approches existantes pour gérer ce problème souffrent de limitations majeures :

• L'équivariance stricte peut réduire l'expressivité du modèle et nuire aux performances sur des données réelles imparfaites.
• Les méthodes d'augmentation de données ou de régularisation ne fournissent aucune garantie théorique sur le niveau d'équivariance après l'entraînement.
• Les méthodes "douces" (soft) actuelles (comme les résidus entre couches équivariantes et non-équivariantes) manquent souvent de garanties sur l'erreur d'équivariance induite et nécessitent des architectures spécialisées difficiles à adapter aux modèles pré-entraînés modernes (comme les Transformers ou les grands modèles de fondation).

L'objectif est donc de créer un cadre permettant de contrôler le compromis entre l'expressivité du modèle et le degré d'équivariance, tout en fournissant des bornes théoriques sur l'erreur d'équivariance, le tout sans nécessiter de réentraînement complet de zéro.

2. Méthodologie

Les auteurs proposent un cadre général pour construire des couches "doucement équivariantes" en projetant les poids des modèles existants dans un sous-espace conçu.

A. Définition de l'Équivariance Douce ($\eta$-Soft Equivariance)

Au lieu d'imposer une égalité stricte ($F(\rho(g)x) = \rho(g)F(x)$), ils définissent une équivariance relative basée sur l'erreur normalisée par la variation locale de la fonction (via la norme du Jacobien) :
$$\frac{\|F(\rho_X(g)x) - \rho_Y(g)F(x)\|}{\|J_F(x)\|_F \|x\|} \leq \eta$$
Cela permet d'interpréter l'erreur d'équivariance indépendamment de l'échelle des poids ou des entrées.

B. Projection par "Flou" (Blurring) via l'Algèbre de Lie

Pour les groupes continus (ex: rotations SO(2), SO(3)) :

• L'approche s'inspire du filtrage anti-repliement (anti-aliasing) utilisé pour l'invariance aux translations.
• Les poids du modèle sont contraints via un opérateur de projection $B$ dérivé de la représentation de l'algèbre de Lie du groupe.
• En utilisant la Décomposition en Valeurs Singulières (SVD) ou la Décomposition de Schur des générateurs de l'algèbre de Lie, les auteurs identifient les directions dans l'espace des poids qui violent l'équivariance.
• Un paramètre de seuil $b$ (cut-off) filtre les composantes dont la valeur singulière dépasse ce seuil.
  • Un $b$ faible force une équivariance stricte (plus de poids filtrés).
  • Un $b$ élevé permet plus de flexibilité (moins de poids filtrés).
• Optimisation : Pour les grands modèles, le calcul de la SVD est coûteux ($O((dd')^3)$). Les auteurs proposent une alternative basée sur la décomposition de Schur ($O(\max(d, d')^3)$) qui est beaucoup plus rapide et efficace pour les groupes dont les représentations sont normales (comme les rotations).

Pour les groupes discrets :

• Ils généralisent l'approche en utilisant un opérateur de différence avant (forward-difference) comme analogue discret de l'algèbre de Lie, permettant d'appliquer la même logique de projection.

C. Intégration

La méthode est agnostique vis-à-vis de l'architecture. Elle peut être appliquée à n'importe quel modèle pré-entraîné (ViT, ResNet, SegFormer, etc.) en modifiant simplement les couches linéaires (fully connected, projections de patches) sans ajouter de paramètres apprenables supplémentaires. Le paramètre de "douceur" (softness) est un hyperparamètre réglable.

3. Contributions Clés

1. Nouveau Cadre de Projection : Introduction d'une méthode pour construire des couches équivariantes douces en restreignant les paramètres via des projections mathématiques, applicable à tout modèle pré-entraîné.
2. Garanties Théoriques : Dérivation de bornes mathématiques sur l'erreur d'équivariance ($\eta_b$) en fonction du seuil de projection $b$, de la taille du groupe et de son rayon d'injection. Cela permet un compromis contrôlé et prévisible.
3. Efficacité Computationnelle : Proposition d'une méthode basée sur la décomposition de Schur pour rendre le calcul des opérateurs de projection faisable pour des modèles de grande taille.
4. Validation Empirique Large : Démonstration de l'efficacité sur trois tâches (classification, segmentation, prédiction de trajectoires) et quatre architectures de base (ViT, DINOv2, ResNet, SegFormer).

4. Résultats Expérimentaux

Les expériences couvrent la classification d'images (CIFAR, ImageNet), la segmentation sémantique (PASCAL VOC) et la prédiction de trajectoires humaines.

• Classification (ImageNet & CIFAR) :

  • La méthode améliore simultanément la précision (Accuracy) et réduit l'erreur d'équivariance par rapport aux modèles de base (Base) et aux méthodes de référence comme la canonicalisation (Canon.).
  • Sur ImageNet, la méthode obtient de meilleurs résultats que les modèles de base tout en maintenant une erreur d'invariance très faible (ex: +0.61% de précision sur ViT avec une erreur réduite).
  • Contrairement à la canonicalisation qui fait souvent chuter la précision de 5 à 9%, la méthode proposée maintient ou améliore les performances.

• Segmentation Sémantique :

  • Amélioration de l'IoU moyen (mIoU) et de l'IoU sur les données augmentées (aIoU) tout en réduisant l'erreur d'équivariance (eErr).
  • La méthode est plus robuste que la canonicalisation, qui échoue souvent à prédire correctement la rotation dans les modèles complexes.

• Prédiction de Trajectoires Humaines :

  • Sur les datasets ETH/UCY, la méthode surpasse à la fois les modèles standards et les modèles strictement équivariants (EqAuto) en termes d'erreur de déplacement moyen (ADE) et final (FDE), tout en maintenant une bonne cohérence d'équivariance.

• Ablation et Efficacité :

  • La décomposition de Schur est nettement plus rapide que la SVD (moins d'une seconde contre plusieurs minutes pour de grandes matrices).
  • L'utilisation d'un seuillage "doux" (smooth cut-off) plutôt que dur améliore légèrement les performances.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la théorie de l'équivariance stricte et la pratique des modèles de vision modernes.

• Praticité : Il permet d'adapter des modèles de fondation (Foundation Models) pré-entraînés, massifs et non équivariants, pour qu'ils respectent des symétries physiques sans perdre leurs performances acquises.
• Contrôle : Il offre aux chercheurs et ingénieurs un "bouton de réglage" (le paramètre de douceur) pour ajuster le compromis entre la capacité du modèle à apprendre des motifs complexes et sa robustesse aux transformations géométriques.
• Garanties : Contrairement aux méthodes heuristiques, cette approche fournit des bornes théoriques sur la qualité de l'équivariance, ce qui est crucial pour les applications critiques où la cohérence géométrique est essentielle.

En résumé, l'article propose une solution élégante et mathématiquement fondée pour intégrer l'équivariance "douce" dans les systèmes de vision modernes, améliorant à la fois la performance et la robustesse géométrique.