Résumé Technique : « Trop symétrique pour voir : diagnostiquer la sur-invariance dans l'apprentissage géométrique à symétrie finie »

1. Énoncé du problème : l'invariance silencieuse

L'article traite d'un mode de défaillance spécifique de l'apprentissage profond géométrique nommé sur-invariance. Bien que l'incorporation de symétries connues dans les réseaux de neurones soit une pratique standard pour réduire la complexité d'échantillonnage et garantir la cohérence physique, l'auteur soutient que les représentations peuvent être trop symétriques.

Plus précisément, lorsqu'une fonction cible possède uniquement une symétrie de phase finie (par exemple, une invariance sous un groupe discret de racines de l'unité), mais que la représentation du modèle impose une symétrie de phase continue (par exemple, l'invariance sous le groupe complet du cercle $U(1)$ en utilisant uniquement des caractéristiques de magnitude), le modèle rejette silencieusement des informations pertinentes pour la cible.

• Le mécanisme : Le remplacement des coordonnées complexes par leurs magnitudes (ou carrés de magnitudes) crée une représentation invariante sous un tore continu. Si la cible réelle n'est invariante que sous un sous-groupe fini de ce tore, la représentation réduit les fibres contenant des valeurs de cible distinctes.
• La conséquence : Cela entraîne une « erreur irréductible » (perte d'information) qui ne peut être corrigée ni par une meilleure optimisation, ni par plus de données. Crucialement, comme le modèle reste exactement invariant sous les actions du groupe déclaré, cet échec ne déclenche pas les avertissements standard relatifs aux erreurs de symétrie, ce qui le rend « silencieux ».

2. Méthodologie et cadre de diagnostic

2.1 Le diagnostic : l'erreur irréductible comme variance conditionnelle

L'auteur formalise la sur-invariance comme un problème de diagnostic. Pour une cible $T$ et une représentation $R$, l'erreur quadratique irréductible de tout prédicteur restreint à $R$ est la variance conditionnelle :
$$\inf_f \mathbb{E}[(T - f \circ R)^2] = \mathbb{E}[\text{Var}(T | R)]$$
Si $\text{Var}(T | R) > 0$, la représentation $R$ a rejeté des informations pertinentes pour $T$. L'article fournit un benchmark synthétique contrôlé où cette erreur irréductible peut être calculée en forme fermée, permettant une comparaison directe entre le plancher théorique des modèles de type magnitude seule et les modèles entraînés.

2.2 La réparation : le Regroupement de Caractères Projectifs (PCP)

L'article propose le Regroupement de Caractères Projectifs (PCP) comme une réparation ciblée et sans orbite pour une classe spécifique d'actions de symétrie finie. Le PCP construit un résiduel strictement invariant qui conserve l'information de phase sans nécessiter de moyennage d'orbite coûteux.

• Construction : Il opère sur des blocs de coordonnées alignés. Il normalise les blocs pour supprimer l'échelle projective, puis construit des « phasors » en élevant les coordonnées normalisées à des puissances spécifiques ($d_k$) qui trivialisent les rotations de phase de racines déclarées.
• Mécanisme : Ces phasors sont contractés avec des encodeurs de slots partagés. La construction inclut des produits globaux de « compensation de charge » pour assurer l'invariance sous le sous-groupe fini spécifique tout en préservant les distinctions de phase relatives que les magnitudes rejettent.
• Garantie : La construction est exactement invariante sous les actions de phase de racine diagonale déclarées et les permutations de slots simultanées, et elle descend vers une fonction lisse sur l'espace projectif produit.

2.3 Protocole d'évaluation

L'étude emploie une stratégie d'évaluation multicouche pour distinguer la perte d'information au niveau de la représentation des artefacts d'optimisation :

1. Benchmark synthétique : Une cible ajustable avec un plancher de magnitude seule connu analytiquement pour vérifier que le modèle de type magnitude seule atteint un plafond de performance déterminé par la perte d'information, et non par l'optimisation.
2. Contrôle moléculaire ($H_3^+$) : Une surface de structure électronique locale possédant une symétrie $D_3$ pour tester si le phénomène s'étend au-delà de la géométrie projective complexe.
3. Benchmarks géométriques :
   • Quintique de Dwork : Une famille à un paramètre de variétés de Calabi-Yau où le groupe de symétrie change avec le module, permettant de moduler la « pénalité de sur-invariance ».
   • Bicubique Symétrique : Une hypersurface produit-projective ($CP^2 \times CP^2$) pour tester la transférabilité à différents espaces ambiants et structures de groupes.
4. Contrôles : L'étude inclut des lignes de base à capacité équivalente, des contrôles de « mauvaise charge », des contrôles de phase générique et le moyennage d'orbite exact (lorsque cela est calculable) afin d'isoler la contribution spécifique de la construction sensible à la phase.

3. Résultats clés

3.1 Contrôles synthétiques et moléculaires

• Synthétique : Dans le benchmark contrôlé, les modèles de type magnitude seule atteignent systématiquement le plancher d'erreur irréductible analytique à mesure que la fraction de contenu de phase ($\gamma$) augmente. Les modèles PCP restent significativement en dessous de ce plancher, réduisant l'MSE jusqu'à 95 % à haut contenu de phase.
• Moléculaire ($H_3^+$) : Un modèle radial (magnitude seule) n'a pas réussi à s'améliorer au-delà d'un certain seuil d'erreur quel que soit le budget d'entraînement (jusqu'à 9 000 mises à jour), confirmant la perte de la composante angulaire autorisée par $D_3$. En revanche, le modèle sensible aux caractères a atteint un faible taux d'erreur rapidement, et le moyennage d'orbite exact n'a rattrapé le niveau qu'avec des budgets très importants.

3.2 Résultats géométriques (Quintique de Dwork)

• Platitude du rapport de déterminant : Sur la quintique de Dwork, les résiduels sensibles aux caractères (PCP) ont atteint une platitude de validation ($\sigma(\eta)$) nettement plus faible que les lignes de base de magnitude seule pour tous les modules testés ($\psi = 0.3, 0.5, 0.8$).
• Contrôles : L'élargissement du modèle de magnitude seule, l'utilisation de MLP projectifs génériques ou l'allongement de l'entraînement n'ont pas permis de combler l'écart. Les contrôles de « mauvaise charge » (phases mal calibrées) n'ont pas apporté d'amélioration, confirmant que l'effet repose sur une calibration de phase correcte.
• Échec de la canonicalisation : Une approche basée sur la canonicalisation (définie par morceaux) a montré une faible erreur locale mais a échoué à se coller de manière lisse aux frontières, soulignant que l'invariance ponctuelle ne garantit pas la validité géométrique globale.

3.3 Résultats géométriques (Troifold Bicubique)

• Transférabilité : Le PCP surpasse significativement les contrôles de magnitude seule et les contrôles projectifs génériques sur le troifold bicubique.
• Compromis de budget : Une comparaison avec le moyennage d'orbite exact (972 éléments) a révélé un compromis de budget fini : le PCP atteint une erreur plus faible tôt dans l'entraînement (30 mises à jour), tandis que le moyennage d'orbite le dépasse à des budgets plus longs (200 et 1 000 mises à jour). Cela suggère que le PCP est un système de coordonnées efficace pour une convergence précoce, tandis que le moyennage d'orbite est asymptotiquement supérieur si le calcul est suffisant.

4. Contributions et importance

L'article apporte les contributions spécifiques suivantes :

1. Diagnostic de la sur-invariance : Il identifie et formalise la « sur-invariance » comme un mode de défaillance silencieux où les représentations invariantes continues (comme les magnitudes) rejettent des informations nécessaires par des cibles à symétrie finie.
2. Borne inférieure analytique : Il fournit un cadre synthétique contrôlé avec un plancher d'erreur irréductible en forme fermée, séparant les limites de représentation des limites d'optimisation.
3. Regroupement de Caractères Projectifs (PCP) : Il introduit une construction neuronale concrète, sans orbite, qui est exactement invariante pour une classe déclarée d'actions de phase de racine diagonale tout en conservant les distinctions de phase nécessaires.
4. Validation empirique : Il démontre que ce mode de défaillance et la réparation proposée sont pertinents dans des contextes géométriques non triviaux (apprentissage de métriques de Calabi-Yau), où ils améliorent la qualité des potentiels de Kähler appris par rapport aux approches standards de magnitude seule.

5. Revendications et limites (Portée modeste)

L'auteur est explicite quant aux limites de ses revendications :

• Pas un compilateur universel : Le PCP est une « construction ciblée » pour les actions de phase de racine diagonale et les permutations simultanées. Il ne couvre pas les groupes finis unitaires arbitraires, les groupes continus ou les permutations de blocs indépendantes (par exemple, la symétrie d'échange de blocs bicubique nécessitait une symmetrisation écrite à la main séparée).
• Pas d'approximation universelle : L'article ne prétend pas que le PCP génère l'algèbre complète des invariants ou qu'il fournit un théorème d'approximation universelle.
• Résultats de budget fini : La comparaison avec le moyennage d'orbite est une observation à budget fini (le PCP gagne tôt, le moyennage d'orbite gagne tard), et non une revendication de supériorité asymptotique pour le PCP.
• Focus de diagnostic : L'objectif principal est de rendre la sur-invariance mesurable et falsifiable. L'article ne prétend pas résoudre tous les problèmes d'apprentissage géométrique ou remplacer les solveurs numériques existants, mais vise plutôt à fournir un outil pour détecter quand une représentation est « trop symétrique pour voir » la cible.

En résumé, l'article soutient que lorsque une cible possède une symétrie de phase finie, l'utilisation de caractéristiques de magnitude invariantes continues impose un goulot d'étranglement informationnel évitable. Le PCP offre une réparation ciblée pour ce décalage spécifique, validée par des bornes analytiques et des benchmarks géométriques.