Résumé Technique : L'augmentation de données : une perspective par l'analyse de Fourier

1. Énoncé du problème

L'augmentation de données est une technique standard, indépendante du modèle, qui exploite les symétries connues (invariances) dans les problèmes d'apprentissage en augmentant l'ensemble d'entraînement avec des copies transformées des échantillons. Bien que l'augmentation complète des données (en moyennant sur l'ensemble du groupe $G$) garantisse l'optimalité statistique et une invariance exacte, elle devient souvent informatiquement irréalisable lorsque $G$ est grand ou infini (par exemple, les groupes de permutation ou les groupes de rotation).

En pratique, les praticiens ont recours à une augmentation partielle des données, en utilisant seulement un sous-ensemble $S \subset G$ d'éléments du groupe. Cependant, la compréhension théorique de cette pratique est limitée. Le document aborde trois questions fondamentales :

1. Efficacité statistique : Une augmentation partielle utilisant un petit sous-ensemble $S$ peut-elle atteindre la même complexité d'échantillonnage minimax-optimale que l'augmentation complète ?
2. Réutilisabilité : Un sous-ensemble $S$ choisi aléatoirement peut-il être réutilisé pour plusieurs tâches ou estimateurs tout en maintenant des garanties de généralisation uniformes ?
3. Exactitude : Est-il possible d'imposer une $G$-invariance exacte via une augmentation partielle, ou la moyenne sur le groupe complet est-elle fondamentalement requise ?

Les auteurs étudient ces questions dans le contexte de l'estimation de densité classique et de la régression supervisée à l'aide d'estimateurs de projection à dimension finie.

2. Méthodologie

Le document développe un cadre théorique général combinant l'analyse de Fourier sur les groupes et la théorie des représentations des groupes finis.

• Cadre : L'espace d'entrée $\mathcal{X}$ est agi sur par un groupe $G$. L'espace d'hypothèses $\mathcal{F} \subset L^2(\mathcal{X}, \mu)$ est un sous-espace de dimension finie fermé sous l'action de $G$.
• Estimateurs : L'analyse se concentre sur les estimateurs de projection, qui estiment la fonction cible en projetant les moments empiriques sur $\mathcal{F}$. Ces estimateurs sont linéaires et minimax-optimaux sur des classes de dimension finie.
• L'augmentation comme moyenne : Les auteurs établissent une dualité : augmenter l'ensemble de données par un sous-ensemble $S$ équivaut à appliquer un opérateur de moyenne sur le sous-ensemble $\Pi_S = \frac{1}{|S|} \sum_{g \in S} T_g$ à l'estimateur non augmenté, où $T_g$ est l'opérateur unitaire représentant l'action du groupe sur $\mathcal{F}$.
• Théorie des représentations : L'espace $\mathcal{F}$ est décomposé en représentations irréductibles (irréps) de $G$. La moyenne sur le groupe complet $\Pi_G$ agit comme l'identité sur la représentation triviale (sous-espace invariant $\mathcal{F}_G$) et annihile toutes les irréps non triviales. La moyenne partielle $\Pi_S$ approxime ce comportement.

3. Contributions clés et résultats

A. Optimalité statistique de l'augmentation partielle

Le document prouve que l'augmentation partielle atteint la même performance statistique que l'augmentation complète, à condition que la taille du sous-ensemble $|S|$ soit proportionnelle au rapport entre la dimension totale des caractéristiques et la dimension invariante.

• Théorème 4.1 : Pour les estimateurs de projection dans l'estimation de densité et la régression, l'espérance de l'excès de risque sur le sous-espace invariant $\mathcal{F}_G$ est bornée par :
  $$\mathbb{E}[\|\hat{f}_S - \Pi_{\mathcal{F}_G} f^\star\|^2] \lesssim \frac{r_{\text{inv}}}{n} + \frac{r}{n|S|}$$
  où $r = \dim(\mathcal{F})$ et $r_{\text{inv}} = \dim(\mathcal{F}_G)$.
• Implication : Le terme $r_{\text{inv}}/n$ représente le taux optimal atteignable avec une augmentation complète. Le terme $r/(n|S|)$ est l'erreur due à l'augmentation partielle. Cette erreur devient négligeable une fois que $|S| \gtrsim r/r_{\text{inv}}$. Crucialement, ce seuil dépend uniquement des dimensions des espaces, et non de la taille du groupe $|G|$. Ainsi, même pour des groupes exponentiellement grands ou infinis, un petit sous-ensemble aléatoire suffit pour l'optimalité statistique.

B. Réutilisabilité uniforme

Les auteurs examinent si un sous-ensemble aléatoire unique $S$ peut être réutilisé pour toutes les fonctions de $\mathcal{F}$ avec une probabilité élevée.

• Théorème 4.3 : Avec une probabilité élevée, un sous-ensemble aléatoire unique $S$ fournit une approximation uniforme de l'augmentation complète sur l'ensemble de la classe de fonctions $\mathcal{F}$. La taille requise est :
  $$|S| \gtrsim \frac{r}{r_{\text{inv}}} \log(\min\{r, |G|\})$$
• Implication : La réutilisation d'un ensemble d'augmentation fixe n'entraîne qu'un léger surcoût logarithmique. Cela justifie les pipelines pratiques où un ensemble d'augmentation fixe est appliqué à travers plusieurs modèles ou tâches sans ré-échantillonnage.

C. Impossibilité de l'invariance exacte via l'augmentation partielle

Bien que l'augmentation partielle soit statistiquement suffisante, le document établit une séparation nette concernant l'invariance exacte.

• Théorème 4.5 (Résultat d'impossibilité) : Si l'espace d'hypothèses $\mathcal{F}$ est "représentation-complet" (contenant tous les modes irréductibles de $G$), alors l'imposition d'une invariance $G$ exacte via l'augmentation de données nécessite une moyenne sur l'ensemble du groupe. Aucun sous-ensemble strict $S \subsetneq G$ ne peut produire un estimateur exactement invariant.
• Implication : Il existe une barrière computationnelle fondamentale : on peut atteindre l'optimalité statistique avec un petit sous-ensemble, mais on ne peut pas atteindre une imposition de symétrie exacte sans la moyenne sur le groupe complet (à moins que l'espace d'hypothèses ne soit restreint pour omettre certains modes de symétrie).

4. Interprétation des régimes

Le document délimite trois régimes distincts basés sur la taille de l'ensemble d'augmentation $|S|$ :

1. Optimalité statistique ($|S| \gtrsim r/r_{\text{inv}}$) : L'estimateur atteint le taux minimax-optimal. Le risque est indiscernable de celui de l'augmentation complète.
2. Réutilisabilité uniforme ($|S| \gtrsim \frac{r}{r_{\text{inv}}} \log(\min\{r, |G|\})$) : Un ensemble $S$ unique fonctionne uniformément pour toutes les fonctions de $\mathcal{F}$ avec une probabilité élevée.
3. Invariance exacte ($|S| = |G|$) : Seule la moyenne sur le groupe complet garantit une invariance exacte lorsque l'espace d'hypothèses est suffisamment expressif pour capturer tous les modes de symétrie.

5. Signification et affirmations

Le document affirme fournir une perspective unifiée sur l'augmentation complète et partielle des données, résolvant la tension entre coût computationnel et bénéfice statistique.

• Justification théorique : Il explique pourquoi l'augmentation partielle fonctionne empiriquement : les sous-ensembles aléatoires d'éléments de groupe agissent comme des "projections approximatives" efficaces qui suppriment suffisamment les modes de bruit non invariants pour récupérer les taux optimaux, même s'ils ne les éliminent pas exactement.
• Compromis Computationnel vs Statistique : Les résultats soulignent une séparation nette : l'optimalité statistique est peu coûteuse (nécessitant seulement $O(r/r_{\text{inv}})$ échantillons), tandis que l'invariance exacte est coûteuse (nécessitant $O(|G|)$).
• Pertinence vis-à-vis des travaux récents : Les conclusions répondent aux questions soulevées par Díaz et al. (2025) concernant la possibilité d'atteindre un apprentissage statistiquement optimal sous des invariances de groupes générales via des méthodes informatiquement extensibles. Le document répond par l'affirmative pour l'optimalité statistique, mais par la négative pour l'invariance exacte.
• Portée : L'analyse est spécifique aux estimateurs de projection et aux classes d'hypothèses de dimension finie. Les auteurs notent que bien que des extensions vers les moindres carrés ordinaires (OLS) et les classes de dimension infinie soient possibles, l'estimateur de projection sert de banc d'essai propre pour isoler les effets de l'augmentation des problèmes de l'estimation de covariance ou du biais d'approximation.

En résumé, le document soutient que l'imposition de symétrie approximative via l'augmentation partielle des données est souvent la cible computationnelle correcte, car elle conserve tous les bénéfices statistiques de la symétrie sans le coût prohibitif de l'augmentation complète du groupe.