A Fiber Criterion for Representation Identifiability in Supervised Learning

Résumé technique : Un critère de fibre pour l'identifiabilité des représentations en apprentissage supervisé

Énoncé du problème
En apprentissage supervisé, les modèles sont typiquement évalués sur leur comportement entrée-sortie (précision prédictive ou risque). Cependant, les modèles modernes sont souvent interprétés non pas simplement comme des prédicteurs, mais comme des apprenants de représentations, où la cartographie interne $h$ est censée posséder des propriétés structurelles spécifiques telles que la compression, l'invariance, le désenchevêtrement ou l'accessibilité sémantique. Le papier identifie une lacune fondamentale : l'évidence supervisée contraint le prédicteur composé $f = c \circ h$ (où $h$ projette les entrées vers des représentations et $c$ projette les représentations vers les sorties), mais elle ne détermine pas nécessairement la factorisation spécifique $(h, c)$ qui la réalise.

Deux factorisations distinctes peuvent induire exactement le même prédicteur $f$ tout en possédant des représentations internes substantiellement différentes. Par exemple, une représentation pourrait rejeter les informations de nuisance tandis qu'une autre les retient ; l'une pourrait être compressée tandis qu'une autre ne l'est pas. Le papier formalise la question suivante : Quelles propriétés de la représentation interne $h$ sont uniquement déterminées par le prédicteur induit $c \circ h$ ? Les auteurs soutiennent que sans hypothèses supplémentaires, de nombreuses affirmations communes sur le niveau de la représentation ne sont pas identifiables à partir du seul comportement prédictif supervisé.

Méthodologie et cadre théorique
Le papier aborde ce problème à travers un cadre d'identifiabilité formel basé sur le concept de fibres dans l'espace des paires représentation-tête.

1. Équivalence de prédicteur et fibres :
   Soit $\mathcal{M}$ une classe de paires représentation-tête admissibles. Le papier définit une application de projection $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ où $\Pi(h, c) = [c \circ h]_{P_X}$, représentant le prédicteur induit identifié jusqu'à égalité presque sûre par rapport à $P_X$.

   • Deux paires $(h, c)$ et $(\tilde{h}, \tilde{c})$ sont équivalentes en tant que prédicteurs si elles induisent le même prédicteur ($c \circ h = \tilde{c} \circ \tilde{h}$ presque sûrement).
   • L'ensemble de toutes les paires induisant le même prédicteur forme une fibre de $\Pi$.

2. Le critère de Fibre/Descente :
   Le résultat théorique central (Théorème 3.3) établit une condition nécessaire et suffisante pour l'identifiabilité de la représentation :

   • Une propriété de représentation $P$ est identifiable à partir du prédicteur induit si et seulement si $P$ est constante sur chaque fibre de $\Pi$.
   • Équivalemment, $P$ doit « descendre » vers une propriété bien définie du prédicteur lui-même. Si $P$ varie au sein d'une même fibre (c'est-à-dire que deux factorisations produisent le même prédicteur mais ont des valeurs différentes pour $P$), alors $P$ ne peut pas être inférée du prédicteur seul.

3. L'obstruction par augmentation :
   Pour démontrer la non-identifiabilité, le papier introduit une construction canonique appelée augmentation préservant le prédicteur.

   • Étant donné une factorisation $(h, c)$ et une statistique auxiliaire $q(x)$, on peut construire une nouvelle représentation $h_q(x) = (h(x), q(x))$ et une nouvelle tête $c_q(u, v) = c(u)$.
   • La nouvelle tête ignore la coordonnée ajoutée $q$, garantissant que $c_q \circ h_q = c \circ h$ point par point. Le prédicteur et le risque supervisé restent inchangés.
   • Cependant, la nouvelle représentation $h_q$ peut différer de $h$ par des propriétés telles que la minimalité, la compression, l'invariance ou l'accessibilité sémantique.
   • Théorème 3.5 (Obstruction par augmentation) : Si une classe de modèles $\mathcal{M}$ est fermée sous l'augmentation préservant le prédicteur, toute propriété de représentation qui change lorsque cette augmentation est appliquée n'est pas identifiable à partir du prédicteur induit (et par conséquent, pas à partir du risque supervisé scalaire).

4. Restaurer l'identifiabilité :
   Le papier note que l'identifiabilité peut être restaurée en restreignant la classe admissible $\mathcal{M}$ (par exemple, via des contraintes architecturales, des goulots d'étranglement ou des biais inductifs), ou en enrichissant l'objet observé (par exemple, en ajoutant des pertes auxiliaires, des environnements multiples, ou des mesures directes).

Contributions clés

• Formalisation de l'identifiabilité des représentations : Le papier définit l'identifiabilité au niveau de la représentation strictement en termes du prédicteur induit, la distinguant de l'identifiabilité statistique des facteurs génératifs latents.
• Le critère de Fibre/Descente : Il fournit un critère mathématique rigoureux (Théorème 3.3) stipulant qu'une propriété est identifiable si et seulement si elle est constante sur les fibres de la projection des factorisations vers les prédicteurs.
• Mécanisme d'obstruction général : Il identifie l'augmentation préservant le prédicteur comme un témoin universel de la non-identifiabilité, s'appliquant aux desiderata courants, notamment la minimalité, la compression, l'invariance, l'équivariance, l'élimination des nuisances et l'accessibilité sémantique (Tableau 1).
• Diagnostics empiriques : Le papier fournit deux types de preuves empiriques :
  1. Témoins algébriques exacts : Expériences sur CelebA, CIFAR-10, STL-10, OfficeHome et PACS où des informations auxiliaires (attributs sémantiques, plongements de transformations, étiquettes de domaine) sont ajoutées aux représentations. Les résultats montrent que si le prédicteur reste identique (désaccord nul), les diagnostics standards (précision de sonde, distance d'invariance, rang effectif) changent radicalement.
  2. Étude de performance appariée : Une étude sur le jeu de données Waterbirds comparant des modèles entraînés avec différentes contraintes (ERM, Bottleneck, VIB, AugInv, SupCon) qui atteignent des performances supervisées similaires. Les résultats montrent que ces modèles sélectionnent des diagnostics de représentation différents (par exemple, le rang effectif, la décodabilité de la nuisance) malgré des précision de test et des pertes comparables.

Résultats

• Théoriques : Le papier prouve que des propriétés telles que la compression, l'invariance et l'accessibilité sémantique ne sont pas des conséquences de la prédiction supervisée seule. Elles varient au sein de la fibre du prédicteur induit, à moins que la classe admissible ne soit restreinte.
• Empiriques :
  • Dans les expériences de témoins exacts, l'ajout d'une seule coordonnée (par exemple, une étiquette de domaine) à une représentation a permis à une sonde de décoder cette information avec une précision de 100 %, alors que la représentation originale ne le pouvait pas, bien que la sortie du prédicteur soit restée inchangée.
  • Dans l'étude Waterbirds, les modèles présentant une précision de test appariée ont montré une divergence significative dans leurs propriétés de représentation. Par exemple, les méthodes d'Information Bottleneck ont sélectionné des représentations de très faible rang (rang effectif $\approx 1.8$) par rapport à l'ERM (rang effectif $\approx 35.7$), tandis que les méthodes d'invariance par augmentation ont réduit la sensibilité aux transformations tout en maintenant une haute décodabilité des nuisances. Crucialement, la précision sur le pire groupe (worst-group accuracy) ne montrait pas de corrélation monotone avec la précision de la sonde de nuisance, indiquant que les affirmations sur le niveau de la représentation nécessitent des justifications spécifiques au-delà de la performance prédictive.

Signification et affirmations
Le papier affirme clarifier la relation logique entre le comportement prédictif supervisé et les propriétés des représentations internes. Sa contribution principale est un résultat négatif concernant la suffisance de l'apprentissage supervisé pour les affirmations de représentation :

• Le comportement prédictif supervisé certifie une propriété au niveau de la représentation uniquement lorsque cette propriété est déterminée par le prédicteur induit.
• Les affirmations concernant la compression, l'invariance ou la structure sémantique ne sont pas des conséquences automatiques d'une faible perte supervisée.
• Pour justifier de telles affirmations, il faut s'appuyer sur une structure supplémentaire au-delà du prédicteur, telle que des restrictions architecturales, des régularisations, des goulots d'étranglement, des augmentations de données, des objectifs auxiliaires, des hypothèses causales ou des mesures directes au niveau de la représentation.

Le papier conclut que l'identifiabilité de la représentation est conditionnelle à la classe admissible de factorisations. Sans contraintes pour réduire la fibre du prédicteur ou sélectionner des représentants spécifiques, la structure interne d'un modèle supervisé reste sous-déterminée par le comportement entrée-sortie seul.