Unsupervised Representation Learning - an Invariant Risk Minimization Perspective

Cet article propose un cadre novateur d'apprentissage de représentations non supervisé basé sur la minimisation du risque invariant, introduisant les méthodes PICA et VIAE pour extraire des facteurs latents invariants sans accès aux étiquettes.

L'essentiel

Imaginez que vous essayez d'apprendre à reconnaître des chats et des chiens, mais vous n'avez aucune étiquette pour dire "c'est un chat" ou "c'est un chien". De plus, vous avez deux livres de photos : dans le premier, tous les chats sont sur de l'herbe verte, et dans le second, tous les chiens sont sur du sable. Si vous apprenez avec ces livres, votre cerveau risque de se tromper : il pensera que "l'herbe verte" signifie "chat" et "le sable" signifie "chien".

C'est le problème que les chercheurs appellent le biais environnemental. La plupart des intelligences artificielles actuelles ont besoin de quelqu'un pour leur dire la réponse (les étiquettes) pour apprendre à ignorer ces pièges.

Ce papier propose une nouvelle façon de faire, sans aucune étiquette, en utilisant deux méthodes ingénieuses qu'ils appellent PICA et VIAE.

Voici une explication simple, avec des analogies :

1. Le Concept de Base : La "Recette" vs "L'Ingredient"

L'idée centrale est de séparer ce qui est vrai et stable (la recette du plat) de ce qui change selon l'endroit (les ingrédients locaux).

• Invariant (Stable) : La forme du chat, ses oreilles, sa queue. C'est ce qui définit l'animal, peu importe où il se trouve.
• Environnemental (Changeant) : La couleur de l'herbe, la lumière du soleil, le décor de fond. C'est ce qui change d'un livre de photos à l'autre.

L'objectif de l'IA est d'apprendre à extraire uniquement la "recette" (le chat) et à rejeter les "ingrédients locaux" (l'herbe), même sans qu'on lui dise "c'est un chat".

2. La Méthode 1 : PICA (L'Architecte Géométrique)

Imaginez que vous avez deux tas de boue.

• Dans le tas 1, la boue est très humide et s'étale beaucoup vers l'est.
• Dans le tas 2, la boue est plus sèche et s'étale vers le nord.

Mais si vous regardez bien, il y a une direction dans laquelle les deux tas de boue sont exactement pareils. C'est la direction "invariante".

PICA est comme un architecte qui cherche cette direction magique. Il dit : "Je vais ignorer toutes les directions où les deux tas de boue sont différents (le nord, l'est, le sud), et je vais me concentrer uniquement sur la direction où ils sont identiques."

• En résumé : C'est une méthode mathématique simple (linéaire) qui trouve les axes communs à tous les environnements pour filtrer le bruit.

3. La Méthode 2 : VIAE (Le Chef Cuisinier à Deux Mains)

Pour les problèmes plus complexes (comme des images de visages), PICA ne suffit pas. C'est là qu'intervient VIAE.

Imaginez un chef cuisinier très spécial qui a deux mains distinctes :

1. La main gauche (Invariant) : Elle tient le "cœur" du plat. Peu importe si on cuisine à Paris ou à Tokyo, cette main garde la même recette secrète (le visage, l'identité).
2. La main droite (Environnement) : Elle ajoute les épices locales. Si on cuisine à Paris, elle ajoute du sel ; si on cuisine à Tokyo, elle ajoute du wasabi.

Comment ça marche ?

• L'IA observe une image (par exemple, un visage d'homme avec un fond bleu).
• Elle utilise sa "main gauche" pour extraire le visage (invariant).
• Elle utilise sa "main droite" pour extraire le fond bleu (environnement).
• Le tour de magie : L'IA peut maintenant prendre le visage (main gauche) et lui donner un nouveau fond (main droite) qui ressemble à un fond vert, même si elle n'a jamais vu ce visage avec un fond vert auparavant !

C'est comme si vous preniez une photo de vous-même sur la plage, et que l'IA vous transférait instantanément dans une forêt, en gardant votre visage intact mais en changeant le décor.

4. Pourquoi est-ce révolutionnaire ?

Jusqu'à présent, pour apprendre à ignorer les pièges (comme le fond bleu vs fond vert), il fallait des milliers d'exemples étiquetés par des humains.

• Avant : "Voici un chat sur l'herbe (étiquette : chat). Voici un chien sur le sable (étiquette : chien)."
• Avec ce papier : L'IA regarde simplement les photos et dit : "Tiens, le fond change tout le temps, mais la forme de l'animal reste stable. Je vais donc apprendre à ne regarder que la forme."

5. À quoi ça sert dans la vraie vie ?

L'article montre deux applications cool :

1. Reconnaissance robuste : Si vous entraînez une IA sur des photos de voitures en été, elle pourra reconnaître les voitures en hiver sans se tromper à cause de la neige.
2. Équité (Fairness) : Imaginez un système de recrutement. Souvent, l'IA apprend des biais (par exemple, elle pense qu'un candidat est moins bon s'il a une certaine couleur de peau). Avec VIAE, on peut dire à l'IA : "Enlève la couleur de peau de ta 'main droite' (environnement) et concentre-toi uniquement sur le CV (main gauche/invariant)." Cela permet de transférer un candidat d'un groupe démographique à un autre tout en gardant ses compétences intactes, pour vérifier si l'IA est vraiment juste.

En conclusion :
Ce papier nous dit que l'IA peut devenir plus intelligente et plus juste en apprenant à distinguer ce qui est essentiel (la vérité) de ce qui est accidentel (le décor), le tout sans avoir besoin d'un professeur pour lui donner les réponses. C'est comme apprendre à conduire en regardant la route, et non en regardant les autres voitures qui changent de direction.

Résumé technique

1. Problématique et Contexte

La Minimisation du Risque Invariant (IRM), introduite par Arjovsky et al. (2019), vise à apprendre des modèles robustes face aux changements de distribution (décalages) entre différents environnements (domaines). Traditionnellement, l'IRM repose sur des données étiquetées pour identifier des caractéristiques latentes invariantes (stables) par rapport aux caractéristiques environnementales (spurious), afin de garantir une généralisation hors distribution (OOD).

Cependant, l'application de l'IRM est limitée dans les scénarios où les étiquettes sont indisponibles, coûteuses à obtenir ou inexistantes. Le problème central abordé par ce papier est le suivant : Comment apprendre des représentations invariantes robustes uniquement à partir de données non étiquetées provenant de plusieurs environnements ?

Les auteurs posent l'hypothèse qu'il est possible de redéfinir l'invariance non pas par rapport à une variable cible $Y$, mais par l'alignement des distributions de caractéristiques (features) à travers les environnements.

2. Méthodologie et Cadre Théorique

Les auteurs proposent un nouveau cadre théorique basé sur un Modèle Causal Structurel (SCM) "non supervisé". Contrairement aux modèles supervisés qui distinguent les caractéristiques invariantes des caractéristiques dépendantes de l'environnement via une étiquette, ce modèle décompose l'espace latent en deux composantes :

• $Z_{inv}$ : Caractéristiques invariantes (stables across environments).
• $Z_e$ : Caractéristiques dépendantes de l'environnement (variables selon le domaine).

L'objectif est d'apprendre une carte de caractéristiques $\phi(X)$ telle que la distribution $P(\phi(X))$ soit identique pour tous les environnements $e \in \mathcal{E}$, tout en maximisant la vraisemblance des données reconstruites.

Le papier introduit deux méthodes principales pour résoudre ce problème :

A. PICA (Principal Invariant Component Analysis)

C'est une méthode linéaire basée sur des hypothèses gaussiennes, analogue à l'Analyse en Composantes Principales (PCA) mais adaptée à l'IRM.

• Principe : Elle cherche une projection $u$ qui maximise la variance totale des données tout en imposant une contrainte d'invariance : la variance de la projection doit être identique dans tous les environnements.
• Formulation : Pour deux environnements avec des matrices de covariance $\Sigma^1_x$ et $\Sigma^2_x$, la méthode cherche un vecteur $u$ dans le noyau (null space) de la différence $(\Sigma^1_x - \Sigma^2_x)$ (ce qui élimine les dimensions purement environnementales) tout en maximisant la somme des variances $(\Sigma^1_x + \Sigma^2_x)$.
• Algorithme : Il s'agit d'une procédure en deux étapes : trouver le sous-espace invariant, puis sélectionner les directions principales maximisant l'information dans ce sous-espace.

B. VIAE (Variational Invariant Autoencoder)

C'est une méthode non linéaire et générative, basée sur l'architecture des Autoencodeurs Variationnels (VAE).

• Architecture : Le modèle factorise l'espace latent en deux sous-espaces distincts :
  1. Un encodeur invariant partagé (partageant les paramètres entre environnements) qui produit $Z_{inv}$.
  2. Des encodeurs environnementaux spécifiques à chaque environnement $e$ qui produisent $Z_e$.
  3. Un décodeur unique qui reconstruit l'entrée $X$ à partir de $(Z_{inv}, Z_e)$.
• Contraintes Causales : Le modèle impose que $Z_{inv}$ soit indépendant de l'environnement $e$ a priori, et que le mécanisme de décodage $P(X|Z_{inv}, Z_e)$ soit invariant (ne dépend pas de $e$).
• Fonction de coût : L'optimisation maximise la borne inférieure de la vraisemblance (ELBO) avec une contrainte explicite assurant que la distribution de $Z_{inv}$ est identique quel que soit l'environnement d'origine.

3. Contributions Clés

1. Extension de l'IRM au non supervisé : Première formulation rigoureuse de l'IRM sans accès aux étiquettes, redéfinissant l'invariance par l'alignement des distributions de caractéristiques.
2. Nouveau Modèle Causal (Unsupervised SCM) : Un cadre unifié qui généralise les hypothèses précédentes (FIIF/PIIF) et permet la génération d'échantillons conditionnés et les interventions causales sans étiquettes.
3. Deux Algorithmes Proposés :
   • PICA : Une solution analytique et efficace pour les données linéaires/gaussiennes.
   • VIAE : Une approche profonde capable de capturer des structures non linéaires complexes.
4. Transfert d'Environnement (Environment Transfer) : La capacité de transformer des données d'un environnement source vers un environnement cible (vu ou non vu) tout en préservant le contenu invariant (ex: changer le "style" ou l'arrière-plan d'une image tout en gardant l'objet principal).

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur des données synthétiques, des versions modifiées de MNIST (SMNIST, SCMNIST) et le jeu de données CelebA.

• Synthétique et MNIST :
  • PICA a démontré sa capacité à projeter des données de deux environnements aux covariances différentes vers une distribution unique, filtrant efficacement les dimensions environnementales.
  • VIAE a réussi à séparer l'information : un classifieur linéaire entraîné sur $Z_{inv}$ a atteint une haute précision (~84%) pour prédire les étiquettes (chiffres), tandis qu'un classifieur sur $Z_e$ a échoué. Inversement, prédire l'environnement à partir de $Z_{inv}$ a donné un résultat aléatoire, prouvant l'invariance.
• Génération d'échantillons : Le modèle peut générer des images en fixant $Z_{inv}$ (le chiffre) et en faisant varier $Z_e$ (la position du carré ou la couleur), montrant un contrôle précis sur les facteurs environnementaux.
• Transfert d'environnement :
  • Pour les environnements vus, le transfert est parfait.
  • Pour les environnements non vus (test), une heuristique de moyennage des encodeurs environnementaux a permis un transfert raisonnable sur SMNIST, mais a échoué sur SCMNIST (où les canaux de couleur ne se chevauchent pas), soulignant les limites théoriques de la généralisation sans couverture suffisante des environnements d'entraînement.
• Équité (Fairness) sur CelebA : En traitant le genre comme une variable environnementale, VIAE a pu transférer des images d'hommes vers des femmes (et vice-versa) tout en préservant l'identité (structure du visage, expression), démontrant le potentiel pour l'apprentissage de représentations équitables.

5. Signification et Perspectives

Ce travail ouvre une nouvelle voie pour l'apprentissage de représentations invariantes dans des contextes réalistes où les étiquettes sont rares.

• Impact : Il permet d'appliquer les principes de robustesse de l'IRM à des tâches de pré-entraînement non supervisé, de génération de données et de réduction de biais.
• Limites et Futur : La généralisation à des environnements totalement non vus (zero-shot) reste un défi, nécessitant potentiellement des approches d'apprentissage par méta (Meta-learning) ou des architectures génératives plus avancées (GANs, Diffusion models) pour améliorer la fidélité visuelle et la robustesse.

En résumé, ce papier établit que l'invariance peut être apprise sans supervision en exploitant la structure causale sous-jacente des variations environnementales, offrant des outils puissants pour la généralisation hors distribution et l'équité algorithmique.