Learning Robust Intervention Representations with Delta Embeddings

Cet article propose d'améliorer la robustesse hors distribution en représentant les interventions par des « Causal Delta Embeddings » invariants visuellement et parcimonieux, permettant d'apprendre des représentations causales à partir de paires d'images sans supervision supplémentaire.

L'essentiel

🎬 Le Titre : Apprendre à voir le monde comme un magicien

Imaginez que vous regardez un film. Soudain, un personnage ouvre une porte.

• Ce que les ordinateurs voient habituellement : "Oh, il y a une porte, un homme, un mur, de la lumière..." Ils mémorisent tout le décor.
• Ce que ce papier propose : Se concentrer uniquement sur le mouvement qui a changé la porte. "La porte est passée de 'fermée' à 'ouverte'". Le reste (l'homme, le mur, la lumière) ne sert à rien pour comprendre l'action elle-même.

Les chercheurs (Panagiotis et Christos) ont créé une nouvelle méthode appelée "Causal Delta Embedding" (ou Intégration Delta Causale). C'est un peu comme donner aux ordinateurs des "lunettes magiques" qui leur permettent de voir uniquement la différence entre deux images, en ignorant le reste.

---

🧩 L'Analogie du "Delta" (La Différence)

Pour comprendre leur idée, imaginez que vous avez deux photos :

1. Photo A : Un tiroir est fermé.
2. Photo B : Le même tiroir est ouvert.

Si vous demandez à un ordinateur classique de comparer les deux, il va se perdre dans les détails : "Le tiroir est en bois, la poignée est dorée, la lumière vient de la gauche..." Il va essayer de mémoriser le tiroir spécifique.

La méthode de ce papier fait autrement :
Elle calcule la différence (le "Delta") entre les deux photos.

• Résultat : "Quelque chose a bougé ici. C'est une action d'ouverture."
• Le génie : Cette "différence" est la même, que ce soit un tiroir, une porte de réfrigérateur ou un coffre-fort. L'action "ouvrir" est universelle.

C'est comme si vous appreniez à cuisiner en ne mémorisant pas la recette d'un gâteau spécifique, mais en apprenant le geste de "fouetter les œufs". Ce geste reste le même, que vous fassiez un gâteau au chocolat ou une omelette.

---

🛡️ Pourquoi est-ce si important ? (Le problème de la "Robustesse")

Les intelligences artificielles actuelles sont très fortes, mais elles sont aussi très fragiles. C'est comme un élève qui apprend par cœur ses leçons.

• En classe (données d'entraînement) : Il voit un chien brun sur un tapis vert. Il apprend : "Chien = Tapis vert".
• Dans la vraie vie (données nouvelles) : Il voit un chien blanc sur un tapis rouge. Il panique et dit : "Ce n'est pas un chien !"

C'est ce qu'on appelle un problème de généralisation. L'IA a appris des "coïncidences" (le chien est toujours sur le tapis vert) au lieu de comprendre la "cause" (le chien est un chien, peu importe le tapis).

La solution de ce papier :
Au lieu d'apprendre à reconnaître l'objet, l'IA apprend à reconnaître l'action (l'intervention).

• Si l'action est "ouvrir", l'IA doit comprendre que cela s'applique à n'importe quel objet, même ceux qu'elle n'a jamais vus avant.
• C'est comme apprendre à conduire : vous ne mémorisez pas chaque route, vous apprenez les règles de la route (tourner à droite, s'arrêter au feu). Ces règles fonctionnent partout.

---

🎨 Comment ça marche ? (Les 3 Règles d'Or)

Pour que leur "lunette magique" fonctionne, ils ont imposé trois règles à l'ordinateur :

1. L'Indépendance (Ne pas se laisser distraire) :
   L'IA ne doit pas se soucier de la couleur du tiroir ou de la pièce dans laquelle il se trouve. Elle doit ignorer le décor. C'est comme un photographe qui ne prend en photo que la main qui tourne la poignée, et floute tout le reste.

2. La Sparsité (La simplicité) :
   Quand on ouvre un tiroir, seul le tiroir bouge. Le reste de la pièce reste immobile. L'IA doit apprendre que l'action ne touche qu'une petite partie de l'image. C'est comme un stylo qui écrit sur une page blanche : seule la ligne d'encre change, le papier reste blanc.

3. L'Invariance (La constance) :
   L'action "ouvrir" doit avoir la même "signature" mathématique, que ce soit pour ouvrir une boîte, une porte ou un livre. C'est comme une mélodie : que vous la jouiez au piano ou à la guitare, c'est toujours la même chanson.

---

🏆 Les Résultats : Une victoire sur les défis

Les chercheurs ont testé leur méthode sur un concours célèbre appelé "Causal Triplet". C'est un peu comme un examen final où l'IA doit reconnaître des actions dans des situations qu'elle n'a jamais vues.

• Avant (les anciennes méthodes) : L'IA se trompait souvent quand elle voyait un nouvel objet ou une nouvelle combinaison d'objets.
• Avec leur méthode (Causal Delta Embeddings) : L'IA a explosé les records ! Elle est devenue beaucoup plus intelligente et capable de s'adapter à de nouvelles situations, même dans des environnements réels et chaotiques (comme une cuisine avec des gens qui bougent).

De plus, l'IA a appris seule des choses fascinantes : elle a découvert que "ouvrir" et "fermer" sont des actions opposées (comme le jour et la nuit), sans qu'on lui ait jamais dit !

🚀 En résumé

Ce papier nous dit : "Pour que les robots soient intelligents et robustes, ne leur apprenez pas à reconnaître les objets. Apprenez-leur à comprendre les changements."

En isolant le "mouvement" (le Delta) du "décor", ils créent une IA capable de comprendre le monde comme un humain : en voyant les causes et les effets, et non juste des images statiques. C'est un pas de géant vers des robots qui peuvent vraiment travailler avec nous dans des environnements imprévisibles.

Résumé technique

1. Problématique

L'apprentissage de représentations causales (Causal Representation Learning - CRL) vise à améliorer la généralisation et la robustesse des modèles d'IA face aux changements de distribution (OOD - Out Of Distribution). Bien que la plupart des travaux se concentrent sur l'identification des variables latentes d'une scène, peu d'efforts ont été consacrés à la représentation des interventions (actions) elles-mêmes.

Le défi central abordé par cet article est la capacité d'un agent à inférer l'action effectuée à partir de paires d'images (avant/après intervention) dans des scénarios où la distribution des données change. Plus précisément, le modèle doit généraliser à :

• Des décalages compositionnels : Combinaisons nouvelles d'objets et d'actions non vues lors de l'entraînement.
• Des décalages systématiques : Apparition d'objets totalement nouveaux (classes disjointes) lors du test.

Les modèles actuels échouent souvent car ils apprennent des corrélations spurious (liées au contexte visuel ou à l'objet spécifique) plutôt que le mécanisme causal invariant de l'action.

2. Méthodologie : Causal Delta Embeddings (CDE)

Les auteurs proposent un cadre novateur appelé Causal Delta Embedding (CDE). L'idée fondamentale est de représenter une intervention non pas par une image ou un vecteur d'état, mais par la différence vectorielle entre les représentations latentes de l'état final et de l'état initial.

Hypothèses Fondamentales

Le modèle repose sur trois propriétés clés dérivées des principes de l'apprentissage causal (ICM et SMS) :

1. Indépendance : La représentation de l'action doit être indépendante des éléments de la scène non affectés par l'intervention (ex: l'arrière-plan, les objets non touchés).
2. Sparsité (SMS - Sparse Mechanism Shift) : Une intervention n'affecte qu'un sous-ensemble limité des variables causales. La représentation de la différence ($\delta$) doit donc être parcimonieuse (la plupart des dimensions sont nulles).
3. Invariance Objet : La représentation d'une action (ex: "ouvrir") doit être la même, quel que soit l'objet sur lequel elle s'applique (ex: une porte, un tiroir, une boîte).

Architecture du Modèle

Le système utilise un encodeur (basé sur un Vision Transformer, ViT) pour mapper les images $x$ et $\tilde{x}$ dans un espace latent $Z$.

• Calcul du Delta : L'embedding causal est calculé par soustraction élément par élément : $\delta_a = \phi(\tilde{x}) - \phi(x)$.
• Deux variantes architecturales :
  • Modèle Global : Utilise le token [CLS] du ViT pour obtenir une représentation globale de l'image.
  • Modèle Patch-Wise : Calcule les deltas pour chaque patch de l'image, puis sélectionne les $K$ patches ayant la plus grande magnitude de changement (Top-K) pour capturer les interventions localisées dans des scènes complexes.

Fonction de Perte (Loss Function)

Pour apprendre ces embeddings, les auteurs combinent trois objectifs :

1. Perte d'Entropie Croisée (Cross-Entropy) : Pour classifier correctement l'action à partir du vecteur delta.
2. Perte de Contraste Supervisée (Supervised Contrastive Loss) : Pour regrouper les embeddings d'une même action (favorisant l'invariance) et les éloigner des autres actions.
3. Régularisation de Sparsité ($\ell_1$) : Pour pénaliser les dimensions non nulles du vecteur delta, forçant le modèle à se concentrer uniquement sur les variables causales affectées.

3. Contributions Principales

• Introduction du Causal Delta Embedding (CDE) : Une nouvelle approche pour apprendre des représentations d'interventions dans un espace latent désintriqué, satisfaisant les hypothèses de causalité (indépendance, sparsité, invariance).
• Stratégie d'apprentissage multi-objectifs : Une fonction de perte combinant classification, contraste et régularisation de sparsité, permettant d'apprendre directement à partir de données visuelles sans supervision supplémentaire.
• Découverte de structure sémantique : Le modèle découvre automatiquement les relations sémantiques entre les actions, notamment les relations anti-parallèles (ex: "ouvrir" vs "fermer" ont des vecteurs opposés, similitude cosinus $\approx -1$), sans aucune supervision explicite sur ces relations.
• Performance SOTA : Établissement d'un nouvel état de l'art sur le défi "Causal Triplet".

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark Causal Triplet, couvrant trois niveaux de complexité : scènes synthétiques mono-objet, scènes multi-objets (ProcTHOR) et scènes réelles (Epic-Kitchens).

• Généralisation OOD : Le modèle CDE surpasse significativement les méthodes de base (ResNet, Slot Attention, ICM, SMS) dans les scénarios de décalage compositionnel et systématique.
  • Sur les données synthétiques mono-objet, le modèle réduit l'écart de généralisation (Gap) de 0,56 (méthodes précédentes) à 0,21.
  • Sur les données réelles (Epic-Kitchens), le modèle atteint une précision OOD de 34% (contre 27% pour les meilleurs baselines), surpassant même les méthodes utilisant des masques de vérité terrain (Oracle-mask) dans certains cas.
• Analyse Ablative :
  • La suppression de la perte de contraste réduit la précision OOD de 7 points.
  • La suppression de la régularisation de sparsité réduit la précision de 2 points.
  • L'utilisation de backbones ViT (DINO, MAE, CLIP) est cruciale pour la performance, surpassant largement les ResNet.
• Structure Géométrique : L'analyse des embeddings montre que le modèle apprend une structure vectorielle cohérente où les actions opposées sont parfaitement anti-parallèles, validant la capacité du modèle à capturer la mécanique sous-jacente des interventions.

5. Signification et Impact

Cet article marque une avancée significative dans le domaine de l'apprentissage causal pour la vision par ordinateur.

• Changement de paradigme : Au lieu de se concentrer uniquement sur la décomposition de la scène en objets, le travail propose de modéliser directement le mécanisme de transformation (l'action) comme un vecteur delta invariant.
• Robustesse : La méthode démontre qu'en forçant la sparsité et l'invariance, les modèles peuvent généraliser à des combinaisons d'objets et d'actions jamais vues, un défi majeur pour le déploiement de l'IA dans des environnements dynamiques réels (robotique, santé).
• Apprentissage non supervisé des relations : La capacité du modèle à inférer automatiquement que "ouvrir" et "fermer" sont des opposés vectoriels sans étiquetage explicite suggère un potentiel pour l'apprentissage de concepts causaux profonds à partir de données brutes.

En conclusion, les Causal Delta Embeddings offrent une approche simple mais puissante pour extraire des mécanismes causaux invariants à partir de paires d'images, surmontant les limitations des approches basées sur les corrélations statistiques traditionnelles.