Résumé Technique : Apprentissage Auto-Supervisé Cohérent avec Martingale

Énoncé du Problème

L'apprentissage auto-supervisé (SSL) est largement déployé dans des scénarios où la disponibilité de l'information est dynamique, par exemple lors de la gestion d'histoires plus courtes, de caractéristiques manquantes ou d'images partiellement observées. Dans ces contextes, un modèle est souvent interrogé sous plusieurs « ensembles d'information » (par exemple, des vues grossières par rapport à des vues affinées). Une exigence fondamentale pour de tels modèles est la cohérence : la prédiction faite sous un ensemble d'information grossier doit correspondre à la prédiction attendue après affinement.

Mathématiquement, si $F_1 \subseteq F_2$ représentent des ensembles d'information imbriqués (où $F_2$ contient plus d'informations que $F_1$), et si $g_\phi(x_F)$ est un prédicteur, la propriété de martingale dicte :
$$E[g_\phi(x_{F_2}) \mid x_{F_1}] = g_\phi(x_{F_1})$$
Cela implique que, avant d'observer des informations supplémentaires, le modèle ne devrait pas s'attendre systématiquement à ce que ses prédictions futures dérivent vers le haut ou vers le bas. Les objectifs SSL standards (par exemple, l'apprentissage contrastif, la reconstruction masquée) entraînent généralement les prédicteurs pour des vues individuelles de manière indépendante ou imposent une invariance (rendant les vues similaires). Ils n'imposent pas cette cohérence directionnelle, ce qui peut conduire à des modèles performants sur des vues spécifiques mais manquant de cohérence globale à travers les ensembles d'information imbriqués.

Méthodologie

Les auteurs proposent un Cadre SSL Cohérent avec Martingale qui impose la propriété de martingale comme objectif d'entraînement.

1. Fonction Objectif

La fonction de perte totale combine une perte prédictive standard avec une pénalité de cohérence martingale :
$$\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda_{imp}\mathcal{L}_{imp} + \lambda_{mart}\mathcal{L}_{mart}$$

• Terme Prédictif ($\mathcal{L}_{pred}$) : Une perte SSL standard (par exemple, l'entropie croisée de classification ou l'erreur quadratique moyenne de reconstruction) appliquée à la vue affinée (complète).
• Terme Martingale ($\mathcal{L}_{mart}$) : Ce terme pénalise les écarts par rapport à l'identité de martingale. Il nécessite l'échantillonnage d'ensembles d'information imbriqués $F_1 \subseteq F_2$. La perte est définie comme suit :
  $$\mathcal{L}_{mart} = \mathbb{E}_{F_1 \subseteq F_2} \left[ \| g_\phi(x_{F_1}) - \mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}] \|^2 \right]$$
• Perte d'Imputation ($\mathcal{L}_{imp}$) : Une perte auxiliaire utilisée pour entraîner un réseau d'imputeur $q_\psi$ qui approxime la distribution conditionnelle de l'entrée complète étant donné la vue partielle.

2. Estimateur Monte Carlo à Deux Échantillons Non Biaisé

Le calcul direct de l'espérance conditionnelle $\mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}]$ est intraitable. Une moyenne Monte Carlo naïve introduit un biais dû à la variance. Les auteurs proposent un estimateur à deux échantillons non biaisé :

1. Étant donné une vue grossière $x_{F_1}$, échantillonner deux affinement conditionnellement indépendants $x^{(a)}_{F_2}$ et $x^{(b)}_{F_2}$ en utilisant l'imputeur appris $q_\psi$.
2. Calculer la prédiction grossière $u = g_\phi(x_{F_1})$ et les prédictions affinées $v_a = g_\phi(x^{(a)}_{F_2})$, $v_b = g_\phi(x^{(b)}_{F_2})$.
3. L'estimateur est :
   $$\hat{\mathcal{L}}^{2MC}_{mart} = (u - v_a)^\top (u - v_b)$$
   L'analyse théorique (Annexe B.1) prouve que cet estimateur est non biaisé pour l'erreur quadratique de l'identité de martingale.

3. Variantes d'Implémentation

Le cadre est instancié dans deux espaces principaux :

• Espace de Prédiction : La pénalité martingale est appliquée directement aux prédictions de sortie du modèle.
• Espace Latent : La pénalité est appliquée aux représentations latentes de l'encodeur ($z_{F_1}$ par rapport à $z_{F_2}$). Cela est particulièrement utile pour les données de haute dimension (images, longues séquences) où l'imposition d'une cohérence dans l'espace d'observation est peu pratique.
• Cibles EMA : Pour stabiliser l'entraînement, les cibles affinées ($v_a, v_b$ ou $z_a, z_b$) peuvent être calculées en utilisant une copie du réseau avec une Moyenne Mobile Exponentielle (EMA), empêchant ainsi l'instabilité des cibles mobiles.

Contributions Clés

1. Identification d'un Écart Structurel : L'article identifie que le SSL standard traite les prédicteurs comme une famille d'espérances conditionnelles indexées par des ensembles d'information, mais échoue à imposer les relations de cohérence nécessaires (propriété de martingale) entre eux.
2. Recette d'Entraînement Pratique : Les auteurs introduisent une méthode pour imposer la cohérence martingale sans refonte spécifique à la modalité. Cela inclut des pénalités dans l'espace de prédiction et l'espace latent, ainsi que l'estimateur Monte Carlo à deux échantillons non biaisé basé sur un affinement stochastique.
3. Validation Empirique : Le cadre est évalué sur des benchmarks temporels, tabulaires et d'images, dans des contextes semi-auto-supervisés (avec étiquettes) et entièrement auto-supervisés (sans étiquettes).

Résultats Expérimentaux

Le cadre a été testé sur des données synthétiques et réelles, notamment des séries temporelles (UCI HAR, Traffic, Stock), des données tabulaires (Adult, Bank Marketing) et des images (CIFAR-10, STL-10).

• Robustesse sous Observation Partielle : L'imposition de la cohérence martingale a systématiquement amélioré la précision des sondes en aval lorsque la quantité d'information observée était réduite (niveaux de complétude faibles $c \in \{0.05, 0.2, \dots, 0.8\}$).
  • Séries Temporelles : Dans le contexte semi-auto-supervisé, les variantes martingale ont atteint la meilleure précision moyenne sur les 7 ensembles de données, avec des gains relatifs significatifs (par exemple, +155,6 % sur Character Trajectories, +30,9 % sur T-SIM-RC).
  • Tabulaire : Les variantes martingale ont surpassé les lignes de base sur les 5 ensembles de données tabulaires statiques, avec des gains allant jusqu'à +34,1 % sur des données synthétiques.
  • Images : Sur CIFAR-10, la variante martingale-latente a amélioré la précision moyenne de 0,311 à 0,383 (+23,2 %) par rapport au modèle de base.
• Calibration : Les modèles entraînés avec une cohérence martingale ont montré une bien meilleure calibration (erreur de calibration attendue plus faible et regret à tout moment réduit) sous observation partielle par rapport au SSL standard.
• Réduction des Violations : L'objectif d'entraînement a réussi à réduire les violations de martingale (l'écart entre les prédictions grossières et les prédictions affinées attendues), en particulier dans les régimes de faible complétude.
• Comparaison avec l'Invariance : Contrairement aux objectifs de cohérence standards qui forcent les vues à être identiques (invariance), la cohérence martingale permet aux prédictions de se mettre à jour à mesure que l'information est révélée, tout en empêchant une dérive systématique.

Signification et Revendications

L'article revendique que la cohérence martingale fournit une perspective probabiliste sur les modèles SSL déployés sous différents motifs de masquage ou longueurs de contexte. En imposant un accord en espérance sous l'affinement de l'information, la méthode permet aux prédictions de se mettre à jour naturellement à l'arrivée de nouvelles données tout en empêchant une dérive systématique.

Les auteurs positionnent cela comme un biais inductif structurel qui capture les informations laissées non contraintes par des objectifs standards tels que SimCLR ou BYOL. Ils suggèrent que cela est particulièrement pertinent pour les modèles de base, qui sont régulièrement interrogés sous des longueurs de contexte variables et des observations incomplètes, alors que les objectifs existants n'imposent pas explicitement la cohérence requise pour un tel déploiement dynamique. Le travail démontre que combler cet écart améliore la robustesse, la calibration et la stabilité des représentations, offrant une manière fondée de gérer les régimes d'information partielle dans l'apprentissage auto-supervisé.