Résumé technique : Le décalage est inévitable : Une étude empirique de la robustesse des architectures neuronales au décalage de distribution temporelle

Énoncé du problème

Les systèmes d'apprentissage automatique réels opèrent sous l'hypothion que les données d'entraînement et de test partagent la même distribution. Cependant, dans la pratique, les distributions de données évoluent au fil du temps, induisant un décalage de distribution temporelle (temporal distribution shift). Ce phénomène peut dégrader considérablement la fiabilité des modèles déployés, provoquant l'échec de systèmes qui performent bien sur des données de test issues de la même période que les données d'entraînement.

Bien que le décalage de distribution soit largement documenté, l'étendue de l'influence des choix architecturaux et de leurs biais inductifs associés sur la robustesse temporelle reste insuffisamment comprise. Les questions clés abordées par ce travail sont les suivantes :

• Les différents biais inductifs (par exemple, l'invariance par translation des CNN, la modélisation séquentielle des RNN, l'attention des Transformers) entraînent-ils des taux de dégradation temporelle différents ?
• Les encodeurs pré-entraînés et gelés résistent-ils mieux au décalage temporel que les modèles entraînés de bout en bout ?

La littérature actuelle se concentre souvent sur les décalages statiques ou de domaine, ou compare des architectures uniques à travers des jeux de données, laissant une lacune dans la compréhension de l'interaction entre la conception architecturale et le décalage temporel à long terme à travers des modalités hétérogènes.

Méthodologie

Jeux de données

L'étude évalue la robustesse temporelle à travers trois domaines distincts et indexés par le temps :

1. Yearbook (Classification d'images) : 37 921 portraits de lycéens américains (1905–2013). Ce jeu de données présente un décalage de covariable et de concept dû à l'évolution des attributs stylistiques (coiffures, vêtements).
2. Amazon Reviews 2023 (Régression de texte) : Un sous-ensemble de 300 000 avis (2014–2023) répartis dans sept catégories. La tâche consiste à prédire les notes (de 1 à 5) à partir du texte, sujet à l'évolution du langage et du comportement des consommateurs.
3. arXiv (Classification multi-étiquettes de texte) : 2,8 millions d'enregistrements de titres et de résumés (2000–2025) annotés avec 176 catégories de sujets (réduites à 7 catégories parentes). Ce jeu de données présente un décalage de labels et de covariables dû à l'évolution du discours scientifique.

Familles de modèles

Les auteurs évaluent un large spectre d'architectures pour isoler les effets du biais inductif :

• Modèles d'images : Perceptrons multicouches (MLP), réseaux de neurones convolutionnels (CNN), réseaux résiduels (ResNet), Vision Transformers (ViT) et 9 encodeurs visuels pré-entraînés et gelés (ex. DINOv2, CLIP, MAE, ResNet50).
• Modèles de texte : Réseaux de neurones à propagation avant (FFN) sur des plongements (embeddings) agrégés, TextCNN, réseaux récurrents (BiGRU, BiLSTM), Transformers, et 8 encodeurs de langage pré-entraînés et gelés (ex. BERT, RoBERTa, DeBERTa).
• Stratégie d'entraînement : Les modèles sont entraînés sur des données historiques cumulatives ($D_{\le k}$) jusqu'à un instant de coupure $k$ spécifique. Cela simule un déploiement réaliste où les modèles sont périodiquement ré-entraînés sur tout l'historique disponible.

Cadre d'évaluation : Matrices de décalage temporel

La contribution centrale à l'évaluation est la Matrice de décalage temporel ($M$).

• Structure : Les lignes représentent la période de coupure d'entraînement ($i$), et les colonnes représentent la période d'évaluation ($j$).
• Métrique : $M_{ij}$ mesure la performance (Précision, AUC macro ou MSE équilibré) d'un modèle entraîné sur les données jusqu'au temps $i$ lorsqu'il est testé sur les données du temps $j$.
• Analyse :
  • Diagonale ($i=j$) : Performance en distribution (in-distribution).
  • Haut-Gauche ($j < i$) : Performance sur les périodes historiques antérieures (données de test hors distribution).
  • Bas-Droite ($j > i$) : Généralisation vers le futur non vu.
• Statistiques de synthèse : L'étude calcule le Score en Distribution (moyenne de la diagonale), le Score Futur (moyenne de $j > i$) et le Déclin (la différence entre les deux), quantifiant la vitesse à laquelle la performance se dégrade à mesure que l'écart temporel s'élargit.

Analyse additionnelle

• Cartes de saillance de gradient : Utilisées pour visualiser les caractéristiques auxquelles les modèles prêtent attention, expliquant pourquoi certaines architectures se dégradent plus rapidement.
• Courbes d'oubli : Graphiques de la précision en fonction de l'écart temporel entre l'entraînement et l'évaluation pour visualiser le taux de dégradation.

Résultats clés

1. Le compromis entre précision en distribution et robustesse temporelle

Une conclusion centrale est que les biais inductifs architecturaux façonnent systématiquement la robustesse temporelle, souvent de manière inverse à la performance en distribution.

• Biais forts (CNN, ResNet, RNN, Transformers) : Ces modèles exploitent des caractéristiques localisées et hautement discriminantes pour atteindre la plus haute précision en distribution. Cependant, ces caractéristiques sont souvent les plus spécifiques à la période d'entraînement (ex. coiffures spécifiques dans Yearbook, formulations spécifiques dans Amazon Reviews). Par conséquent, ces modèles se dégradent le plus rapidement à mesure que les données dérivent.
• Biais faibles/Absence de biais (MLP, FFN) : Ces modèles, manquant de priors structurels forts, atteignent une précision en distribution plus faible mais présentent des taux de dégradation plus lents. Leur extraction de caractéristiques plus "grossière" est moins liée aux artefacts temporels spécifiques.
• Encodeurs pré-entraînés gelés : Ces modèles occupent un terrain intermédiaire. Ils reposent sur des représentations plus larges et plus stables apprises à partir de données historiques étendues. Ils sacrifient généralement une partie de la précision en distribution pour une dégradation plus constante au fil du temps.

2. Observations par domaine

• Yearbook (Images) : Les CNN et ResNet commencent près de 92,8 % de précision mais chutent de 13,9 points. Les MLP commencent plus bas (62,3 %) mais ne chutent que de ~7,1 points. Les cartes de saillance révèlent que les CNN se concentrent sur des détails hautement discriminants et spécifiques à une période (ex. les yeux), qui deviennent non pertinents à mesure que les styles changent, tandis que les MLP s'attachent à l'ensemble du cadre.
• Amazon Reviews (Régression de texte) : Les modèles récurrents et les Transformers épousent le plus étroitement les données d'entraînement (MSE la plus faible) mais souffrent de la croissance d'erreur la plus élevée sur les données futures. Le FFN agnostique de l'ordre est le modèle entraîné le plus stable. Les encodeurs gelés (spécifiquement DeBERTa-v3) présentent la plus faible dégradation globale.
• arXiv (Classification de texte) : Dans ce domaine, la tâche (reconnaissance de sujets) est déjà largement résolue par les plongements RoBERTa gelés utilisés comme base. Par conséquent, aucune famille d'architecture ne gagne d'avantage significatif en distribution sur les autres, et aucune famille ne décroît significativement plus vite. Le décalage temporel est minimal car le vocabulaire et les concepts de base sont stables.

3. Mécanisme de dégradation

L'article postule que les caractéristiques mêmes qu'un biais inductif extrait pour augmenter la performance en distribution sont celles qui sont le plus liées à la période d'entraînement et les premières à perdre leur sens lors d'un décalage. Ainsi, les caractéristiques qui rendent un modèle précis en distribution sont les moins robustes au fil du temps.

Signification et affirmations

Le papier affirme fournir la première évaluation empirique unifiée de la robustesse temporelle à travers trois domaines hétérogènes et un large spectre de familles de modèles. Ses principales contributions sont :

1. Cadre unifié : L'introduction des Matrices de décalage temporel permet une représentation quantitative et compacte de la généralisation trans-temporelle, allant au-delà des simples clivages entraînement-test.
2. Comparaison systématique : En contrôlant les divisions de données et les protocoles d'évaluation, l'étude isole les hypothèses architecturales comme le moteur des schémas de robustesse.
3. Conseils pratiques : Les conclusions suggèrent que pour les systèmes réels soumis à un décalage temporel, la sélection de l'architecture ne doit pas reposer uniquement sur la précision en distribution. Au lieu de cela, les praticiens devraient peser l'horizon attendu entre les cycles de ré-entraînement. Les modèles ayant les meilleurs scores sur les données de test (held-out) au moment de l'entraînement peuvent être les moins robustes une fois déployés.
4. Fondation pour l'adaptation : L'étude isole la robustesse intrinsèque (avant toute intervention adaptative), fournissant une base pour concevoir de futures stratégies d'apprentissage continu ou de ré-entraînement.

Les auteurs maintiennent une position modeste, reconnaissant des limites telles que l'absence d'appariement de capacité entre tous les modèles, l'utilisation d'un ensemble fixe de graines aléatoires (random seeds), et la nature descriptive (plutôt que mécaniste) de l'analyse concernant les indices spécifiques responsables du décalage. Ils présentent ce travail comme une "première passe systématique" pour guider les recherches futures sur les mécanismes de la robustesse temporelle.