🤖 machine learning

Remembering by Reconstructing: Domain Incremental Learning With Test-Time Training on Video Streams

Cet article propose un nouveau cadre d'apprentissage incrémental de domaine qui exploite intentionnellement l'oubli catastrophique grâce à des adaptateurs LoRA spécialisés et récupère la connaissance du domaine via un entraînement en ligne au moment du test sur un autoencodeur masqué auto-supervisé, ce qui le rend particulièrement efficace pour les flux vidéo réels et non stationnaires.

Auteurs originaux : Jonathan Swinnen, Tinne Tuytelaars

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jonathan Swinnen, Tinne Tuytelaars

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef qui a appris à cuisiner des repas parfaits pour un groupe de personnes spécifique. Vous connaissez leurs goûts, les ingrédients qu'ils aiment et la façon exacte dont ils veulent que leur nourriture soit assaisonnée. C'est votre « entraînement ».

Maintenant, imaginez que vous êtes engagé pour cuisiner pour un nouveau groupe de personnes ayant des goûts complètement différents. Si vous essayez d'apprendre leurs préférences en réécrivant complètement l'intégralité de votre livre de cuisine, vous pourriez accidentellement oublier comment cuisiner pour le premier groupe. C'est un problème connu sous le nom d'« oubli catastrophique » dans le monde de l'IA.

La plupart des chercheurs en IA essaient de résoudre cela en construisant un livre de cuisine géant et super complexe qui tente de se souvenir de tout le monde à la fois, ou en conservant une immense bibliothèque d'anciennes recettes à consulter constamment.

Cet article propose une approche différente et plus flexible. Au lieu d'essayer de tout se souvenir parfaitement tout le temps, les auteurs suggèrent : « Oublions, mais rendons l'oubli facile à mémoriser à nouveau. »

Voici comment leur méthode fonctionne, décomposée en analogies simples :

1. Les « Sous-chefs spécialisés » (Adaptateurs LoRA)

Au lieu de réécrire tout votre livre de cuisine, vous engagez une équipe de sous-chefs spécialisés (appelés adaptateurs LoRA).

Le Chef A est un expert de la cuisine italienne.
Le Chef B est un expert de la cuisine japonaise.
Le Chef C est un expert de la cuisine mexicaine.

Lorsque vous cuisinez pour le groupe italien, vous laissez le Chef A prendre les commandes. Lorsque vous passez au groupe japonais, vous laissez le Chef B prendre les commandes. Parce que chaque chef est si spécialisé, ils pourraient devenir un peu rouillés dans les autres cuisines s'ils ne s'exercent pas pendant un certain temps. L'article accepte cette « rouille » (l'oubli) comme une chose naturelle et acceptable.

2. Le « Test de goût » (La tête MAE)

Voici la partie ingénieuse. La cuisine a un second travail secret : reconstruire les ingrédients.
Imaginez que, pendant que les chefs principaux cuisinent le repas, un second assistant silencieux (l'Autoencodeur Masqué ou MAE) essaie de deviner à quoi les ingrédients bruts devraient ressembler en se basant sur l'odeur et le contexte.

Si vous cuisinez italien, l'assistant devient très doué pour deviner les ingrédients italiens.
Si vous passez à la cuisine japonaise, l'assistant est confus car il pense toujours aux ingrédients italiens.

L'article utilise cette confusion comme un signal. L'assistant ne se soucie pas du plat final ; il se soucie uniquement de « reconstruire l'entrée ». Si la reconstruction échoue, cela signifie que le chef actuel (le LoRA actuel) n'est pas le bon pour ce moment précis.

3. L'« Ajustement en direct » (Entraînement au moment du test)

C'est là que la magie opère. L'article suggère qu'au lieu d'essayer de choisir le bon chef avant de commencer à cuisiner, vous laissez l'assistant vous guider en temps réel.

À mesure que le flux vidéo (les données) arrive, le système effectue un « test de goût » rapide sur la tâche de reconstruction de l'assistant.

Si l'assistant éprouve des difficultés, le système ajuste rapidement les boutons de réglage (coefficients de pondération) sur les sous-chefs.
Il augmente le volume du chef qui correspond à la « saveur » (domaine) actuelle et diminue celui des autres.

Parce que les données sont un flux continu (comme une vidéo), le système sait que les prochaines secondes seront probablement similaires à la seconde actuelle. Il n'a donc pas besoin de réentraîner toute la cuisine ; il ajuste simplement les boutons de réglage pendant quelques secondes jusqu'à ce que l'assistant soit à nouveau satisfait.

Pourquoi est-ce différent ?

L'ancienne méthode : « Je ne dois jamais oublier le premier groupe de personnes, donc je vais passer la revue de leurs anciennes recettes constamment. » (C'est lent et lourd en calcul).
La méthode de cet article : « Ce n'est pas grave si j'oublie le premier groupe pendant un moment. Dès qu'ils reviennent, j'utiliserai l'odeur de l'air (la tâche de reconstruction) pour me souvenir instantanément de qui ils sont et revenir au bon chef. »

Les résultats

Les auteurs ont testé leur méthode sur deux éléments :

Reconnaissance d'actions dans des vidéos : Comme faire la différence entre quelqu'un qui danse dans une salle de sport et quelqu'un qui danse dans un parc.
Segmentation sémantique : Comme identifier des objets (voitures, arbres, personnes) dans un flux vidéo pendant que vous marchez sur un campus.

Ils ont constaté que leur méthode était très efficace pour gérer ces changements. Elle a mieux performé que les méthodes qui tentent de tout se souvenir à la fois, et elle était presque aussi performante qu'avoir un « oracle magique » qui saurait exactement quel chef choisir avant même que la vidéo ne commence.

Le bémol

L'article admet que cela fonctionne mieux lorsque les données sont un flux continu (comme une vidéo). Si les données sautent de manière aléatoire (comme regarder une photo, puis une photo totalement différente, puis revenir à la première), cette méthode pourrait avoir des difficultés car elle repose sur le fait que l'« image suivante » est similaire à l'« image actuelle » pour effectuer ces ajustements rapides.

En bref : N'essayez pas de tout garder en tête à la fois. Autorisez-vous à oublier, mais gardez un moyen rapide de « revenir instantanément » à la bonne mémoire dès que vous en avez besoin.

Résumé technique : Se souvenir par la reconstruction

Énoncé du problème

L'article traite de l'Apprentissage Incrémental de Domaine (DIL - Domain Incremental Learning), un défi spécifique au sein de l'Apprentissage Continu (CL) où les modèles doivent s'adapter à une séquence de domaines de données évolutifs et non stationnaires sans avoir accès à l'identité du domaine au moment du test. Alors que les approches DIL conventionnelles s'efforcent d'éviter l'oubli catastrophique (la perte de performance sur les domaines précédents lors de l'apprentissage de nouveaux domaines), ce travail postule que dans les scénarios de streaming réels (par exemple, la vidéo), les données sont fortement corrélées temporellement et les changements de domaine sont souvent graduels.

Les auteurs remettent en question la vision classique selon laquelle l'oubli doit être strictement évité. Au lieu de cela, ils soutiennent que pour les données en streaming, un modèle qui se spécialise intensément sur le domaine actuel (induisant un oubli temporaire des autres) peut être bénéfique, à condition qu'il puisse rapidement récupérer (« se souvenir ») les domaines précédents lorsqu'ils réapparaissent. Le problème central est la manière de tirer parti de l'Entraînement au Moment du Test (TTT - Test-Time Training) sur des flux vidéo pour sélectionner dynamiquement la connaissance spécifique au domaine appropriée sans étiquette de domaine explicite.

Méthodologie

La méthode proposée, « Remembering by Reconstructing » (Se souvenir par la reconstruction), utilise une architecture à double tête combinée à l'Adaptation de Bas Rang (LoRA - Low-Rank Adaptation) et au Test-Time Training.

1. Architecture du modèle

Le modèle se compose d'un encodeur de fond commun $E$ et de deux décodeurs parallèles :

Tête de tâche principale ( $M$ ) : Effectue la tâche descendante (par exemple, la reconnaissance d'actions ou la segmentation sémantique).
Tête MAE auto-supervisée ( $D$ ) : Une branche de l'Autoencodeur Masqué (MAE - Masked Autoencoder) entraînée pour reconstruire les patchs d'entrée masqués. Cette branche sert de sonde pour l'adaptation de domaine.

2. Phase d'entraînement (Hors ligne)

Initialisation : Le modèle est initialisé avec un point de contrôle MAE pré-entraîné. L'encodeur $E$ et le décodeur MAE $D$ sont affinés aux côtés de la tête de tâche principale $M$ sur une tâche initiale $T_0$ .
LoRAs spécifiques au domaine : Pour chaque domaine suivant $T_i$ , les paramètres de base $\theta_0$ sont gelés. De nouveaux adaptateurs LoRA entraînables ( $\Delta_i$ ) sont initialisés pour toutes les couches linéaires du modèle.
Spécialisation : Ces LoRAs sont entraînés exclusivement sur les données du nouveau domaine en utilisant une perte combinée de la tâche principale et de la tâche de reconstruction MAE. Ce processus induit naturellement l'oubli sur les autres domaines à mesure que le LoRA se spécialise, affectant à la fois la tête principale et la tête MAE.

3. Phase d'inférence (Entraînement en ligne au moment du test)

Au moment du test, le modèle rencontre un flux continu de données. L'objectif est de déterminer quel LoRA (ou quelle combinaison de LoRAs) correspond le mieux à l'entrée actuelle.

Combinaison pondérée : Au lieu de sélectionner un seul LoRA ou de les fusionner naïvement, le modèle maintient une somme pondérée de tous les $N$ LoRAs entraînés :
$\theta_{TT} = \theta_0 + \sum_{k=1}^{N} c_k \Delta_k$
où $c = \{c_1, ..., c_N\}$ sont des coefficients de pondération apprenables.
Adaptation pilotée par la reconstruction : Les coefficients $c$ sont optimisés en ligne en utilisant le flux de données entrant. L'objectif d'optimisation est la perte de reconstruction MAE sur l'entrée actuelle (ou un petit lot de trames récentes) :
$c = \arg \min_c \mathcal{L}_{\text{MAE}}(F_{\text{MAE}}(x_{\text{mask}}), x)$
Parce que la tête MAE a également subi l'oubli pendant la phase d'entraînement incrémental, minimiser la perte de reconstruction sur le domaine actuel force le modèle à « inverser » cet oubli, orientant efficacement les poids vers le LoRA spécialisé pour le domaine actuel.
Sélection Softmax : Les coefficients optimisés sont passés à travers une fonction softmax (avec une température $\tau$ ) avant d'être appliqués à la tête de la tâche principale afin d'assurer une sélection confiante du LoRA le plus pertinent.
Efficacité : Seul le petit ensemble de coefficients $c$ est mis à jour, et non l'intégralité du modèle. Les mises à jour se produisent périodiquement (par exemple, toutes les $n$ trames) en utilisant un tampon de fenêtre glissante de trames récentes, rendant l'approche efficace sur le plan computationnel pour le streaming.

Principales contributions

Changement de paradigme sur l'oubli : L'article propose d'embrasser l'oubli comme un mécanisme de spécialisation, en comptant sur le TTT pour récupérer la connaissance perdue dynamiquement, plutôt que de tenter de l'empêcher entièrement.
TTT à double tête pour le DIL : Il introduit une application novatrice du TTT dans un contexte de DIL, en utilisant la perte de reconstruction MAE comme un substitut pour identifier le domaine actuel et ajuster les poids LoRA en conséquence.
Adaptation en streaming : La méthode est spécifiquement conçue pour les flux vidéo où les trames consécutives sont corrélées, permettant une adaptation rapide aux changements de domaine graduels sans nécessiter le traitement de chaque trame pour les mises à jour.
Nouveau benchmark : Les auteurs introduisent Domains-Campus, un nouveau jeu de données de segmentation sémantique présentant des flux vidéo égocentriques avec des transitions de domaine graduelles et des environnements intermédiaires non vus, comblant ainsi le manque de tels benchmarks dans la littérature existante.

Résultats expérimentaux

La méthode a été évaluée sur deux tâches :

Reconnaissance d'actions vidéo : En utilisant le jeu de données NTU RGB+D120 avec une configuration d'incrément de domaine impliquant différents points de vue de caméra et emplacements.
Segmentation sémantique : En utilisant le nouveau jeu de données Domains-Campus et Places365 pour le pré-entraînement.

Principales conclusions :

Performance : La méthode proposée a obtenu la précision moyenne la plus élevée (ou le score Dice) parmi toutes les méthodes de référence, y compris Replay, DRIFT et la fusion de LoRA.
Oubli : Elle a démontré un oubli ( $F$ ) nettement inférieur par rapport au fine-tuning naïf et des performances compétitives avec les méthodes d'apprentissage continu de pointe.
Surpasser l'entraînement conjoint : Sur le jeu de données Domains-Campus, la méthode a surpassé une base de « Fine-Tuning Conjoint » (où toutes les tâches sont entraînées simultanément). Les auteurs attribuent cela à la nature d'« expert » des LoRAs individuels, qui peuvent surpasser un modèle généraliste unique dans leurs domaines spécifiques.
Études d'ablation : La méthode s'est révélée robuste aux variations d'hyperparamètres. Elle a fonctionné efficacement avec de petits lots et des périodes de mise à jour (par exemple, une mise à jour toutes les 16 trames), et de manière surprenante, même avec une taille de fenêtre de 1 (mise à jour sur la trame actuelle uniquement).

Signification et affirmations

L'article affirme que son approche offre une perspective plus réaliste sur l'apprentissage continu pour les applications du monde réel. En reconnaissant que les données arrivent sous forme de flux continu et qu'un oubli temporaire peut être bénéfique pour se concentrer sur le présent, la méthode tire parti de la continuité temporelle et de la localité pour parvenir à une adaptation rapide.

Les auteurs soulignent que, bien que la méthode soit très efficace pour les données en streaming, elle introduit une surcharge de calcul lors de l'inférence en raison de l'étape TTT. Ils suggèrent que les travaux futurs pourraient se concentrer sur la réduction du nombre de LoRAs (via la fusion ou l'élagage) ou sur le développement de déclencheurs plus efficaces pour déterminer quand les mises à jour sont nécessaires, plutôt que d'effectuer des mises à jour périodiques.

L'étude conclut qu'en combinant le réglage paramétrique efficace par domaine (LoRA) avec l'adaptation auto-supervisée en ligne (TTT), on obtient un cadre puissant pour gérer les flux de données évolutifs et non stationnaires dans les applications vidéo.