Continual Visual and Verbal Learning Through a Child's Egocentric Input

Résumé Technique : BabyCL – Apprentissage Visuel et Verbal Continu par l'Entrée Égocentrée d'un Enfant

Énoncé du Problème
Les enfants acquièrent la signification des mots en reliant le langage parlé à des référents visuels au sein d'un flux continu, temporellement structuré et bruité d'expérience égocentrée. Bien que des modèles de deep learning récents (par exemple, Vong et al., 2024) aient démontré la capacité d'apprendre des correspondances mot-référent à partir de vidéos égocentrées d'enfants (jeu de données SAYCam), ils reposent sur des procédures d'entraînement hors ligne. Ces procédures mélangent les données (shuffling) et les parcourent de manière cyclique sur des centaines d'époques (par exemple, 400 cycles), une configuration qui contredit la nature à passage unique et temporellement ordonné de l'apprentissage humain. Les critiques (par exemple, Bowers, 2025) soutiennent que de telles divergences invalident les conclusions cognitives significatives tirées de ces modèles. Le défi central abordé par cet article est de savoir si des correspondances mot-référent significatives peuvent émerger sous des conditions d'entraînement qui imitent strictement l'expérience réelle d'un enfant : un passage unique chronologique à travers un flux continu et temporellement corrélé, sans mélange de données ni cycles multi-époques.

Méthodologie : Le Cadre BabyCL
Les auteurs proposent BabyCL, un cadre d'apprentissage multimodal continu conçu pour traiter le jeu de données SAYCam comme un flux chronologique unique. Le cadre apprend conjointement des représentations visuelles et des associations image-texte en utilisant un backbone partagé (ResNeXt-50) et trois pertes contrastives.

1. Segmentation Temporelle :
   Le flux vidéo entrant est partitionné en « segments d'événements » d'environ trois minutes. Ceci est réalisé via un partitionnement hiérarchique des embeddings de trames pour identifier les points de changement. Crucialement, l'algorithme contraint ces points de changement à se situer en dehors des intervalles d'énonciation, garantissant que chaque énoncé se trouve entièrement à l'intérieur d'un seul segment d'événement. Cela imite le regroupement naturel de l'expérience.

2. Double Tampon de Relecture (Dual Replay Buffer) :
   Pour atténuer la redondance temporelle et l'oubli catastrophique dans un contexte de passage unique, BabyCL maintient deux tampons de relecture indépendants :

   • Tampon Visuel : Stocke les segments d'événements passés pour l'auto-supervision au niveau de la trame.
   • Tampon Multimodal : Stocke les paires énoncé-trame, où les trames sont échantillonnées de manière aléatoire à l'intérieur de la fenêtre temporelle de chaque énoncé.
     Les deux tampons utilisent une architecture à deux niveaux : un niveau court terme FIFO (First-In-First-Out) et un niveau long terme par échantillonnage de réservoir (reservoir-sampling). Cette structure permet au modèle de conserver le contexte récent tout en maintenant la diversité issue du flux plus large.

3. Rééchantillonnage à l'Insertion :
   Puisque le nombre total de pas de gradient est limité par la longueur du flux, les auteurs introduisent un mécanisme de rééchantillonnage. Lorsque de nouveaux segments d'événements sont finalisés et insérés dans le tampon visuel, le modèle effectue $k$ passages supplémentaires de type forward-backward sur des lots mélangeant le nouveau matériel avec le contenu rejoué. Cela assure la convergence dans le budget d'optimisation fixe sans violer l'ordre chronologique de la première exposition.

4. Objectifs d'Entraînement :
   Le modèle est optimisé conjointement à l'aide de trois pertes appliquées à chaque étape :

   • Perte d'Instance ($\mathcal{L}_I$) : Un objectif SimCLR sur des vues augmentées de trames issues du tampon visuel.
   • Perte Temporelle ($\mathcal{L}_S$) : Une perte de classification supervisée sur les segments d'événements pour capturer la structure temporelle.
   • Perte Cross-Modale ($\mathcal{L}_C$) : Une perte InfoNCE symétrique sur les paires énoncé-trame du tampon multimodal, ancrant le manifold visuel dans le langage.
     La perte totale est une somme pondérée : $\mathcal{L} = 0.5(\mathcal{L}_I + \mathcal{L}_S) + 0.5\mathcal{L}_C$.

Contributions Clés

• Apprentissage Ancré en Passage Unique : BabyCL est le premier cadre qui réussit à apprendre des correspondances mot-référent à partir de vidéos et de parole égocentrées d'enfants en un seul passage chronologique, éliminant le besoin de mélange de données hors ligne et de cycles multi-époques.
• Mécanisme de Double Relecture : L'introduction de tampons de relecture visuelle et multimodale indépendants avec une structure à deux niveaux (court terme/long terme) gère efficacement la redondance temporelle et stabilise l'entraînement dans un contexte de flux.
• Optimisation Conjointe : Le cadre démontre que la combinaison de l'auto-supervision visuelle et de l'apprentissage contrastif cross-modal permet l'acquisition simultanée de représentations visuelles robustes et de l'ancrage linguistique.

Résultats Expérimentaux
Les auteurs ont évalué BabyCL sur le benchmark SAYCam Labeled-S 4AFC (une tâche de choix forcé à quatre alternatives où le modèle identifie l'image correspondant à un mot cible).

• Performance vs Baselines : Sous un budget d'optimisation équivalent, BabyCL surpasse significativement les baselines de streaming.

  • CVCL Hors Ligne (400 époques, mélangé) : 57,31 % (Limite supérieure).
  • CVCL One-pass (streaming naïf, sans relecture) : 27,52 %.
  • CL-CVCL (streaming avec relecture, budget équivalent, sans la structure BabyCL) : 36,41 %.
  • BabyCL ($k=8$) : 43,38 %.
    BabyCL réduit substantiellement l'écart avec la limite supérieure hors ligne, démontrant que la machinerie d'apprentissage continu (segmentation + doubles tampons) apporte des bénéfices au-delà du simple nombre d'optimisations.

• Études d'Ablation :

  • Conception du Tampon : La performance est robuste aux politiques d'éviction spécifiques (FIFO vs Reservoir), à condition qu'un agencement à deux niveaux avec un canal dédié pour les éléments récents existe.
  • Taille du Tampon : Bien que la réduction de la taille du tampon diminue la performance, BabyCL reste supérieur à la baseline CL-CVCL même avec des tampons nettement plus petits (2%/10% du flux vs 10%/50%).
  • Équilibre des Modalités : Une répartition 50/50 entre les exemples visuels et multimodaux dans le batch a donné les meilleurs résultats, suggérant un besoin de supervision équilibrée.

• Généralisation et Robustesse :

  • Linear Probing : BabyCL atteint 45,69 % sur Labeled-S et 25,40 % sur Mini-ImageNet, surpassant largement les baselines de streaming à budget équivalent, ce qui indique que les caractéristiques visuelles gelées apprises sont hautement discriminantes.
  • Récupération Zero-Shot (VTWT) : BabyCL atteint une précision de 61,01 %, dépassant CL-CVCL (55,43 %).
  • Baby Winoground : Dans un test exigeant une double cohérence à travers des contextes originaux et perturbés, BabyCL obtient le meilleur score global (12,88 %), suggérant qu'il apprend des associations image-texte plus stables qui généralisent mieux aux changements de contexte que les modèles entraînés hors ligne, lesquels excellent en contexte mais échouent sous perturbation.

Signification et Revendications
L'article affirme que des correspondances mot-référent significatives peuvent émerger sous des conditions d'entraînement beaucoup plus proches de l'expérience réelle d'un enfant que ce qui avait été démontré précédemment. En répondant à la critique selon laquelle l'entraînement i.i.d. hors ligne et multi-époques invalide les conclusions cognitives, les auteurs montrent que l'hypothèse de l'entraînement hors ligne n'est pas nécessaire pour une acquisition réussie des correspondances mot-référent. Les résultats suggèrent que les modèles de deep learning peuvent acquérir une structure multimodale ancrée à partir de données présentées dans l'ordre dans lequel un enfant les rencontre réellement, à condition que le régime d'entraînement tienne compte de la structure temporelle et de la redondance via des mécanismes tels que la segmentation d'événements et les doubles tampons de relecture.

Les auteurs restent modestes quant à l'écart de performance restant par rapport à l'entraînement hors ligne, reconnaissant que l'entraînement i.i.d. avec des centaines d'époques demeure une référence solide. Ils notent également des limites, notamment le budget mémoire substantiel requis pour les tampons de relecture par rapport à la taille du flux, et suggèrent que les travaux futurs devraient se concentrer sur la réduction de l'écart de performance et l'extension des benchmarks d'évaluation pour la compositionnalité et la généralisation.