A solution to generalized learning from small training sets found in infant repeated visual experiences of individual objects

Résumé technique : Une solution à l'apprentissage généralisé à partir de petits ensembles d'entraînement

Énoncé du problème
Les théories contemporaines en vision humaine et en vision par ordinateur postulent qu'une reconnaissance robuste des objets et une généralisation de catégorie nécessitent de grands ensembles d'entraînement diversifiés. Cela contraste avec la réalité de l'apprentissage chez le nourrisson : les enfants d'un an forment et généralisent rapidement des catégories (par exemple, « tasse », « bol ») malgré le fait que leurs expériences visuelles soient dominées par des rencontres répétées avec un très petit nombre d'instances d'objets spécifiques. Le problème central abordé est de savoir comment les nourrissons parviennent à une généralisation étendue à partir de tels ensembles d'entraînement « petits », caractérisés par une répétition à haute fréquence de quelques objets uniques plutôt que par un échantillonnage uniforme de nombreuses instances distinctes.

Méthodologie
Les auteurs ont employé une approche à trois volets combinant l'analyse de données empiriques et la modélisation computationnelle :

1. Collecte et analyse de données empiriques :

   • Corpus : L'étude a utilisé un corpus de 87 épisodes de repas enregistrés via des caméras montées sur la tête de 14 nourrissons (âgés de 7 à 11 mois).
   • Catégories cibles : Huit catégories d'objets apprises précocement ont été analysées : biberon, bol, tasse, cuillère, chaise, table, porte et fenêtre.
   • Suivi des instances : Des codeurs humains ont identifié des instances d'objets uniques dans 11 549 images. La fréquence de ces instances a été classée pour déterminer la distribution de l'exposition visuelle.
   • Structure de similarité : Les auteurs ont calculé des similarités visuelles par paires en utilisant des corrélations d'histogrammes RGB bruts (et validées avec des caractéristiques GIST, CLIP et Perception-Encoder). Ils ont construit des réseaux théoriques des graphes où les nœuds représentaient des images et les arêtes représentaient des paires à haute similarité (les 10 % supérieurs).
   • Hypothèse nulle : Une distribution nulle a été générée en échantillonnant uniformément des instances à partir du pool disponible pour tester si les structures de fréquence et de similarité biaisées observées différaient significativement d'un échantillonnage aléatoire.

2. Expériences computationnelles :

   • Ensembles de données : Deux ensembles de données publics ont été utilisés pour simuler des conditions d'apprentissage similaires à celles du nourrisson : ShapeNet (modèles 3D rendus en vues 2D) et PetFace (images de visages d'animaux individuels).
   • Ingénierie de l'ensemble d'entraînement : Les auteurs ont créé deux types de petits ensembles d'entraînement :
     • Lumpy (Bouleux) : Suréchantillonnage de vues variables de quelques instances spécifiques (imitant la distribution de fréquence biaisée du nourrisson).
     • Non-Lumpy (Non bouleux) : Échantillonnage uniforme de vues provenant de toutes les instances disponibles.
   • Modèles : Trois modèles ont été entraînés à partir de zéro (sans préentraînement) sur ces petits ensembles (1 500 images pour PetFace ; 3 600 pour ShapeNet) : ResNet-18, ResNet-50 et TinyViT.
   • Évaluation : La généralisation a été testée sur des instances nouvelles des mêmes catégories qui n'avaient jamais été vues pendant l'entraînement.

Résultats clés

• Distribution de fréquence biaisée : L'analyse des expériences visuelles des nourrissons a confirmé une distribution fortement biaisée. Pour chaque catégorie, un petit nombre d'instances (souvent les 1 à 3 premières) représentait la grande majorité des expositions visuelles (par exemple, l'instance principale représentait en moyenne 48 % de toutes les expériences). Cette distribution s'écartait significativement d'une hypothèse nulle uniforme (test de Kolmogorov-Smirnov, $p < 0,001$).
• Structure de similarité « Lumpy » : L'analyse par la théorie des graphes a révélé que les données d'entraînement du nourrisson ne constituent pas un mélange aléatoire de similarités. Elles forment plutôt une structure « Lumpy » caractérisée par :
  • Connectivité élevée : Les réseaux observés présentaient des degrés moyens et une connectivité moyenne des nœuds significativement plus élevés que les réseaux nuls ($p < 0,001$).
  • Variation groupée : La structure consiste en des clusters densément interconnectés d'images à haute similarité (souvent du même objet répété) qui sont reliés à d'autres clusters par un nombre réduit d'arêtes à faible similarité.
  • Variabilité intra-instance : Même les images répétées du même objet (Rang 1) montraient une large gamme de similarités, incluant de nombreuses paires dissimilaires, en raison des changements de point de vue, d'éclairage et d'occlusion.
• Généralisation en apprentissage automatique : Dans les expériences computationnelles, les modèles entraînés sur des ensembles d'entraînement Lumpy (suréchantillonnant quelques instances) ont démontré une bien meilleure généralisation aux instances nouvelles que les modèles entraînés sur des ensembles Non-Lumpy (échantillonnage uniforme), malgré la très petite taille des deux ensembles. Cet avantage s'est maintenu pour tous les modèles (ResNet-18, ResNet-50, TinyViT) et tous les ensembles de données (ShapeNet, PetFace) ($p < 0,001$).

Signification et affirmations
L'article affirme que la structure de similarité « Lumpy » des expériences de la vie quotidienne des nourrissons — où quelques objets sont vus à plusieurs reprises sous de nombreux angles et contextes différents — fournit un échafaudage statistique qui soutient la généralisation à partir de très petits ensembles d'entraînement.

• Réconciliation de la constance de l'objet et de la catégorisation : Les auteurs proposent que l'exposition répétée et variable à des instances uniques aide à façonner l'espace de représentation (l'« espace de similarité ») d'une manière qui facilite la découverte de caractéristiques pertinentes pour la catégorie. Cela suggère que la constance de l'objet (reconnaître le même objet sous différents points de vue) et la catégorisation (généraliser à de nouveaux objets) sont des processus interconnectés, pilotés par la structure statistique de l'entrée.
• Principe d'apprentissage : Les résultats suggèrent que la structure statistique spécifique de la distribution d'entraînement (répétition à haute fréquence de vues variables de quelques instances) est un facteur critique de l'efficacité de l'apprentissage, expliquant potentiellement comment les nourrissons surmontent les limitations des petits volumes de données.
• Implications pour l'IA : L'étude remet en question l'hypothèse prédominante en apprentissage automatique selon laquelle des ensembles de données plus grands et plus diversifiés sont toujours supérieurs pour l'apprentissage initial. Elle suggère que l'ingénierie d'ensembles d'entraînement avec une structure de similarité « Lumpy » pourrait améliorer la généralisation dans des scénarios à données limitées.

Les auteurs restent modestes concernant le lien de causalité directe, notant que si les résultats computationnels soutiennent l'hypothèse, une manipulation expérimentale directe des ensembles d'entraînement des nourrissons est une étape nécessaire suivante pour valider pleinement le mécanisme. Ils ne prétendent pas avoir résolu le problème du « canard » (comment un enfant généralise d'un canard en jouet à un vrai canard), mais démontrent plutôt que les propriétés statistiques de l'entrée observées dans de tels scénarios sont suffisantes pour soutenir la généralisation dans les modèles d'apprentissage automatique.