Meta-learning as a principle for human-like visual representations

Résumé Technique : Le méta-apprentissage comme principe de représentations visuelles humaines

Énoncé du problème
Bien que les réseaux de neurones pré-entraînés aient connu un succès sans précédent pour modéliser les représentations visuelles humaines, un écart significatif subsiste entre la cognition machine et la cognition humaine. Les modèles actuels optimisent généralement un objectif unique et fixe, alors que les représentations visuelles humaines doivent soutenir des comportements ouverts et adaptatifs à travers une vaste gamme de tâches. Les auteurs émettent l'hypothèse que la flexibilité des représentations humaines ne provient pas simplement de l'échelle ou de la diversité des données, mais de l'exigence fonctionnelle d'apprendre de nouvelles tâches à partir de peu d'observations — un processus connu sous le nom de méta-apprentissage (apprendre à apprendre). La question centrale est de savoir si la pression de « apprendre à apprendre » façonne les représentations visuelles pour les aligner sur les jugements de similitude humains, l'apprentissage de règles et l'activité neuronale, même sans supervision directe à partir de données humaines.

Méthodologie
L'étude emploie un cadre de méta-apprentissage pour réorganiser les caractéristiques visuelles d'encodeurs d'images figés de pointe (SigLIP, MAE, DINOv3 et CLIP).

1. Génération de tâches via des auto-encodeurs creux (SAE) : Pour simuler la diversité de l'espace conceptuel humain, les auteurs génèrent des milliers de tâches d'apprentissage à peu d'exemples (few-shot) sémantiquement riches. Ils utilisent des auto-encodeurs creux appliqués au flux résiduel d'un modèle CLIP pré-entraîné. Les latents des SAE décomposent les activations enchevêtrées en unités creuses et interprétables correspondant à des concepts de haut niveau (ex. : « objets de cuisine », « petits animaux »). Chaque latent définit une tâche où les images ayant des activations non nulles sont des exemples positifs, l'amplitude de l'activation servant de cible graduée.
2. Architecture de méta-apprentissage : Un Transformer causal est entraîné pour prédire la sortie de ces tâches étant donné une séquence d'images. À chaque essai, le modèle reçoit une représentation d'image provenant d'un encodeur figé et le résultat de l'essai précédent. Il apprend une projection linéaire des caractéristiques de l'encodeur pour faciliter l'apprentissage en contexte (in-context learning).
3. Extraction de représentations statiques : De manière cruciale, pour l'évaluation en aval, la « représentation méta-apprise » est définie comme la projection linéaire statique des caractéristiques de l'encodeur appliquée indépendamment à chaque image, en supprimant le contexte séquentiel. Cela isole les changements structurels induits par la pression de l'apprentissage à apprendre.
4. Études d'ablation : Pour identifier les moteurs de l'alignement, les auteurs comparent le modèle méta-appris à :
   • Apprentissage multitâche : Un modèle non séquentiel entraîné sur la même distribution de tâches mais sans structure épisodique (sans pression d'apprendre à apprendre).
   • Tâches enchevêtrées : Entraînement sur les activations brutes et enchevêtrées du flux résiduel au lieu des latents creux des SAE.
   • Tâches de niveau intermédiaire : Entraînement sur les latents SAE d'une couche plus basse du réseau (couche 6) pour tester le rôle du niveau d'abstraction.

Résultats clés
Les représentations méta-apprises ont été évaluées à travers cinq ensembles de données comportementales et de neuroimagerie, surpassant systématiquement les encodeurs de base figés.

• Alignement comportemental : Les représentations méta-apprises améliorent significativement les prédictions des jugements de similitude humains (tâches THINGS et de l'intrus/odd-one-out des niveaux) ainsi que l'apprentissage de règles sémantiques (tâches de catégorie et d'apprentissage de récompense). Les gains sont plus prononcés lorsque la distribution des tâches est à la fois désenchevêtrée (creuse) et de haut niveau (abstraite).
• Alignement neural : En utilisant l'ensemble de données neuroimagerie THINGS-fMRI, les représentations méta-apprises montrent des améliorations systématiques dans la prédiction de l'activité voxel par voxel dans le cortex visuel de haut niveau, particulièrement dans les régions sélectives de catégories (EBA, FFA, OFA, LOC, PPA). Les zones visuelles précoces (V1–V4) ne montrent aucun changement significatif, ce qui est cohérent avec la nature de haut niveau de la réorganisation.
• Réorganisation géométrique : Les visualisations t-SNE et les métriques d'alignement de noyau centré (CKA) révèlent que le méta-apprentissage remodèle la géométrie des représentations pour mieux refléter la structure conceptuelle humaine. Plus précisément, il exagère la séparation entre les catégories organiques et inorganiques, alignant la structure interne du modèle plus étroitement avec les plongements de similitude humains.
• Moteurs de l'alignement :
  • Pression d'apprendre à apprendre : Le méta-apprentissage surpasse de manière significative l'apprentissage multitâche, indiquant que la pression d'adapter de nouvelles tâches à la volée est le principal moteur de l'alignement humain, et non la simple exposition à des tâches diverses.
  • Structure des tâches : Les bénéfices dépendent du fait que la distribution des tâches soit creuse (désenchevêtrée) et de haut niveau. L'entraînement sur des caractéristiques enchevêtrées ou de niveau intermédiaire produit un alignement inférieur.

Signification et revendications
L'article soutient que l'alignement structurel entre les représentations visuelles humaines et artificielles est une conséquence de l'exigence fonctionnelle d'être réutilisé pour des exigences nouvelles, plutôt qu'un sous-produit de l'échelle ou de l'apprentissage de caractéristiques standard.

• Compte rendu normatif : Ce travail propose une explication normative de la raison pour laquelle les représentations visuelles humaines sont organisées de la sorte : elles émergent de la pression de acquérir rapidement de nouvelles relations sémantiques à partir de données limitées.
• Mécanisme vs Résultat : Contra-rent aux approches précédentes qui affinent les modèles sur des données humaines pour forcer l'alignement, cette approche démontre que la géométrie humaine peut émerger de demandes fonctionnelles générales (méta-apprentissage) seules, sans supervision directe de données comportementales ou neurales humaines.
• Spécificité de la pression : Les résultats suggèrent que toutes les formes de méta-apprentissage ne produisent pas de représentations humaines ; l'effet est spécifique à l'apprentissage sur un vocabulaire de concepts de haut niveau et désenchevêtrés.
• Limites : Les auteurs reconnaissent que leur génération de tâches repose sur des réseaux neuronaux existants (CLIP), héritant de leurs biais, et que leur évaluation est limitée aux images statiques centrées sur l'objet. Ils postulent que la question de savoir si ces principes s'appliquent aux entrées dynamiques ou non visuelles reste une question ouverte.

En conclusion, l'étude pose que la flexibilité des représentations visuelles humaines est un résultat prévisible de la pression évolutive ou développementale de rester adaptable à travers un large espace de tâches sémantiquement riches.