🤖 AI

Brain-Inspired Stochastic Joint Embedding Representation Learning

Cet article présente PhiNet v2, une architecture inspirée du cerveau qui exploite les séquences visuelles temporelles et l'inférence variationnelle pour apprendre des représentations auto-supervisées robustes sans dépendre d'une forte augmentation de données, atteignant des performances compétitives tout en s'alignant plus étroitement sur le traitement visuel humain.

Auteurs originaux : Makoto Yamada, Kian Ming A. Chai, Ayoub Rhim, Satoki Ishikawa, Mohammad Sabokrou, Yao-Hung Hubert Tsai

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Makoto Yamada, Kian Ming A. Chai, Ayoub Rhim, Satoki Ishikawa, Mohammad Sabokrou, Yao-Hung Hubert Tsai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée maîtresse : Apprendre à l'IA à observer comme un humain

Imaginez que vous regardez un film. Vous n'avez pas besoin de mettre pause à chaque image, de zoomer ou d'analyser l'éclairage ou les filtres de couleur pour comprendre l'histoire. Votre cerveau absorbe simplement le flux de la vidéo, en prédisant ce qui va se passer ensuite en fonction de ce que vous venez de voir.

Les modèles d'IA actuels (comme ceux qui alimentent la reconnaissance d'images) apprennent souvent en regardant une seule photo, puis en forçant l'ordinateur à regarder cette même photo de mille façons différentes (recadrée, retournée, en noir et blanc, floue) pour comprendre ce qu'elle représente. C'est comme essayer d'apprendre une langue en fixant un dictionnaire et en mémorisant chaque mot de manière isolée.

PhiNet v2 est un nouveau modèle d'IA qui tente d'apprendre plus comme un cerveau humain. Au lieu de fixer des photos statiques, il regarde des séquences vidéo (un flux d'images) et apprend en prédisant ce qui vient ensuite, sans avoir besoin de ces « astuces » artificielles (augmentations de données) sur lesquelles d'autres modèles comptent.

L'inspiration : La « machine à prédiction » du cerveau

Les chercheurs ont construit ce modèle en se basant sur le fonctionnement de l'hippocampe (le centre de la mémoire du cerveau). Ils ont décomposé le cerveau en trois parties principales et ont donné à l'IA une partie correspondante pour chacune :

L'entrée sensorielle (Les yeux) :
- Le cerveau : Le cortex entorhinal reçoit les signaux visuels.
- L'IA : Un Encodeur qui transforme les images de la vidéo en un « résumé » compact (une représentation mathématique) de ce qui se passe.
Le prédicteur (Le centre du « Et après ? ») :
- Le cerveau : La région CA3 de l'hippocampe est comme une boule de cristal. Elle observe la situation actuelle et devine ce qui se passera un instant plus tard.
- L'IA : Un Prédicteur qui prend le résumé de l'image actuelle et devine le résumé de l'image future.
Le vérificateur d'erreurs (Le centre du « Ai-je raison ? ») :
- Le cerveau : La région CA1 compare la supposition du cerveau avec la réalité. Si la supposition est erronée, elle envoie un signal d'erreur pour mettre à jour la mémoire.
- L'IA : Une Fonction de perte (Loss Function) qui compare la supposition de l'IA avec l'image réelle du futur. Si elles ne correspondent pas, l'IA apprend de son erreur.

En quoi PhiNet v2 est-il différent (La mise à jour « V2 »)

Le papier mentionne une version précédente, PhiNet v1, qui était bonne mais présentait certaines limites. Considérez PhiNet v1 comme un étudiant intelligent qui a appris grâce à un manuel, mais qui ne sait pas gérer une conversation réelle.

PhiNet v2 améliore cet étudiant de trois manières clés :

Des manuels aux films : PhiNet v1 était entraîné sur des images uniques (comme un manuel scolaire). PhiNet v2 est entraîné sur des vidéos (comme un film). Il comprend que le temps avance et que les objets changent au fil du temps.
D'une calculatrice à un super-cerveau : L'ancienne version utilisait une architecture « ResNet » standard (un type d'IA classique et plus ancien). La nouvelle version utilise des Transformers (la même technologie derrière les chatbots modernes comme celui à qui vous parlez). Cela lui permet de bien mieux comprendre les relations complexes entre les différentes parties de la vidéo.
Fini les « antisèches » : La plupart des modèles d'IA ont besoin d'une lourde « augmentation de données » (distorsion d'images) pour apprendre. PhiNet v2 apprend de manière robuste simplement en observant le flux naturel de la vidéo, de la même manière qu'un humain apprend en regardant simplement le monde défiler.

La recette secrète : « Stochastique » et « Variationnel »

Le titre mentionne « Stochastique » et « Variationnel ». Voici ce que cela signifie en langage courant :

Stochastique (L'élément de surprise) : Le monde réel est désordonné. Un ballon peut rebondir légèrement différemment à chaque fois, ou une personne peut bouger sa main de manière inattendue. PhiNet v2 reconnaît cette incertitude. Au lieu d'essayer de prédire le pixel exact de l'image suivante (ce qui est impossible), il prédit une gamme de possibilités et apprend à être à l'aise avec cette incertitude. C'est comme un prévisionniste météo qui dirait : « Il va probablement pleuvoir », plutôt que « Il pleuvra exactement à 14h03 ».
Variationnel (La boucle d'apprentissage) : Le modèle utilise un tour mathématique appelé « Inférence Variationnelle ». Imaginez que vous essayiez de deviner le mot de passe secret d'un ami. Vous faites une supposition, vous vérifiez à quel point vous êtes proche, puis vous ajustez légèrement votre supposition. PhiNet v2 fait cela constamment, affinant sa « carte » interne du monde jusqu'à devenir très performant pour prédire l'avenir.

Les résultats : Est-ce que cela fonctionne ?

Les chercheurs ont testé PhiNet v2 sur des tâches vidéo standards, telles que :

La segmentation vidéo : Suivre un objet spécifique (comme une personne ou une voiture) lorsqu'il se déplace dans une vidéo.
Le suivi de pose (Pose Tracking) : Suivre le mouvement des articulations d'une personne.

Les conclusions :

PhiNet v2 a obtenu de meilleurs résultats que d'autres modèles de haut niveau (comme RSP et CropMAE) sur ces tâches.
Il était plus robuste : Lorsque les chercheurs ont ajouté du « bruit » (parasites ou flou) aux vidéos, PhiNet v2 ne s'est pas effondré aussi facilement que les autres. Cela suggère qu'il a appris l'essence du mouvement plutôt que de simplement mémoriser les pixels.
Il y est parvenu sans avoir besoin d'un énorme module « MAE » (Masked Autoencoder) que d'autres modèles requièrent pour booster leurs performances. C'est une conception plus simple, plus propre, qui fonctionne aussi bien, voire mieux.

Résumé

PhiNet v2 est une nouvelle architecture d'IA qui apprend en regardant des vidéos et en prédisant le futur, imitant la façon dont le cerveau humain traite le temps et la mémoire. En combinant les circuits de « prédiction » du cerveau avec la technologie moderne des Transformers, elle crée un système efficace, robuste face au bruit, et qui n'a pas besoin d'être trompé par des distorsions d'images artificielles pour apprendre. Cela représente une étape vers la création d'ordinateurs qui voient et comprennent le monde plus comme nous.

Résumé Technique : Apprentissage de Représentations par Imbrication Stochastique Inspiré du Cerveau (PhiNet v2)

Énoncé du Problème

L'apprentissage auto-supervisé (SSL) a révolutionné la vision par ordinateur grâce à des cadres tels que SimCLR, MoCo, DINO et les Autoencodeurs Masqués (MAE). Cependant, ces approches négligent largement les enseignements des systèmes de traitement visuel biologique, plus précisément la capacité du cerveau humain à apprendre des représentations robustes à partir de flux d'informations visuelles continus sans dépendre de fortes augmentations de données.

Les modèles inspirés du cerveau existants, tels que l'original PhiNet (v1), ont fait des progrès en combinant l'Hypothèse de la Prédiction Temporelle avec la théorie des Systèmes d'Apprentissage Complémentaires (CLS). Pourtant, PhiNet v1 présente trois limitations principales :

Traitement Séquentiel : Il ne traite pas nativement les entrées visuelles séquentielles (vidéo) ; il simule les différences temporelles en utilisant l'augmentation de données sur des images statiques.
Architecture : Il repose sur des backbones ResNet, alors que les neurosciences modernes suggèrent que les Transformers ressemblent davantage aux modèles hippocampiques.
Dépendance à l'Augmentation : Comme beaucoup de méthodes de SSL, il dépend de fortes augmentations de données, ce qui limite la généralisabilité lors de l'apprentissage à partir d'entrées séquentielles où les augmentations efficaces sont difficiles à définir.

L'article répond au besoin d'un modèle capable d'apprendre des représentations visuelles robustes à partir d'entrées séquentielles (vidéo) sans forte augmentation de données, en exploitant à la fois les architectures Transformer et l'inférence variationnelle pour combler le fossé entre les mécanismes inspirés du cerveau et l'apprentissage probabiliste.

Méthodologie : PhiNet v2

PhiNet v2 est une architecture basée sur les Transformers conçue pour apprendre à partir de séquences d'images (vidéos) en s'alignant sur la circulation biologique présente dans le cortex entorhinal (CE), l'hippocampe (CA3 et CA1) et le néocortex.

1. Interprétation Biologique et Architecture

Le modèle mappe ses composants à des régions cérébrales spécifiques :

Cortex Entorhinal (CE) / Encodeur $f$ : Encode l'entrée sensorielle (images vidéo $x_t$ ) en représentations de faible dimension ( $Z_t$ ). PhiNet v2 utilise un Vision Transformer (ViT) comme encodeur.
Région CA3 / Prédicteur $h$ : Basé sur l'Hypothèse de la Prédiction Temporelle, ce module prédit l'activité neuronale future. Il prévoit la représentation d'une image future ( $\hat{Z}_{t+k}$ ) à partir de l'image actuelle ( $Z_t$ ).
Région CA1 / Prédicteur $g$ et Fonctions de Perte :
- Sim-1 (Erreur de Prédiction) : CA1 compare le signal prédit $\hat{Z}_{t+k}$ avec le signal futur réel (traité avec du bruit $\epsilon$ ). Cette divergence est modélisée par une divergence de probabilité (divergence KL) entre un a priori et une a posteriori approximative, pilotant une plasticité rapide.
- Sim-2 (Apprentissage Lent) : CA1 émet un signal vers le néocortex. Un second prédicteur $g$ génère une représentation cible $Y_{t+k}$ basée sur la prédiction et une variable aléatoire latente $r$ .
Néocortex / Encodeur Lent $f_{long}$ : Imite le système de l'apprentissage lent du néocortex. Ses paramètres sont mis à jour via une Moyenne Mobile Exponentielle (EMA) des paramètres de l'encodeur principal, assurant une cohérence à long terme et empêchant l'effondrement de la représentation.

2. Dérivation Probabiliste

L'objectif d'apprentissage est dérivé de l'inférence variationnelle. Les auteurs visent à maximiser la vraisemblance des images vidéo encodées. En appliant la règle de la chaîne et en introduisant un modèle de mélange uniforme avec une variable latente $r$ pour capturer la stochasticité, ils dérivent une Borne Inférieure de l'Évidence (ELBO).

La perte Sim-1 correspond à la divergence KL entre l'a posteriori approximative $q(r|\hat{Z}_{t+k}, Z^{(\epsilon)}_{t+k})$ et l'a priori $p(r|\hat{Z}_{t+k})$ .
La perte Sim-2 correspond à l'erreur de reconstruction entre la représentation prédite $Y_{t+k}$ et la représentation cible $f_{long}(x_{t+k})$ .
L'objectif total est une somme symétrique des pertes chronologiques et de l'inverse chronologique pour promouvoir une cohérence temporelle bidirectionnelle.

3. Dynamique d'Entraînement et Stabilisation

Pour prévenir l'effondrement des représentations et assurer un entraînement stable sans forte augmentation de données, PhiNet v2 emploie des mécanismes spécifiques :

Stop-Gradients (SG) : Les gradients directs sont arrêtés pour le chemin de l'a priori (SG-prior) et l'encodeur lent (SG-2), forçant le modèle à apprendre via les mises à jour pilotées par l'erreur des voies rapides.
Équilibrage KL : Un biais est appliqué aux termes a priori et a posteriori lors du calcul de la divergence KL.
EMA : L'encodeur lent $f_{long}$ est mis à jour via EMA, découplant sa dynamique d'apprentissage de celle de l'encodeur principal.
Injection de Bruit : Un bruit gaussien $\epsilon$ est ajouté aux images futures pour empêcher l'apprentissage par raccourci (ex: copier des pixels), bien que le modèle apprenne des représentations plutôt que de reconstruire des pixels.

Contributions Clés

Architecture PhiNet v2 : Le premier modèle d'apprentissage de représentation visuelle inspiré du cerveau basé sur un Transformer, capable de traiter des entrées visuelles séquentielles.
Apprentissage Sans Augmentation : Le modèle apprend des représentations robustes à partir d'entrées séquentielles sans dépendre des fortes augmentations de données et du masquage requis par la plupart des modèles de fondation existants (ex: MAE, DINO).
Formulation Variationnelle : Une dérivation probabiliste formelle reliant la modélisation inspirée du cerveau (Prédiction Temporelle et CLS) à l'inférence variationnelle, fournissant un fondement mathématique rigoureux.
Performance : Le modèle atteint des performances compétitives ou supérieures aux méthodes de pré-entraînement fortes (DINO, SiamMAE, CropMAE, RSP) tout en maintenant une architecture plus simple (pas de modules MAE auxiliaires).

Résultats Expérimentaux

Les auteurs pré-entraînent PhiNet v2 sur le jeu de données Kinetics-400 et l'évaluent sur des tâches de propagation de labels vidéo (DAVIS, VIP, JHMDB).

Performance de Référence : PhiNet v2 surpasse RSP, CropMAE et une ligne de base de type JEPA sur tous les jeux de données testés.
- Sur DAVIS (Segmentation Vidéo), PhiNet v2 atteint un score J&Fm de 60.1, contre 58.4 pour RSP et 57.0 pour CropMAE.
- Sur VIP (Segmentation de Parties) et JHMDB (Suivi de Pose), PhiNet v2 atteint également les scores les plus élevés (33.1 mIoU et 73.6 PCK@0.2, respectivement).
Robustesse au Bruit : Dans les expériences ajoutant du bruit gaussien aux images d'entrée, PhiNet v2 démontre une plus grande robustesse que RSP, particulièrement sur le jeu de données DAVIS, validant l'hypothèse que l'apprentissage dans l'espace des représentations est moins sensible au bruit de pixel que les méthodes de reconstruction de pixels.
Études d'Ablation :
- EMA : Supprimer l'EMA conduit à un effondrement des représentations et à de mauvaises performances (26.8 vs 60.1).
- Perte Symétrique : L'utilisation d'une perte symétrique améliore les performances de 0.4 à 0.9 point.
- Prédicteur $h$ : Inclure le prédicteur $h$ (CA3) est crucial pour éviter l'effondrement.
- Taille de Batch : Le modèle reste stable à travers diverses tailles de batch (192 à 1536), permettant un entraînement sur du matériel limité (ex: GPU V100).
- Architecture : Remplacer simplement le ResNet de PhiNet v1 par un Transformer sans les changements architecturaux spécifiques de PhiNet v2 entraîne de mauvaises performances (22.2), soulignant la nécessité du design spécifique.

Signification et Revendications

L'article positionne PhiNet v2 comme une étape vers des systèmes de vision par ordinateur plus biologiquement plausibles. Sa signification réside dans :

Plausibilité Biologique : Il intègre avec succès l'Hypothèse de la Prédiction Temporelle et la théorie CLS dans un cadre moderne basé sur les Transformers, allant au-delà du traitement d'images statiques de PhiNet v1.
Efficacité et Simplicité : Contraใด RSP, qui nécessite un module MAE auxiliaire pour booster ses performances, PhiNet v2 obtient des résultats supérieurs par l'alignement de représentations seul, éliminant le besoin de composants auxiliaires complexes et de réglages hyperparamétriques extensifs.
Scalabilité : Bien que les expériences actuelles soient menées à plus petite échelle pour assurer une comparaison équitable, les auteurs notent que l'architecture est intrinsèquement liée aux cadres JEPA et DINO, suggérant un potentiel de mise à l'échelle vers des configurations plus larges et une compétition avec des modèles à grande échelle comme V-JEPA ou DINOv3.

Ce travail démontre que la combinaison de mécanismes inspirés des neurosciences et d'objectifs d'apprentissage probabilistes peut produire des représentations vidéo robustes et de pointe sans la lourde dépendance à l'augmentation de données typique des paradigmes actuels de SSL.