💻 computer science

NEvo: Neural-Guided Evolutionary Video Synthesis for Dynamic Visual Selectivity

L'article introduit NEvo, un cadre évolutif guidé par les réseaux de neurones qui synthétise des stimuli vidéo dynamiques optimisés pour maximiser l'activité cérébrale prédite dans des régions visuelles spécifiques, révélant ainsi des sélectivités temporelles complexes et faisant progresser l'exploration in silico du traitement visuel dynamique au-delà des limites des images statiques.

Auteurs originaux : Yingtian Tang, Sogand Salehi, Ming Zhou, Amir Zamir, Leyla Isik, Martin Schrimpf

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yingtian Tang, Sogand Salehi, Ming Zhou, Amir Zamir, Leyla Isik, Martin Schrimpf

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez votre cerveau comme une ville immense et bouillonnante, composée de différents quartiers, chacun se spécialisant dans un métier précis. Certains quartiers sont des experts pour reconnaître les visages, d'autres sont des maîtres pour repérer les objets en mouvement, et d'autres encore se consacrent à la compréhension des interactions sociales. Pendant longtemps, les scientifiques qui tentaient de comprendre ce qui fait "vibrer" ces quartiers ont principalement utilisé des images statiques — comme montrer la photo d'un chat pour voir si le "quartier des chats" s'illumine. Mais le monde réel n'est pas une photo ; c'est un film. Les choses bougent, changent et interagissent.

Le document présente NEvo, un nouvel outil qui agit comme un réalisateur de vidéos évolutif et intelligent, conçu pour trouver les "clips vidéo" parfaits qui font vibrer d'excitation des quartiers cérébraux spécifiques.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le « Jumeau Numérique » du cerveau

D'abord, les chercheurs ont construit un jumeau numérique du cerveau humain à l'aide d'un modèle informatique. Ce modèle est entraîné sur des données de personnes réelles regardant des vidéos à l'intérieur d'un appareil d'IRM. Considérez ce modèle comme un simulateur ultra-précis capable de prédire : « Si je montre cette vidéo spécifique à un humain, cette partie spécifique de son cerveau s'illuminera autant ».

2. La recherche évolutionnaire (à la manière de la nature)

Au lieu d'essayer de deviner la vidéo parfaite manuellement (ce qui revient à chercher une aiguille dans une botte de foin en examinant chaque brin de paille un par un), NEvo utilise la recherche évolutionnaire.

Le Jardin des Prompts : Imaginez un jardin où chaque plante est la description d'une vidéo (par exemple, « un visage souriant », « un escalier en colimaçon », « un serpent qui attaque »).
Le processus de reproduction : NEvo plante des milliers de ces descriptions. Il demande au « Jumeau Numérique » de simuler la projection de ces vidéos sur un cerveau.
La survie du plus apte : Les vidéos qui font briller la région cérébrale cible le plus intensément sont sélectionnées comme les « parents ». NEvo mélange ensuite leurs descriptions (comme en échangeant « souriant » avec « dansant ») et ajoute de petites modifications aléatoires (des mutations).
Le résultat : Au fil de nombreuses générations, les « descriptions de vidéos » évoluent pour devenir des clips hautement spécifiques et hyper-activateurs, parfaitement adaptés aux préférences du cerveau.

3. La stratégie en deux étapes : Préparer la scène, puis l'action

Pour rendre ce processus efficace, NEvo divise le travail en deux actes, comme une pièce de théâtre :

Acte 1 (L'ancre statique) : D'abord, il trouve l'image fixe parfaite que le cerveau apprécie. Si la cible est la « zone des visages », il trouve la photo parfaite d'un visage.
Acte 2 (Le mouvement dynamique) : Une fois le visage parfait trouvé, NEvo verrouille cette image et cherche uniquement le mouvement parfait. Est-ce que le visage sourit ? Est-ce qu'il tourne ? Est-ce qu'il danse ?
C'est comme trouver d'abord le l'acteur parfait, puis diriger sa performance pour obtenir la meilleure réaction du public.

4. Qu'ont-ils découvert ?

En utilisant cette méthode, les chercheurs n'ont pas seulement confirmé ce qu'ils savaient déjà ; ils ont découvert de nouveaux détails sur la façon dont le cerveau traite le mouvement et l'interaction sociale :

Le mouvement compte : Ils ont découvert que pour certaines zones cérébrales, une vidéo en mouvement est beaucoup plus excitante qu'une image statique de la même chose. C'est la différence entre regarder la photo d'une voiture et regarder une course automobile ; la course excite bien plus le cerveau.
L'autoroute sociale : Ils ont tracé un chemin le long du côté du cerveau (le « flux latéral ») et ont trouvé une progression claire.
- Arrêts précoces : Ces zones adorent les textures et les motifs simples à haut contraste.
- Arrêts intermédiaires : Ces zones commencent à se soucier des corps qui bougent et interagissent physiquement (comme des gens qui dansent ou se battent).
- Arrêts tardifs : Ces zones sont obsédées par les dynamiques sociales complexes, comme deux personnes qui discutent face à face ou qui coordonnent leurs actions.
De l'abstrait au réel : Ils ont même testé cela avec des formes abstraites (comme deux formes flottantes). Lorsqu'ils ont demandé au « cerveau social » de s'exciter, les formes ont commencé à bouger de manières qui ressemblaient à des visages ou à des interactions coordonnées, prouvant que le cerveau recherche des schémas sociaux, et non de simples images réalistes.

L'essentiel

NEvo est un outil qui permet aux scientifiques de mener des expériences « in-silico » (dans l'ordinateur) pour découvrir exactement quel type de scènes dynamiques et en mouvement le cerveau humain est programmé pour aimer. Cela dépasse les photos statiques pour montrer que nos cerveaux sont profondément accordés sur le rythme, le mouvement et la danse sociale du monde réel. L'article affirme que ce cadre permet la création de nouveaux stimuli vidéo basés sur des hypothèses pour tester ces théories plus loin, mais il s'arrête avant d'appliquer cela à des traitements cliniques ou des technologies futures, se concentrant strictement sur la compréhension de la machinerie visuelle du cerveau.

Résumé Technique : NEvo : Synthèse Vidéo Évolutive Guidée par les Neurones pour la Sélectivité Visuelle Dynamique

Problématique

La vision humaine est fondamentalement dynamique, s'appuyant sur des régions organisées de manière hiérarchique pour traiter des entrées en changement continu pour des tâches telles que l'évitement d'obstacles, le suivi d'objets et l'inférence sociale. Bien que les modèles récents d'encodage cérébral in silico aient réussi à synthétiser des stimuli statiques optimaux pour sonder la sélectivité dans des régions cérébrales spécifiques, les travaux antérieurs ont largement été limités au domaine de l'image statique. Par conséquent, la représentation de la structure temporelle dans le cortex visuel, en particulier dans les régions dépendantes du mouvement, de l'interaction ou de la dynamique des événements, reste sous-explorée. Il existe un besoin critique de méthodes capables de générer et d'évaluer systématiquement des stimuli dynamiques à travers un vaste espace de configuration spatiotemporelle conjointe afin de comprendre comment le cerveau traite l'entrée dynamique naturaliste.

Méthodologie : Le Cadre NEvo

Les auteurs introduisent NEvo, un cadre de synthèse vidéo évolutive guidée par les neurones, conçu pour générer des stimuli qui activent au maximum les régions d'intérêt (ROI) cibles du cortex visuel humain. Le cadre fonctionne en couplant un modèle d'encodage cérébral dynamique à une procédure de recherche évolutive sur un espace de prompts structuré.

1. Recherche Évolutive Guidée par les Neurones

NEvo traite la synthèse vidéo comme un problème d'optimisation de type boîte noire sur des descripteurs sémantiques, de mouvement et de niveau d'événement interprétables.

Espace de Prompts : L'espace de recherche est structuré comme un produit cartésien de catégories d'attributs visuels ( $P = A_1 \times \dots \times A_M$ ), couvrant l'apparence (sujet, humeur, éclairage), le mouvement (structure de l'événement, mouvement de caméra) et la dynamique temporelle. Les prompts sont représentés comme des séquences de gènes.
Algorithme Évolutif : La méthode emploie un algorithme génétique pour optimiser l'objectif de synthèse.
- Initialisation : Une population de prompts candidats est générée.
- Évaluation : Les prompts sont rendus en vidéos par un générateur ( $G$ ) et scorés par un modèle d'encodage dynamique ( $S_v$ ) basé sur l'activation moyenne prédite des voxels dans la ROI cible ( $r$ ).
- Sélection et Variation : La fraction supérieure des candidats (élites) est sélectionnée comme parents. Les descendants sont générés via le croisement (échange de préfixes de séquences de gènes) et la mutation (rééchantillonnage des attributs).
- Itération : Ce processus itère sur plusieurs générations pour affiner la population vers des prompts produisant une activation prédite plus forte de la ROI.

2. Synthèse Vidéo en Deux Étapes

Pour améliorer l'efficacité de la recherche dans l'espace spatiotemporel de haute dimension, NEvo décompose l'optimisation en deux étapes :

Étape 1 (Contenu Statique) : Un générateur d'images rapide recherche dans le sous-espace statique ( $P_{img}$ ) pour identifier un « ancrage visuel » optimal (sujet, scène, texture, éclairage).
Étape 2 (Attributs Dynamiques) : La meilleure image scorée est fixée comme entrée de conditionnement pour un générateur d'image-vers-vidéo. La recherche optimise ensuite le sous-espace dynamique ( $P_{vid}$ ), couvrant les profils de mouvement, le rythme temporel et les types d'interaction. Cette séparation évite les évaluations vidéo coûteuses pour de mauvaises configurations de contenu.

3. Modèle d'Encodage Cérébral Dynamique

Le cadre utilise V-JEPA 2 comme colonne vertébrale de caractéristiques, choisi pour son alignement avec les réponses cérébrales dans des évaluations antérieures à grande échelle.

Architecture : Contrairement aux modèles reposant uniquement sur les plongements finaux (ex: CLIP), NEvo extrait des caractéristiques multi-blocs de V-JEPA 2, en les moyennant dans l'espace et le temps.
Cartographie : Des régressions de type Ridge voxel par voxel sont ajustées aux réponses IRMf, chaque voxel se voyant assigner la couche du modèle présentant la meilleure performance de validation, permettant aux localisations corticales de s'aligner avec différentes profondeurs du modèle.
Données d'Entraînement : Le modèle est entraîné sur le jeu de données BOLDMoments et un jeu de données d'interaction sociale, projetés sur la surface corticale fsaverage5.

Principales Contributions

Nouveau Cadre : Introduction de NEvo, le premier cadre basé sur des modèles pour étudier la sélectivité visuelle sous stimulation dynamique naturaliste via une recherche de prompts évolutive.
Stimuli à Haute Activation : Synthèse de vidéos qui dépassent les niveaux d'activation des localisateurs fonctionnels faits à la main et des vidéos les plus performantes issues de jeux de données à grande échelle (ex: Moments in Time) à travers les flux visuels ventral, dorsal et latéral.
Caractérisation de la Sélectivité Dynamique : Démonstration que la structure temporelle façonne largement la sélectivité visuelle, les vidéos optimisées surpassant les contrôles statiques même dans des régions traditionnellement sélectives du statique comme l'aire fusiforme des visages (FFA).
Découverte de Gradients Fonctionnels : Application de NEvo le long d'une trajectoire de "searchlight" (projecteur) dans le flux visuel latéral, révélant une progression systématique de la structure spatiale de bas niveau vers le mouvement corporel, puis vers des caractéristiques sociales-dynamiques complexes (action conjointe, communication).
Synthèse Contrôlée : Validation de la capacité du cadre à dissocier la sélectivité dynamique spécifique à une région de ses ancres statiques en générant des stimuli avec des objets abstraits, non naturalistes, qui provoquent néanmoins des réponses dynamiques spécifiques à la région (ex: interactions de type visage pour le pSTS ou mouvement oscillatoire pour MT).

Résultats

Performance : Les stimuli générés par NEvo ont atteint des activations prédites dans le top 99,8 % du jeu de données Moments in Time et 95,8 % des réponses des localisateurs faits à la main en moyenne.
Avantage Dynamique : Les vidéos optimisées ont systématiquement surpassé leurs contrôles statiques de première image, avec les gains les plus importants dans les régions sensibles au mouvement (ex: MT) et des gains mesurables dans les régions ventrales (ex: FFA).
Études d'Ablation :
- La stratégie de recherche en deux étapes a surpassé les bases à une seule étape.
- Le modèle d'encodage multi-couches de V-JEPA 2 a significativement surpassé les bases basées sur CLIP, soulignant la nécessité de représentations temporellement ancrées.
- Le prompting évolutif s'est avéré plus robuste que la synthèse par gradient (BrainDiVE), qui a échoué à générer des stimuli dynamiques significatifs dans ce contexte.
- La recherche génétique a nettement surpassé les bases de recherche aléatoire et de recherche par ascension de colline (hill-climbing).
- L'analyse du flux latéral : La synthèse par "searchlight" a révélé un gradient le long de la voie latérale : les régions précoces préféraient les textures à haut contraste ; les régions de niveau intermédiaire (MT, EBA) favorisaient le mouvement corporel ; le pSTS postérieur préférait les interactions physiques synchronisées ; et l'aSTS antérieur basculait vers un contenu de communication face-à-face.

Signification et Revendications

L'article affirme que NEvo permet l'exploration in silico de la sélectivité visuelle dynamique, dépassant les limites de la synthèse d'images statiques. En récupérant les sélectivités connues et en révélant des différences systématiques de sensibilité à la dynamique temporelle, le cadre fournit de nouvelles prédictions pour les expériences in vivo. Les auteurs postulent que NEvo offre une approche scalable et contrôlée pour concevoir des stimuli dynamiques, pouvant potentiellement aider à la découverte de gradients fonctionnels dans des régions cérébrales moins caractérisées.

Les auteurs reconnaissent des limites, notant que les stimuli synthétisés reflètent à la fois la sélectivité neurale et les biais potentiels des modèles d'encodage et de génération sous-jacents. Ils soulignent que une validation future avec la neuroimagerie humaine est nécessaire et que l'actuelle limitation du modèle de vision seule limite la caractérisation de régions comme l'aSTS où la communication repose sur des indices audiovisuels. Le travail est présenté comme une étape vers une neuroimagerie en boucle fermée et une conception de stimuli pilotée par l'hypothèse.