Technische Samenvatting: NEvo: Neural-Guided Evolutionary Video Synthesis voor Dynamische Visuele Selectiviteit

Probleemstelling

Het menselijk zicht is fundamenteel dynamisch en vertrouwt op hiërarchisch georganiseerde regio's om continu veranderende input te verwerken voor taken zoals het vermijden van obstakels, objecttracking en sociale inferentie. Hoewel recente in silico hersencodatiemodellen er succesvol in zijn geslaagd om optimale statische stimuli te synthetiseren om selectiviteit in specifieke hersenregio's te onderzoeken, is eerder werk grotendeels beperkt gebleven tot het domein van de statische afbeelding. Bijgevolg blijft de representatie van temporele structuur in de visuele cortex, met name in regio's die afhankelijk zijn van beweging, interactie of gebeurtenisdynamiek, onderbelicht. Er is een kritieke behoefte aan methoden die in staat zijn om systematisch dynamische stimuli te genereren en te evalueren over een grote gezamenlijke spatiotemporele configuratieruimte om te begrijpen hoe de hersenen natuurlijke dynamische input verwerken.

Methodologie: NEvo Framework

De auteurs introduceren NEvo, een neural-guided evolutionair videosynthese-framework ontworpen om stimuli te genereren die de doelgebieden van belang (ROIs) in de menselijke visuele cortex maximaal activeren. Het framework werkt door een dynamisch hersencodatiemodel te koppelen aan een evolutionair zoekproces over een gestructureerde promptruimte.

1. Neural-Guided Evolutionary Search

NEvo behandelt videosynthese als een black-box optimalisatieprobleem over interpreteerbare semantische, bewegings- en gebeurtenisniveau-beschrijvers.

• Promptruimte: De zoekruimte is gestructureerd als een Cartesiaans product van visuele attribuutcategorieën ($P = A_1 \times \dots \times A_M$), die uiterlijk (onderwerp, stemming, belichting), beweging (gebeurtenisstructuur, camerabeweging) en temporele dynamiek beslaat. Prompts worden gerepresenteerd als genenreeksen.
• Evolutionair Algoritme: De methode maakt gebruik van een genetisch algoritme om de synthese-objectief te optimaliseren.
  • Initialisatie: Een populatie van kandidaat-prompts wordt gegenereerd.
  • Evaluatie: Prompts worden gerenderd tot video's door een generator ($G$) en gescoord door een dynamisch codatiemodel ($S_v$) op basis van de voorspelde gemiddelde activatie van voxels in de doel-ROI ($r$).
  • Selectie & Variatie: De topfractie van de kandidaten (elites) wordt geselecteerd als ouders. Nakomelingen worden gegenereerd via crossover (het wisselen van gen-sequentieprefixen) en mutatie (het opnieuw bemonsteren van attributen).
  • Iteratie: Dit proces iterereert over generaties om de populatie te verfijnen naar prompts die een sterkere voorspelde ROI-activatie opleveren.

2. Tweestaps Videosynthese

Om de zoekefficiëntie in de hoogdimensionale spatiotemporele ruimte te verbeteren, deelt NEvo de optimalisatie op in twee stadia:

• Fase 1 (Statische Inhoud): Een snelle beeldgenerator zoekt in de statische subspace ($P_{img}$) om een optimale "visuele anker" (onderwerp, scène, textuur, belichting) te identificeren.
• Fase 2 (Dynamische Attributen): De best scorende afbeelding wordt vastgezet als conditionerende input voor een image-to-video generator. De zoektocht optimaliseert vervolgens de dynamische subspace ($P_{vid}$), die bewegingsprofielen, temporeel ritme en interactietypes beslaat. Deze scheiding voorkomt dure video-evaluaties voor slechte contentconfiguraties.

3. Dynamisch Hersencodatiemodel

Het framework maakt gebruik van V-JEPA 2 als de feature backbone, gekozen vanwege de uitlijning met hersenresponsen in eerdere grootschalige evaluaties.

• Architectuur: In tegenstelling tot modellen die uitsluitend vertrouwen op finale embeddings (bijv. CLIP), extraheert NEvo multi-block features uit V-JEPA 2, die over ruimte en tijd worden gemiddeld.
• Mapping: Voxel-wijze ridge regressies worden gefit aan fMRI-responsen. Elk voxel krijgt de model-layer toegewezen met de beste validatieprestaties, waardoor corticale locaties kunnen uitlijnen met verschillende modeldieptes.
• Trainingsdata: Het model wordt getraind op de BOLDMoments dataset en een dataset van sociale interactie, geprojecteerd op het fsaverage5 corticale oppervlak.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van NEvo, het eerste model-gebaseerde framework voor het bestuderen van visuele selectiviteit onder natuurlijke dynamische stimulatie met behulp van evolutionaire prompt-zoekopdrachten.
2. Hoog-activerende Stimuli: Synthese van video's die de activatieniveaus van zowel handmatige functionele lokalisaties als top-presterende video's uit grootschalige datasets (bijv. Moments in Time) overtreffen in ventrale, dorsale en laterale visuele stromen.
3. Karakterisering van Dynamische Selectiviteit: Demonstratie dat temporele structuur de visuele selectiviteit breed vormgeeft, waarbij geoptimaliseerde video's statische controles overtreffen, zelfs in traditioneel statisch-selectieve regio's zoals de Fusiform Face Area (FFA).
4. Ontdekking van Functionele Gradiënten: Toepassing van NEvo langs een searchlight-traject in de laterale visuele stroom onthult een systematische progressie van lage-orde ruimtelijke structuur naar lichaamsbeweging, en uiteindelijk naar complexe sociale-dynamische kenmerken (gezamenlijke actie, communicatie).
5. Gecontroleerde Synthese: Validatie van het vermogen van het framework om regio-specifieke dynamische selectiviteit te onderscheiden van statische ankers door het genereren van stimuli met abstracte, niet-natuurlijke objecten die nog steeds regio-specifieke dynamische responsen oproepen (bijv. gezicht-achtige interacties voor pSTS versus oscillerende beweging voor MT).

Resultaten

• Prestaties: NEvo-gegenereerde stimuli bereikten voorspelde activaties in de top 99,8% van de Moments in Time dataset en 95,8% van de handmatige lokalisatie-responsen gemiddeld.
• Dynamisch Voordeel: Geoptimaliseerde video's presteerden consequent beter dan hun eerste-frame statische controles, met de sterkste winsten in bewegingsgevoelige regio's (bijv. MT) en meetbare winsten in ventrale regio's (bijv. FFA).
• Ablatie-studies:
  • De tweestaps zoekstrategie presteerde beter dan single-stage baselines.
  • Het V-JEPA 2 multi-layer encoding model presteerde significant beter dan CLIP-gebaseerde baselines, wat het belang van tijdelijk gegronde representaties benadrukt.
  • Evolutionaire prompting bleek robuuster dan gradiënt-gebaseerde synthese (BrainDiVE), die er niet in slaagde om betekenisvolle dynamische stimuli te genereren in deze setting.
  • Genetische zoekopdrachten presteerden significant beter dan random search en hill-climbing baselines.
• Laterale Stroom Analyse: Searchlight-synthese onthulde een gradiënt langs het laterale pad: vroege regio's gaven de voorkeur aan hoog-contrast texturen; midden-niveau regio's (MT, EBA) favoriseerden lichaamsbeweging; posterieure STS (pSTS) favoriseerde gesynchroniseerde fysieke interacties; en anterior STS (aSTS) verschoof naar face-to-face communicatieve inhoud.

Betekenis en Claims

Het artikel claimt dat NEvo in silico exploratie van dynamische visuele selectiviteit mogelijk maakt, voorbij de beperkingen van statische beeld-synthese. Door bekende selectiviteiten te herstellen en systematische verschillen in gevoeligheid voor temporele dynamiek te onthullen, biedt het framework nieuwe voorspellingen voor in vivo experimenten. De auteurs stellen dat NEvo een schaalbare, gecontroleerde aanpak biedt voor het ontwerpen van dynamische stimuli, wat potentieel kan helpen bij de ontdekking van functionele gradiënten in minder gekarakteriseerde hersenregio's.

De auteurs erkennen beperkingen en merken op dat gesynthetiseerde stimuli zowel de neurale selectiviteit als potentiële biases van de onderliggende encoding- en generatiemodellen reflecteren. Ze benadrukken dat toekomstige validatie met menselijke neuroimaging noodzakelijk is en dat de huidige visie-gebaseerde focus de karakterisering van regio's zoals aSTS beperkt, waar communicatie afhankelijk is van audiovisuele signalen. Het werk wordt gepresenteerd als een stap naar closed-loop neuroimaging en hypothese-gestuurd stimulusontwerp.