Quantifying the human visual exposome with vision language models

Technische Samenvatting: Kwantificering van het Menselijke Visuele Exposoom met Vision Language Models

Probleemstelling
Het omgevingsexposoom is een erkende determinant van mentale gezondheid, maar het directe visuele component daarvan – het "visuele exposoom" – blijft grotendeels ongekwantificeerd. Huidige epidemiologische methoden vertrouwen op grove geospatiale proxies (bijvoorbeeld groenheidsindices afgeleid van satellietbeelden) of vertekende zelfrapportages. Deze benaderingen slagen er niet in de semantische rijkdom, de ruimtelijke nuance en het perspectief van de eerste persoon van het dagelijks leven vast te leggen. Specifiek kunnen ze niet bepalen wat een individu daadwerkelijk ziet in zijn directe gezichtsveld (bijvoorbeeld de aanwezigheid van dieren, de dichtheid van menigten of specifieke stressverwekkende prikkels). Hoewel door deelnemers gegenereerde fotografie een oplossing biedt voor het vastleggen van context vanuit het perspectief van de eerste persoon, is de toepassing ervan in kwantitatief onderzoek beperkt door de afhankelijkheid van tijdrovende, subjectieve en niet-schaalbare handmatige codering door experts.

Methodologie
De studie hanteerde een multimodale aanpak die ecologische momentane beoordeling (EMA) combineerde met Vision-Language Models (VLM's) en grootschalige door AI aangedreven literatuurmining.

1. Datacollectie: De onderzoekers voerden een 7-daagse EMA-studie uit met 106 volwassenen met behulp van de esmira-smarthphoneapplicatie. Deelnemers ontvingen zeven willekeurige dagelijkse alarmen om momentane positieve en negatieve affectie, waargenomen groenheid te rapporteren en een foto van hun huidige omgeving vanuit een perspectief van de eerste persoon te maken. Dit leverde 2.674 door deelnemers gegenereerde foto's op, gekoppeld aan zelfrapportages. Deelnemers vulden ook baseline sociodemografische vragenlijsten in en de Perceived Stress Scale (PSS) voor chronische stress.
2. VLM-validatie (Groenheidsbenchmark): Om het kader te valideren, gebruikte het team het open-weight LLaMA 4 VLM (Maverick-17B-128E-Instruct-FP8) om kwantitatieve ratings te genereren voor vijf groenheidsgerelateerde kenmerken: groenheid, natuurscore, aanwezigheid van planten, blootstelling aan natuurlijk licht en classificatie binnen/buiten. Elke afbeelding werd vijf keer per kenmerk beoordeeld om betrouwbaarheid te waarborgen.
3. Literatuurmining voor kenmerkontdekking: Om verder te gaan dan groenheid, gebruikte een semi-autonome pijplijn met het GPT-OSS-120B-model meer dan 7 miljoen open-access publicaties uit de Europe PMC-database. Dit proces identificeerde 997 unieke contextuele kenmerken met empirische ondersteuning voor associaties met affect en stress.
4. Grootschalige toepassing: De geïdentificeerde 997 kenmerken werden gebruikt als prompts voor het VLM om de door deelnemers gegenereerde foto's te beoordelen.
5. Statistische analyse: Multilevel lineaire modellen (met behulp van R en lme4) analyseerden de overeenstemming tussen door VLM afgeleide ratings en zelfrapportages, evenals associaties met state-level (momentane) en trait-level (chronische) variabelen voor mentale gezondheid. Cross-model consistentie werd geverifieerd met de Qwen3 VL-architectuur.

Belangrijkste Resultaten

• Validatie tegenover zelfrapportage: Door VLM afgeleide ratings van groenheid en gerelateerde kenmerken toonden significante associaties met de subjectieve zelfratings van groenheid van de deelnemers.
• Associatie met mentale gezondheid:
  • State-niveau: Hogere door VLM afgeleide groenheid was significant geassocieerd met hogere momentane positieve affectie.
  • Trait-niveau: Hogere gemiddelde groenheid en natuurscores waren geassocieerd met hogere gemiddelde positieve affectie, lagere gemiddelde negatieve affectie en lagere waargenomen chronische stress.
  • Binnen/Buiten: Buiten zijn was significant gekoppeld aan hogere positieve affectieve toestanden.
• Cross-model consistentie: Ratings gegenereerd door LLaMA 4 en Qwen3 VL waren sterk gecorreleerd (Spearman's r = 0,83–0,89 voor groenheid, natuur en planten), wat de robuustheid van de aanpak bevestigt over verschillende modelarchitecturen heen.
• Schaalbaarheid en generaliseerbaarheid: Bij toepassing op de 997 uit de literatuur afgeleide contextuele kenmerken toonden tot 33% van de door VLM onttrokken contextratings significante correlaties met momentane affectie en stress (bij p < 0,05), en toonden tot 12% de verwachte patronen voor trait-level maten. Dit overtrof het 5%-percentage dat door toeval wordt verwacht, wat de capaciteit van het kader aantoont om betekenisvolle associaties te detecteren over een breed conceptueel spectrum.

Belangrijkste Bijdragen

• Definitie en kwantificering: De studie vestigt het "visuele exposoom" als een meetbaar construct, en gaat voorbij aan locatiegebaseerde proxies naar directe, visuele kwantificering vanuit het perspectief van de eerste persoon.
• Schaalbare methodologie: Het introduceert een pijplijn die arbeidsintensieve handmatige codering vervangt door geautomatiseerde VLM-analyse, waardoor hoge doorvoer-decodering van visuele context in grootschalige longitudinale studies mogelijk wordt.
• Hypothese-genererend kader: Door miljoenen publicaties te doorzoeken om bijna 1.000 potentiële omgevingsdeterminanten te identificeren, verschuift de studie het paradigma van het testen van enkele hypothesen naar het gelijktijdig screenen van duizenden visuele determinanten.

Betekenis en Claims
De auteurs claimen dat dit werk een fundamentele technologie vestigt voor "visuele exposomica". Zij betogen dat door EMA te koppelen aan VLM's, de meetkloof tussen macro-niveau omgevingsdata en micro-niveau individuele perceptie wordt overbrugd. De studie stelt dat deze aanpak een hogere-resolutie fenotype van blootstelling aan de omgeving biedt die de vertekeningen van zelfrapportage en de ruimtelijke grofheid van satellietmaten vermijdt.

Het artikel concludeert dat de menselijke visuele ervaring objectief gekwantificeerd en gekoppeld kan worden aan affect en stress. Het suggereert dat dit kader nieuwe wegen opent voor precisie-gezondheidszorg, waardoor de systematische decodering mogelijk wordt van hoe de zichtbare wereld gezondheidsuitkomsten vormgeeft. De auteurs houden een bescheiden standpunt ten aanzien van causaliteit, met de opmerking dat het micro-longitudinale ontwerp associaties vastlegt in plaats van causale effecten, en dat toekomstig werk vereist is om wederzijdse invloeden te ontwarren (bijvoorbeeld of positieve affectie individuen ertoe aanzet specifieke visuele omgevingen op te zoeken). De studie benadrukt dat deze methodologie parallel loopt aan technologische verschuivingen in draagbare biosensoren en door AI aangedreven gezondheidszorg, en een schaalbaar hulpmiddel biedt voor het integreren van gedetailleerde contextuele informatie in gepersonaliseerde gezondheidsmodellen.