Quantifying the human visual exposome with vision language models

Resumo Técnico: Quantificação do Exposoma Visual Humano com Modelos de Linguagem Visual

Declaração do Problema
O exposoma ambiental é um determinante reconhecido da saúde mental, contudo, seu componente visual imediato — o "exposoma visual" — permanece amplamente não quantificado. Os métodos epidemiológicos atuais dependem de proxies geoespaciais grosseiros (por exemplo, índices de verdura derivados de satélites) ou relatos próprios enviesados. Essas abordagens falham em capturar a riqueza semântica, a nuance espacial e a perspectiva em primeira pessoa da vida diária. Especificamente, elas não conseguem determinar o que um indivíduo realmente vê em seu campo de visão imediato (por exemplo, a presença de animais, densidade de multidões ou gatilhos específicos de estresse). Embora a fotografia gerada pelos participantes ofereça uma solução para capturar o contexto em primeira pessoa, sua aplicação em pesquisas quantitativas tem sido limitada pela dependência de codificação manual por especialistas, que é demorada, subjetiva e não escalável.

Metodologia
O estudo empregou uma abordagem multimodal combinando avaliação momentânea ecológica (EMA) com Modelos de Linguagem Visual (VLMs) e mineração de literatura em grande escala impulsionada por IA.

1. Coleta de Dados: Os pesquisadores conduziram um estudo EMA de 7 dias com 106 adultos utilizando o aplicativo de smartphone esmira. Os participantes receberam sete alarmes diários aleatórios para relatar afeto positivo e negativo momentâneo, verdura percebida e para capturar uma fotografia de seu ambiente atual a partir de uma perspectiva em primeira pessoa. Isso resultou em 2.674 fotografias geradas pelos participantes, pareadas com relatos próprios. Os participantes também completaram questionários sociodemográficos de linha de base e a Escala de Estresse Percebido (PSS) para estresse crônico.
2. Validação do VLM (Benchmark de Verdura): Para validar o framework, a equipe utilizou o VLM LLaMA 4 de pesos abertos (Maverick-17B-128E-Instruct-FP8) para gerar classificações quantitativas para cinco características relacionadas à verdura: verdura, pontuação de natureza, presença de plantas, exposição à luz natural e classificação de interior/externo. Cada imagem foi classificada cinco vezes por característica para garantir confiabilidade.
3. Mineração de Literatura para Descoberta de Características: Para expandir além da verdura, um pipeline semiautônomo utilizando o modelo GPT-OSS-120B minerou mais de 7 milhões de publicações de acesso aberto do banco de dados Europe PMC. Esse processo identificou 997 características contextuais únicas com suporte empírico para associações com afeto e estresse.
4. Aplicação em Grande Escala: As 997 características identificadas foram usadas como prompts para o VLM classificar as fotografias dos participantes.
5. Análise Estatística: Modelos lineares multinível (usando R e lme4) analisaram a correspondência entre as classificações derivadas do VLM e os relatos próprios, bem como as associações com variáveis de saúde mental de nível de estado (momentâneas) e de nível de traço (crônicas). A consistência entre modelos foi verificada usando a arquitetura Qwen3 VL.

Principais Resultados

• Validação contra Relato Próprio: As classificações derivadas do VLM de verdura e características relacionadas mostraram associações significativas com as classificações subjetivas dos participantes sobre a verdura.
• Associação com Saúde Mental:
  • Nível de Estado: Maior verdura derivada do VLM foi significativamente associada a maior afeto positivo momentâneo.
  • Nível de Traço: Maior verdura média e pontuações de natureza foram associadas a maior afeto positivo médio, menor afeto negativo médio e menor estresse crônico percebido.
  • Interior/Exterior: Estar ao ar livre foi significativamente ligado a estados afetivos positivos mais elevados.
• Consistência entre Modelos: As classificações geradas pelo LLaMA 4 e pelo Qwen3 VL foram altamente correlacionadas (Spearman's r = 0,83–0,89 para verdura, natureza e plantas), confirmando a robustez da abordagem em diferentes arquiteturas de modelos.
• Escalabilidade e Generalizabilidade: Quando aplicado às 997 características contextuais derivadas da literatura, até 33% das classificações de contexto extraídas pelo VLM mostraram correlações significativas com afeto e estresse momentâneos (em p < 0,05), e até 12% mostraram padrões esperados para medidas de nível de traço. Isso excedeu a taxa de 5% esperada por acaso, demonstrando a capacidade do framework de detectar associações significativas em um amplo espaço conceitual.

Principais Contribuições

• Definição e Quantificação: O estudo estabelece o "exposoma visual" como um constructo mensurável, avançando além de proxies baseados em localização para quantificação visual direta em primeira pessoa.
• Metodologia Escalável: Introduz um pipeline que substitui a codificação manual intensiva em mão de obra por análise automatizada com VLMs, permitindo a decodificação de alto rendimento do contexto visual em estudos longitudinais em grande escala.
• Framework Gerador de Hipóteses: Ao minerar milhões de publicações para identificar quase 1.000 determinantes ambientais potenciais, o estudo muda o paradigma de testar hipóteses únicas para triar milhares de determinantes visuais simultaneamente.

Significado e Alegações
Os autores afirmam que este trabalho estabelece uma tecnologia fundamental para a "exposomática visual". Eles argumentam que, ao acoplar EMA com VLMs, a lacuna de medição entre dados ambientais de nível macro e percepção individual de nível micro é resolvida. O estudo postula que essa abordagem fornece um fenótipo de exposição ambiental de maior resolução que evita os vieses do relato próprio e a grosseira espacialidade das métricas de satélite.

O artigo conclui que a experiência visual humana pode ser objetivamente quantificada e mapeada para afeto e estresse. Sugere que este framework abre novas vias para a saúde pública de precisão, permitindo a decodificação sistemática de como o mundo visível molda os resultados de saúde. Os autores mantêm uma postura modesta em relação à causalidade, observando que o desenho micro-longitudinal captura associações em vez de efeitos causais, e que trabalhos futuros são necessários para desvendar influências bidirecionais (por exemplo, se o afeto positivo leva os indivíduos a buscar ambientes visuais específicos). O estudo enfatiza que esta metodologia paralela às mudanças tecnológicas em biossensores vestíveis e saúde impulsionada por IA, oferecendo uma ferramenta escalável para integrar informações contextuais detalhadas em modelos de saúde personalizados.