Quantifying the human visual exposome with vision language models

Resumen Técnico: Cuantificación del Exposoma Visual Humano con Modelos de Lenguaje Visuales

Planteamiento del Problema
El exposoma ambiental es un determinante reconocido de la salud mental, sin embargo, su componente visual inmediato —el "exposoma visual"— sigue siendo en gran medida no cuantificado. Los métodos epidemiológicos actuales dependen de proxies geoespaciales gruesos (por ejemplo, índices de verdor derivados de satélites) o de informes subjetivos sesgados. Estos enfoques no logran capturar la riqueza semántica, el matiz espacial y la perspectiva en primera persona de la vida diaria. Específicamente, no pueden determinar qué ve realmente un individuo en su campo de visión inmediato (por ejemplo, la presencia de animales, la densidad de multitudes o señales específicas que inducen estrés). Si bien la fotografía generada por los participantes ofrece una solución para capturar el contexto en primera persona, su aplicación en la investigación cuantitativa ha estado limitada por la dependencia de una codificación manual por expertos, que consume tiempo, es subjetiva y no escalable.

Metodología
El estudio empleó un enfoque multimodal que combina la evaluación momentánea ecológica (EMA) con Modelos de Lenguaje Visuales (VLM) y minería de literatura a gran escala impulsada por IA.

1. Recolección de Datos: Los investigadores realizaron un estudio EMA de 7 días con 106 adultos utilizando la aplicación para teléfonos inteligentes esmira. Los participantes recibieron siete alarmas diarias aleatorias para informar sobre el afecto positivo y negativo momentáneo, el verdor percibido, y para capturar una fotografía de su entorno actual desde una perspectiva en primera persona. Esto arrojó 2.674 fotografías generadas por los participantes emparejadas con informes subjetivos. Los participantes también completaron cuestionarios sociodemográficos de línea base y la Escala de Estrés Percibido (PSS) para el estrés crónico.
2. Validación del VLM (Referencia de Verdad): Para validar el marco, el equipo utilizó el VLM LLaMA 4 de pesos abiertos (Maverick-17B-128E-Instruct-FP8) para generar calificaciones cuantitativas para cinco características relacionadas con el verdor: verdor, puntuación de naturaleza, presencia de plantas, exposición a la luz natural y clasificación de interior/exterior. Cada imagen fue calificada cinco veces por característica para garantizar la fiabilidad.
3. Minería de Literatura para el Descubrimiento de Características: Para ir más allá del verdor, una pipeline semi-autónoma que utiliza el modelo GPT-OSS-120B extrajo datos de más de 7 millones de publicaciones de acceso abierto de la base de datos Europe PMC. Este proceso identificó 997 características contextuales únicas con apoyo empírico para asociaciones con el afecto y el estrés.
4. Aplicación a Gran Escala: Las 997 características identificadas se utilizaron como indicaciones (prompts) para que el VLM calificara las fotografías de los participantes.
5. Análisis Estadístico: Modelos lineales multinivel (utilizando R y lme4) analizaron la correspondencia entre las calificaciones derivadas del VLM y los informes subjetivos, así como las asociaciones con variables de salud mental a nivel de estado (momentánea) y a nivel de rasgo (crónica). La consistencia entre modelos se verificó utilizando la arquitectura Qwen3 VL.

Resultados Clave

• Validación frente a Informes Subjetivos: Las calificaciones derivadas del VLM del verdor y características relacionadas mostraron asociaciones significativas con las auto-calificaciones subjetivas de verdor de los participantes.
• Asociación con la Salud Mental:
  • Nivel de Estado: Un mayor verdor derivado del VLM se asoció significativamente con un mayor afecto positivo momentáneo.
  • Nivel de Rasgo: Un mayor verdor promedio y puntuaciones de naturaleza se asociaron con un mayor afecto positivo promedio, un menor afecto negativo promedio y un menor estrés crónico percibido.
  • Interior/Exterior: Estar al aire libre se vinculó significativamente con estados afectivos positivos más altos.
• Consistencia entre Modelos: Las calificaciones generadas por LLaMA 4 y Qwen3 VL estuvieron altamente correlacionadas (r de Spearman = 0,83–0,89 para verdor, naturaleza y plantas), confirmando la robustez del enfoque a través de diferentes arquitecturas de modelos.
• Escalabilidad y Generalizabilidad: Cuando se aplicó a las 997 características contextuales derivadas de la literatura, hasta el 33% de las calificaciones de contexto extraídas por el VLM mostraron correlaciones significativas con el afecto y el estrés momentáneos (con p < 0,05), y hasta el 12% mostraron patrones esperados para medidas a nivel de rasgo. Esto superó la tasa del 5% esperada por azar, demostrando la capacidad del marco para detectar asociaciones significativas en un amplio espacio conceptual.

Contribuciones Clave

• Definición y Cuantificación: El estudio establece el "exposoma visual" como un constructo medible, avanzando más allá de los proxies basados en la ubicación hacia una cuantificación visual directa y en primera persona.
• Metodología Escalable: Introduce una pipeline que reemplaza la codificación manual intensiva en mano de obra con el análisis automatizado de VLM, permitiendo la decodificación de alto rendimiento del contexto visual en estudios longitudinales a gran escala.
• Marco Generador de Hipótesis: Al extraer datos de millones de publicaciones para identificar casi 1.000 determinantes ambientales potenciales, el estudio cambia el paradigma de probar hipótesis individuales a la detección simultánea de miles de determinantes visuales.

Significado y Afirmaciones
Los autores afirman que este trabajo establece una tecnología fundamental para la "exposómica visual". Argumentan que al acoplar la EMA con VLMs, se resuelve la brecha de medición entre los datos ambientales a nivel macro y la percepción individual a nivel micro. El estudio postula que este enfoque proporciona un fenotipo de mayor resolución de la exposición ambiental que evita los sesgos de los informes subjetivos y la crudeza espacial de las métricas satelitales.

El documento concluye que la experiencia visual humana puede cuantificarse objetivamente y mapearse al afecto y al estrés. Sugiere que este marco abre nuevas vías para la salud pública de precisión, permitiendo la decodificación sistemática de cómo el mundo visible moldea los resultados de salud. Los autores mantienen una postura modesta respecto a la causalidad, señalando que el diseño micro-longitudinal captura asociaciones en lugar de efectos causales, y que se requiere trabajo futuro para desentrañar influencias bidireccionales (por ejemplo, si el afecto positivo impulsa a los individuos a buscar entornos visuales específicos). El estudio enfatiza que esta metodología se asemeja a los cambios tecnológicos en biosensores portátiles y atención médica impulsada por IA, ofreciendo una herramienta escalable para integrar información contextual detallada en modelos de salud personalizados.