Quantifying the human visual exposome with vision language models

기술 요약: 비전 언어 모델을 활용한 인간 시각적 노출체계의 정량화

문제 제기
환경적 노출체계는 정신 건강의 인정된 결정 요인이지만, 그 즉각적인 시각적 구성 요소인 '시각적 노출체계'는 여전히 대부분 정량화되지 않은 상태입니다. 현재의 역학적 방법은 거친 지리 공간적 대리 변수 (예: 위성 유래 녹지 지수) 나 편향된 자기 보고에 의존합니다. 이러한 접근법은 일상생활의 의미적 풍부함, 공간적 뉘앙스, 그리고 1 인칭 관점을 포착하지 못합니다. 구체적으로, 개인이 실제 시야에서 무엇을 보는지 (예: 동물의 존재, 군중 밀도, 또는 특정 스트레스 유발 신호) 를 판단할 수 없습니다. 참가자가 생성한 사진은 1 인칭 맥락을 포착하는 해결책을 제시하지만, 시간 소모적이고 주관적이며 확장 불가능한 수동 전문가 코딩에 대한 의존성으로 인해 정량적 연구에서의 적용은 제한적이었습니다.

방법론
본 연구는 생태적 순간 평가 (EMA) 와 비전 - 언어 모델 (VLM) 및 대규모 AI 기반 문헌 마이닝을 결합한 다중 모달 접근법을 사용했습니다.

1. 데이터 수집: 연구진은 esmira 스마트폰 애플리케이션을 사용하여 106 명의 성인을 대상으로 7 일간의 EMA 연구를 수행했습니다. 참가자들은 하루에 7 번 무작위 알람을 받아 순간적인 긍정 및 부정 정서, 지각된 녹지 정도를 보고하고 현재 환경을 1 인칭 관점에서 촬영하도록 요청받았습니다. 이를 통해 2,674 개의 참가자 생성 사진과 자기 보고가 쌍으로 구성되었습니다. 참가자들은 또한 기저 인구통계학적 설문지와 만성 스트레스를 측정하기 위한 지각된 스트레스 척도 (PSS) 를 완료했습니다.
2. VLM 검증 (녹지 벤치마크): 프레임워크를 검증하기 위해 팀은 오픈 가중치 LLaMA 4 VLM(Maverick-17B-128E-Instruct-FP8) 을 사용하여 녹지, 자연 점수, 식물 존재, 자연광 노출, 실내/실외 분류 등 5 가지 녹지 관련 특징에 대한 정량적 등급을 생성했습니다. 각 이미지는 신뢰성을 확보하기 위해 특징당 5 회씩 등급이 매겨졌습니다.
3. 특징 발견을 위한 문헌 마이닝: 녹지 범위를 넘어 확장하기 위해 GPT-OSS-120B 모델을 사용한 반자율 파이프라인이 Europe PMC 데이터베이스의 700 만 건 이상의 오픈 액세스 간행물을 마이닝했습니다. 이 과정을 통해 정서 및 스트레스와 연관성에 대한 실증적 지지를 가진 997 개의 고유한 맥락적 특징이 식별되었습니다.
4. 대규모 적용: 식별된 997 개의 특징은 참가자 사진을 등급 매기기 위해 VLM 에 프롬프트로 사용되었습니다.
5. 통계 분석: 다층 선형 모델 (R 및 lme4 사용) 은 VLM 유래 등급과 자기 보고 간의 상관관계, 그리고 상태 수준 (순간적) 및 특성 수준 (만성) 정신 건강 변수와의 연관성을 분석했습니다. 교차 모델 일관성은 Qwen3 VL 아키텍처를 사용하여 검증되었습니다.

주요 결과

• 자기 보고에 대한 검증: 녹지 및 관련 특징에 대한 VLM 유래 등급은 참가자들의 주관적 녹지 자기 등급과 유의미한 연관성을 보였습니다.
• 정신 건강과의 연관성:
  • 상태 수준: 더 높은 VLM 유래 녹지 정도는 더 높은 순간적 긍정 정서와 유의미하게 연관되었습니다.
  • 특성 수준: 더 높은 평균 녹지 및 자연 점수는 더 높은 평균 긍정 정서, 더 낮은 평균 부정 정서, 그리고 더 낮은 지각된 만성 스트레스와 연관되었습니다.
  • 실내/실외: 야외에 있는 것은 더 높은 긍정 정서 상태와 유의미하게 연결되었습니다.
• 교차 모델 일관성: LLaMA 4 와 Qwen3 VL 이 생성한 등급은 매우 높은 상관관계를 보였습니다 (녹지, 자연, 식물의 경우 스피어만 r = 0.83–0.89). 이는 서로 다른 모델 아키텍처 전반에 걸쳐 접근법의 견고함을 확인시켜 주었습니다.
• 확장성 및 일반화 가능성: 997 개의 문헌 유래 맥락적 특징에 적용되었을 때, 최대 33% 의 VLM 추출 맥락 등급이 순간적 정서 및 스트레스와 유의미한 상관관계 (p < 0.05) 를 보였으며, 최대 12% 는 특성 수준 측정치에 대해 기대되는 패턴을 보였습니다. 이는 우연히 기대되는 5% 를 초과하여, 광범위한 개념 공간에 걸쳐 의미 있는 연관성을 탐지하는 프레임워크의 능력을 입증했습니다.

주요 기여

• 정의 및 정량화: 본 연구는 위치 기반 대리 변수를 넘어 직접적이고 1 인칭적인 시각적 정량화로 이동하여 '시각적 노출체계'를 측정 가능한 구성 요소로 확립합니다.
• 확장 가능한 방법론: 노동 집약적인 수동 코딩을 자동화된 VLM 분석으로 대체하는 파이프라인을 도입하여 대규모 종단 연구에서 시각적 맥락의 고처리량 디코딩을 가능하게 합니다.
• 가설 생성 프레임워크: 수백만 건의 간행물을 마이닝하여 약 1,000 개의 잠재적 환경 결정 요인을 식별함으로써, 단일 가설을 검증하는 패러다임에서 수천 개의 시각적 결정 요인을 동시에 스크리닝하는 패러다임으로 전환합니다.

의의 및 주장
저자들은 이 작업이 '시각적 노출체증학 (visual exposomics)'을 위한 기초 기술을 확립한다고 주장합니다. 그들은 EMA 와 VLM 을 결합함으로써 거시 수준의 환경 데이터와 미시 수준의 개인 지각 사이의 측정 격차가 해소된다고 논합니다. 본 연구는 이 접근법이 자기 보고의 편향과 위성 지표의 공간적 거칠기를 피하면서 환경 노출에 대한 더 높은 해상도의 표현형을 제공한다고 제시합니다.

이 논문은 인간의 시각적 경험을 객관적으로 정량화하고 정서 및 스트레스에 매핑할 수 있다고 결론지었습니다. 이는 가시적인 세계가 건강 결과에 어떻게 영향을 미치는지 체계적으로 디코딩할 수 있게 하여 정밀 공중보건을 위한 새로운 길을 연다고 시사합니다. 저자들은 인과성에 대해 겸손한 입장을 유지하며, 미세 종단 설계는 인과 효과가 아닌 연관성을 포착하며, 양방향 영향 (예: 긍정적 정서가 개인이 특정 시각적 환경을 찾도록 유도하는지 여부) 을 분리하기 위해서는 향후 연구가 필요하다고 지적합니다. 본 연구는 이 방법론이 웨어러블 생체 센서 및 AI 기반 의료의 기술적 변화와 병행하며, 상세한 맥락 정보를 개인화된 건강 모델에 통합하기 위한 확장 가능한 도구를 제공한다고 강조합니다.