Cross-Modal Urban Sensing: Evaluating Sound-Vision Alignment Across Street-Level and Aerial Imagery

Título: Sensado Urbano Cross-Modal: Evaluación de la Alineación Sonido-Visión entre Imágenes de Nivel de Calle y Aéreas

1. Planteamiento del Problema

Los entornos urbanos son sistemas complejos donde la información visual (imágenes aéreas y de calle) ha sido ampliamente estudiada, mientras que la dimensión acústica (paisajes sonoros) permanece subutilizada en el análisis geográfico. Aunque los paisajes sonoros contienen información ecológica y social vital, existen pocos enfoques sistemáticos para integrar el sonido en marcos espaciales.

El problema central abordado por el estudio es la falta de comprensión sobre cómo los paisajes sonoros ambientales se corresponden con las representaciones visuales de diferentes escalas (nivel de calle vs. vistas aéreas) y cómo la elección de la estrategia de representación visual (basada en embeddings semánticos vs. segmentación semántica) afecta la calidad y la interpretabilidad de esta alineación cross-modal.

2. Metodología

El estudio propone un marco de evaluación unificado que integra datos de sonido georreferenciados con imágenes visuales, utilizando modelos de aprendizaje profundo preentrenados sin ajuste fino (zero-shot).

• Datos:

  • Sonido: Grabaciones ambientales de Londres, Nueva York y Tokio obtenidas de Radio Aporee. Se filtraron para eliminar voces humanas dominantes, grabaciones interiores y eventos transitorios, segmentando los clips en intervalos de 10 segundos.
  • Visión: Se utilizaron dos tipos de imágenes para cada ubicación:
    • Nivel de calle: Google Street View.
    • Aéreas: Google Earth (imágenes de teledetección).
  • Se excluyeron condiciones inusuales (nieve, lluvia, noche) para asegurar consistencia.

• Arquitectura de Modelos:

  • Extracción de Características de Sonido: Se utilizó el Audio Spectrogram Transformer (AST) para generar vectores de características acústicas de 768 dimensiones.
  • Representación Visual (Dos Enfoques):
    1. Enfoque Basado en Embeddings (Semántico): Uso de CLIP (para imágenes de calle) y RemoteCLIP (para imágenes aéreas) para mapear las imágenes a un espacio latente compartido.
    2. Enfoque Basado en Segmentación (Estructural): Uso de CLIPSeg (calle) y Seg-Earth OV (aéreo) para generar mapas de segmentación semántica y calcular la proporción de clases de cobertura del suelo.

• Mapeo Ecológico (BGA):

  • Las clases de segmentación visual se mapearon a las categorías acústicas Biophony (sonidos biológicos), Geophony (sonidos geofísicos) y Anthrophony (sonidos humanos) para crear perfiles ecológicos interpretables.

• Métricas de Evaluación:

  • Similaridad por Embeddings: Cálculo de la similitud del coseno entre los vectores de audio y visión en el espacio latente.
  • Similaridad por Segmentación: Comparación de las distribuciones de clases visuales con las distribuciones ecológicas mapeadas (BGA).

3. Contribuciones Clave

1. Marco Unificado: Introducción de un marco reproducible para evaluar la correspondencia sonido-visión a múltiples escalas (calle y aérea) en entornos urbanos heterogéneos.
2. Comparación Sistemática: Análisis comparativo entre estrategias de representación visual basadas en embeddings (captura de similitud perceptual abstracta) y basadas en segmentación (captura de estructura ecológica interpretable).
3. Integración de Modos: Demostración de cómo combinar datos de sonido con imágenes geoespaciales para enriquecer el análisis urbano, moviéndose más allá de la predicción unidireccional (imagen $\to$ sonido) hacia una alineación bidireccional.

4. Resultados Principales

• Alineación Basada en Embeddings:

  • Los modelos de embedding capturaron una alineación semántica más fuerte, especialmente con imágenes de nivel de calle ($r = 0.19$) en comparación con las aéreas ($r = 0.14$).
  • La combinación de ambas perspectivas mejoró la correlación ($r = 0.21$), sugiriendo que capturan información complementaria.
  • Las correlaciones, aunque moderadas en magnitud, fueron estadísticamente significativas ($p < 0.001$), lo cual es esperado dada la naturaleza diferente de los datos estáticos (visión) y dinámicos (sonido).

• Alineación Basada en Segmentación:

  • La segmentación de imágenes aéreas demostró ser superior para revelar patrones ecológicos interpretables, mostrando correlaciones positivas significativas con las categorías BGA (especialmente Anthrophony con $r = 0.145$).
  • En contraste, la segmentación de imágenes de nivel de calle mostró correlaciones débiles o insignificantes ($r \approx 0.05$). Esto se atribuye a la naturaleza dinámica de los sonidos de calle (eventos transitorios) que no se capturan en una segmentación estática, y a la discrepancia entre lo visualmente prominente y lo acústicamente dominante.

• Interpretación Ecológica:

  • Las vistas aéreas proporcionaron un contexto estructural más estable para inferir la composición del paisaje sonoro (vegetación, agua, superficies impermeables).
  • Las vistas de calle, aunque mejores para la semántica perceptual general, fallaron en predecir consistentemente la composición ecológica específica mediante segmentación.

5. Significado e Implicaciones

• Complementariedad de Escalas: El estudio revela una asimetría funcional: las imágenes de calle son mejores para la alineación semántica perceptual (lo que "suena" como el entorno inmediato), mientras que las imágenes aéreas son superiores para la interpretación ecológica estructural (qué elementos del paisaje generan el sonido).
• Planificación Urbana y Monitoreo: El marco permite inferir características de paisajes sonoros en áreas sin sensores acústicos utilizando datos visuales existentes (satélites y calle), facilitando la planificación urbana sensible al sonido y la evaluación de la equidad socio-ambiental.
• Futuro de la GeoAI: Sugiere que los modelos futuros deben integrar enfoques de fusión multi-escala (combinando el contexto macro aéreo con los detalles micro de la calle) y considerar la dimensión temporal para mejorar la alineación entre modalidades estáticas y dinámicas.

En conclusión, el trabajo demuestra que, si bien la alineación perfecta entre visión y sonido es difícil debido a la brecha de información mutua, existen estrategias de representación específicas (embeddings para calle, segmentación para aéreas) que permiten una integración significativa y ecológicamente interpretable de los datos acústicos en el análisis urbano.