Cross-Modal Urban Sensing: Evaluating Sound-Vision Alignment Across Street-Level and Aerial Imagery

Probleemstelling

Stedelijke omgevingen zijn complexe systemen die worden gevormd door sociale, ecologische en fysieke processen. Hoewel visuele data (zoals luchtfoto's en straatbeelden) al lang centraal staan in de stadsanalyse, wordt de akoestische dimensie (geluid) vaak genegeerd of als bijproduct beschouwd. Geluid bevat echter rijke informatie over menselijke activiteit, ecologische aanwezigheid en omgevingscondities.

Bestaande onderzoek richt zich vaak op eenrichtingsverkeer: het voorspellen van geluid op basis van beelden. Dit benadert geluid als een label en negeert de tijdsdimensie en de contextuele specificiteit. Er ontbreekt een systematische aanpak om te begrijpen hoe geluid en visuele representaties in een gemeenschappelijke ruimte aligneren, en hoe verschillende visuele strategieën (embeddings versus segmentatie) deze uitlijning beïnvloeden.

Methodologie

De auteurs introduceren een unificerend evaluatiekader dat geo-referentieerde geluidsopnames koppelt aan zowel straatniveau- als luchtfoto's. Het onderzoek vergelijkt twee fundamenteel verschillende benaderingen voor visuele representatie:

1. Data:

   • Geluid: Geo-referentieerde omgevingsgeluidsopnames uit Londen, New York en Tokio (bron: Radio Aporee). De opnames zijn gefilterd om alleen stabiele buitenomgevingen te behouden (geen binnenshuis, geen dominante menselijke stemmen).
   • Beeld: Google Street View (straatniveau) en Google Earth (luchtfoto's).

2. Feature Extractie:

   • Audio: Gebruik van de Audio Spectrogram Transformer (AST) om 10-seconde audioclips om te zetten in 768-dimensionale embedding-vectoren. AST wordt gekozen vanwege zijn vermogen om lange-termijn tijdspectrale afhankelijkheden te modelleren.
   • Visueel (Embedding):
     • Straatbeeld: CLIP (ViT-L/14).
     • Luchtfoto: RemoteCLIP (fijne-tuning op luchtfoto's).
     • Doel: Het meten van semantische gelijkenis in een gedeelde latente ruimte.
   • Visueel (Segmentatie):
     • Straatbeeld: CLIPSeg (prompt-gebaseerde segmentatie).
     • Luchtfoto: SegEarth-OV (open-vocabulary segmentatie voor remote sensing).
     • Doel: Het genereren van interpreteerbare landbedekking-kaarten.

3. Alignatie en Evaluatie:

   • Embedding-benadering: Berekening van de cosinus-ähnlichkeit tussen audio- en visuele embedding-vectoren om abstracte semantische overeenkomst te meten.
   • Segmentatie-benadering: Berekening van de verhouding van visuele klassen (bijv. vegetatie, water, gebouwen) en mapping hiervan naar de Biophony-Geophony-Anthrophony (BGA) taxonomie. Dit creëert een ecologisch profiel dat vergeleken wordt met de geluidsopnames.

Belangrijkste Bijdragen

1. Unificerend Kader: Een reproduceerbaar evaluatiekader dat geluid integreert met zowel micro- (straat) als macro- (lucht) visuele data voor multimodale stadsanalyse.
2. Systematische Vergelijking: De eerste studie die de effectiviteit van embedding-gebaseerde modellen (semantische abstractie) versus segmentatie-gebaseerde modellen (ecologische structuur) vergelijkt voor de uitlijning van geluid en beeld.
3. Ecologische Interpretatie: Het introduceren van de BGA-taxonomie als brug tussen visuele landbedekking en akoestische bronnen, waardoor ecologische patronen in geluidslandschappen kwantificeerbaar worden.

Resultaten

De resultaten tonen een duidelijke asymmetrie tussen de twee visuele perspectieven en de twee methodologische benaderingen:

• Embedding-benadering (Semantische Alignatie):

  • Straatbeeld-embeddings tonen een sterkere correlatie met geluid ($r \approx 0.19$) dan luchtfoto-embeddings ($r \approx 0.14$).
  • De combinatie van beide perspectieven verhoogt de correlatie tot $r \approx 0.21$.
  • Conclusie: Straatbeelden vangen de perceptuele en contextuele nuances van geluid beter in, omdat ze dichterbij de menselijke schaal en de directe bronnen staan.

• Segmentatie-benadering (Ecologische Alignatie):

  • Luchtfoto-segmentatie toont een significante en interpreteerbare correlatie met de BGA-categorieën (Anthrophony $r=0.145$, Biophony $r=0.130$).
  • Straatbeeld-segmentatie toont daarentegen zeer zwakke of verwaarloosbare correlaties ($r \approx 0.05$ of lager).
  • Conclusie: Luchtfoto's zijn superieur in het vastleggen van de structurele context (landbedekking, groen, water) die het geluidsklimaat vormt, terwijl straatbeelden te veel variatie en tijdsafhankelijkheid bevatten die niet direct uit statische segmentatie af te leiden zijn.

• Ecologische Patronen:

  • Gebieden met veel groen of water tonen een hogere visueel-akoestische alignatie.
  • Dichte commerciële districten tonen zwakkere koppelingen, waarschijnlijk door het maskerende effect van gebouwen en tijdelijke menselijke activiteit.

Betekenis en Toekomstperspectief

Dit onderzoek biedt fundamentele inzichten in hoe akoestische informatie zinvol kan worden geïntegreerd in geospatiale analyses:

• Complementaire Krachten: Embedding-modellen zijn effectief voor fijne, semantische matching (wat klinkt het als?), terwijl segmentatiemodellen essentieel zijn voor ecologische interpretatie (welke structuren veroorzaken het geluid?).
• Praktische Toepassingen: Het kader maakt het mogelijk om geluidslandschappen te infereren in gebieden zonder fysieke geluidssensoren, wat waardevol is voor stadsplanning, akoestische ecologie en het monitoren van biodiversiteit op grote schaal.
• Beperkingen en Richting: De huidige correlaties zijn statistisch significant maar van gemiddelde sterkte, deels door het gebruik van pre-trained modellen zonder specifieke fine-tuning. Toekomstig werk moet zich richten op multi-schaal fusie (combineren van luchtfoto's en straatbeelden in één architectuur), tijdscontext integratie en het gebruik van lichtgewicht adaptatietechnieken (zoals LoRA) om de prestaties te verbeteren.

Kortom, de studie bewijst dat geluid en beeld complementaire modaliteiten zijn die samen een vollediger beeld van de stedelijke omgeving vormen, mits de juiste representatiestrategie wordt gekozen afhankelijk van de analysevraag (perceptie vs. ecologische structuur).