Learning Street View Representations with Spatiotemporal Contrast

Deze studie presenteert een innovatief zelftoezichtend leerframework dat spatiotemporale contrasten in straatbeeldbeelden benut om robuuste representaties te leren voor diverse stedelijke taken, zoals sociaaleconomische schatting en mens-omgevingsperceptie, en overtreft hiermee bestaande methoden.

De kern

Stadsportretten leren: Hoe een computer de ziel van een wijk begrijpt

Stel je voor dat je door een stad loopt. Je ziet gebouwen, straten en bomen. Maar je ziet ook mensen die lopen, auto's die passeren en bomen die in de wind bewegen. Soms schijnt de zon, soms regent het.

Voor een computer is het heel moeilijk om te weten wat belangrijk is in zo'n foto. Moet hij onthouden dat er gisteren een rode auto stond? Of moet hij onthouden dat de gevel van het gebouw altijd rood is, ongeacht het weer of het verkeer?

Deze paper, getiteld "Learning Street View Representations with Spatiotemporal Contrast", introduceert een slimme nieuwe manier om computers te leren hoe ze een stad moeten "lezen". In plaats van één grote, saaie les te geven, hebben de onderzoekers drie verschillende soorten "oefeningen" bedacht, afhankelijk van wat de computer later moet doen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De drie soorten "oefeningen" (De Hypothesen)

De onderzoekers gebruiken Google Street View-kaarten, maar dan heel slim. Ze kijken niet alleen naar één foto, maar naar foto's van dezelfde plek op verschillende tijdstippen, en foto's van plekken vlakbij elkaar op hetzelfde moment.

Stel je voor dat je een student wilt opleiden voor drie verschillende banen:

• Oefening A: De "Onveranderlijke Gevel" (Temporeel Contrast)

  • Doel: Een computer die straten moet herkennen, zelfs als het seizoen verandert of als er een feestje is.
  • De les: De computer krijgt twee foto's van exact dezelfde plek, maar dan uit verschillende jaren (bijvoorbeeld 2018 en 2023).
  • De truc: De computer moet leren wat er hetzelfde blijft (de gebouwen, de weg) en wat er anders is (de sneeuw, de mensen, de auto's). Hij moet de "statische" dingen onthouden en de "dynamische" rommel negeren.
  • Vergelijking: Het is alsof je een foto van je huis maakt, en dan een foto van je huis 10 jaar later. Je wilt dat de computer zegt: "Ah, dit is nog steeds mijn huis!", en niet: "Oh, de auto is weg en er staat een boom bij de deur."

• Oefening B: De "Buurtgevoel" (Spatieel Contrast)

  • Doel: Een computer die moet voorspellen hoe rijk of arm een wijk is, of hoe gezond de mensen er wonen.
  • De les: De computer krijgt foto's van plekken die vlakbij elkaar liggen, maar op hetzelfde moment.
  • De truc: De computer moet leren dat deze plekken dezelfde "sfeer" hebben. Het maakt niet uit of er nu net een fiets voorbijrijdt of niet; de architectuur en de sfeer van de wijk zijn hetzelfde.
  • Vergelijking: Het is alsof je door een wijk loopt en zegt: "Hier voelt het allemaal als een rijke wijk, of er nu een dure auto staat of een goedkope." De computer leert de sfeer van de buurt te snappen, niet de specifieke details van één straat.

• Oefening C: De "Alles-in-één" (Globale Informatie)

  • Doel: Een computer die moet zeggen of een plek veilig of onveilig voelt voor mensen.
  • De les: De computer krijgt dezelfde foto, maar dan met kleine veranderingen (zoals een beetje gekleurd of gedraaid).
  • De truc: De computer moet alle details zien: de bomen, de auto's, de lichten. Alles telt mee voor het gevoel van veiligheid.
  • Vergelijking: Als je een plek veilig vindt, is dat vaak omdat je alles ziet: de strakke stoep, de bomen die schaduw geven, de auto's die netjes geparkeerd staan. De computer leert hier om naar het geheel te kijken.

2. Wat leek het op? (De Resultaten)

De onderzoekers hebben getest welke "student" (computermodel) het beste was voor welk "examen" (toepassing):

• Voor het herkennen van plekken (bijvoorbeeld voor een navigatie-app): De "Onveranderlijke Gevel" student won met stip. Hij kon een straat herkennen in de winter, zomer, bij dag en bij nacht, omdat hij de mensen en auto's gewoon negeerde.
• Voor het voorspellen van welvaart (bijvoorbeeld: is dit een rijke of arme wijk?): De "Buurtgevoel" student won. Hij kon de sfeer van de wijk perfect inschatten door naar de gebouwen en de algemene uitstraling te kijken, zonder zich te storen aan toevallige voorbijgangers.
• Voor het beoordelen van veiligheid (voelt dit als een veilige plek?): De "Alles-in-één" student won. Hij keek naar alles: de bomen, de auto's, de verlichting. Alles draagt bij aan het gevoel van veiligheid.

3. Waarom is dit belangrijk?

Vroeger probeerden computers alles tegelijk te leren, of ze gebruikten simpele foto's van katten en honden (zoals ImageNet) om te leren hoe straten eruitzien. Dat werkt niet goed voor steden. Steden zijn levendige, veranderende organismen.

Deze nieuwe methode is als het geven van een specifieke training aan een student:

• Wil je dat hij gebouwen herkent? Train hem om te negeren wat beweegt.
• Wil je dat hij de sfeer van een wijk voelt? Train hem om de omgeving als één geheel te zien.
• Wil je dat hij veiligheid inschat? Train hem om naar elk detail te kijken.

Conclusie

Kortom: deze paper laat zien dat er niet één "beste" manier is om een computer een stad te laten begrijpen. Het hangt er helemaal van af wat je wilt weten. Door slim te gebruiken hoe foto's veranderen in de tijd en ruimte, kunnen we computers veel slimmer maken in het begrijpen van onze stedelijke wereld. Het is alsof we de computer eindelijk leren om niet alleen te kijken, maar ook echt te begrijpen wat hij ziet.

Technische samenvatting

Probleemstelling

Bestaande methoden voor representatieleren van straatbeelden (street view imagery) hebben moeite om specifiek te coderen wat er in stedelijke omgevingen gebeurt. Traditionele benaderingen, vaak gebaseerd op supervisie of generieke ongesuperviseerde methoden (zoals ImageNet), coderen vaak te veel of te weinig dynamische informatie.

• Het dilemma: Sommige taken vereisen alleen statische informatie (bijv. Visual Place Recognition waarbij verlichting, voetgangers en voertuigen irrelevant zijn), terwijl andere taken juist afhankelijk zijn van dynamische elementen en de algemene sfeer (bijv. sociaaleconomische voorspelling of veiligheidsperceptie).
• De uitdaging: Het is moeilijk om dynamische (voetgangers, verkeer, seizoenen) en statische elementen (gebouwen, wegen) en de daaruit voortvloeiende "sfeer" (ambiance) selectief te coderen zonder handmatige labels, wat vaak onpraktisch en inconsistent is.

Methodologie

De auteurs stellen een nieuw zelftoezichtend leerframework (self-supervised learning) voor dat gebruikmaakt van de unieke spatiotemporele attributen van straatbeelden. Het framework leert drie soorten representaties door contrastieve leerdoelen te definiëren:

1. Temporele Invariantie Representatie (Temporal Invariance):

   • Doel: Leren van statische kenmerken van de gebouwde omgeving door dynamische elementen te filteren.
   • Methode: Het creëren van positieve steekproefparen van beelden op dezelfde locatie maar op verschillende tijdstippen.
   • Aannames: Gebouwen en wegen veranderen niet, terwijl licht, verkeer en vegetatie wel veranderen. Het model leert hierdoor de "temporeel invariante" kenmerken.
   • Toepassing: Ideaal voor taken zoals Visual Place Recognition (VPR).

2. Ruimtelijke Invariantie Representatie (Spatial Invariance):

   • Doel: Leren van de algemene buurt-sfeer (ambiance) en sociaaleconomische context.
   • Methode: Het creëren van positieve steekproefparen van beelden op verschillende locaties binnen dezelfde buurt maar op hetzelfde tijdstip.
   • Aannames: Buurten hebben een consistente architecturale stijl en functie, terwijl specifieke visuele elementen variëren. Het model leert de "ruimtelijk invariante" sfeer.
   • Toepassing: Ideaal voor sociaaleconomische voorspelling.

3. Globale Informatie Representatie:

   • Doel: Het vastleggen van de totale scène-informatie, inclusief dynamische elementen die belangrijk zijn voor menselijke perceptie.
   • Methode: Toepassen van standaard data-augmentatie op hetzelfde beeld (zoals in SimCLR/MoCo).
   • Toepassing: Ideaal voor veiligheidsperceptie.

Het framework gebruikt de InfoNCE-verliesfunctie om de afstand tussen positieve paren te minimaliseren en die tussen negatieve paren te maximaliseren. Er wordt gebruikgemaakt van een Vision Transformer (ViT) als backbone.

Belangrijkste Bijdragen

• Nieuw Framework: Een innovatief zelftoezichtend framework dat spatiotemporele attributen van straatbeelden expliciet benut voor representatieleren.
• Selectieve Codering: Het vermogen om dynamische en statische informatie selectief te coderen afhankelijk van het doel van de downstream-taak, zonder handmatige labels.
• Benchmark: Het biedt een nieuwe benchmark voor stedelijke wetenschap die de bruikbaarheid van visuele data vergroot.
• Analyse: Een diepgaande analyse van waarom bepaalde methoden beter presteren voor specifieke taken, inclusief visualisatie van aandachtspunten (attention maps) en frequentie-analyse.

Resultaten

De methoden werden getest op drie verschillende downstream-taken:

1. Visual Place Recognition (VPR):

   • Het GSV-Temporal model presteerde overduidelijk het beste op meerdere benchmarks (o.a. CrossSeason, Essex, Pitts250k).
   • Het bereikte een recall van 100% op CrossSeason, wat aantoont dat het dynamische storingen (seizoenen, verkeer) succesvol filtert en zich richt op stabiele structuren.

2. Sociaaleconomische Indicator Voorspelling:

   • Het GSV-Spatial model presteerde het beste bij het voorspellen van 18 sociaaleconomische indicatoren (zoals inkomen, gezondheid, criminaliteit) in Los Angeles.
   • Het behaalde een gemiddelde $R^2$ van 0.5888, wat significant hoger is dan modellen getraind op ImageNet (0.5209) of zelf-contrastieve modellen. Dit bevestigt dat het vastleggen van de ruimtelijke sfeer cruciaal is voor deze taken.

3. Veiligheidsperceptie:

   • Het GSV-Self model (standaard contrastief leren) presteerde het beste bij het classificeren van veiligheidsniveaus (88.68% nauwkeurigheid).
   • Dit suggereert dat voor veiligheidsperceptie de aanwezigheid van dynamische elementen (zoals auto's en bomen) en de totale beeldinformatie essentieel is.

Analyse van Kenmerken:

• Aandacht (Attention): Visualisaties tonen dat GSV-Temporal dynamische objecten (zoals auto's) negeert en zich richt op statische structuren, terwijl GSV-Spatial een bredere ruimtelijke context vastlegt.
• Frequentie: GSV-Temporal focust meer op laagfrequente informatie (globale structuur, stratenlay-out), terwijl GSV-Spatial meer hoogfrequente informatie vastlegt (details zoals gevels, vensters, texturen) die de buurtkarakteristiek definiëren.

Betekenis en Conclusie

De studie toont aan dat er geen "one-size-fits-all" oplossing is voor het leren van representaties van stedelijke omgevingen. Door de spatiotemporele aard van straatbeelden te benutten, kunnen specifieke leerstrategieën worden ontworpen die beter aansluiten bij de eisen van de downstream-taak.

• Voor stabiliteit (locatieherkenning) is temporeel contrastief leren nodig.
• Voor context (sociaaleconomische analyse) is ruimtelijk contrastief leren nodig.
• Voor perceptie (veiligheid) is het vastleggen van de volledige scène (inclusief dynamiek) nodig.

Dit werk biedt een fundamentele stap voorwaarts in de toepassing van computer vision in de stedelijke wetenschap, waardoor visuele data effectiever kan worden ingezet voor duurzame ontwikkelingstaken. De code is openbaar beschikbaar gesteld.