Decoding Tourist Perception in Historic Urban Quarters with Multimodal Social Media Data: An AI-Based Framework and Evidence from Shanghai

Dit onderzoek presenteert een AI-gestuurde, multimodale framework om de perceptie van toeristen in historische stadsdelen van Shanghai te decoderen door visuele aandacht, kleurenschema's en tevredenheid te analyseren, waardoor een waardevol inzicht wordt verkregen in de kloof tussen de waargenomen en de fysieke werkelijkheid voor stadsplanning en erfgoedbeheer.

De kern

De Reis van de Toerist: Hoe AI de Geheime Taal van Stadsfoto's Vertaalt

Stel je voor dat je door een oud, historisch stadsdeel loopt, zoals de oude straten van Shanghai. Je ziet prachtige gebouwen, hoort geuren van straatvoedsel en voelt de sfeer. Maar wat zie jij precies? En wat zien de duizenden toeristen die foto's maken en reviews schrijven?

Deze studie is als een detectiveverhaal, maar dan met kunstmatige intelligentie (AI) als de detective. De onderzoekers wilden weten: Wat valt toeristen echt op? Wat vinden ze mooi? En waar lopen ze tegen aan?

Hier is hoe ze dat deden, vertaald in een simpel verhaal:

1. De Drie Stappen van de "Toeristen-Scanner"

De onderzoekers hebben een slim systeem gebouwd dat werkt als een drie-kamerhuis voor informatie:

• Kamer 1: De Oog-Scanner (Wat zie je?)
  Stel je voor dat je een foto van een drukke straat bekijkt. Waar kijkt je oog eerst naartoe? Naar een oud gebouw? Naar een boom? Of naar een groep mensen?
  De AI fungeert hier als een super-scherpe bril. Hij kijkt naar duizenden foto's die toeristen hebben gemaakt en telt precies hoeveel pixels er naar gebouwen, bomen, mensen of reclames kijken.

  • Het resultaat: Ze ontdekten dat toeristen in Shanghai vooral foto's maken van historische gebouwen en bomen. Maar in drukke gebieden zoals de Bund, staan mensen centraal. In artistieke buurten zie je veel kunstwerken. Het is alsof de AI een warmtekaart maakt van waar de aandacht van de menigte naartoe gaat.

• Kamer 2: De Kleur-Filter (Is het echt zo mooi?)
  Weet je dat foto's op Instagram er vaak anders uitzien dan in het echt? Soms zijn ze blauwer, helderder of "koeler" dan de werkelijkheid.
  De onderzoekers namen de foto's van toeristen en vergeleken ze met straatfoto's van Google Maps (die de echte, onbewerkte wereld tonen). Ze keken naar de kleuren.

  • Het resultaat: Ze ontdekten een kloof tussen droom en werkelijkheid. Toeristen posten foto's met veel koele, blauwe en grijze tinten (alsof ze een "filmlook" hebben). Maar de echte gebouwen in Shanghai zijn vaak warmer (bruin, oranje, geel). De toeristen "filteren" de stad dus onbewust om hem er mooier uit te laten zien dan hij misschien is. Het is alsof je een oude, warme bakkerij fotografeert, maar de foto eruit laat zien als een koud, modern museum.

• Kamer 3: De Stemmen-Analyzer (Wat vinden ze?)
  Naast foto's schrijven mensen ook reviews. De AI leest deze duizenden teksten en sorteert ze in vier categorieën:

  1. Activiteiten: Is er iets te doen?
  2. De Omgeving: Is het gebouw mooi?
  3. Diensten: Zijn er toiletten, bankjes of goede borden?
  4. Winkels: Is het te commercieel of zijn de prijzen te hoog?
  • Het resultaat: De AI kan precies zeggen: "Mensen vinden de gebouwen prachtig (Kamer 2), maar ze zijn boos omdat de toiletten te lang moeten wachten (Kamer 3) of omdat de snacks te duur zijn (Kamer 4)."

2. Waarom is dit belangrijk? (De "Stadsbouwer" in de Spiegel)

Vroeger moesten stadsplanners wachten op enquêtes of wachten tot mensen zich beklaagden. Nu hebben ze een spiegel die direct laat zien wat er misgaat.

• Voor de Stad: Als ze zien dat toeristen foto's maken van groene plekken, maar de stad zelf kaal is, weten ze: "We moeten meer bomen planten!"
• Voor de Toerist: Als ze zien dat mensen boos zijn over de winkels, kunnen ze de prijzen reguleren of minder toeristische valstrikken maken.
• Voor de Realiteit: Het laat zien dat wat we online zien (de gekleurde, gefilterde versie) niet altijd overeenkomt met wat er echt gebeurt.

Samenvatting in één zin

Deze studie gebruikt slimme computers om te begrijpen wat toeristen zien, hoe ze de stad "verfraaien" op hun foto's, en wat ze echt vinden van hun bezoek, zodat steden beter kunnen worden ingericht voor zowel de bewoners als de bezoekers.

Het is als het hebben van een magische vertaler die de stille signalen van miljoenen foto's en teksten omzet in een duidelijk adviesboek voor hoe we onze historische steden kunnen verbeteren.

Technische samenvatting

Probleemstelling

Historische stadsdelen worden steeds meer gevormd door toerisme en levensstijlconsumptie, maar stadsplanners ontberen vaak schaalbaar bewijsmateriaal over wat bezoekers opmerken, prefereren en bekritiseren in deze omgevingen. Bestaande studies over toeristische ervaring in historische contexten leunen vaak op enquêtes en interviews, die beperkt zijn in schaalbaarheid en last hebben van subjectiviteit. Hoewel er veel gebruik wordt gemaakt van door gebruikers gegenereerde content (UGC) zoals foto's en reviews, zijn deze analyses vaak gefragmenteerd: visuele inhoud en teksten worden apart bestudeerd, en er is een gebrek aan integratie tussen wat visueel wordt gefocust, hoe dit wordt gerepresenteerd (in vergelijking met de realiteit) en hoe de ervaring wordt beoordeeld. Er is een behoefte aan een raamwerk dat deze drie fasen (aandacht, representatie en beoordeling) koppelt om de kloof tussen perceptie en realiteit in historische stadsdelen te diagnosticeren.

Methodologie

De auteurs presenteren een AI-gedreven, multimodaal raamwerk dat is getest op 12 historische en culturele blokken in Shanghai (o.a. The Bund, Yuyuan Road, Wukang Road). Het proces omvat drie hoofdmodules:

1. Data Verzameling en Voorbereiding:

   • Bronnen: Geotagged foto's en reviewteksten zijn verzameld via de Chinese app Dianping (periode: 2018-2024), aangevuld met straatbeeldfoto's van Baidu Maps als realiteits-baseline.
   • Dataset: Na filtering en balansering resulteerde dit in 20.968 foto's en 32.949 unieke reviews.
   • Semantische Segmentatie Dataset: Een dataset van 1.000 handmatig gelabelde foto's werd gebruikt om een model te trainen, waarbij de Segment Anything Model (SAM) als hulpmiddel diende.

2. Module 1: Visuele Aandacht (Semantische Segmentatie):

   • Model: Een DeepLabV3+ model met een MobileNetV2 backbone werd getraind om visuele elementen in toeristenfoto's te kwantificeren.
   • Taxonomie: De oorspronkelijke 26 categorieën werden gereduceerd tot 22 relevante categorieën (bijv. gebouwen, bomen, kunstwerken, mensen).
   • Techniek: Om klasse-ongelijkheid aan te pakken, werden class-weights toegepast in de loss-functie. Het model genereerde statistieken over pixelverhoudingen per categorie.

3. Module 2: Esthetische Voorkeur (Kleuranalyse):

   • Verwerking: Afbeeldingen werden omgezet van RGB naar HSV-kleurruimte en witbalanscorrectie (Gray World algoritme) werd toegepast.
   • Kleurextractie: K-means clustering werd gebruikt om de top-5 dominante kleuren te extraheren.
   • Vergelijking: Kleuren werden geclassificeerd volgens het Chinese kleursysteem. De Kolmogorov-Smirnov (K-S) divergentie werd gebruikt om de kleurverdeling tussen toeristenfoto's en straatbeeld-baselines te vergelijken, waardoor een "perceptie-realiteit" kloof kon worden gemeten.

4. Module 3: Tevredenheidsbeoordeling (Sentimentanalyse):

   • Dimensies: De analyse is opgedeeld in vier dimensies: Toeristische Activiteiten, Gebouwde Omgeving, Servicevoorzieningen en Commerciële Aanbiedingen.
   • Model: Een multi-task BERT model (BERT-base-Chinese) werd getraind om sentiment (negatief, neutraal, positief) per dimensie te voorspellen.
   • Validatie: De resultaten werden vergeleken met regelgebaseerde methoden en handmatige interpretaties om de nauwkeurigheid te verifiëren.

Belangrijkste Bijdragen

1. Geïntegreerd Multimodaal Raamwerk: Het artikel introduceert een raamwerk dat visuele aandacht, representatie en beoordeling expliciet koppelt, waardoor planners kunnen begrijpen hoe visuele elementen en gekozen kleurenschema's relateert aan narratieve feedback.
2. Semantische Taxonomie voor Historische Straten: Er is een specifieke taxonomie en een segmentatie-pijplijn ontwikkeld die is afgestemd op toeristische foto's in historische straatomgevingen, wat fijnmazige metingen mogelijk maakt.
3. Perceptie-Realiteit Vergelijking: De studie introduceert een methode om de kleurcompositie van sociale media-foto's te vergelijken met straatbeeld-baselines, wat een interpreteerbare manier biedt om esthetische mismatches te diagnosticeren en te relateren aan specifieke tevredenheidsniveaus.

Resultaten

• Visuele Focus: De semantische segmentatie toonde aan dat gebouwen (19,12%) en bomen (10,80%) de meest gefocuste elementen zijn. Gebieden met een sterke culturele identiteit (zoals Tian'ai Road) tonen een hoger aandeel kunstwerken, terwijl drukke commerciële zones meer voertuigen en mensen tonen.
• Kleurenschema en Aandacht: Er is een systematische afwijking gevonden tussen toeristenfoto's en de werkelijke straatomgeving. Toeristenfoto's vertonen een oververtegenwoordiging van koelere tinten (blauw, groen), terwijl de straatbeeld-baselines warmer zijn (oranje, geel, beige). Dit suggereert dat toeristen foto's cureren om een specifieke, vaak koelere en "aangename" sfeer te projecteren, wat wijst op een perceptie-realiteit kloof.
• Tevredenheid: Het multi-task BERT-model slaagde erin om sentiment nauwkeurig te koppelen aan de vier dimensies.
  • Positief: Vaak gekoppeld aan specifieke activiteiten (bijv. lampionnenfeesten) en de algemene sfeer van de gebouwde omgeving.
  • Negatief: Vaak gericht op overbevolking, tekortkomingen in servicevoorzieningen (bijv. lange rijen voor toiletten) en overmatige commercialisering of hoge prijzen.
  • De analyse toonde aan dat zelfs als de gebouwde omgeving positief wordt beoordeeld, de tevredenheid kan dalen door service- of commerciële factoren.

Betekenis en Conclusie

De studie biedt een interpreteerbare en overdraagbare methode voor erfgoedbeheer en stadsplanning. Door de kloof tussen wat toeristen zien, hoe ze het presenteren en wat ze erover zeggen, kunnen planners gerichte interventies doen:

• Stadsontwerp: Het gebruik van pixel-metriek voor groen en visuele focus kan helpen bij het onderhoud van straten en het vergroten van leefbaarheid.
• Erfgoedbeheer: De waargenomen kleurkloof suggereert dat gevelrenovaties of verlichting mogelijk moeten worden aangepast om te voldoen aan de esthetische verwachtingen van bezoekers, zonder de authenticiteit te verliezen.
• Beleid: De dimensiespecifieke sentimentanalyse helpt bij het prioriteren van verbeteringen, zoals het aanpassen van commerciële aanbiedingen om overcommercialisering te voorkomen of het verbeteren van basisvoorzieningen.

Het raamwerk demonstreert hoe AI-technieken kunnen worden ingebed in theorie-gedreven analyses van stedelijke ervaringen, waardoor grote hoeveelheden digitale sporen worden omgezet in bruikbaar bewijsmateriaal voor het behoud van culturele betekenis en dagelijkse leefbaarheid in historische stadsdelen.