Decoding Tourist Perception in Historic Urban Quarters with Multimodal Social Media Data: An AI-Based Framework and Evidence from Shanghai

Cette étude propose un cadre basé sur l'intelligence artificielle et des données multimodales issues des réseaux sociaux pour analyser les perceptions touristiques dans les quartiers historiques de Shanghai, révélant ainsi des écarts entre la réalité urbaine et son image partagée afin d'éclairer la gestion du patrimoine et la conception urbaine.

L'essentiel

Imaginez que vous êtes un chef cuisinier qui veut savoir si ses plats plaisent vraiment à ses clients. Traditionnellement, il leur demande de remplir un questionnaire après le repas. C'est utile, mais lent et parfois biaisé (les clients sont fatigués ou trop polis).

Dans cet article, les chercheurs proposent une nouvelle recette : utiliser l'intelligence artificielle pour "lire" ce que les touristes pensent vraiment de vieux quartiers historiques, comme ceux de Shanghai, en regardant simplement leurs photos et leurs commentaires sur les réseaux sociaux.

Voici comment ils ont fait, expliqué simplement avec des images :

1. Le Détective des Photos (Ce qu'ils regardent)

Les chercheurs ont pris des milliers de photos postées par des touristes sur une application chinoise populaire (comme notre TripAdvisor ou Instagram).

• L'analogie : Imaginez que vous avez un détective robotique qui regarde chaque photo et surligne tout ce qui attire l'œil.
• Ce qu'ils ont trouvé : Le robot a remarqué que les touristes adorent photographier les bâtiments anciens, les arbres et les œuvres d'art. Par contre, ils filment rarement les poubelles ou les vendeurs de rue, même s'ils sont là. C'est comme si le détective disait : "Regardez, les gens ne voient que la beauté, ils ignorent le désordre."

2. Le Magicien des Couleurs (La réalité vs. L'image)

C'est la partie la plus fascinante. Les chercheurs ont comparé les couleurs des photos des touristes avec des photos réelles de la rue (prises par des caméras fixes, sans filtre).

• L'analogie : C'est comme comparer une photo de vacances retouchée avec des filtres "cool" et bleutés, avec une photo brute prise par un ami qui n'a pas de filtre.
• Ce qu'ils ont découvert : Les photos des touristes sont souvent plus froides (plus de bleus, de verts, de tons vifs) que la réalité. Les murs réels sont souvent plus chauds (ocre, beige, orange).
• Le message : Les touristes ne montrent pas seulement ce qui est là, ils montrent comment ils aimeraient que ce soit. Ils "peignent" la ville avec leurs filtres pour qu'elle ressemble à un rêve, pas à une réalité brute. Il y a un écart entre la réalité du quartier et l'image qu'ils en projettent.

3. Le Traducteur d'Émotions (Ce qu'ils disent)

Enfin, ils ont analysé les textes des commentaires. Au lieu de juste dire "c'est bien" ou "c'est mal", leur IA a appris à trier les émotions en quatre catégories précises :

1. Les activités : "Est-ce qu'il y a quelque chose à faire ?"
2. Le décor : "Est-ce que le bâtiment est beau ?"
3. Les services : "Y a-t-il des toilettes ? Est-ce qu'on peut s'asseoir ?"
4. Les boutiques : "Est-ce que les prix sont justes ? Est-ce que c'est trop commercial ?"

• L'analogie : Imaginez un chef qui ne demande pas juste "C'était bon ?", mais qui sépare les critiques : "La sauce était bonne, mais le service était lent et les prix trop élevés."
• Ce qu'ils ont trouvé : On peut aimer le décor (les vieux bâtiments) mais détester les services (files d'attente pour les toilettes) ou la commercialisation excessive (trop de boutiques de souvenirs).

Pourquoi est-ce utile ?

Avant, les urbanistes devaient deviner ce qui fonctionnait ou faire des enquêtes longues et coûteuses. Maintenant, avec cette méthode, ils peuvent :

• Savoir exactement quels éléments du quartier attirent l'œil (pour les mettre en valeur).
• Repérer où il y a un décalage entre l'image de marque du quartier et la réalité (pour ajuster l'éclairage ou la rénovation).
• Identifier les points faibles précis (comme les toilettes ou les prix) pour améliorer l'expérience des visiteurs sans gâcher l'histoire du lieu.

En résumé :
Les chercheurs ont créé un outil qui permet de comprendre la "mémoire" d'un quartier à travers les yeux de ses visiteurs. C'est comme si on donnait aux architectes un miroir magique qui leur montre non seulement à quoi ressemble la ville, mais aussi comment les gens la ressentent et comment ils la rêvent. Cela aide à créer des villes historiques qui restent vivantes pour les habitants tout en restant magiques pour les touristes.

Résumé technique

1. Problématique et Contexte

Les quartiers urbains historiques sont des espaces où se concentrent le patrimoine tangible et intangible, mais qui subissent une tension croissante entre la préservation du caractère historique et les exigences du tourisme et de la consommation de style de vie. Les urbanistes manquent souvent de preuves évolutives et scalables pour comprendre ce que les visiteurs remarquent, préfèrent ou critiquent dans ces environnements.

Les études traditionnelles (enquêtes, entretiens) souffrent de limites d'échelle, de délais de rapport et de subjectivité. Bien que les données générées par les utilisateurs (UGC) sur les réseaux sociaux offrent une opportunité d'analyse à grande échelle, la littérature actuelle présente trois lacunes majeures :

1. Isolement des données : L'analyse des images et des textes se fait souvent séparément, empêchant de relier ce qui est visuellement mis en avant à ce qui est loué ou critiqué dans les récits.
2. Manque de lien sémantique : Les études computationnelles sur l'imagerie urbaine se concentrent sur des métriques formelles (harmonie des façades) sans clarifier leur lien avec les jugements d'évaluation dans un contexte patrimonial.
3. Spécificité des quartiers historiques : Les quartiers historiques, en tant qu'espaces culturels délimités, sont moins étudiés que les destinations touristiques générales, avec un manque de compréhension des mécanismes d'attente esthétique et de satisfaction.

L'objectif est donc de combler ces écarts en proposant un cadre analytique intégré reliant l'attention, la représentation et l'évaluation des touristes.

2. Méthodologie : Un Cadre Multimodal Piloté par l'IA

L'étude propose un cadre basé sur l'intelligence artificielle appliqué à 12 quartiers historiques et culturels désignés à Shanghai. Le processus se déroule en trois modules interconnectés :

A. Collecte et Préparation des Données

• Sources : Données extraites de l'application chinoise Dianping (photos géolocalisées et avis textuels) et images de rue (Street View) de Baidu Maps servant de référence réaliste.
• Volume : 32 949 avis uniques et 20 968 photos (échantillon équilibré) collectés entre 2018 et 2024.
• Prétraitement : Nettoyage des doublons, sélection d'une photo représentative par avis, et alignement temporel avec les images de rue.

B. Module 1 : Détection de l'Attention Visuelle (Segmentation Sémantique)

• Modèle : Un modèle de segmentation sémantique DeepLabV3+ avec un backbone MobileNetV2 a été entraîné et affiné (fine-tuning).
• Données d'entraînement : Un jeu de données annoté manuellement (aidé par le modèle SAM - Segment Anything) comprenant 1 000 photos initiales, étendu à 22 catégories visuelles pertinentes (bâtiments, arbres, œuvres d'art, humains, etc.).
• Stratégie : Utilisation de poids de classe pour gérer le déséquilibre des données et une stratégie d'entraînement en deux étapes (gel/dégel des couches) pour optimiser la mémoire GPU.
• Objectif : Quantifier les éléments visuels mis en avant (foreground) dans les photos partagées par les touristes.

C. Module 2 : Analyse de l'Esthétique et des Couleurs (Comparaison Perception-Réalité)

• Extraction : Transformation des images de l'espace RGB vers HSV, correction de la balance des blancs (algorithme Gray World) et clustering K-means pour identifier les couleurs dominantes.
• Classification : Les couleurs sont catégorisées selon le système de couleurs chinois.
• Comparaison : Analyse de la divergence de Kolmogorov-Smirnov (K-S) entre la distribution des couleurs des photos touristiques et celle des images de rue (réalité sur site).
• Objectif : Identifier les écarts entre la représentation esthétique sur les réseaux sociaux et la réalité physique des façades.

D. Module 3 : Évaluation de la Satisfaction (Analyse de Sentiment Multi-tâches)

• Modèle : Un modèle BERT (Bidirectional Encoder Representations from Transformers) multi-tâches entraîné sur les textes d'avis.
• Dimensions : L'analyse est structurée autour de quatre dimensions clés de l'expérience touristique :
  1. Activités touristiques.
  2. Environnement bâti (qualité du paysage urbain).
  3. Installations de service (confort, accessibilité).
  4. Formats commerciaux (offre de consommation).
• Annotation : Utilisation de l'API DeepSeek pour générer automatiquement des étiquettes de sentiment (-1 : insatisfait, 0 : neutre, 1 : satisfait) pour chaque dimension.

3. Résultats Clés

A. Extraction des Points Focaux Visuels

La segmentation sémantique révèle que les touristes mettent en avant des éléments spécifiques selon le quartier :

• Zones de loisirs/commerciales : Dominance de la verdure et des bâtiments historiques (ex: Hengshan Road, Xinhua Road).
• Zones commerciales denses : Présence accrue de véhicules dans le champ visuel (ex: Wukang Road), souvent capturés depuis la rue opposée.
• Zones à fort trafic piétonnier : Les humains deviennent le deuxième élément visuel dominant après les bâtiments (ex: The Bund, Wujiang Road).
• Quartiers artistiques : Proportion élevée d'œuvres d'art (ex: Tian'ai Road avec 12,81 % d'œuvres d'art dues à un mur de graffiti).
• Validation : Les résultats statistiques correspondent étroitement aux caractéristiques spatiales réelles des quartiers, validant la capacité du modèle à extraire des éléments visuels pertinents.

B. Écart entre Perception et Réalité (Couleurs)

• Biais de représentation : Il existe un décalage systématique entre les photos des réseaux sociaux et les images de rue. Les photos touristiques présentent une prédominance de tons froids (bleus, verts), tandis que les images de rue montrent davantage de tons chauds (beige, ocre, orange-jaune).
• Causes probables : Ce biais résulte d'une combinaison de facteurs techniques (compression, traitement photo par appareil, filtres) et comportementaux (curaturation pour correspondre aux esthétiques de plateforme).
• Variabilité spatiale : Les quartiers d'un même bloc historique (ex: Huaihai Road et Fuxing Road) peuvent avoir des distributions de couleurs très différentes, reflétant leurs fonctions (espaces clos vs promenades ouvertes).

C. Évaluation de la Satisfaction par Dimension

Le modèle BERT multi-tâches a démontré une forte capacité à prédire le sentiment avec une cohérence humaine :

• Activités : Souvent bien notées si l'événement est unique (ex: festival des lanternes), mais critiquées si l'expérience est jugée "ennuyeuse" ou trop commerciale.
• Environnement bâti : Généralement positif, sauf en cas de surpopulation ou d'espace jugé trop restreint.
• Installations de service : Source majeure d'insatisfaction (files d'attente pour les toilettes, manque de sièges).
• Formats commerciaux : Critiqués lorsque perçus comme une "trop grande commercialisation" ou des prix excessifs (ex: snacks dans le Jardin Yu).

4. Contributions Principales

1. Cadre Multimodal Intégré : Développement d'une chaîne analytique unique reliant l'attention visuelle (quoi on regarde), la représentation (comment on le montre) et l'évaluation (ce qu'on en pense).
2. Taxonomie Sémantique Appliquée : Création d'un pipeline de segmentation adapté aux images touristiques dans des environnements de rues historiques, permettant une mesure fine des éléments visuels.
3. Comparaison Perception-Réalité Chromatique : Introduction d'une méthode pour diagnostiquer les écarts esthétiques entre les photos de médias sociaux et les façades réelles, offrant un indicateur interprétable pour la gestion du patrimoine.
4. Indicateurs Actionnables : Transformation de données non structurées en indicateurs de planification spécifiques (activités, services, commerce) directement utilisables par les urbanistes.

5. Signification et Implications

Cette étude démontre que l'analyse des traces numériques massives, lorsqu'elle est couplée à l'IA, peut fournir des preuves scientifiques pour la gestion des quartiers historiques.

• Pour la planification urbaine : Les écarts de couleur signalent où les rénovations ou l'éclairage ne correspondent pas aux attentes des visiteurs. Les métriques de verdure et de densité humaine informent sur la vivabilité.
• Pour la gestion du patrimoine : La satisfaction dépend non seulement de l'architecture, mais aussi de l'équilibre entre l'usage quotidien et le tourisme, ainsi que de la qualité des services (toilettes, assises).
• Limites et Perspectives : L'étude reconnaît les biais de sélection des utilisateurs de réseaux sociaux et les variations techniques des appareils photo. Les travaux futurs devront intégrer des données de mobilité, affiner les modèles de segmentation pour les scènes complexes et valider le cadre dans d'autres contextes culturels.

En conclusion, ce cadre offre une approche interprétable et transférable pour décoder la perception touristique, transformant les données numériques en preuves concrètes pour soutenir à la fois la signification culturelle et la vivabilité quotidienne des quartiers historiques.