Streetscape Analysis with Generative AI (SAGAI): Vision-Language Assessment and Mapping of Urban Scenes

Cet article présente SAGAI, un flux de travail modulaire utilisant des modèles de vision-langage et des données ouvertes pour évaluer et cartographier automatiquement les qualités des rues urbaines sans nécessiter d'entraînement spécifique ni de logiciels propriétaires.

L'essentiel

🌆 SAGAI : Le "Détective Visuel" des Villes

Imaginez que vous voulez évaluer la qualité de vie dans une ville. Traditionnellement, il fallait envoyer des équipes de chercheurs avec des carnets et des mètres rubans pour marcher dans chaque rue, compter les arbres, mesurer les trottoirs et noter la propreté. C'est long, coûteux et impossible à faire partout en même temps.

SAGAI (Streetscape Analysis with Generative Artificial Intelligence) est une nouvelle méthode qui remplace ces équipes par un robot très intelligent et très rapide, capable de "lire" les rues comme un humain, mais à l'échelle d'une ville entière.

Voici comment cela fonctionne, étape par étape, avec des analogies simples :

1. Le Plan de la Ville (Le Squelette) 🗺️

Avant de regarder les rues, il faut savoir où elles sont. SAGAI commence par télécharger une carte numérique gratuite (OpenStreetMap), un peu comme si on prenait le plan du métro.

• L'analogie : C'est comme tracer des points le long des rails du métro. Le robot place un "point de contrôle" tous les 40 mètres sur chaque rue.

2. La Visite Virtuelle (Les Yeux du Robot) 👁️

Une fois les points placés, SAGAI va chercher des photos de ces endroits précis sur Google Street View.

• L'analogie : Imaginez que le robot envoie 4 petits drones invisibles à chaque point pour prendre une photo dans toutes les directions (Nord, Sud, Est, Ouest). Il ne se contente pas de regarder, il "voit" la rue.

3. Le Cerveau Magique (L'IA Générative) 🧠

C'est ici que la magie opère. Au lieu d'utiliser un vieux logiciel qui ne reconnaît que des formes simples (comme un détecteur de voitures), SAGAI utilise un cerveau artificiel moderne (appelé LLaVA) qui comprend le langage humain et les images en même temps.

• L'analogie : C'est comme si vous montriez une photo à un expert en urbanisme très intelligent et que vous lui disiez : "Regarde cette photo. Est-ce que c'est une rue de ville ou de campagne ? Combien de magasins vois-tu ? Et quelle est la largeur du trottoir ?".
• Le robot répond instantanément avec des chiffres précis, sans avoir besoin d'être rééduqué pour chaque nouvelle ville. C'est ce qu'on appelle l'inférence "zéro-shot" : il comprend la consigne du premier coup.

4. La Carte Finale (Le Rapport) 🎨

Le robot répète ce processus des milliers de fois. Ensuite, il rassemble toutes ces petites notes pour créer une grande carte colorée.

• L'analogie : C'est comme faire un pointillisme. Chaque point de couleur représente une note donnée par le robot. Quand on recule, on voit une image claire : les zones très urbaines sont en violet, les zones rurales en jaune, les rues commerçantes en rouge, etc.

---

🧪 Ce que le robot a appris (Les Résultats)

Les chercheurs ont testé ce système dans deux villes très différentes : Nice (en France) et Vienne (en Autriche). Voici ce qu'ils ont découvert :

1. Le détective est excellent pour les grandes idées : Il arrive à distinguer une rue de ville d'une route de campagne avec une précision de 90 %. C'est comme si vous lui demandiez "C'est la ville ou la forêt ?" et qu'il avait raison presque tout le temps.
2. Il est moyen pour compter les objets : Pour compter les devantures de magasins, il fait des erreurs parfois (il peut confondre une affiche publicitaire avec un magasin), mais il donne une bonne idée générale de la vitalité commerciale.
3. Il a du mal avec les mesures précises : Demander la largeur exacte d'un trottoir est difficile pour lui. Il peut confondre une bande d'herbe avec un trottoir ou sous-estimer la largeur. C'est comme si on lui demandait de mesurer un objet avec une règle en caoutchouc : ce n'est pas parfait, mais ça donne une estimation utile.

🚀 Pourquoi c'est révolutionnaire ?

• Gratuit et accessible : N'importe qui peut utiliser cet outil sur un ordinateur standard (via Google Colab), sans avoir besoin de superordinateurs coûteux.
• Flexible : Si demain vous voulez analyser la "sécurité" ou la "propreté" des rues, il suffit de changer la phrase que vous donnez au robot (le "prompt"). Pas besoin de le réapprendre de zéro !
• Rapide : Là où un humain mettrait des mois à analyser une ville, le robot le fait en quelques heures.

En résumé

SAGAI, c'est comme donner à la ville un miroir intelligent. Au lieu de devoir marcher partout pour juger de la beauté ou de la fonctionnalité d'une rue, on laisse l'IA regarder des milliers de photos et nous dire : "Voici où il fait bon marcher, où il y a des commerces, et où les trottoirs sont larges".

C'est un outil puissant pour les urbanistes, les maires et les citoyens qui veulent comprendre leur ville mieux et plus vite, en utilisant l'intelligence artificielle non pas pour remplacer l'humain, mais pour lui donner des super-pouvoirs d'analyse.

Résumé technique

1. Problématique et Contexte

L'évaluation des paysages urbains (streetscapes) est cruciale pour comprendre la marchabilité, la sécurité et la vitalité commerciale des villes. Cependant, les méthodes traditionnelles reposent sur des enquêtes de terrain, des audits manuels ou l'interprétation de photos, qui sont laborieuses, coûteuses et difficiles à mettre à l'échelle.

Les approches existantes basées sur l'IA (réseaux de neurones convolutifs - CNN) nécessitent souvent des ensembles de données étiquetés massifs et un entraînement spécifique à chaque tâche, limitant leur flexibilité. De plus, les modèles géospatiaux actuels se concentrent souvent sur la morphologie « squelettique » (volumes 3D) plutôt que sur la « peau » du paysage urbain (façades, mobilier urbain, propreté, végétation), éléments essentiels pour la perception humaine.

L'objectif de cet article est de combler ce vide en proposant une méthode automatisée, évolutive et ne nécessitant pas d'entraînement spécifique pour évaluer ces qualités visuelles fines à partir d'images de rue.

2. Méthodologie : Le Workflow SAGAI

L'article présente SAGAI (Streetscape Analysis with Generative Artificial Intelligence), un flux de travail modulaire en quatre étapes, entièrement codé en Python et déployable sur Google Colab (version gratuite). Il s'appuie sur des données ouvertes (OpenStreetMap, Google Street View) et des modèles de langage-vision (VLM).

Les quatre modules sont :

1. Générateur de points OSM : Récupère le réseau routier d'une zone définie via OpenStreetMap et génère des points d'échantillonnage le long des rues (avec un espacement et un décalage définis par l'utilisateur).
2. Téléchargeur d'images Street View : Récupère automatiquement les images Google Street View (généralement 4 directions cardinales) pour chaque point généré via l'API Static. Un filtre élimine les images invalides ou les espaces vides.
3. Évaluation des scènes avec LLaVA : Cœur du système. Il utilise le modèle LLaVA v1.6 (avec un backbone Mistral-7B en quantification 4-bit pour une efficacité mémoire).
   • Le modèle fonctionne en inférence Zero-shot (sans entraînement préalable).
   • Il utilise des prompts en langage naturel personnalisables pour extraire des indicateurs structurés (classification, comptage, mesure).
   • Trois tâches par défaut sont implémentées :
     • T1 : Classification binaire (Urbain vs Rural).
     • T2 : Comptage des façades commerciales.
     • T3 : Estimation de la largeur des trottoirs.
4. Agrégation et Cartographie Géospatiale : Agrège les scores numériques aux niveaux « point » et « segment de rue ». Génère des cartes thématiques et des statistiques (moyenne, somme) pour une interprétation cartographique directe.

3. Contributions Clés

• Workflow Modulaire et Open-Source : SAGAI est entièrement open-source (disponible sur GitHub), transparent et ne nécessite pas de matériel spécialisé (fonctionne sur Google Colab gratuit).
• Approche Zero-Shot : Contrairement aux modèles CNN traditionnels, SAGAI n'exige pas d'entraînement spécifique ni de jeux de données étiquetés. La flexibilité est assurée par la modification des prompts en langage naturel.
• Intégration VLM-Géospatial : C'est l'une des premières applications à lier directement l'inférence de modèles de langage-vision génératifs avec des flux de travail géospatiaux reproductibles pour l'analyse urbaine à grande échelle.
• Évaluation de la « Peau » Urbaine : Permet d'automatiser l'analyse d'éléments fins (mobilier, trottoirs, propreté) souvent absents des bases de données géospatiales classiques.

4. Résultats Expérimentaux

L'étude a été validée sur deux cas d'étude contrastés : Nice (France) et Vienne (Autriche), avec une validation manuelle sur un échantillon de 300 images par tâche.

• Classification Urbaine/Rurale (T1) : Performance excellente.
  • Précision globale : ~91,7 %.
  • Le modèle distingue clairement les cœurs urbains denses des zones périphériques ou naturelles.
• Comptage des Façades Commerciales (T2) : Performance modérée.
  • Précision globale : ~64 %.
  • Le modèle détecte bien l'absence ou la présence de commerces, mais confond parfois les panneaux publicitaires, les véhicules ou les structures utilitaires avec des façades commerciales. La précision chute pour les comptes intermédiaires.
• Estimation de la Largeur des Trottoirs (T3) : Performance faible mais informative.
  • Précision globale : ~54 %.
  • Le modèle a du mal avec les nuances fines et la géométrie complexe (ex: confusion entre bandes d'herbe et trottoirs, sous-estimation systématique des largeurs > 2m). Cependant, les tendances spatiales restent observables.

Limitations observées :

• Ambiguïtés visuelles (paysages hybrides) qui trompent aussi les annotateurs humains.
• Manque de contexte pour les choix de côté (quand deux trottoirs sont visibles).
• Couverture d'images manquante dans certaines zones (zones piétonnes, forêts), plus fréquente à Vienne qu'à Nice.

5. Signification et Perspectives

SAGAI représente une avancée majeure pour la recherche urbaine et la planification :

• Accessibilité : Démocratise l'analyse d'images de rue à grande échelle pour n'importe quel chercheur ou praticien, sans besoin de compétences en deep learning avancé ou de GPU puissants.
• Adaptabilité : Peut être réorienté vers n'importe quel thème (sécurité, convivialité, végétation) simplement en changeant le prompt.
• Futur : Les auteurs prévoient d'intégrer l'apprentissage Few-shot (pour calibrer le modèle sur des contextes locaux spécifiques), d'explorer des modèles plus puissants (LLaMA-2, Mixtral) et d'ajouter une dimension temporelle (analyse diachronique) en intégrant d'autres sources d'images (Mapillary).

En conclusion, SAGAI démontre que les modèles de langage-vision génératifs peuvent fournir des indicateurs spatiaux fiables et interprétables pour l'analyse des paysages urbains, comblant le fossé entre l'analyse visuelle qualitative et les données quantitatives géospatiales.