Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications

Résumé technique : Utilisation des images Street View et des LLM visuels pour prédire les valeurs patrimoniales à des fins de soutien à la gouvernance

Énoncé du problème
La mise en œuvre de la directive de l'Union européenne sur la performance énergétique des bâtiments (EPBD) exige que les États membres élaborent des plans nationaux de rénovation des bâtiments d'ici 2026. Ces plans nécessitent une vue d'ensemble complète du parc de bâtiments national, y compris les bâtiments présentant des valeurs patrimoniales, afin de guider les exemptions ou les exigences énergétiques adaptées. En Suède, un obstacle majeur existe : il n'existe pas de registre national exhaustif des bâtiments possédant des valeurs patrimoniales. Les enregistrements existants sont fragmentés, s'appuyant sur des listes officielles au titre de la loi sur le patrimoine historique (couvrant environ 0,15 % du parc) et sur des listes municipales incomplètes au titre de la loi sur la planification et la construction. De plus, les données existantes manquent souvent de fiabilité ou de granularité. Le Conseil national du patrimoine suédois a cherché à utiliser des outils novateurs pour combler ces lacunes de données de manière efficace, en explorant spécifiquement l'utilisation de modèles de langage étendus (LLM) visuels pour évaluer les indicateurs de patrimoine à partir d'images au niveau de la rue à l'échelle nationale.

Méthodologie
L'étude a employé une approche de prompting "zero-shot" utilisant le modèle multimodal d'OpenAI (gpt-4o-2024-08-06) pour analyser les images de vues de rue du parc immobilier suédois.

• Acquisition et traitement des données : L'analyse a débuté par 272 174 certificats de performance énergétique (CPE) liés au registre national des propriétés. Grâce à un traitement géospatial (correspondance des empreintes de bâtiments avec les axes centraux des routes et calcul des lignes de visée), les auteurs ont récupéré 281 018 images Google Street View utilisables représentant 186 038 bâtiments uniques. Après filtrage de la visibilité et de la qualité, 154 710 CPE uniques ont été analysés avec succès.
• Ingénierie de prompt : Au lieu de procéder à un réglage fin (fine-tuning) du modèle, les chercheurs ont utilisé le prompting zero-shot. Le prompt a été conçu sur la base des listes de contrôle officielles du Conseil national du patrimoine suédois et de Boverket pour les relevés oculaires de bâtiments. Le modèle s'est vu attribuer un personnage et l'instruction de produire des données structurées au format JSON, identifiant des caractéristiques de façade spécifiques (ex. : année de construction, nombre d'étages, vitrage, matériaux) et attribuant un score d'« indicateur de patrimoine prédit » (1–100).
• Validation et intégration dans la gouvernance : Pour atténuer les risques d'hallucinations et de biais des LLM, l'étude a intégré un processus de validation par l'humain (human-in-the-loop). Des ateliers d'experts ont été organisés avec des spécialistes du patrimoine du Conseil national du patrimoine suédois et de l'Université d'Uppsala. Un outil de cartographie web a été développé pour visualiser les scores prédits aux côtés des images de façades pour examen par les experts. La décision finale a été d'utiliser la sortie du LLM non pas pour la certification de bâtiments individuels, mais comme un indicateur statistique au niveau du parc de bâtiments pour éclairer la mise en œuvre de l'EPBD.

Résultats clés

• Performance prédictive : Le LLM a démontré des degrés d'exactitude variables. Il a identifié avec succès des monuments bien documentés (ex. : la Turning Torso) et a montré un alignement raisonnable avec les données des certificats de performance énergétique concernant le nombre d'étages. Cependant, il a éprouvé des difficultés avec les prédictions d'année de construction, montrant une tendance à surestimer les âges extrêmes (ex. : prédire des bâtiments vieux de 1000 ans) et à sous-représenter certaines décennies (ex. : les années 1910, 1940).
• Biais et représentativité : L'étude a identifié des biais significatifs dans les résultats du modèle.
  • Biais géographique et socio-économique : Les bâtiments situés à Stockholm et dans les zones aisées (revenu disponible moyen plus élevé) ont reçu des scores d'indicateur de patrimoine nettement plus élevés que des bâtiments similaires dans d'autres régions ou zones à faibles revenus.
  • Biais matériel : Le modèle a attribué des scores de patrimoine plus faibles aux bâtiments en bois, qui sont courants dans les environnements modestes et quotidiens, tout en favorisant les structures en pierre et en brique.
  • Approche conservatrice : Le modèle a fait preuve d'un biais conservateur, attribuant rarement des scores extrêmement élevés (90+). Par conséquent, les chercheurs ont fixé un seuil de 50 pour identifier la « valeur patrimoniale prédite », ce qui n'a capturé qu'un ajout de 1 à 2 % du parc de bâtiments au-delà des catégories officiellement protégées.
• Application dans l'EPBD : Sur la base de la validation par les experts et de la distribution statistique des scores, le Conseil national du patrimoine suédois a adopté les indicateurs dérivés du LLM pour le processus EPBD. La méthode a permis d'inclure 5,0 millions de mètres carrés de surface de plancher chauffée supplémentaire dans la catégorie de considération patrimoniale, comblant ainsi une lacune critique de données pour la planification nationale.

Contributions clés

1. Cadre de gouvernance pour l'IA : L'article fournit un cas d'étude concret sur la manière dont les autorités publiques peuvent intégrer les prédictions de LLM zero-shot dans l'élaboration de politiques. Il démontre un flux de travail où l'IA gère la tâche « ingrate » d'extraction de données à partir de vastes ensembles d'images, tandis que les experts humains conservent la supervision pour la validation et la prise de décision stratégique.
2. Transparence méthodologique : En utilisant des prompts structurés basés sur des listes de contrôle officielles existantes et en exigeant des sorties JSON, les auteurs ont atténué les risques de « sycophantie » (le modèle qui cherche à complaire à l'utilisateur) et ont rendu les résultats plus interprétables et auditables qu'une génération de texte non structurée.
3. Identification des biais : L'étude documente explicitement les biais socio-économiques et géographiques inhérents aux LLM multimodaux actuels lorsqu'ils sont appliqués à l'évaluation du patrimoine, soulignant que ces modèles ont tendance à reproduire les évaluations sociétales existantes plutôt qu'à les réévaluer de manière critique.
4. Évolutivité : La recherche prouve que le prompting zero-shot peut être mis à l'échelle pour analyser des centaines de milliers de bâtiments sans avoir besoin de données d'entraînement coûteuses et spécifiques à une région, offrant une solution rapide, bien qu'imparfaite, pour les environnements où les données sont rares.

Signification et affirmations
L'article affirme que, bien que les prédictions de LLM zero-shot ne puissent remplacer l'évaluation patrimoniale experte ni servir de registre juridique définitif pour des bâtiments individuels, elles offrent un outil précieux et efficace pour l'analyse au niveau du parc de bâtiments. La principale signification réside dans la capacité des autorités à générer un « premier passage » global des indicateurs de patrimoine à travers l'ensemble du parc national de bâtiments, ce qui était auparavant impossible en raison de la fragmentation des données et des contraintes de ressources.

Les auteurs soulignent que la valeur de cette approche ne réside pas dans l'exactitude absolue de chaque prédiction individuelle, mais dans sa capacité à soutenir l'élaboration des plans nationaux de rénovation des bâtiments en identifiant des actifs patrimoniaux potentiels qui resteraient autrement invisibles dans les registres officiels. Cependant, l'article conclut par une mise en garde forte : ces outils doivent être utilisés avec une surveillance critique, car ils reproduisent intrinsèquement des biais concernant la richesse, la localisation et le style architectural. La méthode est présentée comme un mécanisme de soutien à la décision supplémentaire qui réduit la charge de travail des experts du patrimoine, leur permettant de se concentrer sur des tâches stratégiques et des évaluations complexes au cas par cas, plutôt que comme un remplacement du jugement humain dans la gouvernance du patrimoine.