Résumé technique : Les modèles de langage de grande taille peuvent-ils remplacer les évaluateurs humains ? Fiabilité et validité de l'évaluation de la qualité du design urbain

1. Énoncé du problème

L'évaluation de la qualité du design urbain repose traditionnellement sur des observateurs humains formés pour évaluer des attributs environnementaux fins (ex. : enveloppe, transparence, état des façades) à l'aide de listes de contrôle standardisées. Bien que la prolifération de l'imagerie au niveau de la rue géotaguée ait créé de vastes ensembles de données visuelles, la nature laborieuse des systèmes d'évaluation basés sur l'humain limite considérablement leur extensibilité. L'émergence des modèles de langage multimodaux (LLM), capables d'interpréter des entrées visuelles et d'appliquer des rubriques de notation structurées, soulève une question méthodologique fondamentale : Les LLM peuvent-ils remplacer de manière fiable les évaluateurs humains formés dans l'évaluation du design urbain ?

Les lacunes de la recherche actuelle incluent un manque d'évaluation systématique concernant la fiabilité inter-juges des évaluations basées sur l'IA et l'étendue de l'alignement des sorties de l'IA avec les jugements humains. Les approches d'IA existantes se concentrent souvent sur l'extraction de caractéristiques via la vision par ordinateur plutôt que sur l'application des critères d'évaluation contextuels complexes utilisés par les experts humains. Cette étude examine si les LLM peuvent servir de substituts valides et fiables aux évaluateurs humains ou si leur utilité est limitée à des rôles de soutien.

2. Méthodologie

Zone d'étude et échantillonnage

L'étude a été menée à Hwagok-dong, Séoul, un quartier dense de villas de faible hauteur caractérisé par des conditions de construction hétérogènes, des rues étroites et une variation significative de la qualité du paysage urbain.

• Échantillonnage : 40 points d'observation ont été sélectionnés à l'aide d'une approche d'échantillonnage spatial systématique (intervalles de 100 mètres) suivie d'un échantillonnage aléatoire pour assurer une couverture représentative et minimiser le biais de sélection.
• Données : Des images haute résolution au niveau de la rue ont été capturées à chaque point.

Protocole d'évaluation

Trois groupes distincts ont évalué les 40 points d'observation en utilisant une rubrique standardisée identique dérivée de cadres établis (ex. : Ewing & Clemente, 2013) :

1. Évaluateurs humains : Trois observateurs formés ont réalisé des enquêtes de terrain.
2. Évaluateurs LLM : Trois modèles multimodaux (GPT-5.3 Thinking, Gemini 3.5 Flash et Claude Sonnet 4.6) ont été sollicités avec les mêmes instructions standardisées et les mêmes entrées visuelles.

Variables

La qualité du design urbain a été opérationnalisée en deux types de variables :

• Variables continues : Comptages (ex. : enseignes commerciales, lampadaires) et mesures proportionnelles (ex. : rapport fenêtre-mur, couverture arborée, facteur de vue sur le ciel).
• Variables catégorielles : Présence/absence ou types de caractéristiques (ex. : marquages au sol, matériaux de construction, clôtures, caméras de surveillance).

Analyse statistique

L'étude a employé un cadre de fiabilité et de validité à trois volets :

1. Fiabilité intra-groupe :
   • Variables continues : Coefficient de corrélation intraclasse (CCI) utilisant un modèle à deux voies à effets aléatoires pour l'accord absolu [CCI(2,1)].
   • Variables catégorielles : Kappa de Fleiss ($\kappa$) pour quantifier l'accord entre plusieurs évaluateurs.
2. Accord inter-groupes (Humain vs LLM) :
   • Variables continues : Analyse de Bland–Altman pour quantifier le biais systématique et les limites d'accord à 95 % (LOA).
   • Variables catégorielles : Kappa de Fleiss calculé entre le groupe humain et le groupe LLM.
3. Validité de construit :
   • Des modèles de régression par les moindres carrés ordinaires (OLS) ont été estimés pour prédire le niveau de confort perçu (variable dépendante) en utilisant les variables de design évaluées séparément par les humains et par les LLM. Cela a permis de tester si les variables évaluées par l'IA conservaient des associations significatives avec les résultats humains.

3. Résultats clés

3.1 Fiabilité inter-juges

• Évaluateurs humains : Ont démontré une fiabilité généralement forte pour les caractéristiques visuellement explicites et dénombrables (ex. : enseignes commerciales, installations de vente au détail, barres de sécurité des fenêtres ; CCI > 0,6). La fiabilité a chuté pour les variables nécessitant une estimation proportionnelle ou la détection de détails de petite taille (ex. : stationnement illégal, bancs).
• Évaluateurs LLM : Ont montré un schéma de performance sélectif.
  • Haute fiabilité : Les LLM ont performé de manière comparable aux humains pour les attributs structurellement stables et visuellement délimités (ex. : matériaux de construction, présence de commerces, barres de sécurité des fenêtres).
  • Faible fiabilité : La fiabilité a chuté considérablement pour les variables nécessitant une estimation proportionnelle (ex. : couverture arborée, facteur de vue sur le ciel) ou la détection d'éléments de petite échelle partiellement obstrués (ex. : lampadaires, installations de sécurité).
• Comparaison : Les évaluateurs humains étaient plus cohérents que les LLM pour la plupart des variables, particulièrement celles nécessitant une interprétation contextuelle.

3.2 Accord Humain-LLM

• Biais systématique : L'analyse de Bland–Altman a révélé que les LLM attribuaient systématiquement des valeurs plus faibles que les humains pour la plupart des variables continues.
• Limites d'accord : Des limites d'accord larges ont été observées pour les variables impliquant un jugement proportionnel (ex. : rapport fenêtre-mur, facteur de vue sur le ciel, couverture arborée), indiquant que les évaluations humaines et de l'IA ne sont pas interchangeables pour ces mesures.
• Désaccord catégoriel : Le kappa de Fleiss inter-groupes était généralement modeste. Bien que l'accord soit substantiel pour l'« enseigne excessive » ($\kappa = 0,670$), il était faible ou négatif pour les éléments de petite échelle comme les poubelles, les caméras de surveillance et les câbles/poteaux. Dans certains cas (ex. : poubelles), les classifications humaines et LLM étaient systématiquement différentes plutôt que simplement incohérentes.

3.3 Validité de construit

• Ajustement du modèle : Les modèles évalués par les humains et par les LLM expliquaient une proportion similaire de variance du confort (43,0 % contre 42,6 %), suggérant que les LLM capturent l'information environnementale globale.
• Divergence au niveau des variables :
  • Associations cohérentes : La couverture arborée, le rapport fenêtre-mur et la présence de clôtures ont montré des associations directionnelles cohérentes avec le confort dans les deux modèles.
  • Associations divergentes : Des variables telles que le stationnement en pilotis, les marquages au sol et les matériaux de construction ont montré des différences significatives de direction ou de signification entre les deux modèles. Par exemple, le stationnement en pilotis était positivement associé au confort dans le modèle humain mais ne l'était pas dans le modèle LLM.

4. Principales contributions

1. Différenciation entre fiabilité, accord et validité : L'étude distingue la cohérence interne (fiabilité) de l'équivalence inter-groupes (accord). Elle démontre qu'un système d'IA peut être cohérent en interne (fiable) tout en échouant à reproduire les jugements humains (faible accord), remettant en question l'hypothèse selon laquelle une haute fiabilité implique une substituabilité.
2. Performance spécifique aux éléments : La recherche identifie que la performance des LLM est spécifique aux éléments plutôt qu'universelle. Les LLM sont efficaces pour les attributs visuellement explicites et architecturalement lisibles, mais peinent avec les qualités nécessitant une estimation proportionnelle, une inférence contextuelle ou la détection de détails fins.
3. Cadre méthodologique : L'étude fournit un cadre statistique rigoureux (combinant le CCI, le kappa de Fleiss et l'analyse de Bland–Altman) pour évaluer l'IA en tant qu'instrument de mesure en planification urbaine, allant au-delà de la simple précision prédictive pour évaluer l'interchangeabilité de la mesure.

5. Signification et affirmations

L'article conclut que les LLM multimodaux ne sont pas encore des substituts généraux aux évaluateurs humains formés dans l'évaluation de la qualité du design urbain.

• Adéquation sélective : Les LLM sont mieux adaptés en tant qu'outils de mesure sélectifs pour des classes spécifiques de variables visuellement explicites et structurellement stables. Ils ne sont pas encore capables de répliquer pleinement les jugements nuancés et contextuels requis pour évaluer des qualités telles que l'ouverture, la verdure et les conditions d'entretien dans des environnements complexes de faible hauteur.
• Flux de travail hybride : Les auteurs proposent un flux de travail hybride où l'IA gère les variables visuellement explicites pour intensifier l'évaluation, tandis que les évaluateurs humains restent essentiels pour les caractéristiques sensibles au contexte, proportionnelles ou de faible fréquence.
• Affirmations modérées sur la validité : Bien que les LLM préservent certaines associations significatives avec le bien-être humain (notamment pour des variables comme la couverture arborée et l'enveloppe), ils ne reproduisent pas l'ensemble des relations observées dans les mesures évaluées par l'humain. L'étude affirme que l'IA doit être considérée comme un outil complémentaire et de filtrage plutôt que comme un évaluateur pleinement autonome, particulièrement dans les environnements résidentiels denses où les indices environnementaux subtils sont critiques.

L'étude souligne que le rôle futur des LLM dans le design urbain sera probablement complémentaire, sélectif et hybride, plutôt qu'un remplacement complet de l'expertise humaine.