AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery
Cette étude démontre que les modèles vision-langage, particulièrement lorsqu'ils sont améliorés par le chaînage de pensée (Chain-of-Thought), peuvent atteindre environ 70 % de précision dans la prédiction des typologies de bâtiments à partir d'images de vues de rue en exploitant la reconnaissance de motifs visuels, bien qu'ils diffèrent des experts humains en s'appuyant moins sur des indices contextuels plus larges et sur des connaissances spécialisées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de comprendre une ville, mais au lieu de parcourir ses rues à pied, vous la regardez à travers une caméra géante et de haute technologie qui voit tout depuis le sol vers le haut. C'est le monde de l'analyse urbaine, un domaine où les scientifiques et les urbanistes tentent de cartographier le fonctionnement des villes, des matériaux de construction jusqu'au nombre d'étages. Pendant longtemps, pour obtenir ces informations, les experts devaient visiter chaque bâtiment, prendre des notes et deviner son usage — un travail lent, coûteux et épuisant. Mais récemment, un nouveau genre de « cerveau » est entré dans le jeu : le Modèle Vision-Langage (VLM). Considérez un VLM comme un robot super intelligent qui a lu presque tous les livres d'Internet et qui a aussi appris à « voir » des images. Il peut regarder la photo d'une maison et vous dire non seulement à quoi elle ressemble, mais aussi de quoi elle est faite, combien elle a d'étages et ce que les gens y font, en combinant ce qu'il voit avec ce qu'il sait du langage. La grande question que tout le monde se pose est la suivante : ce robot peut-il faire le travail aussi bien qu'un expert humain, comme un architecte ou un ingénieur, surtout dans les endroits où les données sont difficiles à trouver ?
Ce document prend cette question et l'emmène dans les rues animées, chaotiques et vibrantes de Jakarta du Nord, en Indonésie, un endroit où les bâtiments sont souvent construits à la main, ajoutés au fil du temps et ne suivent pas toujours les règles officielles. Les chercheurs ont voulu voir si ces robots d'IA pouvaient regarder des photos de vues de rue et deviner correctement la « typologie » (le mot savant pour le type et l'usage) de milliers de bâtiments. Ils ont organisé une compétition amicale entre trois des modèles d'IA les plus célèbres — GPT-4o, Claude 3.5 Sonnet et Gemini 2.0 Flash — et une équipe d'experts humains. Les humains, qui sont des ingénieurs civils et des architectes, ont servi de « référence absolue », fournissant les bonnes réponses basées sur leurs années de formation. Les modèles d'IA ont reçu un ensemble spécial d'instructions, ou « prompts », pour voir si le fait de leur demander de « réfléchir étape par étape » (une technique appelée Chain-of-Thought ou Chaîne de Pensée) les aiderait à obtenir de meilleures notes.
Les résultats étaient un mélange de sommets impressionnants et de quelques erreurs humaines et amusantes. Les modèles d'IA se sont révélés plutôt doués pour deviner les bases. Lorsqu'il s'agissait de compter le nombre d'étages d'un bâtiment, les robots et les humains étaient d'accord 70 % à 80 % du temps. C'est comme si l'IA était très douée pour compter les fenêtres afin de deviner la hauteur. Cependant, lorsqu'il s'agissait de deviner l'usage du bâtiment (comme une boutique, une maison ou une usine), l'accord tombait autour de 60-70 %. L'IA se trompait parfois parce qu'une maison et une petite boutique peuvent se ressembler énormément depuis la rue. L'étude a montré que la méthode de la « Chaîne de Pensée », où l'IA est forcée d'expliquer son raisonnement avant de donner une réponse, rendait les modèles plus stables et fiables, tout comme un élève réussit mieux un examen lorsqu'il montre son raisonnement.
L'une des découvertes les plus intéressantes était la manière dont l'IA et les humains pensaient différemment. L'IA était comme un détective qui ne fait confiance qu'à ce qu'il peut voir avec ses yeux : elle se concentrait fortement sur les éléments physiques tels que les « murs », les « fenêtres », les « matériaux » et la « hauteur ». Les experts humains, quant à eux, étaient comme des habitants chevronnés qui connaissent le quartier. Ils regardaient les mêmes images mais prenaient aussi en compte l'« ambiance » du quartier, l'état du bâtiment et le contexte de la zone. Par exemple, si un bâtiment semble un peu usé mais se trouve dans une zone de marché très fréquentée, un humain pourrait deviner qu'il s'agit d'une boutique, tandis que l'IA pourrait simplement voir des « briques vieilles » et deviner qu'il s'agit d'un entrepôt. Le document suggère que, bien que l'IA ne soit pas encore parfaite, elle peut accomplir environ 70 % du travail des humains, et elle peut le faire à une échelle massive, en examinant 30 000 bâtiments en une fraction du temps.
Les chercheurs concluent que ces outils d'IA ne sont pas encore prêts à remplacer entièrement les experts humains, surtout pour des tâches délicates comme deviner l'usage des bâtiments dans des quartiers informels et désordonnés. Cependant, ils sont des partenaires puissants. Ils peuvent agir comme un « premier passage », triant rapidement des milliers d'images pour donner aux urbanistes une bonne idée de l'aspect de la ville, ce qui est d'une aide précieuse dans les endroits où les données sont rares ou obsolètes. L'étude montre qu'en combinant la capacité de l'IA à repérer des motifs visuels avec l'expertise humaine pour comprendre le contexte, nous pouvons construire une image beaucoup plus claire de nos villes. Il ne s'agit pas de savoir si le robot gagne ; il s'agit de faire en sorte que le robot et l'humain travaillent ensemble pour résoudre l'énigme du monde urbain.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.