La construction d'une maison commence par une promesse : un ensemble de dessins qui indique précisément à un constructeur ce qu'il doit bâtir et quelle quantité de matériaux est nécessaire. Ces plans ne sont pas de simples croquis ; ce sont des instructions complexes où une seule ligne représente un mur, une note implique un type de bois spécifique, et une chaîne de dimensions dicte la longueur d'une poutre. Transformer ces pages en une liste de matériaux — compter chaque montant, chaque feuille de cloison sèche et chaque pied carré de toiture — est une tâche appelée métré (ou « quantity takeoff »). Pendant des décennies, cela a été le domaine d'experts humains qui doivent lire, mesurer et réconcilier des informations éparpillées sur des dizaines de pages, comblant souvent les lacunes avec des connaissances qui n'apparaissent jamais sur le papier lui-même. Une erreur ici n'est pas seulement une erreur de calcul ; elle peut signifier des milliers de dollars de matériaux gaspillés ou un projet qui stagne parce que la mauvaise quantité de béton a été commandée.

Pendant des années, des informaticiens ont tenté d'apprendre aux machines à effectuer ce travail. Les grands modèles de langage, ces puissants systèmes d'intelligence artificielle capables de rédiger des essais et de répondre à des questions, ont été testés sur ces dessins. Ils peuvent lire le texte et comprendre les mots, mais ils peinent avec la réalité visuelle du plan. Ils peuvent voir un mur mais échouer à le mesurer correctement, ou compter une porte apparaissant sur deux pages différentes comme deux portes distinctes. Ils manquent de la compréhension spécifique et ancrée des conventions de construction — comme savoir que les murs sont construits avec des montants espacés à un intervalle précis — que les constructeurs expérimentés portent en eux. Le résultat a été un fossé entre ce que les machines peuvent dire et ce qu'elles peuvent réellement calculer.

Une équipe de chercheurs de Handoff AI Research a introduit un système appelé Handoff-H1, conçu pour combler ce fossé non pas en créant une machine unique et plus intelligente, mais en construisant une équipe d'outils spécialisés travaillant de concert. Leurs travaux, évalués par rapport à un nouveau benchmark de plans résidentiels réels, montrent qu'un système combinant la vision par ordinateur, des logiciels spécialisés et une base de connaissances structurée peut produire des estimations de matériaux qui sont non seulement plus approfondies que celles des meilleurs modèles d'intelligence artificielle actuels, mais qui rivalisent également avec la précision et l'exhaustivité des experts humains.

Le cœur du problème réside dans la manière dont les dessins de construction communiquent. Un plan ne liste pas chaque clou ou chaque montant ; il montre la structure et compte sur le lecteur pour appliquer des règles standards. Si un dessin montre un mur, un estimateur humain sait calculer le nombre de montants en bois en se basant sur un espacement standard, même si le dessin ne précise pas explicitement cet espacement. Cela nécessite de consulter un plan de masse, de mesurer une dimension, de vérifier une note sur une autre page, puis d'appliquer une règle empirique pour arriver à un chiffre final. Ce processus implique trois défis distincts : voir clairement les éléments visuels, raisonner à travers plusieurs pages pour relier les informations connexes, et ancrer les résultats dans les conventions de l'industrie qui ne sont jamais écrites.

Handoff-H1 répond à ces défis en organisant le travail en trois couches. La première couche est un ensemble de modèles de vision par ordinateur dédiés. Contrairement aux lecteurs d'images généraux, ces modèles sont entraînés spécifiquement sur des dessins de construction pour identifier et étiqueter les éléments typés : pièces, murs, portes et fenêtres. Ils agissent comme les yeux du système, récupérant la structure de base à partir des fichiers PDF bruts. La deuxième couche est une fondation de projet persistante, une base de données structurée qui organise ce que les yeux ont vu. Cette fondation maintient l'information dans une hiérarchie qui reflète la manière dont les projets de construction sont réellement bâtis, séparant le travail en différents corps de métier comme la charpente, la plomberie et l'électricité. Crucialement, cette fondation est ancrée dans une base de connaissances de règles et de conventions de construction, garantissant que le système sache, par exemple, qu'un certain type de toit nécessite un calcul spécifique pour la pente qui n'est pas visible sur le dessin plat.

La troisième couche est l'orchestration des agents de vision. Ce sont des travailleurs logiciels qui utilisent les informations de la fondation et les outils fournis par les modèles de vision pour effectuer le comptage et la mesure réels. Ils ne tentent pas de tout faire à la fois. Au lieu de cela, ils se concentrent sur un corps de métier à la fois, utilisant des outils spécialisés pour décomposer des plans complexes en membres individuels, comme décomposer un plan de charpente en chaque montant individuel. Si un agent a un doute, il peut solliciter un outil spécialisé pour compter ou mesurer une région spécifique, plutôt que de deviner. Enfin, une passe de vérification indépendante audite le travail, vérifiant les oublis ou les quantités impossibles avant que la liste finale ne soit produite.

Pour tester ce système, les chercheurs ont créé un benchmark appelé TAKEOFFBENCH-V1. Ils ont rassemblé dix ensembles de plans résidentiels réels et autorisés, et les ont appariés à une liste de matériaux « étalon ». Cet étalon n'a pas été créé par une seule personne, mais est le résultat d'un processus de consensus où plusieurs estimateurs professionnels indépendants ont travaillé sur les mêmes dessins et leurs résultats ont été réconciliés pour créer une vérité unique et vérifiée. Cette approche reconnaît que même les experts humains peuvent être en désaccord sur certaines mesures, de sorte que le benchmark reflète un standard réaliste et de haute qualité plutôt qu'un idéal impossible. Le benchmark comprend plus de deux mille lignes de produits vérifiées, couvrant neuf corps de métiers différents, du béton et de la charpente à la cloison sèche et la toiture.

Lorsque les chercheurs ont lancé le test, les résultats ont été frappants. Ils ont comparé Handoff-H1 à sept des modèles d'intelligence artificielle les plus avancés disponibles, incluant des systèmes à poids ouverts et fermés. Ces modèles recevaient les mêmes fichiers PDF bruts et devaient produire une liste de matériaux. Les meilleurs de ces modèles de pointe ont obtenu un score composite d'environ 61 pour cent. En revanche, Handoff-H1 a atteint un score de 81,6 pour cent. Cet écart d'environ vingt points est significatif, suggérant que l'architecture spécialisée de Handoff-H1 — sa combinaison de vision, de connaissance et d'orchestration — résout des problèmes que les modèles à usage général ne peuvent traiter.

Plus important encore, le système a été comparé directement à des estimateurs professionnels indépendants, les experts humains qui ont créé la vérité de terrain. Lorsque ces humains ont été évalués par rapport au même étalon, ils ont obtenu un score composite de 77,6 pour cent. Handoff-H1 a surpassé la moyenne humaine, atteignant un score plus élevé que les experts dans six des dix ensembles de dessins. Le système y est parvenu en étant plus minutieux ; il a trouvé et compté plus d'éléments que les humains, particulièrement dans des domaines complexes comme la charpente et la toiture où les estimateurs humains omettent souvent des détails ou sautent des périmètres de travaux. Bien que les experts humains aient été légèrement plus précis sur les éléments qu'ils trouvaient, la capacité du système à couvrir plus de terrain a permis d'obtenir une meilleure estimation globale.

L'analyse des résultats a révélé les domaines où le système excelle et là où il fait encore face à des défis. Le système a performé exceptionnellement bien sur les corps de métiers qui nécessitent de dériver des quantités à partir de surfaces et de pentes, comme la toiture et la cloison sèche, où les estimateurs humains peinent souvent à maintenir une cohérence. Il a également très bien performé sur les tâches de comptage comme les appareils de plomberie et les fenêtres. Cependant, le système, tout comme les humains, a trouvé les mesures continues — comme la longueur exacte d'un mur ou la surface d'un toit — comme étant les plus difficiles. Ces tâches nécessitent de résoudre des ambiguïtés dans les dessins, comme déterminer si une ligne de cote inclut l'épaisseur d'un mur, un débat qui peut même exister chez les experts humains. La précision du système sur ces mesures était légèrement inférieure à celle des experts humains, mais sa couverture était bien supérieure, ce qui signifie qu'il a commis moins d'oublis d'éléments au total.

Les chercheurs soulignent que ce succès n'est pas dû à une percée unique de l'intelligence artificielle, mais plutôt à la combinaison soigneuse de différentes capacités. Les modèles à usage général, même les plus avancés, n'ont pas réussi à atteindre le niveau des experts humains ou du système Handoff-H1 lorsqu'ils recevaient le même input brut. Ils avaient tendance à produire des estimations qui semblaient fluides mais manquaient d'ancrage dimensionnel, hallucinant souvent des quantités ou manquant la logique spécifique au métier pour transformer un dessin en une liste de matériaux. Le système Handoff-H1 a réussi car il ne reposait pas sur un seul modèle pour tout faire ; il utilisait une approche structurée qui séparait la vision, la connaissance et le raisonnement.

Ce travail suggère une voie à suivre pour l'intelligence artificielle dans les domaines spécialisés. Il démontre que pour des tâches réelles et complexes, les systèmes les plus efficaces ne sont pas forcément ceux qui possèdent les plus grands modèles de langage, mais ceux qui sont construits avec une compréhension profonde de la structure et des règles du domaine. En combinant la vision par ordinateur avec une base de connaissances organisée et un flux de travail structuré, le système a pu atteindre un niveau de performance qui rivalise avec celui des experts humains. Les chercheurs ont rendu leurs outils d'évaluation publics, permettant à d'autres de tester leurs propres systèmes contre le même benchmark, tout en gardant les données de plans et la vérité de terrain restreintes pour éviter que le système ne se contente de mémoriser les réponses. Cette approche garantit que les progrès futurs seront mesurés par une capacité réelle plutôt que par la capacité de rappel des données d'entraînement.

L'étude conclut que bien que le système ne soit pas parfait, il représente une étape significative vers l'automatisation d'une tâche qui a longtemps été le domaine exclusif des experts humains. Il ne remplace pas le besoin de supervision humaine, mais offre un outil qui peut être plus minutieux et constant qu'un humain travaillant seul. Dans un domaine où une seule erreur peut coûter des milliers de dollars, la capacité de générer une liste de matériaux plus complète et précise à partir d'un ensemble de dessins est une amélioration tangible. La performance du système, surpassant à la fois les meilleurs modèles d'intelligence artificielle générale et la moyenne des estimateurs humains, indique que la combinaison d'une vision spécialisée, d'une connaissance structurée et d'un raisonnement orchestré est une approche puissante pour résoudre des problèmes complexes du monde réel.