Construir una casa comienza con una promesa: un conjunto de dibujos que le dice a un constructor exactamente qué construir y cuánto material se necesita. Estos planos no son meros bocetos; son instrucciones complejas donde una sola línea representa una pared, una nota implica un tipo específico de madera y una cadena de dimensiones dicta la longitud de una viga. Convertir estas páginas en una lista de materiales —contando cada montante, cada hoja de paneles de yeso y cada pie cuadrado de techado— es una tarea conocida como un cómputo de cantidades (quantity takeoff). Durante décadas, esto ha sido el dominio de expertos humanos que deben leer, medir y reconciliar información dispersa en docenas de páginas, a menudo llenando los vacíos con conocimientos que nunca aparecen en el papel mismo. Un error aquí no es solo un error matemático; puede significar miles de dólares en materiales desperdiciados o un proyecto que se detiene porque se ordenó la cantidad incorrecta de concreto.

Durante años, los científicos de la computación han intentado enseñar a las máquinas a realizar este trabajo. Los modelos de lenguaje extensos, los poderosos sistemas de inteligencia artificial que pueden escribir ensayos y responder preguntas, han sido probados en estos dibujos. Pueden leer el texto y entender las palabras, pero luchan con la realidad visual del plano. Pueden ver una pared pero fallar al medirla correctamente, o pueden contar una puerta que aparece en dos páginas diferentes como dos puertas separadas. Carecen del entendimiento específico y fundamentado de las convenciones de construcción —como saber que las paredes se construyen con montantes espaciados a un intervalo preciso— que los constructores experimentados llevan en sus mentes. El resultado ha sido una brecha entre lo que las máquinas pueden decir y lo que realmente pueden calcular.

Un equipo de investigadores de Handoff AI Research ha presentado ahora un sistema llamado Handoff-H1, diseñado para cerrar esta brecha no creando una máquina única y más inteligente, sino construyendo un equipo de herramientas especializadas que trabajen juntas. Su trabajo, evaluado contra un nuevo referente (benchmark) de planos residenciales reales, muestra que un sistema que combina visión por computadora, software especializado y una base de conocimientos estructurada puede producir estimaciones de materiales que no solo son más exhaustivas que las de los modelos actuales de inteligencia artificial de alto nivel, sino que también rivalizan con la precisión y completitud de los expertos humanos.

El núcleo del problema reside en cómo se comunican los dibujos de construcción. Un plano no enumera cada clavo o montante individual; muestra la estructura y confía en que el lector aplique reglas estándar. Si un dibujo muestra una pared, un estimador humano sabe calcular el número de montantes de madera basándose en un espaciado estándar, incluso si el dibujo no establece explícitamente dicho espaciado. Requiere mirar un plano de planta, medir una dimensión, revisar una nota en otra página y luego aplicar una regla empírica para llegar a un número final. Este proceso implica tres desafíos distintos: ver los elementos visuales con claridad, razonar a través de múltiples páginas para conectar información relacionada y fundamentar los resultados en las convenciones de la industria que nunca se escriben.

Handoff-H1 aborda estos desafíos organizando el trabajo en tres capas. La primera capa es un conjunto de modelos de visión por computadora creados para un propósito específico. A diferencia de los lectores de imágenes generales, estos modelos han sido entrenados específicamente en dibujos de construcción para identificar y etiquetar los elementos tipificados: habitaciones, paredes, puertas y ventanas. Actúan como los ojos del sistema, recuperando la estructura básica de los archivos PDF originales. La segunda capa es una base de proyecto persistente, una base de datos estructurada que organiza lo que los ojos han visto. Esta base sostiene la información en una jerarquía que refleja cómo se construyen realmente los proyectos de construcción, separando el trabajo en diferentes rubros como la estructura, la plomería y la electricidad. Crucialmente, esta base está fundamentada en una base de conocimientos curada de reglas y convenciones de construcción, asegurando que el sistema sepa, por ejemplo, que cierto tipo de techo requiere un cálculo específico para la pendiente que no es visible en el dibujo plano.

La tercera capa es la orquestación de agentes de visión. Estos son trabajadores de software que utilizan la información de la base y las herramientas proporcionadas por los modelos de visión para realizar el conteo y la medición real. No intentan hacerlo todo a la vez. En su lugar, se enfocan en un rubro a la vez, utilizando herramientas especializadas para descomponer planes complejos en miembros individuales, como desglosar un plan de estructura en cada uno de los montantes. Si un agente tiene dudas, puede recurrir a una herramienta especializada para contar o medir una región específica, en lugar de adivinar. Finalmente, una fase de verificación independiente audita el trabajo, comprobando si faltan elementos o si hay cantidades imposibles antes de que se produzca la lista final.

Para probar este sistema, los investigadores crearon un referente llamado TAKEOFFBENCH-V1. Reunieron diez conjuntos de planos residenciales reales y autorizados, y los emparejaron con una lista de materiales de "estándar de oro". Este estándar de oro no fue creado por una sola persona, sino que fue el resultado de un proceso de consenso donde múltiples estimadores profesionales independientes trabajaron en los mismos dibujos y sus resultados fueron reconciliados para crear una verdad única y verificada. Este enfoque reconoce que incluso los expertos humanos pueden discrepar sobre ciertas mediciones, por lo que el referente refleja un estándar realista y de alta calidad en lugar de un ideal imposible. El referente incluye más de dos mil partidas verificadas, que cubren nueve rubros de construcción diferentes, desde concreto y estructura hasta paneles de yeso y techado.

Cuando los investigadores ejecutaron la prueba, los resultados fueron sorprendentes. Compararon Handoff-H1 contra siete de los modelos de inteligencia artificial más avanzados disponibles, incluyendo tanto sistemas de código abierto como de pesos cerrados. Estos modelos recibieron los mismos archivos PDF originales y se les pidió que produjeran una lista de materiales. El mejor de estos modelos de vanguardia logró una puntuación compuesta de aproximadamente el 61 por ciento. En contraste, Handoff-H1 alcanzó una puntuación del 81.6 por ciento. Esta brecha de unos veinte puntos es significativa, lo que sugiere que la arquitectura especializada de Handoff-H1 —su combinación de visión, conocimiento y orquestación— resuelve problemas que los modelos de propósito general no pueden.

Quizás más importante aún, el sistema fue comparado directamente con estimadores profesionales independientes, los expertos humanos que crearon la verdad de referencia. Cuando estos humanos fueron evaluados contra el mismo estándar de oro, lograron una puntuación compuesta del 77.6 por ciento. Handoff-H1 superó el promedio humano, alcanzando una puntuación más alta que los expertos en seis de los diez conjuntos de dibujos. El sistema lo logró siendo más exhaustivo; encontró y contó más elementos de los que encontraron los humanos, particularmente en áreas complejas como la estructura y el techado, donde los estimadores humanos suelen pasar por alto detalles o saltarse alcances. Aunque los expertos humanos fueron ligeramente más precisos en los elementos que sí encontraron, la capacidad de cobertura del sistema resultó en un estimado general mejor.

El análisis de los resultados reveló dónde destaca el sistema y dónde aún enfrenta desafíos. El sistema funcionó excepcionalmente bien en rubros que requieren derivar cantidades a partir de áreas y pendientes, como el techado y los paneles de yeso, donde los estimadores humanos suelen tener dificultades con la consistencia. También funcionó muy bien en tareas de conteo como accesorios de plomería y ventanas. Sin embargo, el sistema, al igual que los humanos, consideró que las mediciones continuas —como la longitud exacta de una pared o el área de un techo— eran las más difíciles. Estas tareas requieren resolver ambigüedades en los dibujos, como si una línea de dimensión incluye o no el grosor de una pared, un debate que incluso los expertos humanos pueden tener. La precisión del sistema en estas mediciones fue ligeramente inferior a la de los expertos humanos, pero su cobertura fue muy superior, lo que significa que omitió menos elementos en general.

Los investigadores enfatizan que este éxito no se debe a un único avance en la inteligencia artificial, sino a la cuidadosa combinación de diferentes capacidades. Los modelos de propósito general, incluso los más avanzados, no pudieron alcanzar el nivel de los expertos humanos o del sistema Handoff-H1 cuando se les dio la misma entrada bruta. Tendían a producir estimaciones que parecían fluidas pero carecían de fundamentación dimensional, a menudo alucinando cantidades o pasando por alto la lógica específica del rubro necesaria para convertir un dibujo en una lista de materiales. El sistema Handoff-H1 tuvo éxito porque no dependió de un solo modelo para hacerlo todo; en su lugar, utilizó un enfoque estructurado que separó la visión, el conocimiento y el razonamiento.

Este trabajo sugiere un camino a seguir para la inteligencia artificial en campos especializados. Demuestra que, para tareas complejas del mundo real, los sistemas más efectivos no son necesariamente aquellos con los modelos de lenguaje más grandes, sino aquellos que están construidos con un profundo entendimiento de la estructura y las reglas del dominio. Al combinar la visión por computadora con una base de conocimientos curada y un flujo de trabajo estructurado, el sistema pudo lograr un nivel de desempeño que rivaliza con el de los expertos humanos. Los investigadores han hecho públicos sus herramientas de evaluación, permitiendo que otros prueben sus propios sistemas contra el mismo referente, mientras mantienen los datos de los planos y la verdad de referencia restringidos para evitar que el sistema simplemente memorice las respuestas. Este enfoque asegura que el progreso futuro se mida por la capacidad genuina y no por la habilidad de recordar datos de entrenamiento.

El estudio concluye que, si bien el sistema no es perfecto, representa un paso significativo hacia la automatización de una tarea que durante mucho tiempo ha sido dominio exclusivo de expertos humanos. No reemplaza la necesidad de supervisión humana, pero ofrece una herramienta que puede ser más exhaustiva y consistente que un humano trabajando solo. En un campo donde un solo error puede costar miles de dólares, la capacidad de generar una lista de materiales más completa y precisa a partir de un conjunto de dibujos es una mejora tangible. El desempeño del sistema, superando tanto a los mejores modelos de inteligencia artificial general como al promedio de los estimadores humanos, indica que la combinación de visión especializada, conocimiento estructurado y razonamiento orquestado es un enfoque poderoso para resolver problemas complejos del mundo real.