Costruire una casa inizia con una promessa: un insieme di disegni che dice a un costruttore esattamente cosa costruire e quanto materiale è necessario. Queste tavole tecniche non sono semplici schizzi; sono istruzioni complesse dove una singola linea rappresenta una parete, una nota implica un tipo specifico di legno e una stringa di dimensioni detta la lunghezza di una trave. Trasformare queste pagine in un elenco di materiali — contando ogni montante, ogni lastra di cartongesso e ogni metro quadrato di copertura — è un compito noto come computo metrico estimativo (quantity takeoff). Per decenni, questo è stato il dominio di esperti umani che devono leggere, misurare e riconciliare informazioni sparse su decine di pagine, spesso colmando le lacune con conoscenze che non compaiono mai sulla carta stessa. Un errore qui non è solo un errore di calcolo; può significare migliaia di dollari in materiali sprecati o un progetto che si blocca perché è stata ordinata la quantità errata di calcestruzzo.

Per anni, gli scienziati informatici hanno cercato di insegnare alle macchine a svolgere questo lavoro. I modelli linguistici di grandi dimensioni, i potenti sistemi di intelligenza artificiale in grado di scrivere saggi e rispondere a domande, sono stati testati su questi disegni. Possono leggere il testo e comprendere le parole, ma faticano con la realtà visiva della tavola tecnica. Potrebbero vedere una parete ma non riuscire a misurarla correttamente, o potrebbero contare una porta che appare su due pagine diverse come due porte separate. Manca loro la comprensità specifica e radicata delle convenzioni edilizie — come sapere che le pareti sono costruite con montanti distanziati a un intervallo preciso — che gli esperti costruttori portano nella loro mente. Il risultato è stato un divario tra ciò che le macchine possono dire e ciò che possono effettivamente calcolare.

Un team di ricercatori di Handoff AI Research ha introito un sistema chiamato Handoff-H1, progettato per colmare questo divario non creando una singola macchina più intelligente, ma costruendo un team di strumenti specializzati che lavorano insieme. Il loro lavoro, valutato contro un nuovo benchmark di tavole tecniche residenziali reali, mostra che un sistema che combina la visione artificiale, software specializzati e una base di conoscenza strutturata può produrre stime dei materiali che non sono solo più complete di quelle dei attuali modelli di intelligenza artificiale di alto livello, ma che rivaleggiano anche per accuratezza e completezza con gli esperti umani.

Il cuore del problema risiede nel modo in cui i disegni edilizi comunicano. Una tavola tecnica non elenca ogni singolo chiodo o montante; mostra la struttura e si affida al lettore per applicare regole standard. Se un disegno mostra una parete, un estimatore umano sa che deve calcolare il numero di montanti in legno basandosi su una spaziatura standard, anche se il disegno non indica esplicitamente la spaziatura. Richiede l'osservazione di una pianta, la misurazione di una dimensione, il controllo di una nota su una pagina diversa e poi l'applicazione di una regola empirica per arrivare a un numero finale. Questo processo comporta tre sfide distinte: vedere chiaramente gli elementi visivi, ragionare attraverso più pagine per connettere informazioni correlate e radicare i risultati nelle convenzioni del settore che non sono mai scritte.

Handoff-H1 affronta queste sfide organizzando il lavoro in tre livelli. Il primo livello è un insieme di modelli di visione artificiale dedicati. A differenza dei lettori di immagini generici, questi modelli sono addestrati specificamente sui disegni edilizi per identificare e etichettare gli elementi tipizzati: stanze, pareti, porte e finestre. Fungono da occhi del sistema, recuperando la struttura di base dai file PDF grezzi. Il secondo livello è una fondazione di progetto persistente, un database strutturato che organizza ciò che gli occhi hanno visto. Questa fondazione mantiene le informazioni in una gerarchia che rispecchia come i progetti edilizi vengono effettivamente costruiti, separando il lavoro in diverse specializzazioni come carpenteria, idraulica ed elettricità. Fondamentalmente, questa fondazione è radicata in una base di conoscenza curata di regole e convenzioni edilizie, garantendo che il sistema sappia, ad esempio, che un certo tipo di tetto richiede un calcolo specifico per la pendenza che non è visibile nel disegno piatto.

Il terzo livello è l'orchestrazione di agenti di visione. Questi sono lavoratori software che utilizzano le informazioni dalla fondazione e gli strumenti forniti dai modelli di visione per eseguire il conteggio e la misurazione effettivi. Non cercano di fare tutto in una volta. Invece, si concentrano su una specializzazione alla volta, utilizzando strumenti specializzati per scomporre piani complessi in singoli componenti, come suddividere un piano di carpenteria in ogni singolo montante. Se un agente ha un dubbio, può avvalersi di uno strumento specializzato per contare o misurare una regione specifica, invece di tirare a indovinare. Infine, un passaggio di verifica indipendente audita il lavoro, controllando elementi mancanti o quantità impossibili prima che l'elenco finale venga prodotto.

Per testare questo sistema, i ricercatori hanno creato un benchmark chiamato TAKEOFFBENCH-V1. Hanno raccolto dieci set di tavole tecniche residenziali reali e autorizzate e li hanno accoppiati con un elenco di materiali "gold standard". Questo gold standard non è stato creato da una singola persona, ma è il risultato di un processo di consenso in cui più estimatori professionisti indipendenti hanno lavorato sugli stessi disegni e i loro risultati sono stati riconciliati per creare una singola verità verificata. Questo approccio riconosce che anche gli esperti umani possono dissentire su certe misurazioni, quindi il benchmark riflette uno standard realistico e di alta qualità piuttosto che un ideale impossibile. Il benchmark include oltre duemila voci di linea verificate, che coprono nove diverse specializzazioni edilizie, dall'armatura al telaio fino al cartongesso e alla copertura.

Quando i ricercatori hanno eseguito il test, i risultati sono stati sorprendenti. Hanno confrontato Handoff-H1 con sette dei più avanzati modelli di intelligenza artificiale disponibili, inclusi sia sistemi a codice chiuso che a pesi aperti. Questi modelli sono stati dotati degli stessi file PDF grezzi e interrogati per produrre un elenco di materiali. I migliori di questi modelli all'avanguardia hanno ottenuto un punteggio composito di circa il 61 percento. Al contrario, Handoff-H1 ha raggiunto un punteggio dell'81,6 percento. Questo divario di circa venti punti è significativo, suggerendo che l'architettura specializzata di Handoff-H1 — la sua combinazione di visione, conoscenza e orchestrazione — risolve problemi che i modelli generalisti non possono affrontare.

Forse più importante, il sistema è stato confrontato direttamente con stimatori professionisti indipendenti, gli esperti umani che hanno creato la verità di base. Quando questi umani sono stati valutati rispetto allo stesso gold standard, hanno ottenuto un punteggio composito del 77,6 percento. Handoff-H1 ha superato la media umana, raggiungendo un punteggio superiore agli esperti in sei dei dieci set di disegni. Il sistema ha ottenuto questo essendo più meticoloso; ha trovato e contato più elementi di quanto abbiano fatto gli umani, in particolare in aree complesse come la carpenteria e la copertura, dove gli estimatori umani spesso trascurano dettagli o saltano ambiti di intervento. Mentre gli esperti umani sono stati leggermente più precisi sugli elementi che hanno trovato, la capacità del sistema di coprire un ambito più vasto ha portato a una stima complessiva migliore.

L'analisi dei risultati ha rivelato dove il sistema eccelle e dove incontra ancora sfide. Il sistema ha performato eccezionalmente bene sulle specializzazioni che richiedono di derivare quantità da aree e pendenze, come la copertura e il cartongesso, dove gli estimatori umani spesso faticano a mantenere la coerenza. Ha inoltre performato molto bene nei compiti di conteggio come gli apparecchi sanitari e le finestre. Tuttavia, il sistema, proprio come gli umani, ha trovato le misurazioni continue — come la lunghezza esatta di una parete o l'area di un tetto — come le più difficili. Questi compiti richiedono di risolvere le ambiguità nei disegni, come determinare se una linea di dimensione include lo spessore di una parete, un dibattito che può coinvolgere anche gli esperti umani. La precisione del sistema su queste misurazioni è stata leggermente inferiore a quella degli esperti umani, ma la sua copertura è stata di gran lunga superiore, il che significa che ha saltato meno elementi complessivi.

I ricercatori sottolineano che questo successo non è dovuto a una singola scoperta nell'intelligenza artificiale, ma piuttosto alla combinazione accurata di diverse capacità. I modelli generalisti, anche i più avanzati, non sono riusciti a raggiungere il livello degli esperti umani o del sistema Handoff-H1 quando ricevevano lo stesso input grezzo. Tendevano a produrre stime che sembravano fluide ma che mancavano di radicamento dimensionale, spesso allucinando quantità o mancando della logica specifica del settore necessaria per trasformare un disegno in un elenco di materiali. Il sistema Handoff-H1 ha avuto successo perché non si è affidato a un singolo modello per fare tutto; ha invece utilizzato un approccio strutturato che separava il vedere, il conoscere e il ragionare.

Questo lavoro suggerisce una strada da seguire per l'intelligenza artificiale in campi specializzati. Dimostra che, per compiti complessi e reali, i sistemi più efficaci potrebbero non essere quelli con i modelli linguistici più grandi, ma quelli costruiti con una profonda comprensione della struttura e delle regole del dominio. Combinando la visione artificiale con una base di conoscenza curata e un flusso di lavoro strutturato, il sistema è stato in grado di raggiungere un livello di prestazione che rivaleggia con quello degli esperti umani. I ricercatori hanno reso pubblici i loro strumenti di valutazione, permettendo ad altri di testare i propri sistemi contro lo stesso benchmark, pur mantenendo i dati delle tavole tecniche e la verità di base ristretti per evitare che il sistema si limiti a memorizzare le risposte. Questo approccio assicura che il progresso futuro sia misurato sulla reale capacità piuttosto che sulla capacità di richiamare dati di addestramento.

Lo studio conclude che, sebbene il sistema non sia perfetto, esso rappresenta un passo significativo verso l'automazione di un compito che è stato a lungo l'esclusivo dominio degli esperti umani. Non sostituisce la necessità di supervisione umana, ma offre uno strumento che può essere più meticoloso e coerente di un essere umano che lavora da solo. In un campo in cui un singolo errore può costare migliaia di dollari, la capacità di generare un elenco di materiali più completo e accurato da un insieme di disegni è un miglioramento tangibile. La prestazione del sistema, che supera sia i migliori modelli di intelligenza artificiale generalista che la media degli stimatori umani, indica che la combinazione di visione specializzata, conoscenza strutturata e ragionamento orchestrato è un approccio potente per risolvere problemi complessi e reali.