Het bouwen van een huis begint met een belofte: een reeks tekeningen die een bouwer precies vertelt wat er gebouwd moet worden en hoeveel materiaal er nodig is. Deze blauwdrukken zijn niet louter schetsen; het zijn complexe instructies waarbij een enkele lijn een muur representeert, een notitie een specifiek type hout impliceert, en een maatvoering de lengte van een balk dicteert. Het omzetten van deze pagina's naar een materiaallijst—het tellen van elke staander, elk blad gipsplaat en elke vierkante voet dakbedekking—is een taak die bekend staat als een kwantitatieve opname (quantity takeoff). Decennialang was dit het domein van menselijke experts die informatie moesten lezen, meten en afstemmen die verspreid over tientallen pagina's ligt, waarbij ze vaak gaten invulden met kennis die nooit op het papier zelf verschijnt. Een fout hierin is niet alleen een rekenfout; het kan duizenden dollars aan verspild materiaal betekenen of een project dat stilvalt omdat de verkeerde hoeveelheid beton is besteld.

Jarenlang hebben computerwetenschappers geprobeerd machines te leren dit werk te doen. Large language models, de krachtige kunstmatige intelligentiesystemen die essays kunnen schrijven en vragen kunnen beantwoorden, zijn op deze tekeningen getest. Ze kunnen de tekst lezen en de woorden begrijpen, maar ze worstelen met de visuele realiteit van de blauwdruk. Ze zien misschien een muur, maar slagen er niet in deze correct te meten, of ze tellen een deur die op twee verschillende pagina's verschijnt als twee aparte deuren. Ze missen het specifieke, gegronde begrip van bouwconventies—zoals weten dat muren worden gebouwd met staanders die op een nauwkeurig interval staan—die ervaren bouwers in hun hoofd dragen. Het resultaat is een kloof tussen wat machines kunnen zeggen en wat ze daadwerkelijk kunnen berekenen.

Een team onderzoekers bij Handoff AI Research heeft nu een systeem geïntroduceerd genaamd Handoff-H1, ontworpen om deze kloof te overbruggen, niet door één enkel, slimmer systeem te maken, maar door een team van gespecialiseerde hulpmiddelen te bouwen die samenwerken. Hun werk, geëvalueerd tegen een nieuwe benchmark van echte residentiële blauwdrukken, laat zien dat een systeem dat computer vision, gespecialiseerde softwaretools en een gestructureerde kennisbank combineert, materiaalschattingen kan produceren die niet alleen grondiger zijn dan die van huidige topniveau AI-modellen, maar ook wedijveren met de nauwkeurigheid en volledigheid van menselijke experts.

De kern van het probleem ligt in de manier waarop bouwtekeningen communiceren. Een blauwdruk vermeldt niet elke enkele spijker of staander; het toont de structuur en vertrouwt erop dat de lezer standaardregels toepast. Als een tekening een muur laat zien, weet een menselijke estimator dat hij het aantal houten staanders moet berekenen op basis van een standaardafstand, zelfs als de tekening de afstand niet expliciet vermeldt. Het vereist het bekijken van een plattegrond, het meten van een dimensie, het controleren van een notitie op een andere pagina, en vervolgens het toepassen van een vuistregel om tot een definitief aantal te komen. Dit proces omvat drie duidelijke uitdagingen: het visuele elementen duidelijk zien, redeneren over meerdere pagina's om gerelateerde informatie te verbinden, en de resultaten funderen in industrieconventies die nooit opgeschreven staan.

Handoff-H1 pakt deze uitdagingen aan door het werk te organiseren in drie lagen. De eerste laag is een set doelgerichte computer vision-modellen. In tegen tegenover de algemene beeldlezers, zijn deze modellen specifiek getraind op bouwtekeningen om de getypte elementen te identificeren en te labelen: kamers, muren, deuren en ramen. Ze fungeren als de ogen van het systeem en herstellen de basisstructuur uit de ruwe PDF-bestanden. De tweede laag is een persistente projectfundering, een gestructureerde database die organiseert wat de ogen hebben gezien. Deze fundering houdt de informatie vast in een hiërarchie die weerspiegelt hoe bouwprojecten daadwerkelijk worden gebouwd, waarbij het werk wordt onderverdeeld in verschillende disciplines zoals de ruwbouw, loodgieterswerk en elektrotechniek. Cruciaal is dat deze fundering is gegrond in een gecureerde kennisbank van bouwregels en conventies, wat ervoor zorgt dat het systeem bijvoorbeeld weet dat een bepa certain type dak een specifieke berekening voor helling vereist die niet zichtbaar is in de platte tekening.

De derde laag is de orchestratie van vision agents. Dit zijn softwarewerkers die de informatie van de fundering en de tools die door de vision-modellen worden aangeboden gebruiken om de eigenlijke telling en meting uit te voeren. Ze proberen niet alles tegelijk te doen. In plaats daarvan richten ze zich op één discipline tegelijk, waarbij ze gespecialiseerde tools gebruiken om complexe plannen te deconstrueren in individuele onderdelen, zoals het opbreken van een frameplan in elke enkele staander. Als een agent onzeker is, kan hij een gespecialiseerde tool aanroepen om een specifiek gebied te tellen of te meten, in plaats van te gokken. Ten slotte voert een onafhankelijke verificatiepass de controle uit op het werk, waarbij gecontroleerd wordt op gemiste items of onmogelijke hoeveelheden voordat de definitieve lijst wordt geproduceerd.

Om dit systeem te testen, hebben de onderzoekers een benchmark gecreëerd genaamd TAKEOFFBENCH-V1. Ze verzamelden tien sets echte, toegestane residentiële blauwdrukken en koppelden deze aan een "gold standard" materiaallijst. Deze gold standard werd niet door één persoon gemaakt, maar was het resultaat van een consensusproces waarbij meerdere onafhankelijke professionele estimators aan dezelfde tekeningen werkten en hun resultaten werden gesynchroniseerd om tot één enkele, geverifieerde waarheid te komen. Deze aanpak erkent dat zelfs menselijke experts kunnen verschillen over bepaalde metingen, dus de benchmark weerspiegelt een realistische, hoogwaardige standaard in plaats van een onmogelijk ideaal. De benchmark bevat meer dan tweeduizend geverifieerde regellijnen, verspreid over negen verschillende bouwdisciplines, van beton en ruwbouw tot gipsplaten en dakbedekking.

Toen de onderzoekers de test uitvoerden, waren de resultaten opvallend. Ze vergeleken Handoff-H1 met zeven van de meest geavanceerde beschikbare kunstmatige intelligentiemodellen, inclus\u2019 zowel closed-source als open-weight systemen. Deze modellen kregen dezelfde ruwe PDF-bestanden en de opdracht om een materiaallijst op te stellen. De beste van deze frontier-modellen behaalde een samengestelde score van ongeveer 61 procent. In contrast hiermee bereikte Handoff-H1 een score van 81,6 procent. Deze kloof van ongeveer twintig procentpunten is significant, wat suggereert dat de gespecialiseerde architectuur van Handoff-H1—de combinatie van visie, kennis en orchestratie—problemen oplost waar algemene modellen niet toe in staat zijn.

Misschien nog belangrijker is dat het systeem direct werd vergeleken met onafhankelijke professionele estimators, de menselijke experts die de grondwaarheid creëerden. Wanneer deze mensen tegen dezelfde gold standard werden gescoord, behaalden zij een samengestelde score van 77,6 procent. Handoff-H1 presteerde beter dan het menselijke gemiddelde en behaalde een hogere score dan de experts in zes van de tien teken sets. Het systeem deed dit door grondiger te zijn; het vond en telde meer items dan de mensen, met name in complexe gebieden zoals de ruwbouw en dakbedekking, waar menselijke estimators vaak details missen of onderdelen overslaan. Hoewel de menselijke experts iets nauwkeuriger waren op de items die zij vonden, was het vermogen van het systeem om meer terrein te dekken veel groter, wat resulteerde in een betere algehele schatting.

De analyse van de resultaten onthulde waar het systeem excelleert en waar het nog uitdagingen ervaart. Het systeem presteerde uitzonderlijk goed op disciplines die het afleiden van hoeveelheden uit oppervlaktes en hellingen vereisen, zoals dakbedekking en gipsplaten, waarbij menselijke estimators vaak moeite hebben met consistentie. Het presteerde ook zeer goed op tellen van zaken zoals sanitair en ramen. Echter, net als de mensen, vond het systeem continue metingen—zoals de exacte lengte van een muur of de oppervlakte van een dak—het moeilijkst. Deze taken vereisen het oplossen van ambiguïteiten in de tekeningen, zoals of een maatlijn de dikte van een muur insluit, een discussie waar zelfs menselijke experts over kunnen debatteren. De precisie van het systeem op deze metingen was iets lager dan die van de menselijke experts, maar de dekking was veel superieur, wat betekent dat het minder items miste.

De onderzoekers benadrukken dat dit succes niet te danken is aan een enkele doorbraak in kunstmatige intelligentie, maar aan de zorgvuldige combinatie van verschillende capaciteiten. Algemene modellen, zelfs de meest geavanceerde, slaagden er niet in het niveau van de menselijke experts of het Handoff-H1 systeem te bereiken wanneer ze dezelfde ruwe input kregen. Ze hadden de neiging om schattingen te produceren die vloeiend leken maar een gebrek aan dimensionale gronding hadden, waarbij ze vaak hoeveelheden hallucineerden of de sector-specifieke logica misten die nodig is om een tekening in een materiaallijst te veranderen. Het Handoff-H1 systeem slaagde omdat het niet vertrouwde op één enkel model om alles te doen; in plaats daarvan gebruikte het een gestructureerde aanpak die zien, weten en redeneren van elkaar scheidde.

Dit werk suggereert een pad voorwaarts voor kunstmatige intelligentie in gespecialiseerde velden. Het demonstreert dat voor complexe, real-world taken, de meest effectieve systemen niet noodzakelijkerwijs de systemen zijn met de grootste taalmodellen, maar diegene die gebouwd zijn met een diep begrip van de structuur en regels van het domein. Door computer vision te combineren met een gecureerde kennisbank en een gestructureerde workflow, was het systeem in staat een prestatieniveau te bereiken dat gelijkstaat aan dat van menselijke experts. De onderzoekers hebben hun evaluatietools publiek gemaakt, waardoor anderen hun eigen systemen tegen dezelfde benchmark kunnen testen, terwijl de werkelijke blauwdrukdata en de grondwaarheid beperkt blijven om te voorkomen dat het systeem simpelweg de antwoorden uit het hoofd leert. Deze aanpak zorgt ervoor dat toekomstige vooruitgang wordt gemeten aan de hand van werkelijke bekwaamheid in plaats van het vermogen om trainingsdata te reproduceren.

De studie concludeert dat hoewel het systeem niet perfect is, het een belangrijke stap vertegenwoordigt naar de automatisering van een taak die lang het exclusieve domein van menselijke experts was. Het vervangt de noodzaak voor menselijk toezicht niet, maar biedt een hulpmiddel dat grondiger en consistenter kan zijn dan een mens die alleen werkt. In een vakgebied waar een enkele fout duizenden dollars kan kosten, is het vermogen om een completere en nauwkeurigere materiaallijst te genereren uit een reeks tekeningen een tastbare verbetering. De prestaties van het systeem, die zowel de beste algemene kunstmatige intelligentiemodellen als de gemiddelde menselijke estimator overtreffen, geven aan dat de combinatie van gespecialiseerde visie, gestructureerde kennis en georkestreerd redeneren een krachtige aanpak is voor het oplossen van complexe, real-world problemen.