💬 NLP

BIM Information Extraction Through LLM-based Adaptive Exploration

Dit artikel introduceert een adaptief exploratieparadigma met LLM-gebaseerde agenten die iteratief code uitvoeren om BIM-modelstructuren tijdens runtime dynamisch te ontdekken, en toont aanzienlijke prestatieverbeteringen aan ten opzichte van statische querygeneratiemethoden op het nieuw voorgestelde ifc-bench v2-benchmark.

Oorspronkelijke auteurs: Sylvain Hellin, Suhyung Jang, Stefan Fuchs, Stavros Nousias, André Borrmann

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sylvain Hellin, Suhyung Jang, Stefan Fuchs, Stavros Nousias, André Borrmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Universele Vertaler" die verdwaalt

Stel je voor dat je een enorme, ontzettend gedetailleerde 3D-bouwtekening van een gebouw hebt (een BIM-model). Deze tekening bevat elk stukje informatie: hoeveel deuren er zijn, hoe breed ze zijn, waar de muren van gemaakt zijn, en zelfs de geometrie van het dak.

Echter, een computer vragen om een specifiek stukje informatie in deze tekening te vinden, is alsof je een bibliothecaris vraagt om een boek te vinden in een bibliotheek waar:

De catalogus kapot is: De ene bibliothecaris noemt een deur "Door", een andere noemt hem "Tür" (Duits) en een derde noemt hem "Rough Width" (Ruwe breedte).
De boeken verborgen zijn: Soms staat de breedte van een deur op een post-it notitie; andere keren moet je de tekening zelf opmeten om het te achterhalen.
De regels veranderen: Elke keer als je een nieuw gebouw binnenloopt (een nieuw BIM-model), verandert de bibliothecaris de regels voor hoe de planken zijn georganiseerd.

Momenteel proberen de meeste computerprogramma's deze informatie op te vragen door de regels van tevoren te raden. Ze zeggen: "Ik wed dat de deurbreedte in de map 'Width' staat." Als ze het verkeerd hebben, crasht het programma of geeft het op. Dit heet de Statische Aanpak.

De Oplossing: De "Detective Agent"

De auteurs van dit artikel stellen een nieuwe manier voor om dit aan te pakken, genaamd Adaptieve Exploratie.

In plaats van de regels te raden, hebben ze een AI-"Detective Agent" gebouwd. Zo werkt het:

Het raadt niet; het onderzoekt. Als je vraagt: "Hoe breed is Deur 1?", kijkt de agent niet gewoon naar een map genaamd "Width".
Het schrijft zijn eigen instructies. De agent schrijft een klein stukje computercode (zoals een notitie voor zichzelf) om naar de deur te gaan kijken.
Het leert van fouten. Als de agent in de map "Width" kijkt en niets vindt, stopt hij niet. Hij ziet de fout, denkt: "Oh, misschien heet het 'Breite' in dit model", en schrijft een nieuwe notitie om daar te kijken.
Het blijft doorgaan tot het het antwoord vindt. Het herhaalt deze lus: kijken, controleren, aanpassen, opnieuw kijken, tot het het antwoord vindt of de tijd op is.

Het artikel noemt dit Adaptieve Exploratie, omdat de agent zijn strategie aanpast op basis van wat hij daadwerkelijk in het model vindt, in plaats van ervan uit te gaan dat het model op een bepaalde manier is georganiseerd.

Het Experiment: De "Gym" voor AI

Om te testen of deze detective-agent beter was dan de oude "radende" programma's, bouwden de onderzoekers een enorme test genaamd ifc-bench v2.

Denk hierbij aan een gymzaal met 1.027 verschillende workout-uitdagingen.
Deze uitdagingen waren gebaseerd op 37 verschillende bouwtekeningen van echte projecten, gemaakt met verschillende softwaretools (zoals Revit en ArchiCAD).
De vragen varieerden van simpel ("Hoeveel deuren zijn er?") tot complex ("Bereken het totale volume aan beton in de muren", wat rekenwerk vereist omdat het getal niet is opgeschreven).

Ze testten twee soorten AI-"hersenen":

Het Super Brein: Een zeer krachtig Groot Taalmodel (LLM).
Het Kleinere Brein: Een minder krachtige versie van hetzelfde type model.

Ze testten beide hersenen met twee methoden:

Statisch: Het brein raadt het antwoord in één keer.
Adaptief: Het brein gebruikt de detective-lus (code schrijven, controleren, aanpassen, herhalen).

De Resultaten: Waarom "Opnieuw Proberen" Wint

De resultaten waren duidelijk en verrassend:

1. De Detective Agent verpletterde de Raders.
De "Adaptieve" aanpak was verreweg beter dan de "Statische" aanpak.

Het Kruis: De detective-agent was ongeveer 37% nauwkeuriger dan de statische rader.
De "Opgeven"-ratio: De statische rader gaf op (zei "Ik weet het niet") bij ongeveer 50% van de vragen. De detective-agent gaf slechts bij 6% op.
Het "Super Brein" vs. "Kleinere Brein": Zelfs het "Kleinere Brein" dat de detective-methode gebruikte, presteerde beter dan het "Super Brein" dat de rad-methode gebruikte. Dit bewijst dat hoe je de vraag stelt (de methode) belangrijker is dan hoe slim het brein is.

2. De "Spiekbriefjes" (Augmentatie) hielpen het Slimme Brein niet.
De onderzoekers probeerden de agenten "spiekbriefjes" (documentatie over hoe je de tekeningen moet lezen) en "vooraf gemaakte tools" (shortcuts voor veelvoorkomende taken) te geven.

Voor het Super Brein: De spiekbriefjes en tools deden niets. Het Super Brein was slim genoeg om de regels zelf uit te zoeken door te exploreren.
Voor het Kleinere Brein: De spiekbriefjes hielpen een beetje. Maar de vooraf gemaakte tools deden het Kleinere Brein eigenlijk kwaad. Het raakte in de war door de tools en bleef vastzitten in lussen, waardoor het vaker opgaf.

De Belangrijkste Conclusie

Het artikel concludeert dat de grootste fout bij het proberen te lezen van bouwtekeningen is ervan uitgaan dat de tekening perfect is georganiseerd.

Oude Manier: "Ik weet precies waar de data zit, dus ik schrijf één commando om het op te halen." (Faalt vaak omdat real-world data rommelig is).
Nieuwe Manier: "Ik weet niet waar de data zit, dus ik schrijf code om rond te kijken, mijn fouten te controleren en te blijven zoeken tot ik het vind." (Werkt veel beter).

De auteurs zeggen dat we voor de toekomst van het lezen van bouwmodellen niet alleen slimmere AI-hersenen moeten bouwen of meer spiekbriefjes moeten schrijven. In plaats daarvan moeten we betere explorers bouwen die de rommeligheid van real-world data kunnen hanteren door zich aan te passen op het moment zelf.

Wat het Artikel NIET Zegt

Het claimt niet dat dit systeem klaar is om vandaag in ziekenhuizen of op bouwplaatsen te worden gebruikt (de nauwkeurigheid ligt rond de 56%, wat nog niet hoog genoeg is voor veiligheidskritieke taken).
Het claimt niet dat dit werkt voor elk type bouwsoftware, alleen voor het specifieke formaat (IFC) dat ze testten.
Het claimt niet dat "tools" voor altijd nutteloos zijn, maar eerder dat ze in deze specifieke, rommelige omgeving niet hielpen.

Technische Samenvatting: BIM-informatie-extractie via LLM-gebaseerde adaptieve exploratie

1. Probleemstelling

De bouwsector vertrouwt steeds meer op Building Information Modeling (BIM) voor data-rijke representaties van gebouwgeometrie, semantiek en topologie. Het extraheren van specifieke informatie uit deze modellen blijft echter een kritieke bottleneck vanwege twee onderling gerelateerde uitdagingen:

Kloof in query-expertise: Domeinexperts (architecten, facilitair beheerders) missen doorgaans de programmeervaardigheden of kennis van specifieke querytalen (SQL, SPARQL, API-aanroepen) die nodig zijn om niet-triviale data op te halen, zoals aggregaties over elementen heen of afgeleide grootheden.
BIM-heterogeniteit: Zelfs binnen gestandaardiseerde formaten zoals Industry Foundation Classes (IFC) varieert de data-organisatie aanzienlijk. Eigenschappen kunnen worden opgeslagen als expliciete attributen, worden afgeleid uit geometrie, of verschillend worden benoemd afhankelijk van de auteurssoftware (bijv. Revit versus ArchiCAD), modelleerconventies en taal.

Bestaande benaderingen slagen er over het algemeen niet in om beide uitdagingen gelijktijdig aan te pakken. Query-vertalingsmethoden gaan uit van een vaste datastructuur en vereisen handmatige voorverwerking, waardoor ze falen bij heterogene data. Statische LLM-gebaseerde benaderingen (bijv. codegeneratie in één doorloop) introduceren semantisch begrip, maar behouden statische architecturen die niet kunnen adapteren aan data-ontdekkingen tijdens runtime. Eerdere agentische benaderingen met vooraf gedefinieerde toolsets worden beperkt door de reikwijdte van die tools, die vaak niet toereikend zijn voor de enorme diversiteit aan BIM-schema's uit de praktijk.

2. Methodologie

De auteurs stellen een nieuw paradigma voor: Adaptieve Exploratie. Deze aanpak maakt gebruik van een LLM-gebaseerde agent die iteratief Python-code genereert en uitvoert tegen live BIM-modellen om structuur te ontdekken en informatie te extraheren tijdens runtime, in plaats van uit te gaan van een bekend schema.

2.1. Agent-architectuur

Het systeem hanteert een CodeAct-architectuur waarbij de agent in een lus werkt:

Invoer: Vraag in natuurlijke taal, pad naar het BIM-model, uitvoerhistorie en optionele augmentatie (tools/documentatie).
Actie: De agent genereert Python-code om het model te bevragen (met gebruik van de IfcOpenShell-bibliotheek).
Feedback: De code wordt uitgevoerd in een afgesloten omgeving. De agent ontvangt uitvoeroutput (retourwaarden, fouten, print-uitvoer) en gebruikt deze feedback om zijn strategie in volgende iteraties te verfijnen.
Beëindiging: De lus gaat door totdat een definitief antwoord is geproduceerd of een maximumaantal iteraties is bereikt.

2.2. Augmentatiestrategieën

De studie evalueert de interactie tussen het adaptieve paradigma en twee augmentatiestrategieën:

Documentatieopvraging: Een hybride opvragingspijplijn (combinatie van dichte vectorzoekopdrachten, BM25 en matching op omgekeerde vragen) injecteert relevante API-documentatie (specifiek voor IfcOpenShell) in de context van de agent.
Domeinspecifieke Tools:
- Handgemaakte Tools: Met de hand geschreven Python-functies voor veelvoorkomende extractiepatronen.
- Geautomatiseerde Tools: Een multi-agent systeempijplijn die succesvolle en mislukte extractiegeschiedenissen analyseert om automatisch nieuwe tools te genereren, te debuggen en te valideren.

2.3. Experimenteel Ontwerp

De evaluatie maakt gebruik van een 3×4-factorieel ontwerp:

Rijen (Model/Paradigma):
- Adaptief-4.7 (Iteratieve exploratie met een model met hoge capaciteit, GLM 4.7).
- Adaptief-4.5 Air (Iteratieve exploratie met een model met verminderde capaciteit, GLM 4.5 Air).
- Statisch-4.7 (Codegeneratie in één doorloop met het model met hoge capaciteit).
Kolommen (Augmentatie): Geen, Documentatie, Handgemaakte Tools, Auto-gegenereerde Tools.

3. Belangrijkste Bijdragen

Paradigma van Adaptieve Exploratie: Een gevalideerd kader waarin een LLM-agent iteratief code uitvoert om BIM-datastructuren tijdens runtime te ontdekken, wat aanzienlijk beter presteert dan statische querygeneratie.
ifc-bench v2: De eerste grote, open, permissief gelicentieerde benchmark voor BIM-vraag-antwoord. Deze omvat 1.027 taken verspreid over 37 IFC-modellen uit 21 projecten. In tegenstelling tot eerdere datasets bevat deze open-ended vragen die oordeel en schatting vereisen, en zo de informatiebehoefte uit de praktijk weerspiegelt.
Systematische Ablatiestudie: Een uitgebreide evaluatie die aantoont dat de effectiviteit van augmentatie sterk afhankelijk is van de modelcapaciteit. De studie daagt de aanname uit dat meer augmentatie altijd betere resultaten oplevert, en laat zien dat modellen met hoge capaciteit invariant zijn voor augmentatie, terwijl zwakkere modellen hier gevoelig voor zijn.

4. Resultaten

4.1. Dominantie van het Paradigma

Adaptieve exploratie presteert significant beter dan statische codegeneratie in alle configuraties.

Nauwkeurigheidskloof: Het adaptieve paradigma (GLM 4.7) behaalde 55,4%–56,6% nauwkeurigheid, terwijl de statische baseline (GLM 4.7) slechts 16,9%–20,6% behaalde. Dit vertegenwoordigt een voordeel van +36,8 tot +38,5 procentpunten (pp).
Compensatie van Capaciteit: Zelfs het zwakkere model met adaptieve exploratie (GLM 4.5 Air, ~2,7x minder actieve parameters) presteerde beter dan het sterkere model met statische generatie (25,7% versus 19,1%), wat aangeeft dat het iteratieve paradigma compensatie biedt voor verminderde modelcapaciteit.
Abstention Rates: Statische modellen onthielden zich van ~50% van de vragen, terwijl adaptieve modellen zich van <7% onthielden.

4.2. Prestaties per Categorie

Geometrische/Ruimtelijke Berekening (Categorie 3): Hier werd de grootste prestatiekloof waargenomen. Statische modellen onthielden zich van >75% van deze taken, terwijl adaptieve modellen 66,7% nauwkeurigheid behaalden door iteratief geometrische grootheden af te leiden.
Directe Opvraging (Categorie 1): Adaptieve modellen presteerden beter dan statische, hoewel de kloof kleiner was dan bij berekeningstaken.
Omkering van Moeilijkheid: In tegenstelling tot intuïtie, presteerde het adaptieve systeem beter bij complexe geometrische berekeningen (66,7%) dan bij directe eigenschapopvraging (55,6%). Dit wordt toegeschreven aan de moeilijkheid om diep geneste IFC-materiaalstructuren te navigeren voor opvraging, terwijl de iteratieve lus uitblinkt in stap-voor-stap geometrische afleiding.

4.3. Effecten van Augmentatie

Afhankelijkheid van Modelcapaciteit:
- Hoge Capaciteit (GLM 4.7): Augmentatiestrategieën (documentatie, handgemaakte tools, auto-tools) hadden geen meetbaar effect (nauwkeurigheidsbereik 55,4%–56,6%, alle $p > 0,8$ ). De iteratieve lus bood voldoende informatieontdekking, waardoor externe steunstructuren overbodig werden.
- Verminderde Capaciteit (GLM 4.5 Air): Augmentatie-effecten waren significant en varieerden:
  - Documentatie: Verbeterde de nauwkeurigheid met +4,9pp ( $p < 0,05$ ).
  - Handgemaakte Tools: Schadelijk, verlaagde de nauwkeurigheid met -10,2pp ( $p < 0,001$ ). Het zwakkere model raakte vast in onproductieve lusjes van tool-aanroepen.
  - Auto-tools: Marginaal negatief maar niet significant in vergelijking met de baseline.

5. Betekenis en Claims

Het artikel stelt dat BIM-heterogeniteit het beste op paradigma-niveau wordt aangepakt in plaats van door statische benaderingen te optimaliseren of augmentatielagen toe te voegen.

Paradigmaverschuiving: De keuze voor een adaptief, iteratief exploratieparadigma is de primaire determinant van extractienauwkeurigheid, en weegt zwaarder dan zowel modelcapaciteit als augmentatiestrategieën.
Beperkingen van Statische Benaderingen: Statische benaderingen, die uitgaan van bekende schema's, falen systematisch bij heterogene real-world data. De "bittere les" van AI is hier van toepassing: het benutten van algemene berekening (iteratieve uitvoering) presteert beter dan het coderen van menselijke kennis (tools/docu) naarmate de modelcapaciteit toeneemt.
Praktische Implicaties: Voor modellen met hoge capaciteit levert investeren in augmentatie-infrastructuur (documentatieopvraging, toolgeneratie) geen meetbaar voordeel op en voegt het kosten toe. Voor zwakkere modellen helpt documentatie, maar kunnen vooraf gebouwde tools de prestaties hinderen als ze de exploratie van de agent beperken.
Toekomstige Richtingen: De auteurs suggereren dat gestandaardiseerde informatie-eisen (bijv. IDS, mvdXML) de representatieve heterogeniteit kunnen verminderen, wat tool-gebaseerde benaderingen in de toekomst mogelijk meer levensvatbaar maakt. Zij roepen ook op tot cross-family replicatie van deze bevindingen over diverse LLM-aanbieders.

De studie concludeert dat adaptieve exploratie de meest effectieve huidige strategie is voor BIM-informatie-extractie, waardoor agents in staat zijn om de "norm" van datavariatie in de praktijk te hanteren in plaats van alleen uitzonderlijke gevallen.