Evidence-Grounded Constraint Checking in Construction Documents

Technische Samenvatting: Bewijsgebaseerde Constraint-checking in Constructiedocumenten

Probleemformulering
Het artikel behandelt de uitdaging van professionele documentbeoordeling in de AEC-sector (Architectuur, Engineering en Constructie), waarbij dit wordt geformuleerd als een bewijsgebaseerd constraint-checking probleem. In tegenstelling tot standaard Visual Question Answering (VQA), vereist de beoordeling van constructiedocumenten het verifiëren van getypte constraints over tekst, geometrie, documentstructuur en revisiestanden. Een cruciale moeilijkheid ligt in de afweging tussen resolutie (het lezen van kleine details zoals leaders, callouts en dimensies) en breedte (het behouden van de globale lay-outcontext voor kruisverwijzingen tussen pagina's). De auteurs stellen dat ongeordende tekststromen vaak de noodzakelijke ruimtelijke relaties niet behouden voor correct professioneel oordeel, en dat ongecontroleerde fout-positieven (false passes) aanzienlijke veiligheids- en juridische gevolgen hebben.

Methodologie
De auteurs stellen een pipeline voor die bestaat uit vier kerncomponenten:

1. Source Adapters: Een lay-outbehoudend tekstretriesysteem (met behulp van BM25) gecombineerd met begrensde visuele regio's. Het systeem ondersteunt PDF's (geëvalueerd), CAD en IFC (via adapter-contracten).
2. Typed Facts: Een extractor brengt bronbewijs in kaart naar gestructureerde feiten bestaande uit een predicaat, geobserveerde waarde, verwachte waarde, staat (geverifieerd, geschonden, ontbrekend, onzeker), betrouwbaarheid en bronverwijzingen.
3. Deterministische Regels: Een fail-closed reducer voert vier-standige logica uit (Vergelijking 1). Het geeft prioriteit aan schendingen boven ontbrekend bewijs en voorkomt dat onvolledig bewijs wordt omgezet in een "pass". De beslissingslogica is strikt deterministisch, wat garandeert dat dezelfde feiten altijd tot dezelfde beslissing leiden zonder generatieve revisie.
4. Proof Traces & Escalatie: Het systeem genereert een controleerbaar spoor van regelstappen en bronbereiken. Het escaleert gevallen die onzeker zijn, informatie missen, een lage betrouwbaarheid hebben of geen bronverwijzingen bevatten voor deskundige beoordeling.

Experimenteel Ontwerp
De studie evalueert een specifieke evidence-allocatie interventie met behulp van de AEC-Bench dataset (160 door experts gerefereerde taken over 29 projecten).

• Gecontroleerde Variabele: De allocatie van een vast budget van maximaal vier bijlagen van afbeeldingen.
• Condities:
  • Page-RAG: Alloceert capaciteit aan maximaal vier verschillende pagina-overzichten.
  • Region-RAG: Alloceert capaciteit aan één pagina-overzicht plus drie overlappende hoog-resolutie crops van de ink bounding box van die pagina.
• Blokken:
  • Repeated Test: 40 taken uit 6 projecten, getest over 4 verschillende LLM-systemen (Gemini 3.1 Pro, Gemini 3.6 Flash, GPT-5.6 Sol, GPT-5.6 Luna) met 5 calls per cel (2.400 proeven).
  • Breadth Extension: 120 taken uit 23 disjuncte projecten, getest over 2 systemen met 1 call per cel (480 proeven).

Belangrijkste Resultaten

1. Afweging Resolutie vs. Breedte:
   • In de repeated test (6 projecten) verbeterde Region-RAG de gestandaardiseerde beslissingsnauwkeurigheid met 10,6 procentpunt (van 40,3% naar 51,0%; $p=.031$) vergeleken met Page-RAG. Het verminderde ook de false-pass rates aanzienlijk.
   • In de breadth extension (23 disjuncte projecten) keerde de trend om. Region-RAG verlaagde de nauwkeurigheid met -4,1 procentpunt (niet statistisch significant, $p=.209$), en beide systemen gaven de voorkeur aan Page-RAG.
2. Beslissing vs. Lokalisatie: Hoewel Region-RAG de grove triage (beslissingsnauwkeurigheid) verbeterde in de kleine steekproef, bleven de exacte taakcorrectheid en het vinden van lokalisatie laag (bijv. de stijging van de F1-score was slechts van 5,2% naar 9,0% in de repeated test). Het systeem identificeert vaak de juiste beslissing zonder de defect precies te lokaliseren.
3. Kalibratieproblemen: Herhaalde bemonstering toonde een hoge frequentie van overeenstemming, maar een slechte kalibratie; hoge overeenstemming correleerde niet met een hoge correctheid. False passes bleven veelvoorkomend, wat de systemen ongeschikt maakt voor autonome goedkeuring.

Bijdragen

• Architectuur: Een typed constraint-checking architectuur met deterministische reductie, bronniveau bewijs-contracten en expliciete deskundige escalatie.
• Dataset: Een machine-leesbare suite van 160 door experts gerefereerde taken over zeven constraint-families en 29 bronprojecten.
• Empirisch Bevinding: Een gecontroleerd experiment dat aantoont dat een winst van 10,6 punten in een repeated test kan omslaan in een verlies van -4,1 punten in een bredere context, wat een fundamentele resolutie–breedte afweging blootlegt die een regelbewuste routing vereist in plaats van een universele tiling-strategie.

Betekenis en Claims
De auteurs beweren dat het centrale resultaat niet een universeel voordeel is voor tiling (Region-RAG), maar een gemeten afweging die regel- en bewijsbewuste routing noodzakelijk maakt voordat deskundige beoordeling plaatsvindt. De auteurs benadrukken dat:

• Geen Universele Oplossing: Een vast pakket gericht op regio's is geen algemene oplossing voor de beoordeling van grootformaat documenten; pagina-breedte is essentieel voor controles tussen documenten.
• Fail-Closed Veiligheid: De architectuur zorgt ervoor dat ontbrekend bewijs resulteert in "Ontbrekende Informatie" in plaats van een valse "Pass", waardoor de professionele verantwoordelijkheid behouden blijft.
• Beperkingen van Huidige Systemen: Huidige systemen zijn niet klaar voor autonome goedkeuring vanwege frequente false passes, lage exacte lokalisatie en misgekalibreerde betrouwbaarheid.
• Toekomstige Richting: De praktische weg vooruit is een hybride checker die bewijs routeert op basis van de constraint-structuur (bijv. lokale geometrie heeft resolutie nodig; indexcontroles hebben breedte nodig) en de volledigheid van het bewijs blootlegt aan menselijke experts.

De auteurs verklaren expliciet dat hun werk geen expert-overeenstemming afleidt (aangezien inter-annotator overeenstemmingsdata niet beschikbaar is) en dat de resultaten specifiek zijn voor de geëvalueerde projectdistributies en gehoste implementaties, en geen garantie bieden voor alle constructiedocumenten.