Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements

Technische Samenvatting: Ishigaki-IDS-Bench

Probleemstelling
Hoewel Large Language Models (LLM's) steeds bekwaamer worden in het genereren van gestructureerde output zoals JSON, SQL en code, blijven publieke bronnen voor het evalueren van generatie die tegelijkertijd moet voldoen aan industriestandaard XML-schema's en strikte domeinvocabulaire-beperkingen beperkt. In het domein van Architectuur, Ingenieurskunst en Bouw (AEC) is Building Information Modeling (BIM) afhankelijk van de Industry Foundation Classes (IFC)-standaard voor data-representatie. De Information Delivery Specification (IDS) is een op XML gebaseerde standaard die wordt gebruikt om machine-leesbare informatie-eisen voor deze IFC-modellen te definiëren.

Het genereren van IDS uit natuurlijke taaleisen of tabulaire checklists is een complexe, beperkte gestructureerde generatietask. Dit vereist niet alleen syntactische validiteit, maar ook:

1. Standaardconformiteit: Inachtneming van het IDS-schema en de standaard.
2. Vocabulaire-mapping: Het correct koppelen van termen in natuurlijke taal (bijvoorbeeld "muren") aan specifieke IFC-standaardklassen.
3. Beperkingsexpressie: Het nauwkeurig definiëren van waardebeperkingen (bijvoorbeeld brandwerendheidsclassificaties) binnen de IDS-controle-eenheden.
4. Semantische correspondentie: Zorgen dat de gegenereerde XML de intentie van het invoerdocument zonder ambiguïteit weerspiegelt.

Huidige evaluatiemethoden voor algemeen doelgestructureerde generatie adresseren deze domeinspecifieke lagen van complexiteit niet adequaat, noch bieden ze een raamwerk voor het analyseren van fouten in formele validiteit versus inhoudelijke nauwkeurigheid.

Methodologie
Het artikel introduceert Ishigaki-IDS-Bench, een benchmark ontworpen om het vermogen van LLM's te evalueren om IDS-XML te genereren uit BIM-informatie-eisen.

• Datasetconstructie: De benchmark bestaat uit 166 voorbeelden afgeleid van 83 praktische scenario's, uitgebreid naar zowel het Japans als het Engels. Deze voorbeelden zijn geschreven en geverifieerd door BIM/IDS-experts. De dataset bevat invoercontexten (CSV of natuurlijke taal), doel-IFC-versies en corresponderende "gold"-IDS-bestanden.

  • Het constructieproces omvatte brainstormen over use-cases, handmatige creatie van invoer en gold-outputs, expertreview voor semantische correspondentie, en formele validatie met behulp van de IDSAuditTool.
  • Metadata wordt verstrekt voor invoerformaat, taal, conversatiestelling (enkele versus meervoudige beurt), IFC-versie en bouwdomein.
  • De dataset richt zich op drie kernaspecten: entiteit (IFC-elementtypen), attribuut (basis-IFC-velden) en eigenschap (aanvullende informatie met eigenschapsets, basismaten, waarden, datatypen en kardinaliteit).

• Tweestaps-evaluatieprotocol:

  1. Formele Validiteit (Fase 1): Gebruikt de IDSAuditTool om te beoordelen of de gegenereerde output verwerkbaar is en voldoet aan standaarden. Het rapporteert drie metrieken:
     • Verwerkbaarheid: Of de audit een voltooid stadium bereikte (ok, structuurfout of inhoudsfout).
     • Structuur: Conformiteit aan XML-structuur en IDS XSD-schema.
     • Inhoud: Conformiteit aan de IDS-standaard en IFC-vocabulaire-beperkingen.
  2. Inhoudelijke Overeenstemming (Fase 2): Een facet-scorer vergelijkt de gegenereerde IDS met de gold-IDS. Het normaliseert naamruimten, witruimte en hoofdletters, en voert vervolgens exacte matching uit op vergelijkingsblokken (toepasbaarheid/eisen, facettypen en beperkingen). Deze fase berekent Precision, Recall en Macro F1-scores, en vangt fouten op waarbij de XML geldig is maar semantisch incorrect is ten opzichte van de invoer.

• Basisexperimenten: De auteurs evalueerden 10 LLM's (waaronder gesloten propriëtaire modellen zoals GPT-5.5 en open-weight modellen zoals Qwen3 en Kimi) in een zero-shot setting. De prompts bevatten taakinstructies en invoereisen, maar geen few-shot voorbeelden of gold-IDS-referenties.

Belangrijkste Bijdragen

1. Ishigaki-IDS-Bench Dataset: Een hoogwaardige, door experts geverifieerde benchmark met 166 voorbeelden, gold-IDS-bestanden en veelzijdige metadata, die het gebrek aan publieke bronnen voor domeinstandaard-XML-generatie in AEC aanpakt.
2. Tweestaps-evaluatiekader: Een protocol dat formele validiteitscontroles (via IDSAuditTool) combineert met facetniveau-inhoudelijke overeenstemmingsscorings, waardoor een genuanceerde analyse mogelijk is van waar generatie faalt (syntaxis versus semantiek).
3. Zero-shot Baselines en Analyse: Uitgebreide evaluatie van 10 LLM's, die een diagnostisch beeld biedt van huidige modelcapaciteiten en faalmodi bij het genereren van IDS.

Resultaten
De evaluatie van 10 LLM's onthulde aanzienlijke uitdagingen in stabiele IDS-generatie:

• Prestatiekloof: Het best presterende model, GPT-5.5, behaalde een 65,6% Macro F1 voor inhoudelijke overeenstemming, maar slechts een 27,7% slagingspercentage voor de Content-audit (conformiteit aan IDS-standaard en IFC-vocabulaires).
• Verwerkbaarheid versus Inhoud: Veel modellen vertoonden hoge verwerkbaarheidsscores (bijvoorbeeld 99,4% voor Kimi K2.6), maar lage inhoudelijke slagingspercentages, wat aangeeft dat ze syntactisch verwerkbare XML kunnen genereren maar moeite hebben om te voldoen aan domeinspecifieke beperkingen.
• Modelschaling: Onder open-weight Qwen-modellen verbeterde het vergroten van de parametergrootte de F1-scores (van 20,2% voor 8B naar 26,8% voor 397B), maar verbeterde dit de inhoudelijke slagingspercentages niet significant (blijvend tussen 10,2% en 19,3%), wat suggereert dat schaal alleen onvoldoende is voor het beheersen van domeinstandaarden.
• Effecten van Invoer en Setting:
  • Meervoudige beurt-settings (bestaande IDS bijwerken) leverden aanzienlijk hogere prestaties op (84,8% F1 voor GPT-5.5) in vergelijking met eenmalige generatie vanaf nul (58,6% F1).
  • CSV-invoer resulteerde in hogere F1-scores dan invoer in natuurlijke taal, waarschijnlijk door een duidelijkere mapping van eisen naar facetten.
• Faalmodi: Veelvoorkomende fouten omvatten formele schendingen van XSD/IFC-beperkingen, onjuiste eigenschapsetnamen en ambiguïteit bij het koppelen van doelen in natuurlijke taal aan waardebeperkingen.

Betekenis
Het artikel positioneert Ishigaki-IDS-Bench als een diagnostische bron in plaats van een groot trainingscorpus. De betekenis hiervan ligt in:

• Benadrukken dat huidige LLM's partiële informatie-eisen kunnen uitdrukken als IDS, maar moeite hebben om stabiel output te genereren die voldoet aan de strenge beperkingen van de IDS-standaard en IFC-vocabulaire.
• Het bieden van een kader voor vergelijkende evaluatie en foutanalyse dat de ontwikkeling van beperkte gestructureerde generatiemethoden kan sturen die voldoen aan domeinstandaarden.
• Het bieden van een sjabloon voor het evalueren van andere domeinspecifieke gestructureerde generatietaken (bijvoorbeeld medische HL7/FHIR, financiële XBRL) die conformiteit aan standaarden en externe validatie vereisen.

De auteurs stellen expliciet dat de benchmark onder de CC BY 4.0-licentie op GitHub en Hugging Face wordt vrijgegeven, met evaluatiescripts en documentatie voor reproduceerbaarheid. Zij wijzen op beperkingen, zoals de uitsluiting van bepaalde facetten (classificatie, materiaal) en de afhankelijkheid van zero-shot evaluatie, en schetsen toekomstig werk rond het uitbreiden van deze scopes en het verkennen van few-shot of gefinetuned benaderingen.