Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements

Riepilogo Tecnico: Ishigaki-IDS-Bench

Enunciato del Problema
Sebbene i Modelli Linguistici su Larga Scala (LLM) siano sempre più capaci di generare output strutturati come JSON, SQL e codice, le risorse pubbliche per valutare la generazione che deve soddisfare simultaneamente schemi XML standardizzati dal settore e vincoli rigorosi di vocabolario di dominio rimangono limitate. Nel settore dell'Architettura, Ingegneria e Costruzione (AEC), il Building Information Modeling (BIM) si basa sullo standard Industry Foundation Classes (IFC) per la rappresentazione dei dati. La Information Delivery Specification (IDS) è uno standard basato su XML utilizzato per definire requisiti di informazioni leggibili da macchina per questi modelli IFC.

Generare IDS da requisiti in linguaggio naturale o da checklist tabulari è un compito complesso di generazione strutturata vincolata. Richiede non solo validità sintattica, ma anche:

1. Conformità allo Standard: Adesione allo schema e allo standard IDS.
2. Mappatura del Vocabolario: Corretta mappatura dei termini in linguaggio naturale (ad esempio, "muri") su classi specifiche dello standard IFC.
3. Espressione dei Vincoli: Definizione accurata dei vincoli di valore (ad esempio, classificazione al fuoco) all'interno delle unità di controllo IDS.
4. Corrispondenza Semantica: Garantire che l'XML generato rifletta l'intento del documento di input senza ambiguità.

I metodi di valutazione attuali per la generazione strutturata generica non affrontano adeguatamente questi livelli di complessità specifici del dominio, né forniscono un quadro per analizzare i fallimenti nella validità formale rispetto all'accuratezza del contenuto.

Metodologia
Il documento introduce Ishigaki-IDS-Bench, un benchmark progettato per valutare la capacità degli LLM di generare XML IDS da requisiti informativi BIM.

• Costruzione del Dataset: Il benchmark è composto da 166 esempi derivati da 83 scenari pratici, espansi sia in giapponese che in inglese. Questi esempi sono stati redatti e verificati da esperti di BIM/IDS. Il dataset include contesti di input (CSV o linguaggio naturale), versioni IFC target e corrispondenti file IDS "gold".

  • Il processo di costruzione ha coinvolto la brainstorming di casi d'uso, la creazione manuale di input e output gold, la revisione da parte di esperti per la corrispondenza semantica e la validazione formale utilizzando lo strumento IDSAuditTool.
  • Vengono forniti metadati per il formato di input, la lingua, la configurazione del turno (singolo vs. multi-turno), la versione IFC e il settore delle costruzioni.
  • Il dataset si concentra su tre aspetti fondamentali: entità (tipi di elementi IFC), attributo (campi IFC di base) e proprietà (informazioni aggiuntive con set di proprietà, nomi di base, valori, tipi di dati e cardinalità).

• Protocollo di Valutazione in Due Fasi:

  1. Validità Formale (Fase 1): Utilizza IDSAuditTool per valutare se l'output generato è elaborabile e conforme agli standard. Segnala tre metriche:
     • Elaborabilità: Se l'audit ha raggiunto uno stato completato (ok, errore di struttura o errore di contenuto).
     • Struttura: Conformità alla struttura XML e allo schema XSD IDS.
     • Contenuto: Conformità allo standard IDS e ai vincoli del vocabolario IFC.
  2. Accordo sul Contenuto (Fase 2): Un punteggio per aspetto confronta l'IDS generato con l'IDS gold. Normalizza gli spazi dei nomi, gli spazi bianchi e le maiuscole/minuscole, quindi esegue una corrispondenza esatta sui blocchi di confronto (applicabilità/requisiti, tipi di aspetto e vincoli). Questa fase calcola i punteggi di Precisione, Richiamo e F1 Macro, catturando i fallimenti in cui l'XML è valido ma semanticamente errato rispetto all'input.

• Esperimenti Baseline: Gli autori hanno valutato 10 LLM (inclusi modelli proprietari chiusi come GPT-5.5 e modelli a pesi aperti come Qwen3 e Kimi) in un contesto zero-shot. I prompt includevano istruzioni sul compito e requisiti di input, ma nessun esempio few-shot o riferimenti IDS gold.

Contributi Chiave

1. Dataset Ishigaki-IDS-Bench: Un benchmark di alta qualità, verificato da esperti, contenente 166 esempi con file IDS gold e metadati multifaccettati, che affronta la mancanza di risorse pubbliche per la generazione XML conforme agli standard nel settore AEC.
2. Quadro di Valutazione in Due Fasi: Un protocollo che combina controlli di validità formale (tramite IDSAuditTool) con un punteggio di accordo sul contenuto a livello di aspetto, consentendo un'analisi sfumata di dove la generazione fallisce (sintassi vs. semantica).
3. Baseline Zero-Shot e Analisi: Valutazione completa di 10 LLM, fornendo una visione diagnostica delle attuali capacità dei modelli e delle modalità di fallimento nella generazione IDS.

Risultati
La valutazione di 10 LLM ha rivelato sfide significative nella generazione stabile di IDS:

• Divario di Prestazioni: Il modello con le prestazioni migliori, GPT-5.5, ha raggiunto un F1 Macro del 65,6% per l'accordo sul contenuto, ma solo un tasso di superamento del 27,7% per l'audit del Contenuto (conformità allo standard IDS e ai vocabolari IFC).
• Elaborabilità vs. Contenuto: Molti modelli hanno mostrato tassi elevati di Elaborabilità (ad esempio, il 99,4% per Kimi K2.6) ma bassi tassi di superamento del Contenuto, indicando che possono generare XML sintatticamente elaborabile ma faticano ad aderire ai vincoli specifici del dominio.
• Scalabilità del Modello: Tra i modelli Qwen a pesi aperti, l'aumento delle dimensioni dei parametri ha migliorato i punteggi F1 (dal 20,2% per 8B al 26,8% per 397B), ma non ha migliorato significativamente i tassi di superamento del Contenuto (rimasti tra il 10,2% e il 19,3%), suggerendo che la scala da sola è insufficiente per padroneggiare gli standard di dominio.
• Effetti di Input e Configurazione:
  • Le configurazioni multi-turno (aggiornamento di IDS esistenti) hanno prodotto prestazioni significativamente superiori (84,8% F1 per GPT-5.5) rispetto alla generazione singola da zero (58,6% F1).
  • Gli input CSV hanno portato a punteggi F1 più elevati rispetto agli input in linguaggio naturale, probabilmente a causa di una mappatura più chiara dei requisiti sugli aspetti.
• Modalità di Fallimento: Errori comuni includevano violazioni formali dei vincoli XSD/IFC, nomi di set di proprietà errati e ambiguità nella mappatura degli obiettivi in linguaggio naturale sui vincoli di valore.

Significato
Il documento posiziona Ishigaki-IDS-Bench come una risorsa diagnostica piuttosto che un corpus di addestramento su larga scala. Il suo significato risiede nel:

• Evidenziare che gli attuali LLM possono esprimere requisiti di informazioni parziali come IDS, ma faticano a generare stabilmente output che soddisfino i vincoli rigorosi dello standard IDS e del vocabolario IFC.
• Fornire un quadro per la valutazione comparativa e l'analisi dei fallimenti che può guidare lo sviluppo di metodi di generazione strutturata vincolata conformi agli standard di dominio.
• Offrire un modello per valutare altri compiti di generazione strutturata specifici del dominio (ad esempio, HL7/FHIR medico, XBRL finanziario) che richiedono conformità agli standard e validazione esterna.

Gli autori dichiarano esplicitamente che il benchmark è rilasciato sotto licenza CC BY 4.0 su GitHub e Hugging Face, con script di valutazione e documentazione sulla riproducibilità forniti. Segnalano limitazioni, come l'esclusione di determinati aspetti (classificazione, materiale) e la dipendenza dalla valutazione zero-shot, inquadrando il lavoro futuro nell'estensione di questi ambiti e nell'esplorazione di approcci few-shot o di fine-tuning.