Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements

Résumé technique : Ishigaki-IDS-Bench

Énoncé du problème
Bien que les modèles de langage de grande taille (LLM) soient de plus en plus capables de générer des sorties structurées telles que JSON, SQL et du code, les ressources publiques pour évaluer la génération devant satisfaire simultanément des schémas XML conformes aux normes industrielles et des contraintes strictes de vocabulaire de domaine restent limitées. Dans le domaine de l'Architecture, de l'Ingénierie et de la Construction (AEC), la modélisation de l'information du bâtiment (BIM) repose sur la norme des Classes d'Infrastructure Industrielle (IFC) pour la représentation des données. La Spécification de Livraison d'Informations (IDS) est une norme basée sur XML utilisée pour définir des exigences d'information lisibles par machine pour ces modèles IFC.

La génération d'IDS à partir d'exigences en langage naturel ou de listes de contrôle tabulaires est une tâche complexe de génération structurée sous contraintes. Elle requiert non seulement une validité syntaxique, mais aussi :

1. Conformité aux normes : Respect du schéma et de la norme IDS.
2. Mappage du vocabulaire : Correspondance correcte des termes en langage naturel (par exemple, « murs ») avec des classes spécifiques de la norme IFC.
3. Expression des contraintes : Définition précise des contraintes de valeur (par exemple, les classements de résistance au feu) au sein des unités de vérification IDS.
4. Correspondance sémantique : Assurance que le XML généré reflète l'intention du document d'entrée sans ambiguïté.

Les méthodes d'évaluation actuelles pour la génération structurée à usage général ne traitent pas adéquatement ces couches de complexité spécifiques au domaine, ni ne fournissent de cadre pour analyser les défaillances entre validité formelle et exactitude du contenu.

Méthodologie
L'article présente Ishigaki-IDS-Bench, une référence conçue pour évaluer la capacité des LLM à générer des XML IDS à partir d'exigences d'information BIM.

• Construction de l'ensemble de données : La référence comprend 166 exemples dérivés de 83 scénarios pratiques, étendus en japonais et en anglais. Ces exemples ont été rédigés et vérifiés par des experts en BIM/IDS. L'ensemble de données inclut des contextes d'entrée (CSV ou langage naturel), des versions IFC cibles et les fichiers IDS « or » correspondants.

  • Le processus de construction a impliqué un brainstorming de cas d'usage, une création manuelle des entrées et des sorties or, une révision par des experts pour la correspondance sémantique, et une validation formelle à l'aide de l'IDSAuditTool.
  • Des métadonnées sont fournies pour le format d'entrée, la langue, le réglage des tours (unique vs multi-tours), la version IFC et le domaine de construction.
  • L'ensemble de données se concentre sur trois facettes principales : entité (types d'éléments IFC), attribut (champs IFC de base) et propriété (informations supplémentaires avec ensembles de propriétés, noms de base, valeurs, types de données et cardinalité).

• Protocole d'évaluation en deux étapes :

  1. Validité formelle (Étape 1) : Utilise l'IDSAuditTool pour évaluer si la sortie générée est traitable et conforme aux normes. Elle rapporte trois métriques :
     • Traitabilité : Si l'audit a atteint un état terminé (ok, erreur de structure ou erreur de contenu).
     • Structure : Conformité à la structure XML et au schéma XSD IDS.
     • Contenu : Conformité à la norme IDS et aux contraintes de vocabulaire IFC.
  2. Accord sur le contenu (Étape 2) : Un scoreur de facettes compare l'IDS généré à l'IDS or. Il normalise les espaces de noms, les espaces blancs et la capitalisation, puis effectue une correspondance exacte sur les blocs de comparaison (applicabilité/exigences, types de facettes et contraintes). Cette étape calcule les scores de Précision, Rappel et F1 Macro, capturant les défaillances où le XML est valide mais sémantiquement incorrect par rapport à l'entrée.

• Expériences de référence : Les auteurs ont évalué 10 LLM (incluant des modèles propriétaires fermés comme GPT-5.5 et des modèles à poids ouverts comme Qwen3 et Kimi) dans un réglage zero-shot. Les invites comprenaient des instructions de tâche et des exigences d'entrée, mais aucun exemple few-shot ni référence IDS or.

Contributions clés

1. Ensemble de données Ishigaki-IDS-Bench : Une référence de haute qualité, vérifiée par des experts, contenant 166 exemples avec des fichiers IDS or et des métadonnées multifacettes, comblant le manque de ressources publiques pour la génération de XML conforme aux normes dans le domaine AEC.
2. Cadre d'évaluation en deux étapes : Un protocole combinant des vérifications de validité formelle (via IDSAuditTool) avec un score d'accord sur le contenu au niveau des facettes, permettant une analyse nuancée des points de défaillance de la génération (syntaxe vs sémantique).
3. Lignes de base zero-shot et analyse : Évaluation complète de 10 LLM, offrant une vue diagnostique des capacités actuelles des modèles et des modes de défaillance dans la génération d'IDS.

Résultats
L'évaluation de 10 LLM a révélé des défis significatifs dans la génération stable d'IDS :

• Écart de performance : Le modèle le plus performant, GPT-5.5, a atteint un F1 Macro de 65,6 % pour l'accord sur le contenu, mais seulement un taux de réussite de 27,7 % pour l'audit de contenu (conformité à la norme IDS et aux vocabulaires IFC).
• Traitabilité vs Contenu : De nombreux modèles ont affiché des taux de traitabilité élevés (par exemple, 99,4 % pour Kimi K2.6) mais des taux de réussite de contenu faibles, indiquant qu'ils peuvent générer du XML traitable syntaxiquement mais peinent à respecter les contraintes spécifiques au domaine.
• Mise à l'échelle des modèles : Parmi les modèles Qwen à poids ouverts, l'augmentation de la taille des paramètres a amélioré les scores F1 (de 20,2 % pour 8B à 26,8 % pour 397B) mais n'a pas significativement amélioré les taux de réussite de contenu (restant entre 10,2 % et 19,3 %), suggérant que l'échelle seule est insuffisante pour maîtriser les normes de domaine.
• Effets de l'entrée et du réglage :
  • Les réglages multi-tours (mise à jour d'IDS existants) ont produit des performances significativement supérieures (84,8 % de F1 pour GPT-5.5) par rapport à la génération unique à partir de zéro (58,6 % de F1).
  • Les entrées CSV ont donné des scores F1 plus élevés que les entrées en langage naturel, probablement en raison d'un mappage plus clair des exigences vers les facettes.
• Modes de défaillance : Les erreurs courantes comprenaient des violations formelles des contraintes XSD/IFC, des noms d'ensembles de propriétés incorrects et une ambiguïté dans le mappage des cibles en langage naturel vers les contraintes de valeur.

Signification
L'article présente Ishigaki-IDS-Bench comme une ressource diagnostique plutôt que comme un corpus d'entraînement à grande échelle. Sa signification réside dans :

• Le fait de souligner que les LLM actuels peuvent exprimer des exigences d'information partielles sous forme d'IDS mais peinent à générer de manière stable des sorties satisfaisant les contraintes rigoureuses de la norme IDS et du vocabulaire IFC.
• La fourniture d'un cadre pour l'évaluation comparative et l'analyse des défaillances, capable de guider le développement de méthodes de génération structurée sous contraintes conformes aux normes de domaine.
• L'offre d'un modèle pour évaluer d'autres tâches de génération structurée spécifiques au domaine (par exemple, HL7/FHIR médical, XBRL financier) qui nécessitent une conformité aux normes et une validation externe.

Les auteurs déclarent explicitement que la référence est publiée sous la licence CC BY 4.0 sur GitHub et Hugging Face, avec des scripts d'évaluation et une documentation de reproductibilité fournies. Ils notent des limitations, telles que l'exclusion de certaines facettes (classification, matériau) et la dépendance à une évaluation zero-shot, encadrant les travaux futurs autour de l'extension de ces périmètres et de l'exploration d'approches few-shot ou affinées.