Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements

기술 요약: Ishigaki-IDS-Bench

문제 제기
대규모 언어 모델 (LLM) 이 JSON, SQL, 코드와 같은 구조화된 출력물을 생성하는 능력이 점차 향상되고 있지만, 산업 표준 XML 스키마와 엄격한 도메인 어휘 제약을 동시에 충족해야 하는 생성 작업을 평가하기 위한 공개 자원은 여전히 제한적입니다. 건축, 엔지니어링, 건설 (AEC) 분야에서 빌딩 정보 모델링 (BIM) 은 데이터 표현을 위해 산업 기초 클래스 (IFC) 표준에 의존합니다. 정보 전달 명세 (IDS) 는 이러한 IFC 모델에 대한 기계 판독형 정보 요구사항을 정의하는 데 사용되는 XML 기반 표준입니다.

자연어 요구사항이나 표 형식의 체크리스트에서 IDS 를 생성하는 것은 복잡한 제약 구조 생성 작업입니다. 이는 문법적 유효성뿐만 아니라 다음을 요구합니다:

1. 표준 준수: IDS 스키마 및 표준에 대한 준수.
2. 어휘 매핑: 자연어 용어 (예: "벽") 를 특정 IFC 표준 클래스에 올바르게 매핑.
3. 제약식 표현: IDS 검사 단위 내에서 값 제약 (예: 내화 등급) 을 정확하게 정의.
4. 의미적 대응: 생성된 XML 이 입력 문서의 의도를 모호함 없이 반영하도록 보장.

현재의 범용 구조 생성 평가 방법은 이러한 도메인 특유의 복잡성 층을 충분히 다루지 못하며, 형식적 유효성과 내용 정확도 간의 실패를 분석할 수 있는 프레임워크도 제공하지 못합니다.

방법론
본 논문은 BIM 정보 요구사항으로부터 IDS XML 을 생성하는 LLM 의 능력을 평가하기 위해 설계된 Ishigaki-IDS-Bench를 소개합니다.

• 데이터셋 구축: 본 벤치마크는 83 개의 실제 시나리오에서 파생된 166 개의 예제로 구성되며, 일본어와 영어로 확장되었습니다. 이러한 예제들은 BIM/IDS 전문가들이 작성하고 검증했습니다. 데이터셋에는 입력 컨텍스트 (CSV 또는 자연어), 대상 IFC 버전, 그리고 해당 "골드" IDS 파일이 포함됩니다.

  • 구축 과정에는 사용 사례 브레인스토밍, 입력 및 골드 출력의 수동 생성, 의미적 대응에 대한 전문가 검토, 그리고 IDSAuditTool을 사용한 형식적 검증을 포함했습니다.
  • 입력 형식, 언어, 턴 설정 (단일 턴 대 멀티 턴), IFC 버전, 건설 도메인에 대한 메타데이터가 제공됩니다.
  • 데이터셋은 엔티티(IFC 요소 유형), 속성(기본 IFC 필드), 프로퍼티(프로퍼티 세트, 기본 이름, 값, 데이터 유형, 카디널리티를 포함한 추가 정보) 라는 세 가지 핵심 측면에 초점을 맞춥니다.

• 2 단계 평가 프로토콜:

  1. 형식적 유효성 (1 단계): 생성된 출력이 처리 가능하고 표준을 준수하는지 평가하기 위해 IDSAuditTool을 사용합니다. 세 가지 지표를 보고합니다:
     • 처리 가능성: 감사 (audit) 가 완료 상태 (ok, 구조 오류, 또는 내용 오류) 에 도달했는지 여부.
     • 구조: XML 구조 및 IDS XSD 스키마에 대한 준수.
     • 내용: IDS 표준 및 IFC 어휘 제약에 대한 준수.
  2. 내용 일치 (2 단계): **팩트 스코어 (facet scorer)**가 생성된 IDS 를 골드 IDS 와 비교합니다. 네임스페이스, 공백, 대소문자를 정규화한 후 비교 블록 (적용/요구사항, 팩트 유형, 제약) 에 대해 정확한 매칭을 수행합니다. 이 단계는 XML 이 유효하지만 입력에 비해 의미적으로 잘못되었을 때의 실패를 포착하는 정밀도 (Precision), 재현율 (Recall), 매크로 F1 점수를 계산합니다.

• 베이스라인 실험: 저자들은 10 개의 LLM(GPT-5.5 와 같은 폐쇄형 독점 모델과 Qwen3, Kimi 와 같은 오픈 가중치 모델을 포함) 을 제로샷 설정에서 평가했습니다. 프롬프트에는 작업 지시사항과 입력 요구사항이 포함되었으나, 퓨샷 예제나 골드 IDS 참조는 포함되지 않았습니다.

주요 기여

1. Ishigaki-IDS-Bench 데이터셋: 골드 IDS 파일과 다면적 메타데이터를 포함하는 고품질 전문가 검증 벤치마크로, AEC 분야의 도메인 표준 XML 생성을 위한 공개 자원의 부재를 해소합니다.
2. 2 단계 평가 프레임워크: 형식적 유효성 검사 (IDSAuditTool 을 통해) 와 팩트 수준 내용 일치 점수 평가를 결합한 프로토콜로, 생성이 어디서 실패하는지 (구문 대 의미) 를 세밀하게 분석할 수 있게 합니다.
3. 제로샷 베이스라인 및 분석: 10 개 LLM 에 대한 포괄적 평가를 통해 IDS 생성에서 현재 모델의 능력과 실패 양상에 대한 진단적 관점을 제공합니다.

결과
10 개 LLM 에 대한 평가는 안정적인 IDS 생성에 상당한 어려움이 있음을 드러냈습니다:

• 성능 격차: 가장 성능이 우수한 모델인 GPT-5.5는 내용 일치에 대해 65.6% 의 매크로 F1을 달성했으나, 내용 감사 (IDS 표준 및 IFC 어휘에 대한 준수) 에 대한 통과율은 **27.7%**에 불과했습니다.
• 처리 가능성 대 내용: 많은 모델이 높은 처리 가능성 비율 (예: Kimi K2.6 의 경우 99.4%) 을 보였으나 내용 통과율은 낮았습니다. 이는 문법적으로 처리 가능한 XML 을 생성할 수는 있지만 도메인 특유의 제약을 준수하는 데 어려움을 겪음을 나타냅니다.
• 모델 확장: 오픈 가중치 Qwen 모델 중에서는 파라미터 크기를 늘리면 F1 점수가 향상되었으나 (8B 의 20.2% 에서 397B 의 26.8% 로), 내용 통과율은 크게 개선되지 않았습니다 (10.2%~19.3% 사이). 이는 규모만으로는 도메인 표준을 마스터하기에 불충분함을 시사합니다.
• 입력 및 설정 효과:
  • 멀티 턴 설정(기존 IDS 업데이트) 은 처음부터 생성하는 단일 턴 (58.6% F1) 에 비해 성능이 현저히 높았습니다 (GPT-5.5 의 경우 84.8% F1).
  • CSV 입력은 자연어 입력보다 높은 F1 점수를 기록했는데, 이는 요구사항을 팩트에 더 명확하게 매핑했기 때문으로 보입니다.
• 실패 양상: 일반적인 오류로는 XSD/IFC 제약에 대한 형식적 위반, 잘못된 프로퍼티 세트 이름, 자연어 대상과 값 제약 간의 매핑 모호성이 포함되었습니다.

의의
본 논문은 Ishigaki-IDS-Bench 를 대규모 학습 코퍼스라기보다는 진단 자원으로 위치시킵니다. 그 의의는 다음과 같습니다:

• 현재 LLM 들은 IDS 로 부분적인 정보 요구사항을 표현할 수는 있지만, IDS 표준과 IFC 어휘의 엄격한 제약을 충족하는 출력을 안정적으로 생성하는 데는 어려움을 겪고 있음을 강조합니다.
• 도메인 표준에 부합하는 제약 구조 생성 방법의 개발을 안내할 수 있는 비교 평가 및 실패 분석 프레임워크를 제공합니다.
• 표준 준수와 외부 검증을 요구하는 기타 도메인 특화 구조 생성 작업 (예: 의료 HL7/FHIR, 금융 XBRL) 을 평가하기 위한 템플릿을 제공합니다.

저자들은 벤치마크가 GitHub 와 Hugging Face 에서 CC BY 4.0 라이선스로 공개되었으며, 평가 스크립트와 재현성 문서가 제공된다고 명시했습니다. 또한 특정 팩트 (분류, 재료) 의 제외와 제로샷 평가에 대한 의존성과 같은 한계를 지적하며, 향후 작업을 이러한 범위 확장 및 퓨샷 또는 파인튜닝 접근법 탐구를 중심으로 framing 하고 있습니다.