기술 요약: Ishigaki-IDS

문제 정의

빌딩 정보 모델링(BIM) 프로젝트에는 정보 요구사항을 기계가 검증 가능한 정보 전달 사양(Information Delivery Specification, IDS) 파일로 공식화하는 과정이 필요합니다. XML 스키마를 기반으로 하는 이 파일들은 IFC(Industry Foundation Classes) 모델 내의 특정 요소들이 어떤 속성과 값의 조건을 충满足해야 하는지를 정의합니다. 그러나 IDS 파일을 작성하는 것은 여전히 상당한 실무적 병목 현상입니다. 실무자들은 복잡한 도메인 어휘(IFC 엔티티), 엄격한 XML 스키마 제약 조건, 외부 검증기 준수 여부(예: IDSAuditTool), 그리고 요구사항 자체의 의미론적 정확성을 동시에 관리해야 합니다.

현재의 거대 언语言 모델(LLM)은 이 작업에 어려움을 겪습니다. 단순히 구문적으로 유효한 XML을 생성하는 것만으로는 부족하며, 출력물이 반드시 IDS 표준과 일치해야 하고, IFC 어휘와 올바르게 매핑되어야 하며, 외부 검증 도구를 통과해야 하기 때문입니다. 기존의 접근 방식들은 종-종 "검증기 로드 가능(validator-loadable)"한 결과물을 생성하는 데 실패하며, 이로 인해 실무자들은 초안을 검토하기 전에 광범한 저수준 XML 수정 및 스키마 교정 작업을 수행해야 하는 상황에 직면합니다.

방법론: 검증기 인지형 다단계 적응 (Verifier-Aware Multi-Stage Adaptation)

본 논문은 IDS 초안 생성을 위해 특화된 오픈 웨이트 LLM인 Ishigaki-IDS를 소개합니다. 이 모델은 Qwen3 아키텍처를 기반으로 구축되었으며, 구조적 제약과 의미론적 정렬을 모두 만족시키기 위해 설계된 3단계 파이프라인을 통해 적응되었습니다.

1. 지속적 사전 학습 (Continued Pretraining, CPT): 베이스 모델을 약 5억 개의 토큰으로 구성된 BIM/IFC/IDS 도메인 혼합 코퍼스를 사용하여 도메인에 적응시킵니다. 이 데이터셋은 일반 도메인 데이터(FineWeb2)와 혼합된 IFC 스키마, IDS 명세서, 기술 문서 및 공개된 IDS 예시를 포함하여, 도메인 특화 어휘 및 XML 구조에 모델의 분포를 정렬하고 '파괴적 망각(catastrophic forgetting)'을 방지합니다.
2. 지도 미세 조정 (Supervised Fine-Tuning, SFT): 모델은 자연어 또는 CSV 기반의 정보 요구사항으로부터 IDS 초안으로의 매핑을 학습합니다. 학습 데이터는 유효하고 전문가가 큐레이션한 IDS 파일에서 패싯(facet)을 추출하고 이를 요구사항 설명으로 바꾸어 만든 약 4,000개의 쌍으로 구성됩니다. 이 쌍들은 의미론적 일치성과 검증기 통과 여부를 기준으로 필터링되었습니다.
3. 검증 가능한 보상을 활용한 강화 학습 (Reinforcement Learning with Verifiable Rewards, RLVR): 이 단계에서는 외부 검증기에서 유도된 보상을 사용하여 정책을 더욱 미세하게 조정합니다. 각 입력에 대해 모델은 여러 개의 후보 초안을 생성하며, 보상 함수는 다음을 결합합니다:
   • 감사 게이트 (Audit Gate): 초안이 구조 및 내용 체크를 통과했는지 여부를 나타내는 IDSAuditTool의 이진 신호.
   • 패싯 정렬 (Facet Alignment): 생성된 초안과 골드 스탠다드(gold standard) IDS 사이의 의미론적 정렬을 측정하는 FacetF1 점수.
     보상은 추출에 실패하거나 감사 게이트를 통과하지 못할 경우 0이 되며, 이는 모델이 의미론적 뉘앙스를 최적화하기 전에 검증기 준수 결과물을 생성하는 것을 우선시하도록 보장합니다. 최적화에는 KL 제약 조건이 있는 그룹 상대 정책 최적화(GRPO)가 사용됩니다.

주요 기여

• Ishigaki-IDS-8B: 표준 검증기에 의해 빈번하게 로드 가능한 BIM 정보 요구사항으로부터 IDS 초안을 생성할 수 있는 오픈 웨이트 모델(Hugging Face에서 CC BY 4.0으로 제공)을 출시했습니다.
• 검증기 인지형 다단계 적응: 도메인 CPT, 요구사항-to-IDS SFT, 그리고 검증 가능한 보상(IDSAuditTool + FacetF1)을 사용하는 RLVR을 결합하여, AEC 도메인의 제약이 있는 구조적 생성에 특화된 새로운 적응 레시피를 제시했습니다.
• 실증적 근거: 166개의 전문가 생성 사례를 포함하는 Ishigaki-IDS-Bench에서의 평가와 6명의 BIM 실무자를 대상으로 한 워크플로우 점검을 통해, 검증기 통과율과 워크플로 효율성의 유의미한 향상을 입증했습니다.

결과

모델은 다양한 입력 형식(자연어, CSV), 언어(영어, 일본어), IFC 버전을 다루는 166개 사례의 큐레이션된 데이터셋인 Ishigaki-IDS-Bench에서 평가되었습니다.

• 검증기 통과 (IDSAuditPass): Ishigaki-IDS-8B는 0.651의 IDSAuditPass 점수(166개 중 108개 케이스)를 기록하여, 가장 강력한 싱글샷 베이스라인인 Claude Opus 4.5(0.331 기록)를 크게 상회했습니다.
• 스케일링 (Scaling): 더 큰 변체들(14B 및 32B)은 추가적인 개선을 보여주었으며, 14B 모델은 0.753의 IDSAuditPass에 도달했습니다.
• 의미론적 정렬 (AG-FacetF1): 모델은 0.282(8B) 및 0.392(14B)의 Audit-Gated FacetF1을 달성하였으며, 이는 검증을 통과한 초안들 중 상당 부분이 요구되는 조건과 잘 일치함을 나타냅니다.
• 워크플로 효율성: CSV 요구사항을 IDS로 변환하는 6명의 실무자를 대상으로 한 통제된 워크플로 점검에서, Ishigaki 지원 초안 작성을 사용했을 때 고정된 검증 엔드포인트(IDSAuditPass + FacetF1=1.0)에 도달하는 총 시간이 OpenAEC 에디터에서 수동으로 작성했을 때보다 54.7% 단축되었습니다.

의의 및 범위

본 논문은 Ishigaki-IDS의 주요 가치가 전문가 검토를 자율적으로 대체하는 것이 아니라, 저수준의 업무량을 줄이는 것에 있다고 주장합니다. 작성 과정을 수동적인 XML/스키마 수리에서 "검증기 로드 가능한 초안 생성"으로 전환함으로써, 실무자가 고차원적인 의미론적 검증과 내용 수정에 집중할 수 있도록 합니다.

저자들은 다음과 같은 한계점을 명시했습니다:

• 의미론적 잔여물 (Semantic Residuals): 모델이 구조적 실패(XML 파싱, 스키마 위반)를 크게 줄여주기는 하지만, 검증기를 통과한 초안에서도 의미론적 불일치(예: 잘못된 IFC 엔티티 선택)가 여전히 발생합니다. 따라서 전문가의 검토가 여전히 필요합니다.
• 평가 범위: 결과는 특정 벤치마크와 소규모 실무자 연구를 기반으로 합니다. 본 논문은 모든 AEC 워크플로 또는 대규모 생산 환경 전반에 걸친 일반화된 생산성 향상을 주장하지 않습니다.
• 자율적 저작 불가: 본 기여는 완전한 자율 저작 시스템이라기보다, 최종 감사를 위해 전문가에게 업무를 넘겨주는 초안 작성 단계를 지원하는 도구로 프레임화되었습니다.

요약하자면, Ishigaki-IDS는 검증기 인지형 적응이 자연어 요구사항과 엄격한 기계 판독 가능 건설 표준 사이의 간극을 효과적으로 메울 수 있음을 보여주며, 이를 통해 IDS 작성 프로세스를 산업 실무자들이 더 쉽게 접근하고 효율적으로 수행할 수 있도록 만듭니다.