BEMEval-Doc2Schema: Benchmarking Large Language Models for Structured Data Extraction in Building Energy Modeling

1. 연구 배경 및 문제 제기 (Problem)

• 비효율적인 데이터 처리: 건물 에너지 모델링 (BEM) 과정은 설계 문서, 감사 보고서, 도면 등 비정형 (Unstructured) 데이터를 시뮬레이션 가능한 정형 (Structured) 데이터로 변환하는 과정이 필수적입니다. 그러나 현재 실무에서는 표준화된 스키마 대신 맞춤형 스프레드시트나 데이터베이스를 사용하며, 수동 매핑이 주를 이루어 시간 소모가 크고 상호 운용성 (Interoperability) 이 부족합니다.
• LLM 의 잠재력과 한계: 최근 LLM 은 자연어 이해 및 구조화된 데이터 생성 능력이 뛰어나 BEM 자동화에 유망한 도구로 부상했습니다. 하지만 BEM 분야에서는 공식적인 벤치마크 데이터셋과 표준화된 성능 평가 지표가 부재하여, LLM 의 정확성과 신뢰성을 체계적으로 검증하기 어렵습니다. 또한, LLM 의 환각 (Hallucination) 현상은 공학적 정확도가 요구되는 BEM 에 치명적일 수 있습니다.

2. 방법론 (Methodology)

가. BEMEval 프레임워크

• 개념: BEM 워크플로우를 단일 문제가 아닌 여러 하위 작업 (Task) 으로 분해하여 평가하는 모듈형 벤치마크 프레임워크입니다.
• 목표: ImageNet 이 컴퓨터 비전 분야에서 그랬듯, BEM 분야에서도 표준화된 평가 프로토콜과 데이터셋을 제공하여 모델 간 비교와 연구의 재현성을 보장합니다.
• 확장성: 향후 코드 준수성 검토 (Code Compliance Reasoning) 나 품질 보증 (QA) 등 다른 BEM 작업으로 범위를 확장할 계획입니다.

나. BEMEval-Doc2Schema (첫 번째 벤치마크)

• 목표: 비정형 건물 문서 (PDF, 스프레드시트 등) 를 표준화된 스키마 (HPXML, EPC) 로 변환하는 LLM 의 성능을 평가합니다.
• 데이터셋: 주거용 건물의 표준화된 사례 3 개를 사용했습니다.
  • HERS L100: HERS BESTEST 기준 모델 (단층 목조 주택).
  • NIST NZERTF: 제로 에너지 주거 시험 시설 (고성능 단층 주택).
  • NREL iUnit: NREL 과 협력 개발한 모듈형 아파트 (다세대 주택).
• 대상 스키마:
  • HPXML: 주거용 에너지 감사 및 리트로핏을 위한 계층적 XML 표준.
  • EPC: 에너지 성능 계산기를 위한 평탄한 (Flat) 키 - 밸류 기반 스키마 (TOML 포맷).
• **평가 지표 **(Key–Value Overlap Rate, KVOR)
  • LLM 이 생성한 구조화된 출력과 정답 (Ground Truth) 간의 **키 - 밸류 쌍 **(Key-Value Pair)을 정량화합니다.
  • 공식: KVOR = (정확히 일치한 키 - 밸류 쌍 수) / (참조 스키마의 총 키 수)
  • 이 지표는 구조적 정확성과 의미론적 매핑 오류를 모두 포착합니다.

다. 실험 설정

• 모델: GPT-5 (OpenAI) 와 Gemini 2.5 (Google DeepMind) 를 비교 평가했습니다.
• 프롬프트 전략:
  • Zero-shot: 예시 없이 작업 지시와 스키마 문서만 제공.
  • Few-shot: 올바른 입력 - 출력 예시를 제공하여 매핑 패턴 학습 유도.

3. 주요 결과 (Results)

• 모델 성능 비교: 모든 데이터셋에서 Gemini 2.5 가 GPT-5 보다 일관되게 우수한 성능을 보였습니다. 특히 iUnit(EPC 스키마) 에서 0.851 의 높은 KVOR 점수를 기록했습니다.
• 프롬프트 전략의 영향: Few-shot 프롬프트가 두 모델 모두에서 정확도 향상에 기여했습니다. (예: Gemini 의 L100 점수 0.040 → 0.082)
• 스키마 복잡도의 영향: 단순하고 평탄한 구조인 EPC 스키마가 계층이 깊고 속성이 복잡한 HPXML 스키마보다 훨씬 높은 점수를 받았습니다. 이는 LLM 이 복잡한 계층 구조 매핑에 어려움을 겪고 있음을 시사합니다.
• 건물 유형별 난이도: NZERTF 는 시스템이 복잡하고 상호 의존적 파라미터가 많아 HPXML 기반 데이터셋 중 가장 낮은 점수를 기록했습니다.

4. 주요 기여 (Key Contributions)

1. BEMEval 프레임워크 제안: BEM 작업별 벤치마크를 통합한 최초의 오픈 소스 평가 생태계를 구축했습니다.
2. BEMEval-Doc2Schema 벤치마크 출시: 주거용 건물 문서에서 스키마로 데이터 추출하는 작업을 위한 표준화된 데이터셋 (L100, NZERTF, iUnit) 과 정답 데이터를 공개했습니다.
3. **새로운 평가 지표 **(KVOR) 단순한 텍스트 매칭이 아닌, 도메인 지식과 스키마 구조를 고려한 키 - 밸류 매핑 정확도를 측정하는 지표를 개발했습니다.
4. 실증적 통찰: LLM 이 복잡한 스키마보다는 단순화된 스키마에서 더 잘 작동하며, Few-shot 프롬프팅이 필수적임을 입증했습니다. 또한, LLM 이 직접 매핑하기보다 코드를 생성하여 작업을 자동화하려는 경향 (Shortcut Thinking) 을 발견했습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의: 이 연구는 AI 와 건물 시뮬레이션 커뮤니티 간의 간극을 해소하는 교량 역할을 합니다. 체계적인 벤치마킹을 통해 현재 LLM 의 한계를 명확히 하고, 향후 더 견고한 AI 지원 BEM 워크플로우 개발의 기초를 마련했습니다.
• 한계: 현재 데이터셋의 다양성이 부족하며 (단일 건물 유형 위주), Few-shot 예시 수가 제한적입니다. 또한, 평가 모델이 도메인 특화 파인튜닝 (Fine-tuning) 을 받지 않은 일반 모델이라는 점입니다.
• 향후 계획:
  • 데이터셋을 상업용 건물 및 다양한 건축 연식으로 확장.
  • 도메인 특화 파인튜닝 모델 평가 및 Few-shot 전략 심화.
  • 의미론적 유사도 (Semantic Similarity) 를 반영한 고급 평가 도구 개발.
  • 커뮤니티 기반의 오픈 소스 생태계 조성을 통한 지속 가능한 발전.

결론적으로, 이 논문은 LLM 을 건물 에너지 모델링에 적용하기 위한 첫 번째 체계적인 시도로서, 표준화된 평가 기준을 마련하고 현재 기술 수준을 객관적으로 진단했다는 점에서 큰 의의를 가집니다.