BEMEval-Doc2Schema: Benchmarking Large Language Models for Structured Data Extraction in Building Energy Modeling

Resumo Técnico: BEMEval-Doc2Schema

1. O Problema

A modelagem de energia em edifícios (BEM - Building Energy Modeling) é crucial para a descarbonização do setor de construção, que responde por cerca de 30% do consumo global de energia. No entanto, o processo de BEM é intensivo em mão de obra, exigindo que modeladores extraiam dados de documentos não estruturados (como projetos, relatórios de auditoria e especificações) e os convertam manualmente em formatos estruturados para simulação (ex: EnergyPlus, OpenStudio).

Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam novas oportunidades para automatizar essa extração de dados, a avaliação sistemática de seu desempenho permanece um desafio devido a:

• Ausência de conjuntos de dados públicos e específicos para tarefas de BEM.
• Falta de métricas de desempenho padronizadas.
• Dificuldade em comparar diferentes modelos e estratégias de prompting de forma reprodutível.
• Risco de "alucinações" e inconsistências em aplicações de engenharia que exigem alta precisão.

2. Metodologia

Os autores propõem o BEMEval, um framework de benchmark modular para avaliar modelos fundamentais em tarefas de BEM. O primeiro componente deste framework, o BEMEval-Doc2Schema, foca na extração de dados estruturados a partir de documentação de edifícios.

Componentes Principais do Benchmark:

• Entradas: Documentação não estruturada de edifícios residenciais reais (PDFs, planilhas, textos), baseada em três casos de estudo:
  • L100: Modelo base do HERS (Home Energy Rating System).
  • NZERTF: Instalação de Teste de Energia Zero Líquido do NIST.
  • iUnit: Apartamento modular de alta eficiência do NREL.
• Saídas (Ground Truth): Dados estruturados mapeados para dois esquemas padrão da indústria:
  • HPXML: Padrão hierárquico detalhado para auditoria e retrofit residencial.
  • EPC Schema: Esquema simplificado e baseado em cálculos normativos (formato TOML) para avaliação de desempenho energético.
• Métrica de Avaliação (KVOR): Foi introduzida a Taxa de Sobreposição Chave-Valor (Key–Value Overlap Rate - KVOR).
  • Fórmula: $KVOR = \frac{\text{Número de pares chave-valor corretamente correspondidos}}{\text{Número total de chaves no esquema de referência}}$.
  • Esta métrica penaliza tanto a omissão de dados quanto a atribuição incorreta de valores a campos errados, garantindo precisão semântica e estrutural.

Experimentos Realizados:

• Modelos Avaliados: GPT-5 (OpenAI) e Gemini 2.5 (Google DeepMind).
• Estratégias de Prompting:
  • Zero-shot: Instruções de tarefa e documentação do esquema sem exemplos.
  • Few-shot: Inclusão de pares de entrada-saída exemplares para guiar o mapeamento.

3. Contribuições Chave

1. Primeiro Benchmark Comunitário para BEM: Estabelecimento do BEMEval como o primeiro framework de avaliação padronizado e de código aberto para LLMs em tarefas de modelagem de energia de edifícios.
2. Métrica KVOR: Desenvolvimento de uma métrica quantitativa robusta que vai além da simples correspondência de texto, avaliando a precisão da estruturação de dados em esquemas complexos.
3. Repositório Aberto: Disponibilização de um repositório público (GitHub) contendo casos de teste, definições de esquema, scripts de avaliação e documentação para garantir reprodutibilidade e expansão futura pela comunidade.
4. Análise de Viabilidade: Demonstração prática de que a automação via LLM é viável, mas altamente dependente da complexidade do esquema e da estratégia de prompting.

4. Resultados Principais

Os resultados dos experimentos revelaram tendências claras:

• Desempenho do Modelo: O Gemini 2.5 superou consistentemente o GPT-5 em todos os cenários, demonstrando melhor compreensão de esquemas e consistência no mapeamento de valores.
  • Destaque: O Gemini alcançou um KVOR de 0,851 no esquema EPC (iUnit), indicando alta eficácia em estruturas de dados planas e normalizadas.
  • O GPT-5 teve desempenho significativamente inferior, com KVOR próximo de zero em alguns casos complexos (L100 HPXML).
• Impacto do Prompting: A estratégia Few-shot melhorou a precisão para ambos os modelos. O aumento foi notável no caso L100 com o Gemini (de 0,040 para 0,082), confirmando que exemplos guiam melhor o alinhamento ao esquema.
• Complexidade do Esquema: O desempenho foi superior no esquema EPC (mais simples, hierarquia rasa) em comparação ao HPXML (hierarquia profunda, alta diversidade de atributos). Isso sugere que a complexidade estrutural é um gargalo atual para os LLMs.
• Dificuldade do Caso de Estudo: O caso NZERTF (sistemas complexos e interdependentes) apresentou os menores índices de sobreposição, refletindo a dificuldade em lidar com alta densidade de parâmetros.

5. Significado e Implicações

• Validação de Ferramentas de IA: O estudo fornece uma base para validar se ferramentas de IA podem atender às expectativas de engenharia antes de serem integradas em fluxos de trabalho de produção.
• Design de Esquemas "Amigáveis à IA": Os resultados sugerem que, até que os LLMs amadureçam para lidar com estruturas complexas, o design de esquemas de dados (como o EPC) deve priorizar a clareza semântica e a redução de complexidade hierárquica para facilitar a automação.
• Comportamento dos Modelos: Observou-se que os LLMs tendem a interpretar a tarefa como um problema de "síntese de código" (escrevendo scripts para extrair dados) em vez de realizar o mapeamento semântico direto, o que revela um viés de raciocínio que precisa ser mitigado.
• Futuro da Pesquisa: O framework BEMEval estabelece um caminho para o desenvolvimento de modelos ajustados (fine-tuned) especificamente para física de edifícios e a criação de um ecossistema de avaliação contínuo, similar ao ImageNet na visão computacional.

Em conclusão, o BEMEval-Doc2Schema marca um passo fundamental na transição da automação de BEM de conceitos experimentais para workflows reprodutíveis e mensuráveis, destacando que, embora promissores, os LLMs ainda exigem orientação cuidadosa e esquemas de dados otimizados para atingir a precisão necessária em engenharia.