BEMEval-Doc2Schema: Benchmarking Large Language Models for Structured Data Extraction in Building Energy Modeling

A continuación se presenta un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: BEMEval-Doc2Schema: Evaluación de Modelos de Lenguaje Grandes para la Extracción de Datos Estructurados en la Modelación de Energía de Edificios

1. Planteamiento del Problema

La modelación de energía de edificios (BEM, por sus siglas en inglés) es una herramienta crucial para la descarbonización y la eficiencia energética. Sin embargo, el proceso actual de BEM enfrenta desafíos significativos:

• Falta de estandarización: Los modeladores dependen de hojas de cálculo personalizadas o bases de datos específicas para organizar datos heterogéneos y no estructurados (dibujos, informes de auditoría, especificaciones), lo que dificulta la interoperabilidad entre herramientas.
• Manualidad y errores: La extracción de datos y su conversión a formatos de entrada para simulación (como EnergyPlus) es un proceso intensivo en mano de obra, propenso a errores y difícil de automatizar.
• Ausencia de benchmarks estandarizados: Aunque los Modelos de Lenguaje Grandes (LLMs) ofrecen nuevas oportunidades para automatizar estas tareas, la investigación carece de conjuntos de datos públicos específicos, métricas de rendimiento estandarizadas y marcos de evaluación sistemática. Esto impide comparar métodos, cuantificar el progreso o identificar áreas de mejora confiables.

2. Metodología

Los autores presentan BEMEval, un marco de referencia modular y de código abierto diseñado para evaluar el rendimiento de los modelos fundacionales en tareas de BEM. El primer componente de este marco es BEMEval-Doc2Schema, que se centra en la extracción de datos estructurados a partir de documentación de edificios.

• Enfoque de la tarea: Convertir descripciones de edificios residenciales no estructuradas (PDFs, hojas de cálculo, texto) en esquemas estructurados y estandarizados (HPXML y EPC).
• Conjuntos de Datos (Inputs): Se utilizaron tres casos de estudio residenciales representativos con documentación detallada:
  1. HERS L100: Un modelo base estandarizado para pruebas de software de energía.
  2. NIST NZERTF: Una casa de prueba de energía neta cero altamente instrumentada.
  3. NREL iUnit: Un apartamento modular de alto rendimiento.
• Esquemas de Salida (Ground Truth):
  • HPXML: Un estándar jerárquico detallado para auditorías y retrofit residencial.
  • EPC (Energy Performance Calculator): Un esquema plano (formato TOML) basado en normas de cálculo normativo, con menor complejidad estructural.
• Modelos y Estrategias Evaluadas:
  • Modelos: GPT-5 (OpenAI) y Gemini 2.5 (Google DeepMind).
  • Estrategias de Prompting: Zero-shot (solo instrucciones) y Few-shot (incluyendo ejemplos de entrada/salida).
• Métrica de Evaluación (KVOR): Se introdujo la Tasa de Superposición de Pares Clave-Valor (Key–Value Overlap Rate - KVOR).
  • Fórmula: $KVOR = \frac{\text{Número de pares clave-valor correctamente coincidentes}}{\text{Número total de claves en el esquema de referencia}}$.
  • Esta métrica penaliza tanto la omisión de datos como la asignación incorrecta de valores a campos, midiendo la precisión semántica y estructural.

3. Contribuciones Clave

• BEMEval Framework: El primer marco de evaluación comunitaria diseñado específicamente para tareas de BEM, con potencial de expansión a otras tareas (como cumplimiento de códigos y detección de errores).
• BEMEval-Doc2Schema: La implementación inicial que establece un estándar para evaluar la capacidad de los LLMs para mapear texto no estructurado a esquemas de datos técnicos.
• Recurso Abierto: Publicación de un repositorio de código abierto que incluye los conjuntos de datos, definiciones de esquemas, scripts de evaluación automatizados y documentación para garantizar la reproducibilidad.
• Métrica KVOR: Una métrica cuantitativa y reproducible para medir la precisión de la extracción de datos estructurados en dominios de ingeniería.

4. Resultados

Los experimentos revelaron diferencias significativas en el rendimiento según el modelo, la estrategia de prompting y la complejidad del esquema:

• Comparación de Modelos: Gemini 2.5 superó consistentemente a GPT-5 en todos los conjuntos de datos. Gemini mostró una mejor comprensión del esquema y consistencia en el mapeo de valores.
  • Destacado: Gemini 2.5 alcanzó un KVOR de 0.851 en el caso iUnit con esquema EPC, mientras que GPT-5 obtuvo 0.480 en el mismo escenario.
• Impacto del Prompting: La estrategia de few-shot (pocos ejemplos) mejoró la precisión para ambos modelos en comparación con el zero-shot. Por ejemplo, en el caso L100 con HPXML, el rendimiento de Gemini mejoró de 0.040 a 0.082.
• Complejidad del Esquema: El rendimiento fue significativamente mayor en el esquema EPC (estructura plana y simple) que en HPXML (jerarquía profunda y compleja). La complejidad estructural de HPXML y la densidad de parámetros interdependientes en NZERTF resultaron en las puntuaciones más bajas.
• Comportamiento de los Modelos: Se observó que los LLMs tienden a intentar generar código o scripts para resolver la tarea en lugar de realizar el mapeo semántico directo, lo que sugiere un sesgo hacia la síntesis de programas en lugar del razonamiento de dominio profundo.

5. Significado e Implicaciones

• Validación de la Automatización: El estudio demuestra que, si bien los LLMs pueden automatizar partes del flujo de trabajo de BEM, su fiabilidad actual depende fuertemente de la complejidad del esquema y de la guía proporcionada (ejemplos).
• Diseño de Esquemas "Amigables con la IA": Los resultados sugieren que los esquemas de datos más planos y semánticamente claros (como EPC) facilitan la automatización. Esto impulsa la necesidad de diseñar estándares de datos que consideren la capacidad de los modelos de IA.
• Cimiento para la Investigación Futura: BEMEval establece una base para el desarrollo de modelos fine-tuned (ajustados) específicos del dominio, pipelines de validación híbridos y la integración de IA en flujos de trabajo de ingeniería reales.
• Transparencia y Colaboración: Al ofrecer un benchmark abierto y reproducible, el trabajo fomenta una cultura de transparencia entre la comunidad de investigación de IA y la de modelación de edificios, permitiendo un progreso acumulativo y la identificación de modos de fallo persistentes.

En conclusión, el artículo marca un paso fundamental hacia la estandarización de la evaluación de la IA en la construcción, proporcionando las herramientas necesarias para medir y mejorar la automatización de la modelación de energía de edificios.