Resumen Técnico: ARCHER (Harness de Reglas y Cumplimiento Agéntico para Regulaciones Ejecutables)

1. Definición del Problema

El Modelado de Información de Construcción (BIM) ha transicionado el diseño arquitectónico hacia modelos de datos semánticamente ricos e interoperables mediante el esquema Industry Foundation Classes (IFC). Sin embargo, la verificación del cumplimiento frente a estos modelos sigue siendo un cuello de botella manual, costoso y poco escalable, particularmente en jurisdicciones como Singapur, donde los proyectos deben satisfacer miles de reglas regulatorias.

Los Verificadores de Cumplimiento Automatizados (ACC) existentes enfrentan tres limitaciones primarias:

1. Falta de Generalización: Están típicamente codificados para conjuntos de reglas y casos de uso específicos, lo que dificulta su adaptación a nuevas regulaciones.
2. Opacidad Propietaria: Muchos ACC comerciales no liberan el código de verificación subyacente, lo que impide a los usuarios verificar si su intención regulatoria se ha capturado con precisión.
3. Ambigüedad en la Operacionalización: Las regulaciones en lenguaje natural suelen ser ambiguas respecto a la medición geométrica (por ejemplo, cómo medir el ancho de un estacionamiento representado como un sólido frente a líneas 2D). Los expertos en el dominio poseen la intención regulatoria pero carecen de la experiencia en programación para formalizarla, mientras que los desarrolladores carecen del contexto del dominio para interpretar las reglas fielmente.

Los enfoques actuales basados en Modelos de Lenguaje Extensos (LLM) han reducido algunas barreras, pero a menudo dependen de APIs predefinidas o metadatos extraídos, fallando en capturar el razonamiento espacial y contextual requerido para la revisión experta manual. Además, carecen de la fiabilidad de los bucles de retroalimentación basados en pruebas (test-driven) encontrados en la investigación más amplia de generación de código agéntico.

2. Metodología: El Marco de Trabajo ARCHER

Los autores presentan ARCHER, un harness de síntesis de programas de múltiples agentes, orquestado de forma determinista y dirigido por pruebas. Su objetivo es generar verificadores de cumplimiento en Python, auditables y ejecutables, a partir de "Códigos de Práctica" regulatorios y modelos BIM etiquetados por expertos.

Arquitectura Central

ARCHER opera sobre dos artefactos elaborados por expertos:

1. Interpretación de la Regla (RI): Un documento en texto plano que traduce la lógica regulatoria en un flujo inequívoco (por ejemplo, definiendo qué constituye un "pasa", "falla" o "revisión manual" sin especificar el método de computación geométrica).
2. Modelos BIM Etiquetados: Pares de entrenamiento ($D_{train}$) y prueba ($D_{test}$) donde expertos en el dominio han asignado veredictos ($L = \{PASS, FAIL, ALERT, MANUAL\_CHECK, NA\}$) a elementos específicos.

El Bucle de Síntesis

ARCHER emplea una orquestación multi-agente determinista (Harness 5) que involucra a tres agentes especializados:

1. Planificador (Planner): Elabora un plan de codificación basado en la RI.
2. Generador (Generator): Escribe o edita código Python (main.py) para implementar el plan.
3. Evaluador (Evaluator): Ejecuta el código generado contra $D_{train}$, calcula la Precisión de Unión ($A_\cup$) y proporciona retroalimentación.

El sistema itera hasta 30 veces. Si el Evaluador identifica un fallo originado en el plan lógico en lugar de un error de codificación, activa un Replanteamiento (hasta 2 veces), devolviendo el control al Planificador. El bucle termina cuando el verificador generado logra un acuerdo perfecto ($A_\cup = 1.0$) en el conjunto de entrenamiento o alcanza el límite de iteraciones. El verificador final se evalúa una vez en el conjunto de prueba reservado ($D_{test}$).

Taxonomía de Evaluación

Para caracterizar la eficacia de la síntesis agéntica, los autores evaluaron una taxonomía de seis harnesses que van desde lo simple a lo sofisticado:

• H0 (Ciego): Agente único, sin acceso a datos de entrenamiento.
• H1 (Conciencia del Modelo BIM): Agente único, con ejecución contra el modelo únicamente.
• H2 (TDD Completo): Agente único con retroalimentación completa de puntuación.
• H3 (Paso de Planificación): Agente único con planificación explícita.
• H4 (Multi-Agente, No Determinístico): Pipeline orquestado por LLM.
• H5 (Multi-Agente, Determinístico - ARCHER): Bucle de control fijo que orquesta al Planificador, Generador y Evaluador.

3. Contribuciones Clave

1. Primera Aplicación de Síntesis Agéntica: Los autores afirman ser los primeros en aplicar la síntesis de programas agénticos específicamente a la verificación automatizada de cumplimiento de la edificación.
2. Harness ARCHER: Una novedosa arquitectura multi-agente que orquesta la planificación, generación y evaluación para producir verificadores de cumplimiento inspeccionables y ejecutables.
3. Análisis Exhaustivo de Costo–Precisión: Un estudio que abarca cuatro modelos base (desde APIs de frontera hasta modelos de pesos abiertos locales) a través de diferentes niveles de despliegue (terceros, nube privada, local/on-premise).
4. Dataset de Benchmark Novedoso: Un conjunto de datos de diez requisitos regulatorios del mundo real emparejados con modelos BIM etiquetados por expertos, diseñado para probar la robustez contra variaciones fuera de la distribución (OOD) en geometría y metadatos.

4. Resultados Experimentales

El estudio evaluó los seis harnesses a través de cuatro modelos base: GPT-5.5 (API de Frontera), GPT-5.4 Mini (API de Bajo Costo), DeepSeek-v4-flash (Auto-alojado) y GPT-OSS-120B-Q4KM (Local/On-premise).

Hallazgos de Precisión

• ARCHER (Harness 5) es Uniformemente el Mejor: Logró la mayor precisión de unión para cada modelo base.
• Mejora Significativa: ARCHER mejoró la precisión de unión media en un 82% respecto al baseline ingenuo de un solo paso (H0), elevando la media general de 0.468 a 0.850.
• Determinista vs. Orquestación por LLM: El bucle de control determinista (H5) superó al pipeline orquestado por LLM (H4) en todos los modelos, particularmente para los modelos más débiles que tuvieron dificultades para secuenciar sus propios sub-agentes.
• Estructura de Retroalimentación: Exponer la retroalimentación completa de pruebas dirigidas a un solo agente (H2) degradó el rendimiento para los modelos de pesos abiertos. Se requirieron harnesses multi-agente estructurados para convertir la densa retroalimentación de puntuación en revisiones de código dirigidas.

Costo y Eficiencia

• Consumo de Tokens: El consumo de tokens escaló inversamente con la capacidad del modelo. Los modelos más débiles (ej. GPT-OSS-120B) consumieron significativamente más tokens (hasta 223.7 veces más tokens de entrada que GPT-5.5 en el Harness 5) debido a los repetidos bucles de refinamiento.
• Relación Costo–Precisión:
  • Sofisticación del Harness > Precio del Modelo: Aumentar el nivel del harness dentro de una familia de modelos produjo mejores retornos que cambiar a un modelo base más caro.
  • Soberanía de Datos: Un modelo de pesos abiertos auto-alojado (DeepSeek-v4-flash) bajo el harness ARCHER alcanzó el 97.8% de la precisión de la API de frontera a aproximadamente una cuarta parte del costo.
  • Frontera de Pareto: Las configuraciones más rentables se encontraron entre los modelos auto-alojables utilizando el harness ARCHER, haciendo que la verificación de cumplimiento con soberanía de datos sea práctica.

Dificultad de Escenarios

• Los requisitos que demandaban razonamiento relacional o topológico (ej. rutas de escape de incendio, conectividad de alcantarillado) fueron significativamente más difíciles y costosos de sintetizar que las simples comprobaciones dimensionales.
• Aunque el modelo de frontera (GPT-5.5) resolvió los escenarios más difíciles (ej. R5, R10) donde otros fallaron, el modelo auto-alojado DeepSeek igualó o superó al modelo de frontera en 7 de cada 10 requisitos.

5. Significado y Reivindicaciones

El artículo posiciona a ARCHER como un paso hacia una verificación de cumplimiento transparente, adaptable y escalable. Su principal significancia radica en:

• Democratización del Cumplimiento: Al generar código Python abierto e inspeccionable, elimina la naturaleza de "caja negra" de los ACC propietarios, permitiendo a los expertos en el dominio auditar la lógica.
• Viabilidad de Soluciones Locales (On-Premise): Demuestra que las organizaciones con estrictos requisitos de soberanía de datos (ej. gobierno o defensa) pueden lograr una precisión cercana a la de las APIs de frontera utilizando modelos de pesos abiertos auto-alojados, siempre que utilicen un sofisticado harness agéntico.
• Colaboración Humano-Agente: El sistema se enmarca como una herramienta colaborativa donde los expertos definen la intención (vía RI) y el agente se encarga de la implementación computacional, cerrando la brecha entre la intención regulatoria y la lógica ejecutable.

Limitaciones

Los autores reconocen que ARCHER no es totalmente autónomo. Requiere un esfuerzo inicial de los expertos para elaborar los documentos de Interpretación de la Regla y etiquetar los datos de entrenamiento. Además, el sistema trata las reglas de forma aislada, no modela las dependencias entre reglas y permanece limitado por las limitaciones geométricas de los esquemas BIM (de ahí la inclusión de MANUAL_CHECK para casos ambiguos). Se sugiere como trabajo futuro abordar las dependencias de reglas mediante grafos de conocimiento semántico e integrar modelos de visión-lenguaje para verificaciones geométricas no deterministas.