Resumo Técnico: ARCHER (Agentic Rule and Compliance Harness for Executable Regulations)

1. Definição do Problema

A Modelagem de Informação da Construção (BIM) transicionou o design arquitetônico para modelos de dados semanticamente ricos e interoperáveis por meio do esquema Industry Foundation Classes (IFC). No entanto, verificar a conformidade contra esses modelos permanece um gargalo manual, dispendioso e não escalável, particularmente em jurisdições como Singapura, onde os projetos devem satisfazer milhares de regras regulatórias.

Os Verificadores de Conformidade Automatizados (ACCs) existentes enfrentam três limitações principais:

1. Falta de Generalização: Eles são tipicamente codificados para conjuntos de regras e casos de uso específicos, tornando-os difíceis de adaptar a novas regulamentações.
2. Opacidade Proprietária: Muitos ACCs comerciais não liberam o código de verificação subjacente, impedindo que os usuários verifiquem se sua intenção regulatória foi capturada com precisão.
3. Ambiguidade na Operacionalização: Regulamentações em linguagem natural são frequentemente ambíguas quanto à medição geométrica (por exemplo, como medir a largura de um estacionamento representado como um sólido versus linhas 2D). Especialistas do domínio possuem a intenção regulatória, mas carecem de expertise em programação para formalizá-la, enquanto desenvolvedores carecem do contexto de domínio para interpretar as regras fielmente.

Abordagens atuais de Grandes Modelos de Linguagem (LLMs) reduziram algumas barreiras, mas frequentemente dependem de APIs predefinidas ou metadados extraídos, falhando em capturar o raciocínio espacial e contextual necessário para a revisão manual especializada. Além disso, carecem da confiabilidade dos loops de feedback baseados em testes encontrados em pesquisas mais amplas de geração de código agêntico.

2. Metodologia: O Framework ARCHER

Os autores introduzem o ARCHER, um harness de síntese de programas multi-agente, testado e orquestrado deterministicamente. Seu objetivo é gerar verificadores de conformidade em Python, auditáveis e executáveis, a partir de "Códigos de Prática" regulatórios e modelos BIM rotulados por especialistas.

Arquitetura Central

O ARCHER opera sobre dois artefatos elaborados por especialistas:

1. Interpretação da Regra (RI): Um documento em texto simples que traduz a lógica regulatória em um fluxo inequívoco (por exemplo, definindo o que constitui um "passar", "falhar" ou "verificação manual" sem especificar o método de computação geométrica).
2. Modelos BIM Rotulados: Pares de treinamento ($D_{train}$) e teste ($D_{test}$) onde especialistas do domínio atribuíram vereditos ($L = \{PASS, FAIL, ALERT, MANUAL\_CHECK, NA\}$) a elementos específicos.

O Loop de Síntese

O ARCHER emprega uma orquestração multi-agente determinística (Harness 5) envolvendo três agentes especializados:

1. Planner (Planejador): Elabora um plano de codificação baseado na RI.
2. Generator (Gerador): Escreve ou edita o código Python (main.py) para implementar o plano.
3. Evaluator (Avaliador): Executa o código gerado contra $D_{train}$, calcula a Acurácia de União ($A_\cup$) e fornece feedback.

O sistema itera até 30 vezes. Se o Avaliador identificar uma falha fundamentada no plano de lógica em vez de um erro de codificação, ele aciona um Replan (até 2 vezes), devolvendo o controle ao Planejador. O loop termina quando o verificador gerado atinge concordância perfeita ($A_\cup = 1.0$) no conjunto de treinamento ou atinge os limites de iteração. O verificador final é avaliado uma única vez no conjunto de teste retido ($D_{test}$).

Taxonomia de Avaliação

Para caracterizar a eficácia da síntese agêntica, os autores avaliaram uma taxonomia de seis harnesses variando de simples a sofisticados:

• H0 (Cego): Agente único, sem acesso aos dados de treinamento.
• H1 (Consciente do Modelo BIM): Agente único, execução apenas contra o modelo.
• H2 (TDD Completo): Agente único com feedback de pontuação completo.
• H3 (Passo de Planejamento): Agente único com planejamento explícito.
• H4 (Multi-Agente, Não Determinístico): Pipeline orquestrado por LLM.
• H5 (Multi-Agente, Determinístico - ARCHER): Loop de controle fixo orquestrando Planejador, Gerador e Avaliador.

3. Principais Contribuições

1. Primeira Aplicação de Síntese Agêntica: Os autores afirmam ser os primeiros a aplicar a síntese de programas agêntica especificamente para a verificação automatizada de conformidade de edificações.
2. Harness ARCHER: Uma nova arquitetura multi-agente que orquestra planejamento, geração e avaliação para produzir verificadores de conformidade inspecionáveis e executáveis.
3. Análise Abrangente de Custo–Acurácia: Um estudo abrangendo quatro modelos de base (desde APIs de fronteira até modelos de pesos abertos locais) através de diferentes níveis de implantação (terceiros, nuvem privada, local/on-premise).
4. Dataset de Benchmark Inovador: Um conjunto de dados de dez requisitos regulatórios do mundo real pareados com modelos BIM rotulados por especialistas, projetado para testar a robustez contra variações fora da distribuição (OOD) em geometria e metadados.

4. Resultados Experimentais

O estudo avaliou os seis harnesses através de quatro modelos de base: GPT-5.5 (API de Fronteira), GPT-5.4 Mini (API de Baixo Custo), DeepSeek-v4-flash (Auto-hospedado) e GPT-OSS-120B-Q4KM (Local/On-premise).

Descobertas de Acurácia

• ARCHER (Harness 5) é Uniformemente o Melhor: Alcançou a maior acurácia de união para cada modelo de base.
• Melhoria Significativa: O ARCHER melhorou a acurácia de união média em 82% sobre a linha de base de prompting de passagem única ingênua (H0), elevando a média geral de 0.468 para 0.850.
• Determinístico vs. Orquestração por LLM: O loop de controle determinístico (H5) superou o pipeline orquestrado por LLM (H4) em todos os modelos, particularmente para bases mais fracas que tiveram dificuldade em sequenciar seus próprios sub-agentes.
• Estrutura de Feedback: Expor o feedback completo de teste direcionado a um único agente (H2) degradou o desempenho para modelos de pesos abertos. Harnesses multi-agentes estruturados foram necessários para converter o denso feedback de pontuação em revisões de código direcionadas.

Custo e Eficiência

• Consumo de Tokens: O uso de tokens escalou inversamente com a capacidade do modelo. Modelos mais fracos (ex: GPT-OSS-120B) consumiram significativamente mais tokens (até 223.7× mais tokens de entrada que o GPT-5.5 no Harness 5) devido aos loops de refinamento repetidos.
• Troca Custo–Acurácia:
  • Sofisticação do Harness > Preço do Modelo: Aumentar o nível do harness dentro de uma família de modelos rendeu melhores retornos do que trocar por um modelo de base mais caro.
  • Soberania de Dados: Um modelo de pesos abertos auto-hospedado (DeepSeek-v4-flash) sob o ARCHER alcançou 97.8% da acurácia da API de fronteira a aproximadamente um quarto do custo.
  • Fronteira de Pareto: As configurações mais econômicas foram encontradas entre modelos auto-hospedáveis usando o harness ARCHER, tornando a verificação de conformidade com soberania de dados algo prático.

Dificuldade do Cenário

• Requisitos que demandam raciocínio relacional ou topológico (ex: rotas de fuga de incêndio, conectividade de esgoto) foram significativamente mais difíceis e caros de sintetizar do que verificações dimensionais simples.
• Embora o modelo de fronteira (GPT-5.5) tenha resolvido os cenários mais difíceis (ex: R5, R10) onde outros falharam, o modelo DeepSeek auto-hospedado igualou ou superou o modelo de fronteira em 7 de 10 requisitos.

5. Significância e Alegações

O artigo posiciona o ARCHER como um passo em direção à verificação de conformidade transparente, adaptável e escalável. Sua principal significância reside em:

• Democratização da Conformidade: Ao gerar código Python aberto e inspecionável, ele remove a natureza de "caixa preta" dos ACCs proprietários, permitendo que especialistas do domínio auditem a lógica.
• Viabilidade de Soluções Locais (On-Premise): Demonstra que organizações com requisitos estritos de soberania de dados (ex: governo ou defesa) podem alcançar acurácia próxima à de modelos de fronteira usando modelos de pesos abertos auto-hospedados, desde que utilizem um harness agêntico sofisticado.
• Colaboração Humano-Agente: O sistema é estruturado como uma ferramenta colaborativa onde especialistas definem a intenção (via RI) e o agente lida com a implementação computacional, preenchendo a lacuna entre a intenção regulatória e a lógica executável.

Limitações

Os autores reconhecem que o ARCHER não é totalmente autônomo. Ele requer esforço prévio de especialistas para elaborar documentos de Interpretação de Regras e rotular dados de treinamento. Além disso, o sistema trata as regras isoladamente, não modela dependências entre regras e permanece limitado pelas limitações geométricas dos esquemas BIM (daí a inclusão de MANUAL_CHECK para casos ambíguos). Sugere-se trabalho futuro para abordar dependências de regras via grafos de conhecimento semântico e integrar modelos de linguagem-visão para verificações geométricas não determinísticas.