Resumo Técnico: Buildrix – Uma Plataforma Aberta para Compartilhamento e Benchmarking de Habilidades de IA Agêntica em Engenharia de Edificações

1. Declaração do Problema

O setor de engenharia de edificações enfrenta um desafio crítico de escalabilidade: é necessário realizar o retrofit de mais de dez mil edifícios diariamente para atingir as metas de emissão líquida zero para 2050, embora cada renovação individual demande centenas de dias-pessoa de esforço especializado. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa em tarefas como geração de código e extração de dados, os LLMs isolados carecem de acesso direto a ambientes de engenharia externos (ex: motores de simulação, bancos de dados, sistemas de arquivos).

Embora agentes aumentados por ferramentas tenham emergido para preencher essa lacuna, o campo sofre atualmente com quatro lacunas específicas:

1. Falta de Autonomia no Mundo Real: A maioria dos estudos existentes baseia-se em casos "toy" (brinquedo) com fluxos de trabalho fixos e cadeias de ferramentas limitadas, falhando em abordar a natureza dinâmica, iterativa e incerta das tarefas reais de engenharia.
2. Princípios de Design Subdesenvolvidos: Há uma tendência de aumentar a complexidade do sistema ao adicionar agentes e ferramentas, o que frequentemente degrada o desempenho devido ao aumento da carga de contexto e do espaço de decisão, em vez de adotar arquiteturas modulares eficientes.
3. Ausência de Benchmarks Padronizados: Diferente de campos da ciência da computação que possuem conjuntos de dados como o SWE-bench, a engenharia de edificações carece de casos de teste "golden" (padrão ouro) e protocolos padronizados para avaliar a IA agêntica, tornando impossível a comparação entre estudos.
4. Desenvolvimento Isolado: As aplicações atuais são silenciadas, com ferramentas, prompts e lógica de avaliação fortemente acoplados a projetos específicos, impedindo o reuso e a melhoria impulsionada pela comunidade.

2. Metodologia: A Plataforma Buildrix

O Buildrix é uma plataforma aberta, impulsionada pela comunidade, projetada para transicionar a IA agêntica de demonstrações isoladas para uma autonomia de engenharia escalável e verificável. Ele integra três componentes principais:

A. O Pacote Buildrix (CLI)

Uma interface de linha de comando Python que serve como o kit de ferramentas de desenvolvimento e gerenciamento. Ela permite que os usuários:

• Desenvolver e Empacotar: Criar pacotes de habilidades padronizados e autocontidos contendo instruções de tarefas, scripts executáveis, dependências e recursos.
• Gerenciar Artefatos: Validar, publicar, instalar, atualizar e remover habilidades e casos de teste localmente.
• Provisionamento de Cadeia de Ferramentas: Baixar e isolar automaticamente ferramentas de engenharia externas (ex: EnergyPlus, OpenStudio) exigidas por uma habilidade, evitando conflitos no nível do sistema.

B. O Hub Buildrix

Um serviço web centralizado que organiza as contribuições da comunidade em:

• Desafios Abertos: Problemas de engenharia do mundo real (ex: simulação de energia urbana, resiliência a ondas de calor) em vez de exercícios sintéticos. Estes incluem desafios de "necessidade da comunidade" e competições no estilo "hackathon".
• Biblioteca de Habilidades: Um repositório de habilidades de agentes reutilizáveis.
• Repositório de Casos de Teste: Uma coleção de casos de avaliação, incluindo "Casos de Teste Golden" verificados por especialistas humanos.
• Benchmarking: Execução automatizada e classificação de habilidades em relação a métricas padronizadas.

C. O Harness do Agente

A camada de tempo de execução (runtime) local que conecta o LLM às habilidades instaladas e ao ambiente externo. Principais características incluem:

• Exposição Progressiva (Progressive Disclosure): Para gerenciar limites de contexto, o agente carrega apenas descrições curtas de descoberta das habilidades na inicialização. Instruções completas, scripts e referências são carregados apenas quando uma habilidade específica é selecionada.
• Execução Iterativa: Suporta um ciclo "perceber–raciocinar–agir–verificar", permitindo que o agente inspecione arquivos intermediários, detecte erros, modifique scripts e tente operações novamente sem intervenção humana.
• Composição de Habilidades: Permite o encadeamento de múltiplas habilidades (ex: extração de dados climáticos $\rightarrow$ identificação de onda de calor $\rightarrow$ análise de retrofit) dentro de uma única sessão.

Estrutura de Avaliação

• Estrutura da Habilidade: As habilidades são organizadas em pastas centradas em um arquivo SKILL.md (contendo metadados YAML e instruções em Markdown) e pastas opcionais scripts/, config.yaml e tests/.
• Casos de Teste: Definidos em TESTCASE.yaml, eles especificam entradas, ambientes de execução e rubricas de pontuação.
  • Casos Quantitativos: Incluem dados de referência numéricos e são elegíveis para o status "Golden" após revisão humana.
  • Casos Qualitativos: Utilizam asserções de especialistas (sim/não) para verificações de sanidade, mas não são usados para a classificação no leaderboard.
• Revisor LLM: Um guardião automatizado que filtra as submissões quanto à clareza, especificidade, suficiência e segurança antes da revisão humana.

3. Principais Contribuições

1. Uma Plataforma Aberta para Desenvolvimento Impulsionado pela Comunidade: O Buildrix fornece a infraestrutura para definir desafios, contribuir com habilidades reutilizáveis, compartilhar casos de teste verificados por humanos e realizar benchmarking de desempenho de forma transparente.
2. Um Framework Modular de Desenvolvimento de Habilidades: Ao tratar as habilidades como unidades padronizadas e versionadas de capacidade de engenharia, o Buildrix desacopla o conhecimento de domínio de implementações de agentes específicos, facilitando a extensão e transferência entre tarefas.
3. Um Fluxo de Trabalho Baseado em Harness para Autonomia de Ponta a Ponta: O estudo demonstra um sistema onde o harness do agente, combinado com habilidades de domínio, executa fluxos de trabalho complexos de engenharia de múltiplas etapas com intervenção humana limitada, incluindo recuperação de erros e raciocínio adaptativo.

4. Resultados e Estudos de Caso

Estudo de Caso 1: Geração de ResStock de Edificações

Uma habilidade foi desenvolvida para gerar modelos representativos de residências no EnergyPlus usando o pacote NREL ResStock. A habilidade guiou com sucesso um agente para interpretar solicitações em linguagem natural, configurar parâmetros de amostragem, executar o fluxo de trabalho ResStock e gerar arquivos IDF e manifestos padronizados. Isso demonstrou a capacidade de envolver softwares de engenharia complexos em uma interface reutilizável voltada para o agente.

Estudo de Caso 2: Análise de Retrofit Residencial de Ponta a Ponta

Um fluxo de trabalho abrangente foi executado para analisar os benefícios de energia e de carga de pico durante ondas de calor para oito habitações representativas no condado de Onondaga, NY.

• Fluxo de Trabalho: O agente compôs cinco habilidades: geração de estoque de edifícios, extração de dados climáticos, identificação de onda de calor, simulação EnergyPlus e análise de retrofit.
• Desempenho: O fluxo de trabalho foi concluído em 105 turnos do agente (aproximadamente 29 minutos) com um custo de modelo de $4,12.
• Resultados: A análise mostrou reduções anuais de energia no local variando de 20% a 52% (média de 36,5%). A demanda de resfriamento de pico durante ondas de calor foi reduzida em sete de oito edifícios.
• Recuperação de Erros: O agente encontrou 12 falhas em chamadas de ferramentas (ex: incompatibilidades de esquema, conflitos de versão, dependências ausentes). Através do loop iterativo, o agente inspecionou logs de erro, corrigiu o código ou as entradas e concluiu o fluxo de trabalho com sucesso sem reinicializações manuais.

Eficiência de Contexto e Escalabilidade

• Exposição Progressiva: Carregar apenas descrições curtas de descoberta reduziu o requisito inicial de contexto em 94,4% em comparação com o carregamento de todos os corpos de instrução, e em 98,8% em comparação ao carregamento de instruções mais scripts.
• Componibilidade: O estudo demonstrou que uma biblioteca de $N$ habilidades suporta teoricamente $2^N - 1$ combinações não vazias, permitindo que novas capacidades sejam integradas sem redesenhar todo o sistema do agente.

5. Significância e Alegações

O artigo afirma que o Buildrix representa uma mudança de demonstrações de agentes isoladas e estáticas para um ecossistema de engenharia escalável e impulsionado pela comunidade. Sua significância reside em:

• Preencher a Lacuna: Ele move a IA agêntica de "casos toy" para fluxos de trabalho de engenharia do mundo real de múltiplas etapas que exigem recuperação de erros e adaptação.
• Padronização: Ao introduzir pacotes de habilidades padronizados e casos de teste golden, estabelece uma base para benchmarking reprodutível na engenharia de edificações, um campo que anteriormente carecia de tais protocolos.
• "Pequeno é Belo": A plataforma defende arquiteturas modulares e eficientes em vez de sistemas inchados, enfatizando que habilidades de alta qualidade e verificadas são mais valiosas do que a mera quantidade.
• Engenharia de Loop (Loop Engineering): O estudo postula que, para tarefas reais de engenharia, a confiabilidade de um sistema agêntico depende menos do prompt inicial e mais da "engenharia de loop" — a capacidade do sistema de observar, verificar e recuperar-se de falhas durante a execução.

Os autores concluem que, embora a plataforma seja atualmente uma fundação, seu valor a longo prazo depende da participação da comunidade para expandir a biblioteca de habilidades, validar mais casos de teste e aplicar o framework a diversas aplicações reais de edificações.