💻 computer science

Evidence Constrained Agentic Retrieval Augmented Generation for Substation Civil Engineering Preliminary Design Documents in a Single Project Study

Este artigo propõe o EC-ARAG, um framework de geração aumentada por recuperação agêntica com restrição de evidências que melhora significativamente a confiabilidade, consistência e eficiência da elaboração de projetos preliminares de engenharia civil de subestações ao integrar recuperação consciente de regulamentações, resolução de conflitos e loops de dupla verificação para superar os sistemas RAG convencionais.

Autores originais: Yizhang Huang, Xinhui Zhang

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yizhang Huang, Xinhui Zhang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da infraestrutura de grande escala, o documento de projeto preliminar é o roteiro que transforma um conceito em uma realidade construível. Para uma subestação de energia, este relatório denso em texto deve tecer especificações do projeto, regulamentações governamentais rigorosas, práticas de engenharia padrão e lições aprendidas de projetos passados em uma narrativa única e coerente. Cada número, desde a largura de uma estrada até a profundidade de uma fundação, deve ser consistente em todo o documento, e cada afirmação deve ser respaldada por uma regra específica e atual. Durante décadas, engenheiros montaram esses documentos cruzando manualmente centenas de páginas de normas e relatórios históricos, um processo que é lento, propenso ao erro humano e difícil de manter perfeitamente consistente.

O surgimento da inteligência artificial ofereceu um atalho potencial. Modelos de linguagem de grande escala, a mesma tecnologia por trás de chatbots avançados, podem escrever prosa técnica fluente e seguir instruções complexas. No entanto, quando aplicados à engenharia, esses modelos enfrentam uma falha crítica: eles dependem de sua memória interna, que pode estar desatualizada, alucinar fatos ou falhar em distinguir entre uma regra que se aplica a um tipo específico de edifício e uma que não se aplica. Simplesmente pedir a uma IA para "escrever um projeto" geralmente resulta em um texto que soa profissional, mas é legal ou fisicamente inválido. Para resolver isso, pesquisadores desenvolveram sistemas que forçam a IA a buscar informações antes de escrever, um método conhecido como geração aumentada de recuperação (RAG). Contudo, mesmo esses sistemas têm dificuldade quando a informação que encontram é contraditória, desatualizada ou irrelevante para as condições específicas do projeto.

Uma equipe de engenheiros da State Grid Shanghai Electric Power Design Co., Ltd. introduziu agora uma abordagem mais sofisticada para este problema, especificamente adaptada para o ambiente de alto risco da engenharia civil de subestações. Eles desenvolveram um sistema chamado EC-ARAG, que atua menos como um simples escritor e mais como um editor rigoroso de múltiplas etapas. Em vez de apenas recuperar o texto e passá-lo para a IA, este sistema decompõe a tarefa de projeto em afirmações minúsculas e verificáveis. Para cada afirmação individual que o sistema gera — como a espessura exigida de uma parede de concreto ou a largura de um canal de drenagem — ele primeiro verifica se a evidência de suporte é válida para aquele projeto específico, se a fonte da regra é autoritativa e se a regra conflita com qualquer outra parte do documento.

Os pesquisadores testaram seu sistema em um cenário do mundo real envolvendo o projeto preliminar para um projeto de subestação específico. Eles alimentaram o sistema com uma vasta biblioteca de conhecimento, incluindo trinta e seis normas nacionais e setoriais, doze regras específicas da empresa, dezoito guias de projeto típicos e sessenta e quatro documentos de projeto históricos de projetos passados. O sistema então tentou redigir todo o relatório de engenharia civil, seção por seção. Ao contrário das ferramentas de IA padrão que podem gerar um parágrafo e seguir adiante, este sistema opera em dois loops. O primeiro loop planeja o que precisa ser escrito e busca a evidência correta, filtrando quaisquer regras que sejam obsoletas ou que não se apliquem às condições específicas do local. O segundo loop escreve o texto e, imediatamente, verifica seu próprio trabalho. Se o sistema descobrir que uma afirmação carece de suporte, contradiz uma seção anterior ou utiliza uma norma desatualizada, ele para e repara aquela frase específica antes de prosseguir.

Os resultados deste experimento foram significativos. O sistema recuperou com sucesso as regulamentações corretas e aplicáveis 94,1% das vezes, uma melhoria marcante em relação a outros métodos que frequentemente recuperavam cláusulas irrelevantes ou desatualizadas. Mais importante ainda, o sistema garantiu que 95% das afirmações de engenharia feitas fossem respaldadas por evidências sólidas e reduziu a taxa de "afirmações inseguras" — declarações não suportadas ou contraditórias — para apenas 3,4%. Talvez o mais impressionante tenha sido a capacidade do sistema de manter a consistência. Em um documento longo onde o nome de um edifício ou a largura de uma estrada pode aparecer em dez seções diferentes, o sistema manteve esses parâmetros consistentes 97% das vezes, enquanto outros métodos frequentemente permitiam que esses detalhes oscilassem ou mudassem involuntariamente.

Embora o sistema tenha exigido mais tempo de processamento computacional para realizar essas verificações e reparos, ele na verdade economizou tempo no geral. Como o rascunho que produziu era muito mais limpo e preciso, os engenheiros humanos passaram 31% menos tempo revisando e corrigindo o texto. O tempo total para concluir o documento caiu 21% em comparação com o próximo melhor método automatizado. O estudo também destacou onde o sistema ainda precisa de ajuda humana. Ele teve maior dificuldade em seções que dependem fortemente de geometria física, como gradientes de estradas e direções de drenagem, porque o sistema estava trabalhando apenas com texto e não tinha acesso aos mapas reais ou modelos 3D do local. Em casos onde informações críticas estavam faltando, o sistema aprendeu a pausar e sinalizar o problema para um engenheiro humano, em vez de inventar uma solução, um comportamento que se provou mais seguro do que criar uma resposta.

Este trabalho demonstra que, para tarefas complexas e pesadas em regulamentações, o objetivo da inteligência artificial não é substituir o julgamento do engenheiro, mas atuar como um assistente incansável e hipervigilante. Ao tratar o processo de projeto como uma série de etapas pequenas e verificadas, em vez de um único ato de geração, os pesquisadores mostraram que as máquinas podem lidar com o trabalho pesado de coleta de informações e verificação de consistência. O sistema não pretende ser um projetista autônomo capaz de aprovar um edifício; pelo contrário, serve como uma ferramenta poderosa que garante que o rascunho produzido seja rastreável, consistente e fundamentado nas regras corretas, deixando o especialista humano livre para focar nas decisões finais e nas complexas realidades físicas que o texto sozinho não consegue capturar.

Resumo Técnico: Geração Aumentada de Recuperação Agêntica com Restrição de Evidência (EC-ARAG) para Engenharia Civil de Subestações

1. Definição do Problema

A elaboração de documentos de projeto preliminar de engenharia civil para subestações é uma tarefa complexa e intensiva em regulamentações, que exige a integração de condições específicas do projeto, padrões regulatórios atuais, práticas típicas de projeto e experiência de engenharia histórica. Os sistemas convencionais de Geração Aumentada de Recuperação (RAG) enfrentam limitações críticas neste domínio:

Insensibilidade às Condições: Os recuperadores padrão otimizam a relevância semântica, mas falham em distinguir cláusulas que são topicamente similares, mas condicionalmente inválidas (ex: aplicáveis a um nível de tensão diferente, função de edifício ou versão de norma distinta).
Confusão de Autoridade da Fonte: Tratar entradas de projeto, regulamentos obrigatórios, projetos típicos e relatórios históricos como passagens intercambiáveis leva à invalidade institucional, onde expressões ou recomendações históricas sobrepõem-se a restrições mandatórias.
Inconsistência entre Seções: A redação de documentos longos frequentemente sofre de "deriva de parâmetros", onde fatos estabelecidos em uma seção (ex: sistema estrutural ou tipo de fundação) não são mantidos de forma consistente em seções subsequentes (ex: estradas, drenagem ou indicadores técnicos).
Alegações Não Suportadas: O RAG convencional pode gerar um texto fluente que carece de suporte de evidências ou contém alegações de engenharia não fundamentadas, acarretando riscos de segurança e conformidade.

O estudo aborda essas lacunas propondo um framework que vai além da simples recuperação para impor o embasamento de evidências, a aplicabilidade regulatória e a consistência de estado ao nível do documento.

2. Metodologia: O Framework EC-ARAG

O framework proposto de Geração Aumentada de Recuperação Agêntica com Restrição de Evidência (EC-ARAG) opera através de seis camadas coordenadas, utilizando uma arquitetura de agente de loop duplo:

A. Representação e Construção do Conhecimento

Conhecimento de Múltiplas Fontes ( $K$ ): O sistema distingue entre conhecimento regulatório ( $K_r$ ), fatos do projeto ( $K_p$ ), conhecimento de projeto típico ( $K_t$ ) e conhecimento de documentos históricos ( $K_h$ ).
Unidades de Evidência Estruturadas: As regulamentações são segmentadas em unidades atômicas contendo o texto da cláusula original, objetos de engenharia restritos, condições de aplicabilidade, ações prescritas, valores numéricos, unidades, exceções, modalidade de obrigação, autoridade da fonte, validade de versão e seções mapeadas. Isso evita a separação de valores de suas condições durante a recuperação.
Memória de Estado do Projeto: Uma memória global armazena fatos confirmados do projeto (ex: nome do edifício, número de pavimentos) com um modelo de estado (confirmado, derivado, provisório, rejeitado) para impor consistência em todo o documento.

B. Recuperação e Resolução de Conflitos

Recuperação Híbrida com Filtro de Validade: Antes do ranking, a evidência é filtrada por validade (ex: excluindo versões obsoletas ou contradições de condições rígidas). Os candidatos são então classificados usando uma soma ponderada de pontuações semânticas densas, léxicas (BM25), de grafo, de seção, de autoridade e de aplicabilidade.
Resolução de Conflitos Baseada em Papel da Fonte: Quando unidades de evidência conflitam, o sistema prioriza com base na autoridade (regulamentos > fatos do projeto > projetos típicos > históricos), recência e especificidade. Um limiar de margem de prioridade aciona a abstenção se o conflito não puder ser resolvido com segurança, evitando a geração de conclusões não suportadas.

C. Orquestração de Agentes de Loop Duplo

Loop Externo (Planejamento e Recuperação): Um agente de planejamento decompõe as seções do documento em proposições atômicas. Um roteador de recuperação determina os papéis de evidência necessários, executa a recuperação com filtro de validade e avalia a suficiência da evidência. Se a suficiência for baixa, a consulta é reformulada e a recuperação é repetida.
Loop Interno (Geração, Verificação e Reparo): Um agente de geração redige proposições baseadas em evidências admissíveis. Um agente de verificação então checa as alegações quanto ao suporte de evidências, consistência de parâmetros, terminologia, cobertura e conflitos entre seções. Se um escore de deficiência exceder um limiar, um agente de reparo realiza o reparo local no trecho específico que falhou, em vez de regenerar toda a seção.

D. Gestão de Estado Global

Fatos verificados são admitidos na memória de estado global do projeto, atuando como restrições travadas para seções subsequentes. O sistema termina quando a deficiência do documento (uma soma ponderada de métricas de suporte, aplicabilidade, cobertura e consistência) cai abaixo de um limiar ou quando um limite máximo de iterações é atingido.

3. Principais Contribuições

Representação de Evidência com Consciência de Aplicabilidade: O estudo introduz um esquema estruturado para unidades de evidência que codifica explicitamente objetos de engenharia, condições, exceções e validade de versão, permitindo que o sistema distinga cláusulas admissíveis de aquelas condicionalmente incompatíveis.
RAG Agêntico de Loop Duplo: O framework implementa um loop de planejamento-recuperação para cobertura e um loop de geração-verificação-reparo para controle de qualidade, permitindo o refinamento iterativo e a correção de erros locais.
Resolução de Conflitos Baseada no Papel da Fonte: Ao modelar a hierarquia institucional das fontes de conhecimento, o sistema resolve conflitos entre regulamentos mandatórios, fatos do projeto e precedentes históricos, evitando a confusão de recomendações com restrições vinculativas.
Memória de Estado de Projeto Global: O framework impõe a consistência de parâmetros entre seções mantendo um estado persistente de fatos confirmados do projeto, tratando a redação do documento como uma tarefa de síntese coesa, em vez de uma sequência de consultas independentes.
Protocolo de Avaliação de Múltiplos Níveis: O estudo estabelece uma avaliação rigorosa cobrindo extração de evidências, recall de recuperação, classificação de aplicabilidade, resolução de conflitos, qualidade do documento, avaliação humana e custo computacional.

4. Resultados Experimentais

O framework foi avaliado em um único projeto de subestação anonimizado (Projeto X) utilizando um corpus de 36 normas nacionais/setoriais, 12 normas empresariais, 18 projetos típicos, 64 documentos históricos e 9 documentos de entrada do projeto.

Recuperação e Aplicabilidade: O EC-ARAG alcançou um Recall@5 de 94,1% e um Macro-F1 de Aplicabilidade de 90,6%, superando o baseline mais forte (RAG Corretivo de Corpus Fechado) em 5,1 e 5,4 pontos percentuais, respectivamente.
Qualidade do Documento: O sistema alcançou uma taxa de suporte de evidência de 95,0%, completude de seção de 9,60% e consistência de parâmetros entre seções de 97,0%.
Segurança e Editabilidade: A taxa de alegações inseguras foi reduzida para 3,4%, e a taxa de edição manual ao nível de caractere foi de 7,6%.
Eficiência Operacional: Embora a verificação agêntica tenha aumentado o tempo de inferência da máquina em 29,7% em comparação ao baseline, ela reduziu o tempo de revisão profissional em 31,4%, resultando em uma redução de 21,4% no tempo total de conclusão operacional.
Estudos de Ablação: Remover a modelagem de aplicabilidade reduziu o Macro-F1 em 6,5 pontos; remover a memória de estado do projeto reduziu a consistência de 97,0% para 88,6%; remover o loop de reparo aumentou as alegações inseguras de 3,4% para 8,7%.

5. Significância e Alegações

O artigo afirma que o EC-ARAG melhora significativamente a confiabilidade, rastreabilidade e editabilidade profissional da redação de projetos preliminares intensivos em regulamentações. O estudo enfatiza que:

A validade da engenharia requer mais do que relevância semântica: Ela necessita da modelagem explícita de condições de aplicabilidade e autoridade da fonte.
A redação é uma tarefa de nível de documento: A consistência não pode ser alcançada processando seções isoladamente; a memória de estado global é essencial.
Segurança através da abstenção: A capacidade do sistema de se abster de gerar conclusões definitivas quando as condições estão ausentes (ex: dados de elevação específicos) é um recurso crítico de segurança, evitando alegações de engenharia não fundamentadas.
Compromissos (Trade-offs): Os ganhos de qualidade são obtidos através de um aumento transparente no custo computacional (mais tokens e chamadas de modelo), mas com uma redução líquida no tempo operacional humano.

Os autores afirmam modestamente que o EC-ARAG é um assistente de redação e verificação, não um sistema autônomo de aprovação de engenharia. O sistema não substitui profissionais qualificados, particularmente para tarefas que envolvem interpretação geométrica, condições geotécnicas complexas ou aprovação final de projeto. Os resultados são específicos para o único projeto avaliado, sob condições de apenas texto, e não reivindicam generalização para todas as subestações sem validação adicional.