A graph generation pipeline for critical infrastructures based on heuristics, images and depth data

1. Declaração do Problema

Infraestruturas críticas (por exemplo, usinas de água e energia) exigem gêmeos digitais e simulações para garantir resiliência e continuidade. A criação dessas representações virtuais geralmente depende de scanners a laser 3D caros e processamento especializado de nuvem de pontos, que são custosos e exigem conhecimento especializado. Além disso, as abordagens existentes de aprendizado profundo para "geração de grafos de cena" (previsão de relações entre objetos) frequentemente funcionam como "caixas pretas", carecendo da explicabilidade e interpretabilidade necessárias para a tomada de decisões de alto risco em infraestrutura crítica. Há uma necessidade de um método custo-efetivo, acessível e transparente para gerar automaticamente grafos relacionais de objetos de infraestrutura a partir de dados de imagem padrão.

2. Metodologia

Os autores propõem um pipeline prototípico que combina fotogrametria (imagens RGB e dados de profundidade de câmeras estéreo) com aprendizado profundo e heurísticas definidas pelo usuário. O sistema é projetado para ser modular e explicável.

A. Aquisição de Dados

• Fonte: Devido a restrições de segurança em infraestruturas críticas reais, o estudo utiliza ambientes sintéticos realistas criados no Unreal Engine 5 (simulando sistemas hidráulicos).
• Entrada: Imagens RGB e mapas de profundidade capturados de múltiplos pontos de vista usando uma configuração de câmera estéreo simulada.
• Objetos: Os ambientes de teste contêm tubos, bombas, tanques, válvulas e aspersores.

B. Arquitetura do Pipeline

O pipeline processa "Objetos não-tubo" e "Objetos tubo" através de ramos distintos antes de mesclá-los em um grafo final.

1. Objetos Não-Tubo (Bombas, Tanques, Válvulas)

• Detecção: Utiliza um modelo de pose YOLOv8 ajustado finamente para detectar objetos e prever pontos-chave específicos que representam pontos de conexão (por exemplo, onde um tubo se conecta a uma bomba).
• Aproximação de Localização: Em vez de segmentação de instância demorada, o sistema aproxima as localizações dos objetos dentro de caixas delimitadoras usando:
  • Filtragem de profundidade (removendo pixels de fundo mais profundos que a mediana).
  • Projeção de nuvem de pontos e remoção estatística de outliers.
  • Agrupamento DBSCAN para identificar o agrupamento principal do objeto.
• Correspondência: Objetos idênticos em diferentes imagens são mesclados com base em limiares de distância de voxel.

2. Objetos Tubo

• Detecção: Utiliza um modelo de segmentação de instância YOLOv8 ajustado finamente para gerar máscaras para elementos de tubo.
• Limpeza: As máscaras são limpas removendo pixels de fundo via projeção de profundidade e DBSCAN. Máscaras sobrepostas pertencentes a objetos não-tubo (por exemplo, tubos dentro de um alojamento de bomba) são removidas.
• Correspondência: Máscaras de diferentes imagens são correspondidas projetando-as no espaço 3D e calculando sobreposições de interseção.
• Aproximação de Extremidades: Como o modelo de segmentação não prevê pontos-chave, as extremidades são estimadas:
  • Tubos retos: As extremidades são derivadas da média de voxels nas extremidades de uma caixa delimitadora rotacionada.
  • Tubos curvados/Ambíguos: As extremidades são aproximadas puxando o centróide do objeto em direção ao objeto vizinho mais próximo.

3. Geração de Grafo e Aplicação de Regras

• Grafo Inicial: Criado conectando as extremidades dos objetos iterativamente com base nas menores distâncias pares, até um limiar máximo (graph_max_distance).
• Refinamento Heurístico: O grafo inicial é refinado aplicando um conjunto de regras definidas pelo usuário (funções) para remover arestas inválidas. Exemplos incluem:
  • Regra 1: Bombas/Válvulas máximo 2 conexões; Tanques máximo 1.
  • Regra 2: Tubos máximo 3 conexões.
  • Regra 3: Sem conexões entre vizinhos do mesmo objeto não-tubo.
  • Regra 4 e 5: Nenhum nó único ou ciclos permitidos.
  • Regra 6 e 7: Classificação de tubos como "Redutor/Expansor" ou "CruzamentoDeTubo" com base na topologia.

3. Contribuições Principais

• Alternativa Custo-Efetiva: Demonstra que câmeras estéreo e fotogrametria podem substituir scanners a laser caros para a geração de grafos de infraestrutura.
• Explicabilidade: Diferentemente de geradores de grafos de aprendizado profundo de ponta a ponta, este pipeline usa regras explícitas definidas pelo usuário. Essa transparência permite que os operadores entendam por que uma conexão foi feita ou rejeitada, um requisito crítico para sistemas de segurança crítica.
• Design Modular: O pipeline separa detecção, correspondência e aplicação de regras. Modelos de detecção (por exemplo, YOLO) podem ser trocados sem alterar a lógica da geração do grafo, e as regras podem ser adaptadas a tipos específicos de infraestrutura.
• Abordagem Híbrida: Combina com sucesso aprendizado profundo (para detecção) com visão computacional clássica e heurísticas (para inferência de relações) para equilibrar precisão com interpretabilidade.

4. Resultados

O pipeline foi testado em dois sistemas hidráulicos sintéticos:

• Sistema 1 (Simples): 1 bomba, 1 tanque, 1 válvula, 1 aspersor, 3 conexões em T.
  • Desempenho: O grafo previsto foi quase idêntico à verdade fundamental.
  • Métrica: Distância de Edição de Grafo (GED) foi 4.
  • Limitação: O aspersor foi perdido devido a ser muito pequeno para o modelo de detecção.
• Sistema 2 (Complexo): 2 bombas, 2 tanques, 3 válvulas, 4 aspersores, layout em forma de X.
  • Desempenho: Capturou a estrutura principal, mas perdeu o sistema de aspersores e teve erros menores de correspondência de tubos.
  • Métrica: GED foi 22 (incluindo erros de aspersores). Ao excluir os aspersores não detectados, o GED caiu para 10.
• Tempo de Execução: O tempo total de execução do pipeline foi em média ~785 segundos (aprox. 13 minutos) para 29 pares de imagens em uma CPU padrão, com o módulo de correspondência de tubos sendo o mais intensivo computacionalmente.

5. Significado e Trabalho Futuro

• Significado: Este trabalho fornece um caminho viável para a criação de gêmeos digitais de infraestrutura crítica sem custos proibitivos. O foco na explicabilidade baseada em regras aborda uma grande barreira para a adoção de IA na tomada de decisões industriais de alto risco.
• Limitações:
  • Dependência da qualidade do modelo de detecção de objetos (objetos pequenos como aspersores foram perdidos).
  • Heurísticas para aproximação de extremidades lutam com formas de tubo ambíguas.
  • Atualmente validado apenas em dados sintéticos; validação no mundo real está pendente.
• Direções Futuras:
  • Melhorar modelos de detecção para objetos pequenos (por exemplo, usando Vision Transformers).
  • Substituir heurísticas grosseiras por técnicas de esquelentização para melhor estimativa de extremidades de tubos.
  • Validar o pipeline em locais reais de infraestrutura crítica.

Em conclusão, o artigo apresenta uma estrutura robusta, transparente e custo-efetiva para converter dados de imagem 2D/3D em grafos relacionais, oferecendo uma solução prática para a digitalização de ativos de infraestrutura crítica.