A graph generation pipeline for critical infrastructures based on heuristics, images and depth data

A continuación se presenta un resumen técnico detallado del artículo "A Graph Generation Pipeline for Critical Infrastructures Based on Heuristics, Images and Depth Data":

1. Planteamiento del Problema

Las infraestructuras críticas (por ejemplo, plantas de agua y energía) requieren gemelos digitales y simulaciones para garantizar la resiliencia y la continuidad. La creación de estas representaciones virtuales depende típicamente de escáneres láser 3D costosos y de un procesamiento especializado de nubes de puntos, lo cual es oneroso y requiere conocimientos expertos. Además, los enfoques existentes de aprendizaje profundo para la "generación de grafos de escena" (predicción de relaciones entre objetos) a menudo funcionan como "cajas negras", careciendo de la explicabilidad e interpretabilidad necesarias para la toma de decisiones de alto riesgo en infraestructuras críticas. Existe una necesidad de un método rentable, accesible y transparente para generar automáticamente grafos relacionales de objetos de infraestructura a partir de datos de imagen estándar.

2. Metodología

Los autores proponen una tubería prototípica que combina la fotogrametría (imágenes RGB y datos de profundidad de cámaras estéreo) con aprendizaje profundo y heurísticas definidas por el usuario. El sistema está diseñado para ser modular y explicativo.

A. Adquisición de Datos

• Fuente: Debido a las restricciones de seguridad sobre infraestructuras críticas reales, el estudio utiliza entornos sintéticos realistas creados en Unreal Engine 5 (simulando sistemas hidráulicos).
• Entrada: Imágenes RGB y mapas de profundidad capturados desde múltiples puntos de vista utilizando una configuración de cámara estéreo simulada.
• Objetos: Los entornos de prueba contienen tuberías, bombas, tanques, válvulas y rociadores.

B. Arquitectura de la Tubería

La tubería procesa "Objetos no tubulares" y "Objetos tubulares" a través de ramas distintas antes de fusionarlos en un grafo final.

1. Objetos no Tubulares (Bombas, Tanques, Válvulas)

• Detección: Utiliza un modelo de pose YOLOv8 afinado para detectar objetos y predecir puntos clave específicos que representan puntos de conexión (por ejemplo, donde una tubería se une a una bomba).
• Aproximación de Ubicación: En lugar de una segmentación de instancias que consume tiempo, el sistema aproxima las ubicaciones de los objetos dentro de cajas delimitadoras utilizando:
  • Filtrado de profundidad (eliminando píxeles de fondo más profundos que la mediana).
  • Proyección de nube de puntos y eliminación de valores atípicos estadísticos.
  • Agrupamiento DBSCAN para identificar el grupo principal de objetos.
• Emparejamiento: Los objetos idénticos en diferentes imágenes se fusionan basándose en umbrales de distancia de vóxel.

2. Objetos Tubulares

• Detección: Utiliza un modelo de segmentación de instancias YOLOv8 afinado para generar máscaras para elementos de tubería.
• Limpieza: Las máscaras se limpian eliminando píxeles de fondo mediante proyección de profundidad y DBSCAN. Se eliminan las máscaras superpuestas que pertenecen a objetos no tubulares (por ejemplo, tuberías dentro de una carcasa de bomba).
• Emparejamiento: Las máscaras de diferentes imágenes se emparejan proyectándolas en el espacio 3D y calculando superposiciones de intersección.
• Aproximación de Puntos Extremos: Dado que el modelo de segmentación no predice puntos clave, los puntos extremos se estiman:
  • Tuberías rectas: Los puntos extremos se derivan de la media de los vóxeles en los extremos de una caja delimitadora rotada.
  • Tuberías dobladas/ambiguas: Los puntos extremos se aproximan tirando del centroide del objeto hacia el objeto vecino más cercano.

3. Generación de Grafos y Aplicación de Reglas

• Grafo Inicial: Se crea conectando los puntos extremos de los objetos de forma iterativa basándose en las distancias pares más cortas, hasta un umbral máximo (graph_max_distance).
• Refinamiento Heurístico: El grafo inicial se refina aplicando un conjunto de reglas definidas por el usuario (funciones) para eliminar aristas inválidas. Los ejemplos incluyen:
  • Regla 1: Bombas/Válvulas máximo 2 conexiones; Tanques máximo 1.
  • Regla 2: Tuberías máximo 3 conexiones.
  • Regla 3: Sin conexiones entre vecinos del mismo objeto no tubular.
  • Regla 4 y 5: No se permiten nodos únicos ni ciclos.
  • Regla 6 y 7: Clasificación de tuberías como "Reductor/Expansor" o "CruceDeTuberías" basada en la topología.

3. Contribuciones Clave

• Alternativa Rentable: Demuestra que las cámaras estéreo y la fotogrametría pueden reemplazar a los escáneres láser costosos para generar grafos de infraestructura.
• Explicabilidad: A diferencia de los generadores de grafos de aprendizaje profundo de extremo a extremo, esta tubería utiliza reglas explícitas definidas por el usuario. Esta transparencia permite a los operadores comprender por qué se hizo o rechazó una conexión, un requisito crítico para sistemas de seguridad crítica.
• Diseño Modular: La tubería separa la detección, el emparejamiento y la aplicación de reglas. Los modelos de detección (por ejemplo, YOLO) pueden intercambiarse sin alterar la lógica de la generación del grafo, y las reglas pueden adaptarse a tipos específicos de infraestructura.
• Enfoque Híbrido: Combina con éxito el aprendizaje profundo (para la detección) con visión por computadora clásica y heurísticas (para la inferencia de relaciones) para equilibrar la precisión con la interpretabilidad.

4. Resultados

La tubería se probó en dos sistemas hidráulicos sintéticos:

• Sistema 1 (Simple): 1 bomba, 1 tanque, 1 válvula, 1 rociador, 3 conexiones en T.
  • Rendimiento: El grafo predicho fue casi idéntico a la verdad fundamental.
  • Métrica: La Distancia de Edición de Grafos (GED) fue 4.
  • Limitación: El rociador se pasó por alto debido a ser demasiado pequeño para el modelo de detección.
• Sistema 2 (Complejo): 2 bombas, 2 tanques, 3 válvulas, 4 rociadores, disposición en forma de X.
  • Rendimiento: Capturó la estructura principal pero pasó por alto el sistema de rociadores y tuvo errores menores en el emparejamiento de tuberías.
  • Métrica: La GED fue 22 (incluyendo errores de rociadores). Al excluir los rociadores no detectados, la GED bajó a 10.
• Tiempo de Ejecución: El tiempo de ejecución total de la tubería promedió ~785 segundos (aprox. 13 minutos) para 29 pares de imágenes en una CPU estándar, siendo el módulo de emparejamiento de tuberías el más intensivo computacionalmente.

5. Significado y Trabajo Futuro

• Significado: Este trabajo proporciona una vía viable para crear gemelos digitales de infraestructuras críticas sin costos prohibitivos. El énfasis en la explicabilidad basada en reglas aborda una barrera importante para la adopción de la IA en la toma de decisiones industriales de alto riesgo.
• Limitaciones:
  • Dependencia de la calidad del modelo de detección de objetos (se pasaron por alto objetos pequeños como rociadores).
  • Las heurísticas para la aproximación de puntos extremos luchan con formas de tubería ambiguas.
  • Actualmente validado solo en datos sintéticos; la validación en el mundo real está pendiente.
• Direcciones Futuras:
  • Mejora de modelos de detección para objetos pequeños (por ejemplo, usando Transformadores de Visión).
  • Reemplazo de heurísticas crudas con técnicas de esqueletización para una mejor estimación de puntos extremos de tuberías.
  • Validación de la tubería en sitios reales de infraestructura crítica.

En conclusión, el artículo presenta un marco robusto, transparente y rentable para convertir datos de imágenes 2D/3D en grafos relacionales, ofreciendo una solución práctica para la digitalización de activos de infraestructura crítica.