Multi-Modal Semantic Segmentation of Electrolyzer Components for Sustainable Hydrogen Technologies: A Dual-Branch Deep Learning Approach

Resumen Técnico: Segmentación Semántica Multimodal de Componentes de Electrolizadores

Planteamiento del Problema
La segmentación precisa de los materiales de los electrolizadores es crítica para el desmontaje automatizado, el reciclaje sostenible y la fabricación circular de tecnologías de hidrógeno. Sin embargo, esta tarea enfrenta desafíos significativos debido a la fuerte similitud visual entre diferentes materiales (por ejemplo, Acero-Negro frente a Acero-Gris), el solapamiento espectral, las formas irregulares de los componentes y el severo desequilibrio de clases dentro de los conjuntos de datos. Los enfoques existentes suelen depender de datos de una sola modalidad (ya sea imágenes RGB o Imágenes Hiperespectrales [HSI] por sí solas), lo que limita su capacidad para distinguir materiales visualmente similares o localizar con precisión los límites. Las imágenes RGB proporcionan detalles espaciales pero no logran distinguir materiales con texturas similares pero composiciones diferentes, mientras que la HSI proporciona firmas espectrales específicas del material pero a menudo carece de la precisión de los límites espaciales requerida para la clasificación robótica. Además, muchas arquitecturas existentes carecen de mecanismos de atención especializados y funciones de pérdida para manejar el desequilibrio de clases específico y los errores de límite inherentes a los conjuntos de datos de reciclaje industrial.

Metodología: HREM-Net
Para abordar estas limitaciones, los autores proponen HREM-Net (Red de Materiales de Electrolizadores Hiperespectral-RGB), un marco de aprendizaje profundo de doble rama diseñado para la segmentación semántica multimodal. La arquitectura procesa datos HSI y RGB en paralelo antes de fusionarlos de manera adaptativa.

• Codificador de Doble Rama:

  • Codificador Hiperespectral: Diseñado para comprimir datos espectrales de alta dimensión preservando las características discriminativas del material. Emplea una etapa de compresión espectral mediante convoluciones de $1 \times 1$ seguidas de Atención de Canal Eficiente (ECA) para recalibrar las respuestas de los canales. Las etapas subsiguientes utilizan bloques de Cuello de Botella Invertido Móvil (MBConv) con Squeeze-and-Excitation (SE) para el aprendizaje de características espaciales y Atención de Coordenadas para preservar la información posicional. Finalmente, se aplica Agrupación de Pirámide Espacial Atrosa (ASPP) para capturar el contexto multiescala.
  • Codificador RGB: Se enfoca en la extracción de detalles espaciales, texturas y estructuras geométricas. Utiliza una jerarquía similar de bloques MBConv y Atención de Coordenadas para mantener definiciones de límites precisas, lo cual es crucial para estructuras delgadas como mallas y electrodos.

• Fusión Transmodal:
  En lugar de una simple concatenación, el marco emplea una estrategia de fusión de compuerta dinámica guiada por atención. Las características de ambas ramas se proyectan en un espacio de incrustación compartido y se procesan mediante Atención de Coordenadas para permitir la interacción transmodal. Un mecanismo de compuerta adaptativo pondera dinámicamente la contribución de las ramas HSI y RGB basándose en la información contextual global, permitiendo que el modelo enfatice la modalidad más informativa para condiciones de entrada específicas.

• Decodificador y Función de Pérdida:
  El decodificador reconstruye los logits de segmentación de resolución completa utilizando un proceso de sobremuestreo de múltiples etapas con refinamiento de Doble Atención (DA) en cada etapa para mejorar la claridad de los límites. Para abordar el severo desequilibrio de clases y los errores de límite, el modelo se entrena utilizando una función de pérdida compuesta que comprende:

  1. PolyLoss: Aumenta la entropía cruzada con una penalización polinómica para enfatizar los ejemplos difíciles.
  2. Pérdida Tversky: Generaliza el coeficiente de Dice con penalizaciones asimétricas para mejorar la recuperación de clases minoritarias.
  3. Supervisión Profunda Auxiliar: Proporciona señales de supervisión intermedia para mejorar el flujo de gradiente y la convergencia.

Contribuciones Clave

1. Arquitectura Novedosa: Introducción de HREM-Net, la primera arquitectura de fusión HSI-RGB de doble rama que emplea conjuntamente la compresión espectral y la compuerta dinámica transmodal para la segmentación de materiales de electrolizadores.
2. Mecanismos de Atención Avanzados: Propuesta de un método de fusión que integra ECA, Atención de Coordenadas y fusión transmodal con compuerta dinámica para refinar las interacciones de características.
3. Estrategia de Extracción de Características: Uso de bloques MBConv con SE y ASPP para capturar eficazmente tanto los detalles espaciales como el contexto multiescala.
4. Estrategia de Optimización: Empleo de una función de pérdida compuesta (PolyLoss + Tversky + Supervisión Profunda Auxiliar) para mitigar el desequilibrio de clases y mejorar la precisión de la segmentación de límites.
5. Validación del Desempeño: Demostración de un rendimiento de estado del arte (SOTA) con mejoras consistentes sobre los métodos existentes en diferentes clases de materiales, incluyendo aquellas con datos altamente desequilibrados.

Resultos Experimentales
El modelo fue evaluado en el conjunto de datos Electrolyzers-HSI (55 escenas corregidas espacialmente con 5 clases de materiales) y validado para su generalización en el conjunto de datos PCB-Vision.

• Conjunto de Datos Electrolyzers-HSI: HREM-Net logró una precisión media de clase del 91.66% y una intersección sobre la unión media (mIoU) de 0.8211, con una precisión de píxeles del 98.62%. Esto superó significativamente a los modelos base como U-Net, U-Net++, DeepLabV3+ y TransUNet, que reportaron puntuaciones de mIoU que oscilaban entre 0.34 y 0.43.
• Validación de Cruce de Conjuntos de Datos: En el conjunto de datos PCB-Vision, el modelo demostró una fuerte generalización, alcanzando un 96.91% de precisión media de clase y un mIoU de 0.9396.
• Estudios de Ablación: Los experimentos confirmaron que la integración de todos los componentes (MBConv, ECA, ASPP y pérdida Tversky) es necesaria para un desempeño óptimo; la eliminación de cualquier componente individual resultó en una caída notable del mIoU.

Significancia y Reivindicaciones
El artículo postula que HREM-Net ofrece una aplicación industrial viable para mejorar la eficiencia de los electrolizadores y el mantenimiento predictivo en la producción de hidrógeno. Al permitir la identificación precisa y automatizada de materiales visualmente similares, el marco respalda la clasificación robótica y la recuperación de alta pureza en los procesos de reciclaje, reduciendo así los impactos ambientales y los costos de materiales. Los autores afirman que su enfoque cierra eficazmente la brecha entre la identificación espectral de materiales y la precisión de los límites espaciales, abordando las limitaciones encontradas en los enfoques de una sola modalidad y los métodos de ensamble estándar. Aunque reconocen limitaciones con respecto a la alineación de datos y la sensibilidad al ruido ambiental (por ejemplo, contaminación, corrosión), el trabajo establece una base robusta para la segmentación de materiales impulsada por IA en tecnologías sostenibles de hidrógeno.