💻 computer science

Hybrid Multi-Scale Convolutional Spectrogram Transformer for Industrial Anomalous Sound Detection

Este artículo propone un Transformador de Espectrograma Convolucional Híbrido Multiescala (HMCST) que integra convoluciones multiescala paralelas, fusión entre escalas y modelado global basado en Transformer para lograr una detección de sonidos anómalos industriales robusta a través de diversas condiciones operativas, demostrando un rendimiento superior con una precisión media del 90,10 % y un AUC del 95,25 % en los conjuntos de datos MIMII DUE y ToyADMOS2.

Autores originales: Kui Wang, Yongqi Liu, Junjun Wu, Qingyou Dai, Qinghua Lu

Publicado 2026-09-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kui Wang, Yongqi Liu, Junjun Wu, Qingyou Dai, Qinghua Lu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina la planta de una fábrica donde las máquinas zumban, giran y truenan en una sinfonía constante y compleja. Para un operador humano, escuchar este ruido es a menudo imposible; el puro volumen y la variedad de sonidos hacen que sea difícil detectar el momento en que una sola máquina comienza a fallar. Sin embargo, ese mismo sonido contiene el secreto de la salud de la máquina. Así como un médico escucha un latido para detectar irregularidades, los ingenieros escuchan el equipo industrial para encontrar signos tempranos de problemas. Este campo, conocido como detección de anomalías sonoras, tiene como objetivo enseñar a las computadoras a distinguir entre una máquina que funciona sin problemas y una que está a punto de romperse. El desafío radica en que las máquinas no siempre suenan igual; cambian su tono y ritmo dependiendo de su velocidad, la carga que transportan y el ruido de fondo que las rodea. Para captar una falla, una computadora debe aprender a ignorar estos cambios normales mientras permanece hiper-sensible a los sonidos sutiles y extraños que señalan un problema.

Un equipo de investigadores ha desarrollado un nuevo método para resolver este rompecabezas de la escucha, creando un sistema que actúa como un oído altamente entrenado capaz de enfocarse tanto en detalles diminutos y fugaces como en patrones amplios y de largo plazo en el sonido. Llaman a su creación el Transformador de Espectrograma Convolucional Híbrido Multiescala. Para entender cómo funciona, uno primero debe entender cómo "escucha" la computadora. El sistema no escucha las ondas sonoras puras directamente. En su lugar, convierte el audio en un mapa visual llamado espectrograma, que muestra cómo el tono y el volumen del sonido cambjan a lo largo del tiempo. Piensa en este mapa como un paisaje donde el eje horizontal representa el tiempo y el eje vertical representa el tono. Una máquina sana produce un patrón consistente y predecible en este mapa, mientras que una defectuosa crea una forma dentada e irregular.

Los investigadores construyeron su sistema para examinar este paisaje de dos maneras diferentes simultáneamente. Primero, utilizaron un conjunto de filtros especializados para mirar el mapa a través de diferentes "lentes". Algunas lentes son muy pequeñas, permitiendo que el sistema detecte destellos diminutos y agudos en el sonido que podrían durar solo una fracción de segundo. Otras lentes son más grandes, ayudando al sistema a ver patrones más amplios y extensos que se estiran a través del tiempo. Al combinar estas diferentes vistas, el sistema captura una imagen completa del sonido, notando tanto los clics rápidos y agudos de una pieza suelta como los estruendos lentos y profundos de un engranaje desalineado. Esta es la parte multiescala de su diseño.

Una vez que el sistema ha reunido estas vistas detalladas, necesita decidir qué significan. Aquí es donde entra la segunda parte del sistema. Utiliza un tipo poderoso de inteligencia artificial conocido como Transformer, el cual es excelente para comprender el contexto. Así como un oyente humano entiende que un silencio repentino puede ser significativo debido a lo que sucedió justo antes, esta parte del sistema observa todo el mapa sonoro para entender cómo las diferentes partes del ruido se relacionan entre sí. Conecta los detalles diminutos encontrados por las lentes pequeñas con los grandes patrones encontrados por las lentes grandes, creando una comprensión profunda de la firma acústica de la máquina.

Para probar si este enfoque realmente funciona, los investigadores entrenaron su sistema con grabaciones de siete tipos diferentes de máquinas, incluyendo ventiladores, bombas, engranajes e incluso coches de juguete y trenes utilizados para la investigación. Le enseñaron al sistema a reconocer la diferencia entre la operación normal y varios tipos de fallas. Crucialmente, diseñaron la prueba para que fuera extremadamente estricta: el sistema fue entrenado con un conjunto de grabaciones y luego probado con un conjunto de grabaciones completamente separado que nunca había visto, asegurando que realmente estuviera aprendiendo a reconocer fallas y no solo memorizando sonidos específicos.

Los resultados mostraron que el nuevo sistema es altamente efectivo. Cuando fue probado con las grabaciones no vistas, identificó correctamente si una máquina era normal o defectuosa aproximadamente el 90 por ciento de las veces. Más importante aún, fue muy bueno evitando falsas alarmas. En un entorno industrial, un sistema que da falsas alarmas con demasiada frecuencia es inútil porque los trabajadores dejarán de confiar en él. Este nuevo método logró mantener las falsas alarmas muy bajas mientras seguía captando la gran mayoría de los problemas reales. El sistema funcionó mejor en máquinas como cajas de engranajes y trenes de juguete, donde los sonidos de falla eran distintos, pero también tuvo dificultades ligeramente con ventiladores y bombas, donde los sonidos de falla eran muy similares al ruido de fondo normal. Esto sugiere que, aunque el sistema es un gran paso adelante, las fallas más sutiles y de tipo ruidoso siguen siendo difíciles de detectar.

Los investigadores también compararon su nuevo sistema contra métodos más antiguos que dependían de modelos computacionales más simples o diferentes tipos de inteligencia artificial. El nuevo enfoque híbrido superó significativamente a estas técnicas más antiguas, demostrando que combinar la capacidad de ver detalles finos con la capacidad de entender el panorama general es la clave del éxito. Al calibrar cuidadosamente cómo el sistema toma su decisión final, los investigadores se aseguraron de que lograra el equilibrio adecuado entre detectar fallas y permanecer en silencio cuando todo está bien. Este trabajo demuestra que, al enseñar a las computadoras a escuchar con tanto una lupa como un lente de gran angular, podemos crear herramientas mucho más confiables para mantener el equipo industrial funcionando de manera segura y eficiente.

Resumen Técnico: Transformador de Espectrogramas Convolucional Multiescala Híbrido para la Detección de Anomalías Sonoras Industriales

Planteamiento del Problema
La detección fiable de anomalías sonoras (ASD, por sus siglas en inglés) en equipos industriales sigue siendo un desafío debido a las variables condiciones operativas, el ruido de fondo y las firmas de anomalías heterogéneas. Los métodos existentes enfrentan dos limitaciones primarias: las arquitecturas basadas en espectrogramas adaptadas de paradigmas visuales a menudo fallan al no contabilizar explícitamente los distintos roles físicos de los ejes temporal y de frecuencia, lo que limita su capacidad para caracterizar estructuras temporales-espectrales complejas. Además, los entornos industriales introducen cambios de dominio (por ejemplo, variaciones en la velocidad de rotación, carga y posición de los sensores) que reducen la robustez del modelo. Aunque los enfoques recientes basados en Transformers ofrecen un modelado de contexto global, a menudo carecen de la caracterización local detallada de tiempo-frecuencia requerida para las señales acústicas industriales.

Metodología: El Marco HMCST
Los autores proponen el Transformador de Espectrogramas Convolucional Multiescala Híbrido (HMCST), un marco diseñado para modelar conjuntamente patrones locales multiescala y dependencias globales. La arquitectura consta de cuatro etapas principales:

Representación de Entrada: Las formas de onda de audio se remuestrean a 16 kHz y se convierten en un espectrograma log-Mel estático. Para capturar las variaciones temporales de corto plazo, se calcula la diferencia temporal de primer orden. Estos dos componentes se apilan y se promedian para formar una entrada de canal único efectiva ( $X_{eff}$ ).
Front-End Convolucional Multiescala: La entrada es procesada por cuatro ramas convolucionales paralelas con tamaños de núcleo de $1\times1$ , $3\times3$ , $5\times5$ y $7\times7$ . Este diseño extrae respuestas de tiempo-frecuencia complementarias: los núcleos más pequeños capturan transitorios locales y texturas finas, mientras que los núcleos más grandes capturan estructuras armónicas más amplias y el contexto temporal.
Fusión de Dos Etapas No Lineal de Escala Cruzada:
- Etapa 1 (Gating/Puerta): Puertas sigmoideas aprendibles específicas de cada escala recalibran de forma independiente las dimensiones de las características para cada rama sin imponer una normalización Softmax cruzada entre escalas. Esto permite que cada escala preserve o suprima dimensiones informativas de forma autónoma.
- Etapa 2 (Refinamiento): Las representaciones con puerta se suman y se pasan a través de una convolución de $3\times3$ con normalización por lotes (batch normalization) y activación ReLU. Esto promueve la interacción local no lineal entre las respuestas multiescala reponderadas.
Codificación de Transformer: El mapa de características fusionado se agrupa en una cuadrícula de $16\times16$ y se proyecta en un espacio de incrustación (embedding) de 768 dimensiones. Estos tokens, combinados con un token CLS preentrenado y embebimientos posicionales interpolados, son procesados por ocho bloques de codificador Transformer con pre-normalización. El agrupamiento promedio global (global average pooling) sobre todos los tokens codificados produce una representación acústica compartida.
Discriminación de Anomalías y Calibración: El modelo emplea una cabeza de detección de anomalías binaria ligera. Crucialmente, el umbral de decisión no es fijo, sino que se calibra utilizando predicciones Fuera de la Muestra (OOF) del conjunto de desarrollo-fuente para maximizar la puntuación F1. Esto separa el aprendizaje de la representación de la tarea de discriminación final.

Contribuciones Clave
El artículo describe cuatro contribuciones específicas:

Marco de Modelado Híbrido: Integración de la extracción de características convolucionales multiescala paralelas con el modelado de contexto basado en Transformer para capturar tanto patrones locales detallados como dependencias de largo alcance.
Estrategia de Fusión de Dos Etapas No Lineal: Un enfoque novedoso que utiliza puertas sigmoideas aprendibles específicas de la escala seguidas de un refinamiento convolucional de $3\times3$ , evitando las restricciones de la atención competitiva basada en Softmax.
Mecanismo de Discriminación Orientado a la Tarea: El uso de una cabeza binaria ligera junto con un umbral global calibrado mediante OOF para mapear las representaciones acústicas directamente a decisiones normales/anómalas.
Evaluación Sistemática: Un protocolo supervisado riguroso y libre de fugas de datos evaluado en los conjuntos de datos MIMII DUE y ToyADMOS2 a través de siete tipos de máquinas, utilizando validación cruzada de cinco pliegues y cinco semillas aleatorias independientes.

Resultados Experimentales
Los experimentos se realizaron en un conjunto de datos que comprende 29,701 grabaciones (25,410 de desarrollo-fuente, 4,291 de prueba-objetivo retenidas). Bajo el protocolo supervisado específico del estudio, el HMCST alcanzó las siguientes métricas de rendimiento promedio a través de cinco semillas aleatorias:

Exactitud (Accuracy): 90.10%
Puntuación F1 (F1-Score): 89.43%
AUC: 95.25%
pAUC estandarizada (FPR $\le$ 0.10): 90.20%

Análisis por Máquina:

Alto Rendimiento: ToyTrain y Gearbox alcanzaron las puntuaciones F1 más altas (94.03% y 91.62%, respectivamente), lo que indica una distinción efectiva de sus patrones anómalos.
Casos Desafiantes: Los ventiladores (Fans) y bombas (Pumps) mostraron una recuperación (recall) más baja (66.83% y 69.67%, respectivamente), lo que sugiere que sus firmas anómalas son más similares al ruido de fondo normal.
Estrategia de Umbral: El umbral global calibrado mediante OOF superó tanto a un umbral fijo de 0.5 como a una estrategia de umbral por máquina en términos de exactitud general y puntuación F1, ofreciendo un mejor equilibrio entre el rendimiento y la simplicidad de implementación.

Rendimiento Comparativo:

Vs. Métodos Representativos: El HMCST superó a CST-former, BEATs-KNN y MVST en una tarea auxiliar de clasificación de estado de máquina de 14 clases, logrando una exactitud del 93.61% frente al 89.37% de MVST.
Vs. Baselines CNN: Al compararse con modelos preentrenados en ImageNet como GoogLeNet y ResNet-50 bajo el mismo protocolo de detección de anomalías binaria, el HMCST los superó significativamente (90.10% de exactitud frente a ~50.35%). Los baselines de CNN tendieron a clasificar casi todas las grabaciones como anómalas (alta recuperación, precisión cercana a cero), mientras que el HMCST mantuvo una capacidad discriminativa equilibrada.

Significancia y Limitaciones
El artículo afirma que el HMCST proporciona un enfoque efectivo para la ASD industrial al modelar conjuntamente los patrones de tiempo-frecuencia multiescala locales, las dependencias globales y la discriminación de anomalías calibrada. La alta precisión y los fuertes valores de pAUC indican que el modelo retiene información de clasificación útil bajo restricciones de falsos positivos bajos.

Sin embargo, los autores señalan explícitamente varias limitaciones:

El estudio evalúa un protocolo de ASD supervisado, utilizando etiquetas de normal/anomalía durante el entrenamiento, en lugar de la configuración convencional de tarea 2 de DCASE (no supervisada).
La evaluación se basa en conjuntos de datos específicos (MIMII DUE y ToyADMOS2); el protocolo no establece de forma independiente la generalización entre conjuntos de datos.
Los resultados de visualización (t-SNE) proporcionan evidencia cualitativa de la separabilidad de las características, pero carecen de medidas cuantitativas independientes de la calidad de la representación.

El trabajo futuro se identifica centrándose en la adaptación autosupervisada o débilmente supervisada, la validación entre conjuntos de datos y el ranking de anomalías robusto con bajas tasas de falsas alarmas.

Más como este