Lung-SRAD: Spectral-Aware Regularized Audio DASS with Dual-Axis Patch-Mix Contrastive Learning for Respiratory Sound Classification

Resumen Técnico: Lung-SRAD

Planteamiento del Problema
La Clasificación de Sonidos Respiratorios (RSC, por sus siglas en inglés) es fundamental para el diagnóstico de afecciones como la neumonía, la EPOC y el asma, donde los sonidos anormales, tales como estertores y sibilancias, se manifiestan como estructuras espectro-temporales localizadas de corta duración. Aunque los métodos de RSC de alto rendimiento recientes dependen de arquitecturas basadas en Transformers, como el Audio Spectrogram Transformer (AST), los autores identifican dos limitaciones principales:

1. Sesgo Espectral: El análisis teórico sugiere que la autoatención basada en softmax en los Transformers se comporta como un filtro de paso bajo en el dominio de las características. Esto suprime progresivamente las variaciones de alta frecuencia entre tokens, lo que potencialmente reduce la sensibilidad a las variaciones espaciales rápidas y localizadas características de los eventos respiratorios anormales.
2. Complejidad Computacional: La complejidad cuadrática de tiempo y memoria de la autoatención hace que los Transformers sean computacionalmente costosos para secuencias de audio largas.

Metodología: Lung-SRAD
El artículo propone Lung-SRAD (Spectral-Aware Regularized Audio DASS), un marco de trabajo construido sobre Modelos de Espacio de Estados (SSM) para abordar estas limitaciones. La metodología consta de tres componentes principales:

1. Columna Vertebral SSM (DASS):
   Los autores utilizan el modelo de Espacio de Estado de Audio Destilado (DASS), inicializado con pesos destilados de un conjunto de profesores Transformer (AST y HTS-AT) en AudioSet. A diferencia de los Transformers, DASS emplea una arquitectura jerárquica con Escaneo de Espacio de Estado 2D Selectivo (SS2D). Esto permite al modelo agregar características del mapa de tiempo-frecuencia completo mediante el agrupamiento espacial (spatial pooling) en lugar de depender de un único token CLS, manteniendo la complejidad lineal mientras preserva las representaciones distribuidas.

2. Regularización de Capas Sensible al Espectro:
   A través de un análisis de las curvas de respuesta espectral, los autores observaron que, si bien DASS preserva mejor los componentes de frecuencia espacial de media a alta frecuencia que AST, ciertas capas intermedias (específicamente en la Etapa 2) exhiben respuestas de alta frecuencia excesivas que pueden conducir al sobreajuste de patrones locales finos. Para mitigar esto, aplican una convolución Gaussiana selectivamente a estas capas. Esta regularización atenúa los picos espectrales dominantes mientras preserva la estructura armónica general, con el objetivo de mejorar la especificidad sin sacrificar la sensibilidad.

3. Aprendizaje Contrastivo de Mezcla de Parches de Doble Eje (Dual-Axis Patch-Mix):
   El aprendizaje contrastivo de mezcla de parches estándar, diseñado para AST, trata los parches del espectrograma como un conjunto desordenado. Sin embargo, los SSM como VMamba procesan las entradas como rejillas 2D estructuradas con transiciones de estado direccionales. La mezcla de parches ingenua interrumpe estas evoluciones de estado secuenciales. Para alinearse con la arquitectura SSM, los autores proponen el Dual-Axis Patch-Mix:

   • Mezcla de Parches Temporales: Reemplaza segmentos temporales consecutivos preservando la continuidad del estado en la frecuencia.
   • Mezcla de Parches de Frecuencia: Reemplaza bandas de frecuencia consecutivas preservando la continuidad temporal.
   • Estrategia de Gradiente Asimétrico: El modelo utiliza una operación de detención de gradiente (stop-gradient) en las muestras mezcladas para fomentar la invarianza a estas perturbaciones alineadas con los ejes sin colapsar la dinámica estructurada del espacio de estados del backbone.

Contribuciones Clave

• Primera Aplicación de DASS para RSC: El artículo presenta el primer uso de un Modelo de Espacio de Estados destilado para la clasificación de sonidos respiratorios, logrando una puntuación base de 61.06% en el conjunto de datos ICBHI mediante un ajuste fino simple.
• Análisis Espectral y Regularización: Los autores proporcionan un análisis empírico de las representaciones intermedias en SSM frente a Transformers, demostrando la capacidad superior de DASS para preservar los componentes de frecuencia espacial de media a alta frecuencia. Introducen una estrategia de regularización Gaussiana dirigida para equilibrar estas respuestas de alta frecuencia.
• Aprendizaje Contrastivo Alineado con la Arquitectura: Proponen una estrategia de aprendizaje contrastivo supervisado de Dual-Axis Patch-Mix específicamente adaptada a las propiedades de escaneo multidireccional de los SSM, evitando la disrupción estructural causada por las técnicas de mezcla de parches estándar.

Resultados Experimentales
Los experimentos se realizaron en el benchmark ICBHI utilizando la división oficial de 60% para entrenamiento y 40% para prueba (independiente del paciente).

• Evaluación de 4 Clases: El modelo final Lung-SRAD logró un ICBHI Score de 64.48%, superando la línea base de AST (62.37% con Patch-Mix CL) por aproximadamente 2.1 puntos porcentuales y la línea base de ajuste fino de AST estándar por 5 puntos porcentuales. Este aumento fue impulsado por un incremento significativo en la Especificidad (Sp) del 74.68% al 79.53%, manteniendo una Sensibilidad (Se) comparable.
• Evaluación de 2 Clases: En un entorno de clasificación binaria (Normal vs. Anormal), el modelo alcanzó un puntaje de 72.57%, superando el estado del arte previo reportado en el artículo (72.08%).
• Estudios de Ablación: Los resultados confirmaron que la regularización sensible al espectro mejoró la especificidad, y que la estrategia Dual-Axis Patch-Mix proporcionó una regularización superior en comparación con la mezcla de un solo eje o la mezcla tipo AST.

Significancia y Reivindicaciones
El artículo afirma que Lung-SRAD demuestra la viabilidad de los Modelos de Espacio de Estados como una alternativa eficiente y efectiva a los Transformers para la RSC. Al aprovechar la capacidad inherente de los SSM para preservar patrones espectro-temporales localizados e introducir una regularización y un aprendizaje contrastivo específicos de la arquitectura, el método logra un equilibrio favorable entre sensibilidad y especificidad. Los autores enfatizan que su enfoque aborda las limitaciones espectrales específicas de los modelos basados en atención en el contexto de la detección de eventos respiratorios dispersos y anormales, ofreciendo una vía computacionalmente eficiente para el análisis de audio clínico.