Resumen Técnico: Arquitectura de Doble Codificador con Eficiencia de Parámetros mediante la Fusión de la Integral de Choquet Diferenciable para la Clasificación Acústica Subacuática

Planteamiento del Problema

La clasificación acústica subacuática es crítica para aplicaciones que van desde la seguridad marítima hasta la conservación ambiental. Sin embargo, el entorno acústico se caracteriza por distorsiones estocásticas, incluyendo interferencia de trayectorias múltiples, atenuación dependiente de la frecuencia y ruido ambiental. Los métodos tradicionales que dependen de características diseñadas a mano (p. ej., LOFAR, DEMON) tienen dificultades con la robustez bajo estas condiciones variables. Si bien el aprendizaje profundo ha automatizado la extracción de características, los enfoques de representación única enfrentan limitaciones inherentes:

• Espectrogramas: Modelan bien las dependencias armónicas, pero pueden filtrar características acústicas relevantes durante la transformación tiempo-frecuencia.
• Formas de onda (Waveforms): Preservan la dinámica de fase de grano fino y eventos de banda ancha (p. ej., cavitación), pero a menudo son ruidosas y complejas, lo que dificulta su procesamiento directo por parte de los modelos.

Además, el despliegue de modelos fundacionales a gran escala para estas tareas es computacionalmente costoso y propenso al sobreajuste debido a la disponibilidad limitada de datos acústicos subacuáticos etiquetados. El ajuste fino completo (full fine-tuning) de estos modelos suele ser poco práctico.

Metodología

El artículo propone una arquitectura neuronal de doble codificador con eficiencia de parámetros que procesa simultáneamente formas de onda acústicas puras y espectrogramas de Mel en escala logarítmica. El marco consta de tres componentes principales:

1. Backbone de Doble Codificador con PEFT

El sistema utiliza dos ramas paralelas:

• Codificador de Forma de Onda: Inicializado con la arquitectura AVES-nonbio (Codificador de Vocalización Animal basado en Auto-supervisión), seleccionada por su idoneidad con firmas de barcos mecánicas no biológicas.
• Codificador de Espectrograma: Inicializado con el Audio Spectrogram Transformer (AST), preentrenado en AudioSet e ImageNet.

Para permitir la adaptación de dominio sin el ajuste fino completo, los parámetros del backbone preentrenado se mantienen congelados. En su lugar, se inyectan módulos de Ajuste Fino de Parámetros Eficientes (PEFT). El estudio evalúa dos estrategias específicas de PEFT:

• Adaptación de Bajo Rango (LoRA): Probada con rangos de consulta $r \in \{16, 32\}$.
• Ajuste de Parámetros Basado en Histogramas (HPT): Probado con recuentos de contenedores de histograma $b \in \{16, 32, 64\}$.

Cada codificador mantiene conjuntos distintos e independientes de parámetros de ajuste fino compartidos a través de sus capas internas, regularizando el proceso de adaptación.

2. Fusión de la Integral de Choquet Diferenciable

Se introduce un novedoso mecanismo de fusión a nivel de decisión para combinar las salidas de las dos ramas. A diferencia de los métodos de fusión estáticos (p. ej., el promedio), este enfoque utiliza la integral de Choquet para modelar interacciones no aditivas (redundancia o sinergia) entre las representaciones de la forma de onda y el espectrograma.

Para hacer que la integral de Choquet sea diferenciable para el entrenamiento de extremo a extremo, los autores proponen un mecanismo de puerta de ordenamiento suave (soft-sort gating):

• Se optimizan medidas difusas aprendibles ($g_w$ y $g_s$) por clase para cuantificar la contribución independiente y la significancia de cada representación.
• Se calcula un vector de puerta de ordenamiento suave ($s$) utilizando una función sigmoide para enrutar condicionalmente las predicciones basándose en la confianza relativa de las ramas de la forma de onda ($p_w$) y del espectrograma ($p_s$).
• La distribución fusionada se calcula como una aproximación continua de la integral de Choquet, lo que permite a la red cambiar dinámicamente la atención hacia la representación menos corrompida por las distorsiones ambientales.

3. Estrategia de Optimización

El modelo se entrena utilizando una función de pérdida compuesta multiobjetivo ($L_{total}$):
$$L_{total} = \frac{1}{4} \left( 2 \cdot CE(p_{fused}, y) + CE(p_w, y) + CE(p_s, y) \right)$$
donde $CE$ es la pérdida de entropía cruzada. La predicción fusionada se pondera el doble que las pérdidas de las ramas individuales para priorizar la toma de decisiones colaborativa, asegurando al mismo tiempo que cada codificador aprenda características discriminativas.

Resultados Clave

El marco propuesto fue evaluado en los conjuntos de datos DeepShip (4 clases) y ShipsEar (5 clases + ruido).

• Rendimiento vs. Codificadores Únicos: La arquitectura de doble codificador superó consistentemente a las líneas base de codificadores únicos independientes (tanto de solo forma de onda como de solo espectrograma) en todas las estrategias de ajuste.
• Eficiencia de PEFT:
  • Los modelos de doble codificador utilizando PEFT (LoRA y HPT) alcanzaron precisiones de clasificación comparables a, y en algunos casos superiores a, los modelos de codificador único con ajuste fino completo (p. ej., ResNet-50, ConvNeXtV2, SSAST).
  • Específicamente, los marcos Dual LoRA y Dual HPT optimizaron aproximadamente 100k parámetros, pero superaron a la mayoría de las redes de codificador único con ajuste fino completo que requerían significativamente más parámetros entrenables (p. ej., ~85k–90k para codificadores únicos, ~175k para el ajuste fino completo dual).
  • En el conjunto de datos DeepShip, el Dual LoRA (r=16) alcanzó un 71.6% de precisión, superando al AST de ajuste fino completo (72.3%) y al AVES (67.9%) cuando se considera la enorme reducción de parámetros entrenables.
• Interpretabilidad: El análisis de las medidas difusas aprendidas reveló cambios dependientes de la clase en la dependencia de los datos. Por ejemplo, en la clase "Tanker" de DeepShip bajo sondaje lineal, la red asignó un peso mayor a la forma de onda (0.22) que al espectrograma (0.18), mientras que para "Cargo", favoreció fuertemente al espectrograma. Esto confirma la capacidad del modelo para seleccionar dinámicamente la representación óptima para firmas acústicas específicas.
• Robustez: El enfoque de doble codificador mostró un rendimiento superior en regiones de baja falsa alarma (pAUC0.30), particularmente en el conjunto de datos ShipsEar, donde el método Dual HPT superó estadísticamente al enfoque de ajuste fino completo de un solo modo.
• Alineación de Representación: El análisis de Alineación de Núcleo Centrado (CKA) indicó que, si bien las capas tempranas permanecieron estables, las capas profundas divergieron más de la línea base de ajuste fino completo. La rama de la forma de onda exhibió una menor similitud con la línea base que la rama del espectrograma, lo que sugiere que es un cuello de botella primario que requiere un ajuste de mayor capacidad.

Significación y Reivindicaciones

El artículo afirma presentar un marco computacionalmente eficiente para el reconocimiento acústico marítimo avanzado que equilibra el rendimiento con las restricciones de recursos. Sus principales contribuciones son:

1. Sinergia de Doble Representación: Demostrar que la fusión de datos temporales (forma de onda) y espectrales (espectrograma) produce una mayor precisión que cualquiera de las dos modalidades por sí sola, mitigando eficazmente los desafíos no estacionarios del canal submarino.
2. Eficiencia de Parámetros: Probar que los módulos PEFT (LoRA y HPT) pueden adaptar grandes modelos fundacionales al dominio subacuático con una fracción de los parámetros entrenables, mitigando los riesgos de sobreajuste en conjuntos de datos limitados.
3. Fusión Diferenciable: Introducir una capa de integral de Choquet diferenciable que no solo mejora la precisión, sino que también proporciona interpretabilidad. Al analizar las medidas difusas aprendidas, el sistema revela cómo la red cambia dinámicamente la dependencia entre las representaciones basándose en las características acústicas específicas de la clase y las distorsiones ambientales.
4. Ventaja Operativa: El mecanismo de puerta dinámica permite que el sistema priorice la representación menos corrompida por el ruido ambiental local (p. ej., cambiando a las formas de onda cuando los tonos espectrales están enmascarados), ofreciendo una solución robusta para el despliegue en el mundo real.

Los autores concluyen que este marco establece un camino viable para la clasificación acústica subacuática de alto rendimiento sin los costos computacionales prohibitivos del ajuste fino completo de la red. Se propone como trabajo futuro investigar la eficiencia del hardware y los métodos de cuantización para los backbones integrados con PEFT.