Sintesi Tecnica: Architettura Dual-encoder a efficienza di parametri con fusione tramite Integrale di Choquet differenziabile per la classificazione acustica subacquea

Definizione del Problema

La classificazione acustica subacquea è critica per applicazioni che spaziano dalla sicurezza marittima alla conservazione ambientale. Tuttavia, l'ambiente acustico è caratterizzato da distorsioni stocastiche, tra cui interferenze multipath, attenuazione dipendente dalla frequenza e rumore ambientale. I metodi tradizionali basati su feature progettate manualmente (es. LOFAR, DEMON) faticano a mantenere la robustezza in queste condizioni variabili. Sebbene il deep learning abbia automatizzato l'estrazione delle caratteristiche, gli approcci a singola rappresentazione affrontano limiti intrinseci:

• Spettrogrammi: Modellano bene le dipendenze armoniche, ma possono filtrare caratteristiche acustiche rilevanti durante la trasformazione tempo-frequenza.
• Forme d'onda (Waveforms): Preservano la dinamica di fase fine e gli eventi a banda larga (es. cavitazione), ma sono spesso rumorose e complesse, rendendo difficile l'elaborazione diretta da parte dei modelli.

Inoltre, l'implementazione di modelli di base (foundation models) su larga scala per questi compiti è computazionalmente costosa e soggetta a overfitting a causa della disponibilità limitata di dati acustici subacquei etichettati. Il fine-tuning completo di questi modelli è spesso impraticabile.

Metodologia

Il documento propone un'architettura neurale dual-encoder a efficienza di parametri che elabora simultaneamente forme d'onda acustiche grezze e spettrogrammi log-mel. Il framework si compone di tre componenti primarie:

1. Backbone Dual-Encoder con PEFT

Il sistema utilizza due rami paralleli:

• Encoder della forma d'onda: Inizializzato con l'architettura AVES-nonbio (Animal Vocalization Encoder basato sulla Self-Supervision), selezionata per la sua idoneità con firme meccaniche di navi non biologiche.
• Encoder dello spettrogramma: Inizializzato con l'Audio Spectrogram Transformer (AST), pre-addestrato su AudioSet e ImageNet.

Per consentire l'adattamento del dominio senza un fine-tuning completo, i parametri del backbone pre-addestrato vengono congelati. Al posto di essi, vengono iniettati moduli di Parameter-Efficient Fine-Tuning (PEFT). Lo studio valuta due specifiche strategie PEFT:

• Low-Rank Adaptation (LoRA): Testata con ranghi di query $r \in \{16, 32\}$.
• Histogram-based Parameter-efficient Tuning (HPT): Testata con conteggi di bin dell'istogramma $b \in \{16, 32, 64\}$.

Ogni encoder mantiene set distinti e indipendenti di parametri di fine-tuning condivisi tra i propri strati interni, regolarizzando il processo di adattamento.

2. Fusione tramite Integrale di Choquet differenziabile

Viene introdotto un nuovo meccanismo di fusione a livello decisionale per combinare gli output dei due rami. A differenza dei metodi di fusione statica (es. media), questo approccio utilizza l'integrale di Choquet per modellare le interazioni non additive (ridondanza o sinergia) tra le rappresentazioni della forma d'onda e dello spettrogramma.

Per rendere l'integrale di Choquet differenziabile per l'addestramento end-to-end, gli autori propongono un meccanismo di gating soft-sort:

• Misure fuzzy apprendibili ($g_w$ e $g_s$) sono ottimizzate per classe per quantificare il contributo indipendente e la significatività di ciascuna rappresentazione.
• Un vettore di gate soft-sort ($s$) è calcolato utilizzando una funzione sigmoide per instradare condizionalmente le predizioni in base alla confidenza relativa dei rami della forma d'onda ($p_w$) e dello spettrogramma ($p_s$).
• La distribuzione fusa è calcolata come un'approssimazione continua dell'integrale di Choquet, permettendo alla rete di spostare dinamicamente l'attenzione verso la rappresentazione meno corrotta dalle distorsioni ambientali.

3. Strategia di Ottimizzazione

Il modello è addestrato utilizzando una funzione di perdita multi-obiettivo composta ($L_{total}$):
$$L_{total} = \frac{1}{4} \left( 2 \cdot CE(p_{fused}, y) + CE(p_w, y) + CE(p_s, y) \right)$$
dove $CE$ è la perdita di cross-entropy, dove la predizione fusa è pesata due volte più della perdita dei singoli rami per dare priorità al processo decisionale collaborativo, garantendo al contempo che ogni encoder apprenda caratteristiche discriminanti.

Risultati Chiave

Il framework proposto è stato valutato sui dataset DeepShip (4 classi) e ShipsEar (5 classi + rumore).

• Performance rispetto ai singoli encoder: L'architettura dual-encoder ha superato costantemente i baseline a singolo encoder indipendenti (sia solo forma d'onda che solo spettrogramma) in tutte le strategie di tuning.
• Efficienza PEFT:
  • I modelli dual-encoder che utilizzano PEFT (LoRA e HPT) hanno raggiunto accuratezze di classificazione comparabili, e in alcuni casi superiori, ai modelli single-encoder a fine-tuning completo (es. ResNet-50, ConvNeXtV2, SSAST).
  • Nello specifico, i framework Dual LoRA e Dual HPT hanno ottimizzato circa 100k parametri, pur superando la maggior parte delle reti single-encoder a fine-tuning completo che richiedevano significativamente più parametri addestrabili (es. ~85k–90k per i single encoder, ~175k per il dual full fine-tuning).
  • Nel dataset DeepShip, il Dual LoRA (r=16) ha raggiunto un'accuratezza del 71,6%, superando l'AST a fine-tuning completo (72,3%) e l'AVES (67,9%) se si considera la massiccia riduzione dei parametri addestrabili.
• Interpretabilità: L'analisi delle misure fuzzy apprese ha rivelato spostamenti nella dipendenza specifici per classe. Ad esempio, nella classe "Tanker" di DeepShip sotto linear probing, la rete ha assegnato un peso maggiore alla forma d'onda (0,22) rispetto allo spettrogramma (0,18), mentre per "Cargo" ha favorito fortemente lo spettrogramma. Ciò conferma la capacità del modello di selezionare dinamicamente la rappresentazione ottimale per specifiche firme acustiche.
• Robustezza: L'approccio dual-encoder ha mostrato prestazioni superiori nelle regioni a basso falso allarme (pAUC0.30), in particolare nel dataset ShipsEar, dove il metodo Dual HPT ha statisticamente superato l'approccio a fine-tuning completo a singolo modo.
• Allineamento Rappresentazionale: L'analisi CKA (Centered Kernel Alignment) ha indicato che, mentre gli strati iniziali rimanevano stabili, gli strati più profondi divergevano maggiormente dal baseline a fine-tuning completo. Il ramo della forma d'onda ha mostrato una minore somiglianza con il baseline rispetto al ramo dello spettrogramma, suggerendo che sia un collo di bottiglia primario che richiede un tuning ad alta capacità.

Significato e Claim

Il documento sostiene di presentare un framework computazionalmente efficiente per il riconoscimento acustico marittimo avanzato che bilancia le prestazioni con i vincoli di risorse. I suoi contributi primari sono:

1. Sinergia di Rappresentazione Duale: Dimostrare che la fusione di dati temporali (forma d'onda) e spettrali (spettrogramma) produce un'accuratezza superiore rispetto a una singola modalità, mitigando efficacemente le sfide non stazionarie del canale subacqueo.
2. Efficienza dei Parametri: Provare che i moduli PEFT (LoRA e HPT) possono adattare grandi modelli di base al dominio subacqueo con una frazione dei parametri addestrabili, mitigando i rischi di overfitting su dataset limitati.
3. Fusione Differenziabile: Introdurre un nuovo strato di integrale di Choquet differenziabile che non solo migliora l'accuratezza, ma fornisce anche interpretabilità. Analizzando le misure fuzzy apprese, il sistema rivela come la rete sposti dinamicamente la dipendenza tra le rappresentazioni in base alle caratteristiche acustiche specifiche della classe e alle distorsioni ambientali.
4. Vantaggio Operativo: Il meccanismo di gating dinamico consente al sistema di dare priorità alla rappresentazione meno corrotta dal rumore ambientale locale (es. spostandosi verso le forme d'onda quando i toni spettrali sono mascherati), offrendo una soluzione robusta per l'implementazione nel mondo reale.

Gli autori concludono che questo framework stabilisce una via percorribile per la classificazione acustica subacquea ad alte prestazioni senza i costi computazionali proibitivi del fine-tuning completo della rete. Il lavoro futuro proposto prevede l'indagine sull'efficienza hardware e sui metodi di quantizzazione per i backbone integrati con PEFT.