Technische Samenvatting: Parameter-efficiënte Dual-encoder Architectuur met Differentiabele Choquet Integrale Fusie voor Onderwater Akoestische Classificatie

Probleemstelling

Onderwater akoestische classificatie is cruciaal voor toepassingen variërend van maritieme beveiliging tot milieubehoud. De onderwaterakoestische omgeving wordt echter gekenmerkt door stochastische verstoringen, waaronder multipath-interferentie, frequentieafhankelijke attenuatie en omgevingsruis. Traditionele methoden die vertrouwen op handmatig ontworkte kenmerken (bijv. LOFAR, DEMON) worstelen met robuustheid onder deze variërende omstandigheden. Hoewel deep learning de extractie van kenmerken heeft geautomatiseerd, kampen benaderingen met één enkele representatie met inherente beperkingen:

• Spectrogrammen: Modelleren harmonische afhankelijkheden goed, maar kunnen relevante akoestische kenmerken wegfilteren tijdens de tijd-frequentie transformatie.
• Golfvormen (Waveforms): Preserveren fijnmazige fase-dynamiek en breedbandige gebeurtenissen (bijv. cavitatie), maar zijn vaak ruizig en complex, wat ze moeilijk verwerkbaar maakt voor modellen.

Bovendien is het implementeren van grootschalige foundation-modellen voor deze taken computationeel duur en gevoelig voor overfitting vanwege de beperkte beschikbaarheid van gelabelde onderwaterakoestische data. Volledige fine-tuning van deze modellen is vaak onpraktisch.

Methodologie

Het paper stelt een parameter-efficiënte dual-encoder neurale architectuur voor die gelijktijdig ruwe akoestische golfvormen en log-mel spectrogrammen verwerkt. Het framework bestaat uit drie primaire componenten:

1. Dual-Encoder Backbone met PEFT

Het systeem maakt gebruik van twee parallelle takken:

• Waveform Encoder: Geïnitialiseerd met de AVES-nonbio (Animal Vocalization Encoder based on Self-Supervision) architectuur, gekozen vanwege de geschiktheid voor niet-biologische, mechanische scheepsignaturen.
• Spectrogram Encoder: Geïnitialiseerd met de Audio Spectrogram Transformer (AST), voorgetraind op AudioSet en ImageNet.

Om domeinadaptatie mogelijk te maken zonder volledige fine-tuning, worden de voorgetrainde backbone-parameters bevroren. In plaats daarvan worden Parameter-Efficient Fine-Tuning (PEFT) modules geïnjecteerd. De studie evalueert twee specifieke PEFT-strategieën:

• Low-Rank Adaptation (LoRA): Getest met query-ranks $r \in \{16, 32\}$.
• Histogram-based Parameter-efficient Tuning (HPT): Getest met histogram bin-aantallen $b \in \{16, 32, 64\}$.

Elke encoder behoudt een onderscheidende, onafhankelijke set van fine-tuning parameters die gedeeld worden over de interne lagen, wat het adaptatieproces reguleert.

2. Differentiabele Choquet Integrale Fusie

Een nieuw beslissingsniveau fusiemechanisme wordt geïntroduceerd om de outputs van de twee takken te combineren. In tegen tegenstelling tot statische fusiemethoden (bijv. middeling), gebruikt deze benadering de Choquet integraal om niet-additieve interacties (redundantie of synergie) tussen de golfvorm- en spectrogramrepresentaties te modelleren.

Om de Choquet integraal differentieerbaar te maken voor end-to-end training, stellen de auteurs een soft-sort gating mechanisme voor:

• Leerbare fuzzy measures ($g_w$ en $g_s$) worden per klasse geoptimaliseerd om de onafhankelijke bijdrage en significantie van elke representatie te kwantificeren.
• Een soft-sort gate vector ($s$) wordt berekend met een sigmoid functie om voorspellingen conditioneel te routeren op basis van de relatieve betrouwbaarheid van de waveform- ($p_w$) en spectrogram- ($p_s$) takken.
• De gefuseerde distributie wordt berekend als een continue benadering van de Choquet integraal, waardoor het netwerk dynamisch de aandacht kan verschuiven naar de representatie die het minst gecorrumpeerd is door omgevingsverstoringen.

3. Optimalisatiestrategie

Het model wordt getraind met een samengestelde multi-objective loss functie ($L_{total}$):
$$L_{total} = \frac{1}{4} \left( 2 \cdot CE(p_{fused}, y) + CE(p_w, y) + CE(p_s, y) \right)$$
waarbij $CE$ de cross-entropy loss is en de gefuseerde voorspelling twee keer zo zwaar wordt gewogen als de individuele tak-losses om collaboratief besluitvormingsproces te prioriteren, terwijl wordt gewaarborgd dat elke encoder discriminerende kenmerken leert.

Belangrijkste Resultaten

Het voorgestelde framework werd geëvalueerd op de DeepShip (4 klassen) en ShipsEar (5 klassen + ruis) datasets.

• Prestaties vs. Single Encoders: De dual-encoder architectuur presteerde consistent beter dan onafhankelijke single-encoder baselines (zowel waveform-only als spectrogram-only) over alle tuning-strategieën heen.
• PEFT Efficiëntie:
  • Dual-encoder modellen die gebruikmaken van PEFT (LoRA en HPT) bereikten classificatienauwkeurigheden die vergelijkbaar zijn met, en in sommige gevallen de single-encoder state-of-the-art modellen (bijv. ResNet-50, ConvNeXtV2, SSAST) overtreffen, wanneer men kijkt naar volledig gefinetunede modellen.
  • Specifiek optimaliseerden de Dual LoRA en Dual HPT frameworks ongeveer 100k parameters, maar presteerden beter dan de meerderheid van de volledig gefinetunede single-encoder netwerken die aanzienlijk meer trainbare parameters vereisten (bijv. ~85k–90k voor single encoders, ~175k voor dual full fine-tuning).
  • In de DeepShip dataset bereikte Dual LoRA (r=16) een nauwkeurigheid van 71,6%, waarmee het de volledig gefinetunede AST (72,3%) en AVES (67,9%) overtrof, rekening houdend met de enorme reductie in trainbare parameters.
• Interpreteerbaarheid: Analyse van de geleerde fuzzy measures onthulde klasse-specifieke verschuivingen in afhankelijkheid. Zo wees het netwerk in de DeepShip "Tanker" klasse tijdens linear probing een hogere weging toe aan de waveform (0,22) dan aan het spectrogram (0,18), terwijl het voor "Cargo" zwaar de voorkeur gaf aan het spectrogram. Dit bevestigt het vermogen van het model om dynamisch de optimale representatie te selecteren voor specifieke akoestische signatures.
• Robuustheid: De dual-encoder benadering vertoonde superieure prestaties in gebieden met lage vals-positieven (pAUC0.30), met name in de ShipsEar dataset waar de Dual HPT methode statistisch beter presteerde dan de single-mode full fine-tuning benadering.
• Representatieve Uitlijning: Centered Kernel Alignment (CKA) analyse gaf aan dat terwijl de vroege lagen stabiel bleven, de diepere lagen meer divergeerden van de volledig gefinetunede baseline. De waveform-tak vertoonde een lagere gelijkenis met de baseline dan de spectrogram-tak, wat suggereert dat dit een primaire bottleneck is die een hogere capaciteit aan tuning vereist.

Betekenis en Claims

Het paper claimt een computationeel efficiënt framework te presenteren voor geavanceerde maritieme akoestische herkenning dat prestaties balanceert met de beperkingen van middelen. De primaire bijdragen zijn:

1. Dual-Representatie Synergie: Het aantonen dat het fuseren van temporele (golfvorm) en spectrale (spectrogram) data een hogere nauwkeurigheid oplevert dan een van beide modaliteiten alleen, wat effectief de niet-stationaire uitdagingen van het onderwaterkanaal mitigeert.
2. Parameter Efficiëntie: Bewijzen dat PEFT modules (LoRA en HPT) grote foundation-modellen kunnen aanpassen aan de onderwaterdomeinen met een fractie van de trainbare parameters, wat het risico op overfitting door beperkte datasets vermindert.
3. Differentiabele Fusie: Het introduceren van een nieuwe, differentiabele Choquet integraal laag die niet alleen de nauwkeurigheid verbetert, maar ook zorgt voor interpreteerbaarheid. Door de geleerde fuzzy measures te analyseren, onthult het systeem hoe het netwerk dynamisch de afhankelijkheid verschuift tussen representaties op basis van klasse-specifieke akoestische kenmerken en omgevingsverstoringen.
4. Operationeel Voordeel: Het dynamische gating mechanisme stelt het systeem in staat om de representatie te prioriteren die het minst gecorrumpeerd is door lokale omgevingsruis (bijv. verschuiven naar golfvormen wanneer spectrale tonen gemaskeerd worden), wat een robuuste oplossing biedt voor real-world deployment.

De auteurs concluderen dat dit framework een levensvatbaar pad vormt voor hoogwaardige onderwater akoestische classificatie zonder de prohibitieve computationele kosten van volledige netwerk fine-tuning. Toekomstig werk wordt voorgesteld om hardware-efficiëntie en kwantisatiemethoden voor de PEFT-geïntegreerde backbones te onderzoeken.