🤖 machine learning

Parameter-efficient Dual-encoder Architecture with Differentiable Choquet Integral Fusion for Underwater Acoustic Classification

Dieses Paper schlägt eine parametereffiziente Dual-Encoder-Architektur vor, die Wellenform- und Spektrogramm-Merkmale über ein differenzierbares Choquet-Integral fusioniert, um die Genauigkeit und Interpretierbarkeit der Unterwasserakustik-Klassifizierung zu verbessern und gleichzeitig Überanpassung auf begrenzten Datensätzen zu mildern.

Ursprüngliche Autoren: Amirmohammad Mohammadi, Joshua Peeples, Alexandra Van Dine

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Amirmohammad Mohammadi, Joshua Peeples, Alexandra Van Dine

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein bestimmtes Schiff, das vorbeizieht, allein durch das Lauschen auf das Geräusch zu identifizieren, das es macht. Das ist schwierig, da der Ozean ein lautes, chaotisches Umfeld ist. Der Schall wird durch Wellen, Blasen und das Wasser selbst verzerrt.

Dieses Paper schlägt ein neues „intelligentes Lauschsystem“ vor, um dieses Problem zu lösen. So funktioniert es, unterteilt in einfache Konzepte:

1. Die zwei „Ohren“ (Dual-Encoder)

Die meisten alten Systeme versuchten, dem Schall nur auf eine Weise zu lauschen:

Das Wellenform-Ohr: Dieses hört auf die rohe Schallwelle, so als würde man den exakten Rhythmus und die Tonhöhe eines Trommelschlags hören. Es ist großartig darin, plötzliche, unordentliche Geräusche einzufangen (wie das Aufwühlen des Wassers durch einen Propeller), kann aber von Hintergrundgeräuschen überwältigt werden.
Das Spektrogramm-Ohr: Dieses hört den Schall als visuelle Karte von Frequenzen (wie eine Klavierrolle oder eine Wetterkarte). Es ist großartig darin, stetige Muster zu erkennen (wie das Brummen eines Motors), könnte aber die schnellen, unordentlichen Details übersehen.

Die Idee des Papers: Anstatt sich für nur ein Ohr zu entscheiden, nutzt das System beide gleichzeitig. Es hat zwei „Experten“, die demselben Geräusch lauschen, sich aber auf unterschiedliche Details konzentrieren.

2. Der „smarte Torwächter“ (Choquet-Integral-Fusion)

Nun haben Sie zwei Experten, die Ihnen ihre Meinung mitteilen. Wie entscheiden Sie, wem Sie vertrauen sollen?

Der alte Weg: Man nimmt vielleicht einfach den Durchschnitt ihrer Meinungen (wie wenn man zwei Personen nach dem Weg fragt und genau zwischen deren Antworten geht). Das ist starr.
Der Weg des Papers: Sie haben gebaut einen dynamischen Torwächter bassierend auf etwas, das als Choquet-Integral bezeichnet wird. Stellen Sie sich dies als einen superintelligenten Schiedsrichter vor.
- Wenn das Geräusch klar und stetig ist, vertraut der Schiedsrichter dem „Spektrogramm-Ohr“ mehr.
- Wenn das Geräusch unordentlich ist und voller plötzlicher Spritzer, vertraut der Schiedsrichter dem „Wellenform-Ohr“ mehr.
- Entscheidend ist, dass dieser Schiedsrichter selbst lernt. Er rät nicht einfach; er analysiert die spezifische Art des Schiffes und entscheidet: „Für diesen Typ von Schiff ist die Wellenform wichtiger“ oder „Für jenen Typ ist das Spektrogramm besser.“ Er lenkt seine Aufmerksamkeit wie ein Scheinwerfer auf das klarste Signal.

3. Der „Feinabstimmungs“-Trick (Parameter-Effizient)

Normalerweise erfordert das Lehren eines massiven KI-Modells, Schiffe zu erkennen, einen riesigen Computer und sehr viele Daten. Wenn man versucht, es mit einem kleinen Datensatz zu viel zu lehren, wird es verwirrt (Overfitting) und vergisst das, was es gelernt hat.

Der Trick des Papers: Anstatt das gesamte Gehirn der KI neu zu trainieren (was so wäre, als würde man eine ganze Enzyklopädie umschreiben), passen sie nur winzige, spezifische Notizen in den Randbereichen an.

Sie verwenden vortrainierte „Foundation Models“ (KI, die bereits viel über Schall weiß).
Sie frieren das Hauptgehirn ein, damit es sich nicht verändert.
Sie fügen lediglich einen winzigen, anpassbaren „Adapter“ hinzu (wie eine Brille), der der KI hilft, Unterwassergeräusche besser zu sehen.
Ergebnis: Das System lernt, Schiffe fast so gut wie die massive Version zu erkennen, benötigt aber nur einen Bruchteil der Rechenleistung und des Speichers.

4. Was sie herausgefunden haben

Die Forscher testeten dieses System mit zwei realen Unterwasser-Schall-Datensätzen (DeepShip und ShipsEar).

Bessere Genauigkeit: Das „Zwei-Ohren“-System mit dem „smarten Torwächter“ war bei der Identifizierung von Schiffen genauer als Systeme, die nur ein Ohr verwendeten.
Effizienz: Durch den Einsatz des „Feinabstimmungs-Tricks“ erzielten sie großartige Ergebnisse, ohne einen Supercomputer zu benötigen.
Transparenz: Da der „Torwächter“ spezifische Gewichte lernt, konnten die Forscher hineinschauen und sehen, warum die KI eine Entscheidung getroffen hat. Zum Beispiel fanden sie heraus, dass das System bei „Tankern“ stärker auf die rohe Wellenform vertraute, während es bei anderen Schiffen eher auf die Frequenzkarte vertraute. Dies beweist, dass das System nicht nur rät, sondern sich an die spezifische Schallsignatur jedes Schiffes anpasst.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, einen Freund in einem überfüllten, lauten Raum zu identifizieren.

Alte Methode: Sie schauen entweder nur auf sein Gesicht (Spektrogramm) ODER Sie hören nur auf seine Stimme (Wellenform). Wenn der Raum zu laut ist, könnten Sie ihn verpassen.
Die Methode dieses Papers: Sie haben ein Team aus zwei Detektiven. Einer ist ein Experte darin, Gesichter zu lesen, der andere ist ein Experte darin, Stimmen zu hören. Sie haben einen Smarten Kapitän (das Choquet-Integral), der den Raum beobachtet. Wenn der Raum zu laut für den Gesichtsläser ist, sagt der Kapitän dem Stimmenexperten, er solle die Führung übernehmen. Wenn es zu dunkel für den Stimmenexperten ist, wechselt der Kapitän zum Gesichtsläser.
Die Effizienz: Anstatt zwei Vollzeit-Detektive einzustellen und sie von Grund auf neu auszubilden, stellen Sie zwei Experten ein, die die Stadt bereits kennen, und geben ihnen nur ein kurzes, günstiges Briefing (Parameter-Efficient Fine-Tuning) zu diesem speziellen Raum.

Das Ergebnis ist ein System, das intelligenter, schneller und anpassungsfähiger an die chaotische Realität der Unterwasserwelt ist.

Technisches Resümee: Parametereffiziente Dual-Encoder-Architektur mit differentiabler Choquet-Integral-Fusion für die Unterwasser-Akustikklassifizierung

Problemstellung

Die Klassifizierung von Unterwasserakustik ist entscheidend für Anwendungen, die von der maritimen Sicherheit bis hin zum Umweltschutz reichen. Die akustische Umgebung ist jedoch durch stochastische Störungen charakterisiert, einschließlich Mehrwegeinterferenz, frequenzabhängiger Dämpfung und Umgebungslärm. Traditionelle Methoden, die auf handgefertigten Merkmalen (z. B. LOFAR, DEMON) basieren, haben unter diesen variierenden Bedingungen Schwierigkeiten mit der Robustheit. Während Deep Learning die Merkmalsextraktion automatisiert hat, stehen Single-Representation-Ansätze vor inhärenten Einschränkungen:

Spektrogramme: Modellieren harmonische Abhängigkeiten gut, können aber relevante akustische Merkmale während der Zeit-Frequenz-Transformation herausfiltern.
Wellenformen: Bewahren feingliedrige Phasendynamiken und Breitbandereignisse (z. B. Kavitation), sind aber oft verrauscht und komplex, was die direkte Verarbeitung durch Modelle erschwert.

Darüber hinaus ist der Einsatz groß angelegter Foundation-Modelle für diese Aufgaben rechenintensiv und anfällig für Overfitting aufgrund der begrenzten Verfügbarkeit gelabelter Unterwasserakustikdaten. Eine vollständige Feinabstimmung dieser Modelle ist oft unpraktikabel.

Methodik

Das Paper schlägt eine parametereffiziente Dual-Encoder-Neural-Architektur vor, die gleichzeitig rohe akustische Wellenformen und Log-Mel-Spektrogramme verarbeitet. Das Framework besteht aus drei Primärkomponenten:

1. Dual-Encoder-Backbone mit PEFT

Das System nutzt zwei parallele Zweige:

Wellenform-Encoder: Initialisiert mit der AVES-nonbio (Animal Vocalization Encoder based on Self-Supervision) Architektur, ausgewählt aufgrund ihrer Eignung für nicht-biologische, mechanische Schiffssignaturen.
Spektrogramm-Encoder: Initialisiert mit dem Audio Spectrogram Transformer (AST), der auf AudioSet und ImageNet vortrainiert wurde.

Um eine Domänenadaption ohne vollständige Feinabstimmung zu ermöglichen, werden die Parameter der vortrainierten Backbone-Modelle eingefroren. Stattdessen werden Parameter-Efficient Fine-Tuning (PEFT) Module injiziert. Die Studie evaluiert zwei spezifische PEFT-Strategien:

Low-Rank Adaptation (LoRA): Getestet mit Query-Rängen $r \in \{16, 32\}$ .
Histogram-based Parameter-efficient Tuning (HPT): Getestet mit Histogramm-Bin-Anzahlen $b \in \{16, 32, 64\}$ .

Jeder Encoder behält einen distinkten, unabhängigen Satz an Feinabstimmungs-Parametern bei, die über seine internen Schichten geteilt werden, was den Adaptationsprozess regularisiert.

2. Differentiables Choquet-Integral-Fusion

Ein neuartiger Entscheidungsebene-Fusionsmechanismus wird eingeführt, um die Ausgaben der beiden Zweige zu kombinieren. Im Gegensatz zu statischen Fusionsmethoden (z. B. Mittelwertbildung) verwendet dieser Ansatz das Choquet-Integral, um nicht-additive Interaktionen (Redundanz oder Synergie) zwischen der Wellenform- und der Spektrogramm-Repräsentation zu modellieren.

Um das Choquet-Integral für ein End-to-End-Training differenzierbar zu machen, schlagen die Autoren einen Soft-Sort-Gating-Mechanismus vor:

Lernbare Fuzzy-Maße ( $g_w$ und $g_s$ ) werden pro Klasse optimiert, um den unabhängigen Beitrag und die Signifikanz jeder Repräsentation zu quantifizieren.
Ein Soft-Sort-Gate-Vektor ( $s$ ) wird mittels einer Sigmoid-Funktion berechnet, um Vorhersagen basierend auf der relativen Konfidenz der Wellenform- ( $p_w$ ) und Spektrogramm-Zweige ( $p_s$ ) bedingt zu routen.
Die fusionierte Verteilung wird als kontinuierliche Approximation des Choquet-Integrals berechnet, was es dem Netzwerk ermöglicht, dynamisch die Aufmerksamkeit auf die Repräsentation zu lenken, die am wenigsten durch Umwelteinflüsse gestört ist.

3. Optimierungsstrategie

Das Modell wird unter Verwendung einer zusammengesetzten Multi-Objective-Loss-Funktion ( $L_{total}$ ) trainiert:
$L_{total} = \frac{1}{4} \left( 2 \cdot CE(p_{fused}, y) + CE(p_w, y) + CE(p_s, y) \right)$
wobei $CE$ der Cross-Entropy-Loss ist. Die fusionierte Vorhersage wird doppelt so stark gewichtet wie die individuellen Zweig-Losses, um die kollaborative Entscheidungsfindung zu priorisieren und gleichzeitig sicherzustellen, dass jeder Encoder diskriminative Merkmale lernt.

Kernergebnisse

Das vorgeschlagene Framework wurde auf den Datensätzen DeepShip (4 Klassen) und ShipsEar (5 Klassen + Rauschen) evaluiert.

Performance vs. Single-Encoder: Die Dual-Encoder-Architektur übertraf konsistent die unabhängigen Single-Encoder-Baselines (sowohl wellenform-basiert als auch spektrogramm-basiert) über alle Tuning-Strategien hinweg.
PEFT-Effizienz:
- Dual-Encoder-Modelle mit PEFT (LoRA und HPT) erreichten Klassifizierungsgenauigkeiten, die mit, und in einigen Fällen sogar über den voll feinabgestimmten Single-Encoder State-of-the-Art Modellen (z. B. ResNet-50, ConvNeXtV2, SSAST) vergleichbar waren.
- Speziell optimierten die Dual-LoRA- und Dual-HPT-Frameworks etwa 100k Parameter, übertrafen jedoch die Mehrheit der voll feinabgestimmten Single-Encoder-Netzwerke, die signifikant mehr trainierbare Parameter erforderten (z. B. ~85k–90k für Single-Encoder, ~175k für Dual Full Fine-Tuning).
- Im DeepShip-Datensatz erreichte Dual LoRA (r=16) eine Genauigkeit von 71,6 % und übertraf damit den voll feinabgestimmten AST (72,3 %) und AVES (67,9 %), wenn man die massive Reduktion der trainierbaren Parameter berücksichtigt.
Interpretierbarkeit: Eine Analyse der gelernten Fuzzy-Maße offenbarte klassenspezifische Verschiebungen in der Gewichtung. Beispielsweise wies das Netzwerk in der DeepShip-"Tanker"-Klasse beim Linear Probing eine höhere Gewichtung auf die Wellenform (0,22) als auf das Spektrogramm (0,18) zu, während es für "Cargo" das Spektrogramm stark bevorzugte. Dies bestätigt die Fähigkeit des Modells, die optimale Repräsentation basierend auf spezifischen akustischen Signaturen und Umweltstörungen dynamisch auszuwählen.
Robustheit: Der Dual-Encoder-Ansatz zeigte eine überlegene Performance in Bereichen mit geringen Fehlalarmraten (pAUC0.30), insbesondere im ShipsEar-Datensatz, wo die Dual-HPT-Methode statistisch besser abschnitt als der Single-Mode Full Fine-Tuning-Ansatz.
Repräsentations-Alignment: Eine CKA-Analyse (Centered Kernel Alignment) deutete darauf hin, dass die frühen Schichten stabil blieben, während die tieferen Schichten stärker von der voll feinabgestimmten Baseline divergieren. Der Wellenform-Zweig wies eine geringere Ähnlichkeit zur Baseline auf als der Spektrogramm-Zweig, was darauf hindeutet, dass er ein primärer Flaschenhals ist, der ein höher kapazitives Tuning erfordert.

Bedeutung und Ansprüche

Das Paper beansprucht, ein recheneffizientes Framework für die fortgeschrittene maritime Akustikerkennung zu präsentieren, das Leistung mit Ressourcenbeschränkungen in Einklang bringt. Die primären Beiträge sind:

Synergie dualer Repräsentationen: Nachweis, dass die Fusion von zeitlichen (Wellenform) und spektralen (Spektrogramm) Daten eine höhere Genauigkeit als eine der beiden Modalitäten allein liefert, wodurch die nicht-stationären Herausforderungen des Unterwasserkanals effektiv gemildert werden.
Parametereffizienz: Beweis, dass PEFT-Module (LoRA und HPT) große Foundation-Modelle mit einem Bruchteil der trainierbaren Parameter an die Unterwasserdomäne anpassen können, was das Risiko von Overfitting bei begrenzten Datensätzen mindert.
Differenzierbare Fusion: Einführung einer neuartigen, differenzierbaren Choquet-Integral-Schicht, die nicht nur die Genauigkeit verbessert, sondern auch Interpretierbarkeit bietet. Durch die Analyse der gelernten Fuzzy-Maße zeigt das System auf, wie das Netzwerk die Abhängigkeit basierend auf klassenspezifischen akustischen Merkmalen und Umweltstörungen dynamisch verschiebt.
Operativer Vorteil: Der dynamische Gating-Mechanismus ermöglicht es dem System, die am wenigsten durch lokales Umgebungsrauschen gestörte Repräsentation zu priorisieren (z. B. Wechsel zur Wellenform, wenn spektrale Tonalitäten maskiert sind), was eine robuste Lösung für den realen Einsatz bietet.

Die Autoren kommen zu dem Schluss, dass dieses Framework einen gangbaren Weg für hochperformante Unterwasser-Akustikklassifizierung ohne die prohibitiven Rechenkosten einer vollständigen Netzwerk-Feinabstimmung ebnet. Zukünftige Arbeiten sollen die Hardware-Effizienz und Quantisierungsmethoden für die PEFT-integrierten Backbones untersuchen.