🤖 machine learning

Parameter-efficient Dual-encoder Architecture with Differentiable Choquet Integral Fusion for Underwater Acoustic Classification

Cet article propose une architecture à double encodeur efficace en paramètres qui fusionne les caractéristiques de forme d'onde et de spectrogramme via une intégrale de Choquet différentiable afin d'améliorer la précision et l'interprétabilité de la classification acoustique sous-marine tout en atténuant le surapprentissage sur des ensembles de données limités.

Auteurs originaux : Amirmohammad Mohammadi, Joshua Peeples, Alexandra Van Dine

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amirmohammad Mohammadi, Joshua Peeples, Alexandra Van Dine

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'identifier un navire spécifique passant à proximité en écoutant simplement le son qu'il produit. C'est une tâche délicate car l'océan est un lieu bruyant et chaotique. Le son est déformé par les vagues, les bulles et l'eau elle-même.

Cet article propose un nouveau « système d'écoute intelligent » pour résoudre ce problème. Voici comment il fonctionne, décomposé en concepts simples :

1. Les deux « oreilles » (Double Encodeur)

La plupart des anciens systèmes essayaient d'écouter le son d'une seule manière :

L'oreille de la Forme d'Onde : Elle écoute l'onde sonore brute, comme si l'on entendait le rythme et la hauteur exacte d'un coup de tambour. Elle est excellente pour capter les bruits soudains et désordonnés (comme une hélice brassant l'eau), mais elle peut être submergée par le bruit de fond.
L'oreille du Spectrogramme : Elle écoute le son sous la forme d'une carte visuelle des fréquences (comme un piano roll ou une carte météorologique). Elle est excellente pour voir les motifs constants (comme le bourdonnement d'un moteur), mais elle pourrait manquer les détails rapides et désordonnés.

L'idée de l'article : Au lieu de choisir une seule oreille, le système utilise les deux en même temps. Il possède deux « experts » qui écoutent le même son mais se concentrent sur des détails différents.

2. Le « Gardien Intelligent » (Intégrale de Choquet)

Maintenant, vous avez deux experts qui donnent leurs opinions. Comment décider à qui faire confiance ?

L'ancienne méthode : Vous pourriez simplement prendre la moyenne de leurs opinions (comme demander des directions à deux personnes et marcher à mi-chemin entre leurs deux réponses). C'est rigide.
La méthode de l'article : Ils ont construit un gardien dynamique basé sur ce qu'on appelle l'intégrale de Choquet. Considérez cela comme un arbitre super intelligent.
- Si le son est clair et régulier, l'arbitre fait davantage confiance à l'« Oreille du Spectrogramme ».
- Si le son est désordonné et plein d'éclaboussures soudaines, l'arbitre fait davantage confiance à l'« Oreille de la Forme d'Onde ».
- Crucialement, ce arbitre apprend de lui-même. Il ne se contente pas de deviner ; il analyse le type spécifique de navire et décide : « Pour ce type de navire, la forme d'onde est plus importante », ou « Pour celui-là, le spectrogramme est meilleur ». Il déplace son attention comme un projecteur vers le signal le plus clair.

3. L'astuce du « Fin de réglage » (Efficacité des paramètres)

Habituellement, enseigner à un modèle d'IA massif la reconnaissance des navires nécessite un ordinateur énorme et beaucoup de données. Si vous essayez d'enseigner trop de choses à un petit ensemble de données, l'IA s'embrouille (surapprentissage) et oublie ce qu'elle a appris.

L'astuce de l'article : Au lieu de réentraîner tout le cerveau de l'IA (ce qui revient à réécrire une encyclopédie entière), ils ne modifient que de minuscules notes spécifiques dans les marges.

Ils utilisent des « modèles de fondation » pré-entraînés (des IA qui connaissent déjà beaucoup de choses sur le son).
Ils figent le cerveau principal pour qu'il ne change pas.
Ils ajoutent seulement un petit « adaptateur » ajustable (comme une paire de lunettes) pour aider l'IA à mieux voir les sons sous-marins.
Résultat : Le système apprend à reconnaître les navires presque aussi bien que la version massive, mais il utilise une fraction de la puissance informatique et de la mémoire.

4. Ce qu'ils ont découvert

Les chercheurs ont testé ce système sur deux ensembles de données de sons sous-marins réels (DeepShip et ShipsEar).

Meilleure précision : Le système à « deux oreilles » avec le « gardien intelligent » était plus précis pour identifier les navires que les systèmes qui n'utilisaient qu'une seule oreille.
Efficacité : En utilisant l'astuce du « fin de réglage », ils ont obtenu d'excellents résultats sans avoir besoin d'un supercalculateur.
Transparence : Parce que le « gardien » apprend des poids spécifiques, les chercheurs ont pu regarder à l'intérieur et voir pourquoi l'IA a pris une décision. Par exemple, ils ont découvert que pour les navires de type « Tanker », le système s'appuyait davantage sur la forme d'onde brute, tandis que pour d'autres navires, il s'appuyait davantage sur la carte des fréquences. Cela prouve que le système ne fait pas que deviner ; il s'adapte à la signature sonore spécifique de chaque navire.

Analogie de synthèse

Imaginez que vous essayiez d'identifier un ami dans une pièce bondée et bruyante.

Vieille méthode : Vous regardez seulement son visage (Spectrogramme) OU vous écoutez seulement sa voix (Forme d'onde). Si la pièce est trop bruyante, vous pourriez le manquer.
La méthode de cet article : Vous avez une équipe de deux détectives. L'un est un expert pour lire les visages, l'autre est un expert pour entendre les voix. Ils ont un Capitaine Intelligent (l'Intégrale de Choquet) qui surveille la pièce. Si la pièce est trop bruyante pour le lecteur de visages, le Capitaine dit à l'expert de la voix de prendre la direction. Si la pièce est trop sombre pour l'expert de la voix, le Capitaine bascule sur le lecteur de visages.
L'efficacité : Au lieu d'embaucher deux détectives à plein temps et de les former de zéro, vous embauchez deux experts qui connaissent déjà la ville, et vous leur donnez juste un briefing rapide et peu coûteux (Fine-Tuning Efficace des Paramètres) sur cette pièce spécifique.

Le résultat est un système plus intelligent, plus rapide et plus adaptable à la réalité désordonnée du monde sous-marin.

Résumé technique : Architecture à double encodeur à efficacité paramétrique avec fusion par intégrale de Choquet différentiable pour la classification acoustique sous-marine

Énoncé du problème

La classification acoustique sous-marine est cruciale pour des applications allant de la sécurité maritime à la conservation de l'environnement. Cependant, l'environnement acoustique est caractérisé par des distorsions stochastiques, notamment les interférences par trajets multiples, l'atténuation dépendante de la fréquence et le bruit ambiant. Les méthodes traditionnelles reposant sur des caractéristiques extraites manuellement (par exemple, LOFAR, DEMON) peinent à être robustes dans ces conditions variables. Bien que l'apprentissage profond ait automatisé l'extraction de caractéristiques, les approches à représentation unique font face à des limitations intrinsèques :

Spectrogrammes : Modélisent bien les dépendances harmoniques mais peuvent filtrer des caractéristiques acoustiques pertinentes lors de la transformation temps-fréquence.
Formes d'onde (Waveforms) : Préservent la dynamique fine de la phase et les événements à large bande (ex. : cavitation), mais sont souvent bruitées et complexes, ce qui les rend difficiles à traiter directement par les modèles.

De plus, le déploiement de modèles de fondation à grande échelle pour ces tâches est coûteux en termes de calcul et sujet au surapprentissage en raison de la disponibilité limitée de données acoustiques sous-marines étiquetées. Le réglage fin complet (full fine-tuning) de ces modèles est souvent impraticable.

Méthodologie

L'article propose une architecture neuronale à double encodeur à efficacité paramétrique qui traite simultanément les formes d'onde acoustiques brutes et les spectrogrammes Mel-log. Le cadre se compose de trois composants principaux :

1. Backbone à double encodeur avec PEFT

Le système utilise deux branches parallèles :

Encodeur de forme d'onde : Initialisé avec l'architecture AVES-nonbio (Animal Vocalization Encoder based on Self-Supervision), choisie pour sa pertinence avec les signatures mécaniques de navires non biologiques.
Encodeur de spectrogramme : Initialisé avec l'Audio Spectrogram Transformer (AST), pré-entraîné sur AudioSet et ImageNet.

Pour permettre l'adaptation de domaine sans réglage fin complet, les paramètres du backbone pré-entraîné sont gelés. Au lieu de cela, des modules de réglage fin à efficacité paramétrique (PEFT) sont injectés. L'étude évalue deux stratégies spécifiques de PEFT :

Adaptation de bas rang (LoRA) : Testée avec des rangs de requête $r \in \{16, 32\}$ .
Réglage paramétrique basé sur l'histogramme (HPT) : Testé avec des nombres de bacs d'histogramme $b \in \{16, 32, 64\}$ .

Chaque encodeur maintient des ensembles distincts et indépendants de paramètres de réglage fin partagés à travers ses couches internes, régularisant ainsi le processus d'adaptation.

2. Fusion par intégrale de Choquet différentiable

Un nouveau mécanisme de fusion au niveau de la décision est introduit pour combiner les sorties des deux branches. Contrairement aux méthodes de fusion statiques (ex. : moyenne), cette approche utilise l'intégrale de Choquet pour modéliser les interactions non additives (redondance ou synergie) entre les représentations de la forme d'onde et du spectrogramme.

Pour rendre l'intégrale de Choquet différentiable pour un entraînement de bout en bout, les auteurs proposent un mécanisme de porte par tri doux (soft-sort gating) :

Des mesures floues apprenables ( $g_w$ et $g_s$ ) sont optimisées par classe pour quantifier la contribution indépendante et la signification de chaque représentation.
Un vecteur de porte de tri doux ( $s$ ) est calculé à l'aide d'une fonction sigmoïde pour acheminer conditionnellement les prédictions en fonction de la confiance relative des branches forme d'onde ( $p_w$ ) et spectrogramme ( $p_s$ ).
La distribution fusionnée est calculée comme une approximation continue de l'intégrale de Choquet, permettant au réseau de déplacer dynamiquement l'attention vers la représentation la moins corrompue par les distorsions environnementales.

3. Stratégie d'optimisation

Le modèle est entraîné à l'aide d'une fonction de perte multi-objectif composite ( $L_{total}$ ) :
$L_{total} = \frac{1}{4} \left( 2 \cdot CE(p_{fused}, y) + CE(p_w, y) + CE(p_s, y) \right)$
où $CE$ est la perte d'entropie croisée (cross-entropy). La prédiction fusionnée est pondérée deux fois plus lourdement que les pertes individuelles des branches afin de donner la priorité à la prise de décision collaborative tout en garantissant que chaque encodeur apprenne des caractéristiques discriminantes.

Résultats clés

Le cadre proposé a été évalué sur les jeux de données DeepShip (4 classes) et ShipsEar (5 classes + bruit).

Performance vs Encodeurs uniques : L'architecture à double encodeur a systématiquement surpassé les lignes de base à encodeur unique indépendant (forme d'onde seule et spectrogramme seul) à travers toutes les stratégies de réglage.
Efficacité du PEFT :
- Les modèles à double encodeur utilisant le PEFT (LoRA et Hument) ont atteint des précisions de classification comparables, et dans certains cas supérieures, aux modèles de pointe à encodeur unique entièrement réglés (ex. : ResNet-50, ConvNeXtV2, SSAST).
- Plus précisément, les cadres Dual LoRA et Dual HPT ont optimisé environ 100k paramètres, tout en surpassant la majorité des réseaux à encodeur unique entièrement réglés qui nécessitaient beaucoup plus de paramètres entraînables (ex. : ~85k–90k pour les encodeurs uniques, ~175k pour le double réglage complet).
- Dans le jeu de données DeepShip, le Dual LoRA (r=16) a atteint une précision de 71,6 %, dépassant l'AST entièrement réglé (72,3 %) et l'AVES (67,9 %) si l'on considère la réduction massive de paramètres entraînables.
Interprétabilité : L'analyse des mesures floues apprises a révélé des changements de dépendance spécifiques aux classes. Par exemple, pour la classe "Tanker" de DeepShip lors d'un sondage linéaire (linear probing), le réseau a attribué un poids plus élevé à la forme d'onde (0,22) qu'au spectrogramme (0,18), tandis que pour "Cargo", il a fortement favorisé le spectrogramme. Cela confirme la capacité du modèle à sélectionner dynamiquement la représentation optimale pour des signatures acoustiques spécifiques.
Robustesse : L'approche à double encodeur a montré une performance supérieure dans les régions à faible taux de fausses alarmes (pAUC0.30), particulièrement dans le jeu de données ShipsEar où la méthode Dual HPT a statistiquement surpassé l'approche de réglage complet à mode unique.
Alignement des représentations : L'analyse de l'alignement de noyau centré (CKA) a indiqué que si les couches précoces restaient stables, les couches profondes divergeaient davantage de la ligne de base entièrement réglée. La branche de la forme d'onde présentait une similitude moindre avec la ligne de base que la branche du spectrogramme, suggérant qu'elle constitue un goulot d'étranglement primaire nécessitant une capacité de réglage plus élevée.

Signification et affirmations

L'article affirme présenter un cadre de calcul efficace pour la reconnaissance acoustique maritime avancée, équilibrant performance et contraintes de ressources. Ses principales contributions sont :

Synergie de double représentation : Démontrer que la fusion des données temporelles (forme d'onde) et spectrales (spectrogramme) produit une précision plus élevée que l'une ou l'autre modalité seule, atténuant efficacement les défis non stationnaires du canal sous-marin.
Efficacité paramétrique : Prouver que les modules PEFT (LoRA et HPT) peuvent adapter de grands modèles de fondation au domaine sous-marin avec une fraction des paramètres entraînables, limitant les risques de surapprentissage sur des jeux de données limités.
Fusion différentiable : Introduire une couche d'intégrale de Choquet différentiable qui non seulement améliore la précision, mais fournit aussi de l'interprétabilité. En analysant les mesures floues apprises, le système révèle comment le réseau déplace dynamiquement sa dépendance entre les représentations en fonction des caractéristiques acoustiques spécifiques aux classes et des distorsions environnementales.
Avantage opérationnel : Le mécanisme de porte dynamique permet au système de prioriser la représentation la moins corrompue par le bruit environnemental local (ex. : basculer vers les formes d'onde lorsque les tonales spectrales sont masquées), offrant une solution robuste pour un déploiement en conditions réelles.

Les auteurs concluent que ce cadre établit une voie viable pour une classification acoustique sous-marine de haute performance sans les coûts de calcul prohibitifs d'un réglage fin complet du réseau. Des travaux futurs sont proposés pour étudier l'efficacité matérielle et les méthodes de quantification des backbones intégrés au PEFT.