Decoding Insect Song: A Multitask Semisupervised Orthoptera Bioacoustic Classifier

Cet article présente PULSE, un cadre multi-tâches semi-supervisé qui surpasse de manière significative les modèles généraux de l'état de l'art en matière de classification des espèces d'Orthoptères et révèle des motifs écologiquement significatifs grâce à l'apprentissage auto-supervisé et à la distillation de connaissances.

L'essentiel

Imaginez essayer d'écouter une seule conversation dans une pièce bondée et bruyante où tout le monde crie en même temps, et vous ne parlez pas la langue. C'est essentiellement ce à quoi les écologues sont confrontés lorsqu'ils tentent d'écouter les insectes.

Ce document présente un nouveau programme informatique appelé PULSE (Passive acoUstic Latent-Space Encoder) conçu pour résoudre ce problème. Voici comment il fonctionne, décomposé en concepts simples :

Le Problème : La « pièce bruyante »

Les scientifiques utilisent des microphones pour enregistrer la nature (surveillance acoustique passive) afin de voir si les populations d'insectes sont en bonne santé. Les oiseaux et les chauves-souris sont faciles à identifier car ils ont des appels distincts. Mais les insectes, spécifiquement les Orthoptères (grillons et sauterelles), sont beaucoup plus difficiles.

• Le Bruit : Ils chantent souvent de manière continue, et de nombreuses espèces chantent en même temps, créant une « soupe » sonore désordonnée.
• Le Fossé des Données : Les ordinateurs ont besoin de vastes bibliothèques de chants d'insectes propres et étiquetés pour apprendre. Ces bibliothèques sont principalement vides pour les insectes, contrairement aux oiseaux.
• Le Décalage : Les chants dans les « manuels » (bibliothèques propres) sonnent très différemment des enregistrements du monde réel (pleins de vent, de trafic et de pluie). Un ordinateur entraîné sur le manuel échoue souvent dans le monde réel.

La Solution : PULSE (Le « Super-Apprenant »)

Les chercheurs ont construit PULSE, un système intelligent qui apprend de trois manières différentes en même temps, comme un étudiant qui étudie un manuel, écoute la radio et s'entraîne avec un coach simultanément.

1. Le Manuel (Apprentissage supervisé) : Il examine les rares chants d'insectes propres et étiquetés dont nous disposons pour apprendre à quoi ressemble chaque espèce spécifique.
2. Le Coach (Distillation de connaissances) : Il utilise un « expert généraliste » (appelé BirdNET, qui est excellent pour identifier les oiseaux) comme enseignant. Bien que BirdNET ne soit pas un expert en insectes, il sait comment traiter le son. PULSE tente d'imiter le « processus de pensée » de cet expert pour comprendre les motifs audio généraux.
3. La Radio (Apprentissage auto-supervisé) : C'est le tour de magie. PULSE écoute 150 Go d'enregistrements de terrain non étiquetés et désordonnés provenant du Royaume-Uni. Il ne sait pas quels sont les insectes, mais il apprend à reconnaître les motifs, les rythmes et les structures dans le bruit par lui-même. Il apprend l'« accent local » de la campagne britannique.

En combinant ces trois méthodes, PULSE devient un spécialiste qui comprend à la fois les définitions « théoriques » des insectes et la réalité désordonnée du terrain.

Les Résultats : Battre la Compétition

L'équipe a testé PULSE contre les meilleurs modèles audio à usage général actuels.

• Le Score : PULSE a écrasé la compétition. Alors que le modèle général avait du mal à trouver les insectes (obtenant un score très bas), PULSE les a trouvés avec beaucoup plus de précision.
• Le Boost de l'« Apprentissage Actif » : Les chercheurs ont ajouté une étape impliquant l'humain dans la boucle. Ils ont laissé l'ordinateur choisir les enregistrements les plus déroutants, ont fait étiqueter ces derniers par des humains, puis ont réentraîné l'ordinateur. Cela a rendu le système encore plus affûté, améliant considérablement sa précision.

Au-delà de « Qui chante ? »

Le document affirme que PULSE fait plus que simplement dire : « C'est un grillon ». Il crée une carte sonore.

• La Carte : Imaginez une carte en 3D où chaque point est un enregistrement. Si vous colorez les points par espèce, vous pouvez voir que les points « grillon » se regroupent ensemble, et que les points « sauterelle » se regroupent ailleurs.
• Démixer la Soupe : Parce que l'ordinateur comprend si bien la structure du son, il peut regarder un enregistrement où deux insectes chantent en même temps et déterminer quelles parties appartiennent à quel insecte. C'est comme être capable de séparer le violon de la batterie dans une piste audio mixée en regardant simplement les ondes sonores.
• Perspectives Écologiques : La carte a révélé que les chants des insectes changent en fonction de l'heure de la journée (la température affecte la vitesse de leur chant) et de l'emplacement spécifique. L'outil aide les écologues à visualiser ces modèles sans avoir besoin d'écouter manuellement des milliers d'heures d'audio.

L'Essentiel à Retenir

Les auteurs ont créé un outil qui comble le fossé entre les bibliothèques de sons « parfaits » et les enregistrements de la nature « désordonnés » du monde réel. En apprenant à un ordinateur à apprendre à la fois à partir de données étiquetées et de quantités massives de bruit non étiqueté, ils ont construit un système qui peut enfin « décoder » les chants des insectes, aidant les scientifiques à surveiller la biodiversité et à gérer les habitats plus efficacement.

Ce que le document ne prétend PAS :

• Il ne prétend pas guérir des maladies ou aider au diagnostic clinique.
• Il ne prétend pas fonctionner pour tous les insectes à l'échelle mondiale (il a été entraîné spécifiquement sur les orthoptères du Royaume-Uni).
• Il ne prétend pas remplacer les écologues humains, mais plutôt leur donner un outil puissant pour traiter des données qu'ils ne pouvaient pas traiter auparavant.

Résumé technique

Résumé Technique : Décoder le chant des insectes via PULSE

Énoncé du Problème

La surveillance acoustique passive (SAP) est un outil critique pour évaluer la santé des habitats et la biodiversité, pourtant les outils d'apprentissage automatique (ML) automatisés existants sont souvent étroitement entraînés et manquent de transférabilité vers de nouveaux environnements. Bien que des progrès significatifs aient été réalisés en bioacoustique pour les oiseaux et les chauves-souris, il existe une absence notable d'outils de ML en open-source pour les Orthoptères (criquets et sauterelles). Ce fossé est dû à deux défis principaux :

1. Rareté des Données : Il existe un manque de bibliothèques sonores de grande taille et en libre accès spécifiquement dédiées aux Orthoptères par rapport à d'autres taxons.
2. Décalage de Domaine et Complexité du Signal : Les signaux des Orthoptères sont difficiles à extraire car de nombreuses espèces émettent des appels de manière quasi continue, ce qui entraîne des chevauchements fréquents d'appels. De plus, les appels de référence dans les bibliothèques de sons curatées possèdent souvent une qualité audio et moins de bruit que les enregistrements de terrain « désordonnés » du monde réel, ce qui fait que les modèles entraînés sur des données propres performent mal sur le terrain.

Méthodologie : Le Cadre PULSE

Pour répondre à ces limitations, les auteurs proposent PULSE (Passive acoUstic Latent-Space Encoder), un cadre multi-tâches semi-supervisé conçu pour la bioacoustique des Orthoptères. Le cadre intègre trois objectifs d'optimisation distincts pour exploiter à la fois les données étiquetées limitées et les abondants enregistrements de terrain non étiquetés.

1. Composition des Données

• Données Étiquetées : Un sous-ensemble de 19 espèces d'Orthoptères endémiques ou présentes au Royaume-Uni, provenant de l'ECOSoundSet, Xeno-canto et iNaturalist.
• Données Non Étiquetées : Une large collection (~150 Go) d'enregistrements de terrain non étiquetés provenant de 10 sites dans l'Oxfordshire, au Royaume-Uni.
• Apprentissage Actif : Un petit sous-ensemble des données de terrain non étiquetées a été étiqueté manuellement par des experts en utilisant la méthode DIRECT pour améliorer de manière itérative le modèle.

2. Architecture

Le cadre utilise un squelette VGGish pour transformer l'audio en spectrogrammes de Mel et générer des plongements (embeddings) $e$. Ces plongements servent d'entrée à trois tâches parallèles :

• Classification Supervisée : Une tête de classification ($h_{cls}$) optimisée avec une perte d'entropie croisée binaire ($L_{cls}$) utilisant les données étiquetées. Cela gère la nature multi-étiquette des enregistrements où plusieurs espèces peuvent vocaliser simultanément.
• Prior Écologique (Distillation de Connaissances) : Pour combler l'écart entre les bibliothèques curatées et les données de terrain, le modèle fait correspondre ses plongements à ceux d'un modèle BirdNET généraliste et figé. Ceci est réalisé via une perte L2 de la moyenne des carrés ($L_{mse}$) sur les données non étiquetées, transférant ainsi les connaissances écoacoustiques générales.
• Apprentissage Auto-Supervisé (SSL) : Pour s'adapter aux profils acoustiques locaux, le cadre emploie la méthode Bootstrap Your Own Latent (BYOL). Un réseau en ligne et un réseau cible (mis à jour via une moyenne mobile exponentielle) sont entraînés pour prédire mutuellement les projections (masquage temporel et fréquentiel) de vues augmentées des mêmes données de terrain non étiquetées, minimisant $L_{byol}$.

3. Optimisation Conjointe

Le modèle est entraîné en minimisant une somme pondérée des trois fonctions de perte :
$$L_{total} = \alpha_{cls}L_{cls} + \alpha_{mse}L_{mse} + \alpha_{byol}L_{byol}$$
Les poids ont été fixés à $\alpha_{cls} = 0,9$, $\alpha_{mse} = 0,1$ et $\alpha_{byol} = 0,1$ pour tenir compte du déséquilibre important entre les données étiquetées et non étiquetées.

Contributions Clés

1. Cadre Novateur : Introduction de PULSE, le premier cadre multi-tâches semi-supervisé spécifiquement conçu pour la bioacoustique des Orthoptères, combinant classification faiblement supervisée, apprentissage auto-supervisé et distillation de connaissances.
2. Publication de Jeu de Données : Publication d'un large jeu de données non étiquetées d'enregistrements de terrain britanniques aux côtés d'un sous-ensemble d'étiquettes collectées via l'apprentissage actif.
3. Outil de Découverte Écologique : Développement d'un outil de visualisation interactif permettant aux écologues d'explorer les espaces de plongement, révélant des structures écologiques telles que la séparation des espèces, le regroupement spécifique au site et les variations temporelles (par exemple, les taux de chant liés au moment de la journée).
4. Proxy de Séparation de Sources : Démonstration que les plongements appris peuvent être utilisés pour « démixer » les appels chevauchants en utilisant des moindres carrés non négatifs (NNLS) sur les prototypes moyens des espèces, identifiant les espèces constituantes dans les enregistrements mixtes.

Résultats Expérimentaux

Le modèle a été évalué sur des données de test exclues de l'entraînement provenant de trois sites.

• Performance vs Modèles Généraux : PULSE a nettement surpassé un modèle généraliste de pointe (Perch 2.0) sur tous les indicateurs :
  • F1 Macro : 0,21 (PULSE) contre 0,07 (Perch).
  • AUC Macro : 0,74 (PULSE) contre 0,45 (Perch).
  • AP Macro : 0,32 (PULSE) contre 0,19 (Perch).
• Impact de l'Apprentissage Actif : L'incorporation de l'apprentissage actif pour étiqueter une partie des données de terrain a encore amélioré les performances, faisant passer le F1 Macro à 0,34 et l'AUC Macro à 0,84.
• Qualité des Plongements : L'analyse de l'espace de plongement à 1024 dimensions a révélé que 891 dimensions présentaient une variation significative entre les espèces. Les cartes de saillance ont confirmé que les régions de haute activation correspondaient aux caractéristiques acoustiques clés (bandes de fréquences centrales et pics d'amplitude).
• Généralisation : Lorsqu'il a été étendu pour inclure des classes de fond (anthropophonie, oiseaux, chauves-souris, géophonie), PULSE a maintenu des performances compétitives sur les classes d'Orthoptères tout en classant efficacement les sons de fond.

Signification et Revendications

L'article affirme que PULSE répond efficacement aux problèmes de rareté des données et de décalage de domaine inhérents à la bioacoustique des insectes. En combinant des données de bibliothèques curatées avec des enregistrements de terrain non étiquetés via une approche multi-tâches, le cadre crée un modèle spécialiste qui est plus adaptable aux environnements locaux que les modèles généralistes.

Les auteurs soulignent que les plongements appris encodent une structure écologiquement significative, facilitant non seulement la classification mais aussi la découverte scientifique. La capacité de visualiser les plongements aide les écologues à comprendre les différences de comportement intra-spécifiques (par exemple, les variations de vitesse de chant dues à la température) et les moteurs environnementaux. En fin de compte, ce travail vise à faciliter la SAP des insectes à grande échelle, fournissant des informations vitales pour la conservation et les stratégies de gestion des habitats. Les auteurs restent modestes, notant que bien que l'outil fasse progresser l'automatisation, il sert de moyen pour soutenir l'inférence écologique plutôt que de solution autonome à tous les défis de la conservation.