💻 computer science

A strongly annotated passive acoustic dataset for tropical bird monitoring

Ce document présente PteroSet, un jeu de données acoustiques passives fortement annoté comprenant plus de 73 heures d'enregistrements et plus de 15 000 étiquettes temps-fréquence pour 168 espèces d'oiseaux néotropicaux en Colombie, conçu pour faire progresser l'apprentissage automatique en matière de suivi de la biodiversité en palliant la pénurie de paysages sonores tropicaux annotés et en servant de référence réaliste pour les défis de détection.

Auteurs originaux : Daniela Ruiz, Juan Sebastián Ulloa, Zhongqi Miao, Nicolás Betancourt, Maria Paula Toro-Gómez, Andrés Hernández, Bruno Demuro, Eliana Barona-Cortés, Angela Mendoza-Henao, Andrés Sierra-Ricaurte, Sebast

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniela Ruiz, Juan Sebastián Ulloa, Zhongqi Miao, Nicolás Betancourt, Maria Paula Toro-Gómez, Andrés Hernández, Bruno Demuro, Eliana Barona-Cortés, Angela Mendoza-Henao, Andrés Sierra-Ricaurte, Sebastián Pérez-Peña, Rahul Dodhia, Pablo Arbeláez, Juan M. Lavista Ferres

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer d'écouter une seule conversation dans un stade bondé et bruyant où des milliers de personnes parlent, crient et chantent en même temps. Maintenant, imaginez le faire non pas pendant une heure, mais pendant plusieurs jours, en essayant de déterminer exactement qui a dit quoi, quand ils l'ont dit, et de quelle espèce d'oiseau il s'agissait. Tel est le défi de l'écoute de la forêt tropicale humide.

Ce document présente PteroSet, une nouvelle « bibliothèque » massive d'enregistrements sonores et une « carte » détaillée de ce qui se passe dans ces sons, conçue pour aider les ordinateurs à apprendre à écouter les oiseaux des tropiques.

Voici une décomposition du document à l'aide d'analogies simples :

1. Le Problème : L'Aiguille dans la Botte de Foin

Les scientifiques utilisent des microphones pour enregistrer la nature depuis longtemps. C'est comme avoir une caméra de sécurité qui ne dort jamais. Mais ces caméras enregistrent tout : le vent, la pluie, les insectes et les voitures.

Le Problème : Dans les tropiques, la « botte de foin » (le bruit de fond) est énorme, et les « aiguilles » (les cris spécifiques d'oiseaux) sont difficiles à trouver.
Le Vide : Bien que nous disposions d'excellents programmes informatiques pour reconnaître les chants d'oiseaux, ils apprennent généralement à partir d'enregistrements d'oiseaux dans des endroits plus frais et plus calmes (comme l'Europe ou l'Amérique du Nord). Lorsque vous emmenez ces programmes dans les tropiques bruyants et complexes, ils se perdent. Nous avions besoin d'un « manuel d'apprentissage » spécifiquement pour la jungle tropicale.

2. La Solution : PteroSet (La « Bibliothèque Sonore Tropicale »)

Les chercheurs ont créé un nouvel ensemble de données appelé PteroSet. Imaginez cela comme un kit d'entraînement très spécifique et de haute qualité pour l'IA.

Où : Ils ont enregistré dans deux endroits très différents en Colombie : les contreforts de l'Amazonie (Putumayo) et les terres basses des Caraïbes (Magdalena). Une zone est une jungle en mutation rapide, et l'autre est un paysage agricole plus fragmenté.
Quoi : Ils ont collecté 73,6 heures d'audio. Mais voici l'astuce : ils n'ont pas simplement déposé les fichiers bruts. Ils ont créé une version « accélérée ». Imaginez prendre un clip de 10 secondes toutes les 30 minutes pendant une journée entière et les assembler en un seul film de 8 minutes. Cela permet aux humains de voir une journée entière de sons en quelques minutes.
La « Carte » (Annotations) : C'est la partie la plus importante. Des humains (des experts qui connaissent les chants d'oiseaux) ont écouté ces clips et ont encadré chaque cri d'oiseau. Ils ont marqué exactement quand il commençait et s'arrêtait, et quelle était sa hauteur.
- Ils ont trouvé 15 372 événements d'oiseaux distincts.
- Ils ont identifié 168 espèces différentes.
- Ils ont étiqueté 6 702 de ces cris jusqu'au nom exact de l'espèce (comme identifier une personne spécifique dans une foule).

3. Le Format : Un Nouveau « Traducteur Universel »

Habituellement, les données sonores sont désordonnées. Un chercheur enregistre les fichiers d'une manière, un autre d'une manière différente. C'est comme essayer de construire un puzzle où les pièces de différentes boîtes ne s'assemblent pas.

L'Innovation : L'équipe a créé un nouveau format de fichier (un schéma JSON) basé sur une norme utilisée pour la reconnaissance d'images (appelée COCO).
L'Analogie : Imaginez qu'ils aient inventé une « prise » universelle qui s'adapte à n'importe quel système informatique. Maintenant, au lieu de devoir réinventer la roue chaque fois que quelqu'un veut étudier les chants d'oiseaux, ils peuvent simplement brancher cet ensemble de données, et l'ordinateur sait exactement comment lire les étiquettes, l'heure et l'espèce.

4. Le Test : Enseigner à l'Ordinateur à Écouter

Pour prouver que cet ensemble de données fonctionne, les chercheurs ont enseigné à un ordinateur (en utilisant un modèle appelé ResNet-18) à répondre à une question simple : « Y a-t-il un oiseau dans ce clip de 5 secondes, ou non ? »

Le Défi : Ils ne l'ont pas seulement testé sur les mêmes données qu'il avait apprises. Ils ont utilisé un test de « leave-one-out » (laisser un de côté). Ils ont entraîné l'ordinateur sur des données de quatre projets, puis l'ont testé sur le cinquième projet qu'il n'avait jamais vu auparavant. C'est comme étudier pour un examen en utilisant quatre manuels différents, puis passer un examen basé sur un cinquième que vous n'avez jamais ouvert.
Le Résultat : L'ordinateur a obtenu environ 72 % à 75 % de précision.
- Pourquoi pas 100 % ? Parce que la jungle tropicale est difficile ! Le document note que l'ordinateur a eu du mal lorsque les oiseaux étaient silencieux, lorsque les sons se chevauchaient (deux oiseaux chantant en même temps), ou lorsque l'environnement changeait (comme passer de l'Amazonie aux Caraïbes).
- La Conclusion : L'ordinateur a bien performé, mais l'ensemble de données a réussi à montrer où il a des difficultés. Cela est précieux car cela indique aux scientifiques exactement quels problèmes ils doivent résoudre ensuite.

5. Pourquoi Cela Compte (Selon le Document)

Le document affirme que cet ensemble de données est une « référence réaliste ».

Réalisme : La plupart des autres ensembles de données sont comme une bibliothèque calme. PteroSet est comme un marché animé. Il inclut la réalité désordonnée des tropiques : des oiseaux chantant les uns par-dessus les autres, du bruit de fond et différents habitats.
Accès Ouvert : Les chercheurs offrent cette bibliothèque gratuitement. Ils souhaitent que d'autres scientifiques l'utilisent pour créer de meilleurs outils afin de protéger la biodiversité.

Résumé

En bref, les auteurs ont construit une gigantesque bibliothèque audio soigneusement étiquetée d'oiseaux tropicaux en Colombie. Ils n'ont pas seulement enregistré les sons ; ils ont dessiné une carte détaillée de chaque cri d'oiseau. Ils l'ont emballée dans un nouveau format facile à utiliser et ont prouvé que, bien que les ordinateurs deviennent bons pour écouter la nature, la jungle tropicale reste un endroit difficile pour qu'ils apprennent. Cet ensemble de données est le nouveau « manuel » qui aidera la prochaine génération d'IA à devenir meilleure dans la protection des écosystèmes les plus diversifiés du monde.

Résumé technique : PteroSet – Un jeu de données acoustique passif fortement annoté pour la surveillance des oiseaux tropicaux

Énoncé du problème

La surveillance acoustique passive (PAM) est devenue un outil critique et non invasif pour évaluer la biodiversité, en particulier dans les habitats éloignés et denses où les relevés traditionnels sont impraticables. Bien que l'échelle des jeux de données PAM modernes nécessite l'apprentissage automatique (ML) pour la détection et la classification automatisées des sons, l'adoption de méthodes d'apprentissage profond supervisé est entravée par la rareté de jeux de données annotés de haute qualité et résolus dans le temps. Ce déficit est particulièrement aigu dans les régions tropicales, qui abritent une biodiversité exceptionnelle mais restent sous-représentées dans les infrastructures de données mondiales. Les jeux de données existants sont souvent biaisés vers les régions tempérées, faiblement annotés (étiquettes au niveau du clip uniquement) ou manquent des limites temps-fréquence détaillées requises pour un entraînement robuste des modèles. Par conséquent, les modèles entraînés sur des données tempérées sous-performent souvent dans des paysages sonores tropicaux complexes caractérisés par un chevauchement acoustique dense, un turnover élevé des espèces et des décalages de domaine significatifs entre les sites.

Méthodologie

Collecte des données

L'étude a collecté des données audio à partir de deux sites écologiquement contrastés en Colombie : Puerto Asís (département de Putumayo), représentant la zone de transition andino-amazonienne, et Pivijay (département de Magdalena), représentant une matrice de terres basses caraïbes historiquement transformée.

Matériel : Unités d'enregistrement autonomes (AudioMoth) équipées de microphones omnidirectionnels.
Protocole : Les appareils ont enregistré 1 minute toutes les 30 minutes sur une période de 24 heures, produisant 48 minutes d'audio par jour à 192 kHz, avec une résolution de 16 bits.
Portée : Les données ont été collectées sur cinq saisons de surveillance entre 2023 et 2025.

Annotation des données

Pour garantir des données d'entraînement de haute qualité, les auteurs ont développé un protocole standardisé pour des annotations « fortes » (étiquettes délimitées temps-fréquence).

Génération de laps de temps : Pour gérer le volume de données, les 10 premières secondes de chacune des 48 enregistrements quotidiens ont été concaténées en un seul fichier « laps de temps » de 480 secondes, préservant la couverture temporelle de 24 heures tout en réduisant la charge de travail manuelle.
Annotation par des experts : Quatre spécialistes ont utilisé le logiciel Raven Pro pour identifier et délimiter manuellement les événements vocaux individuels. Les annotations comprenaient des limites explicites de début ( $t_{min}$ ), de fin ( $t_{max}$ ), de fréquence inférieure ( $f_{min}$ ) et de fréquence supérieure ( $f_{max}$ ).
Résolution taxonomique : Les espèces ont été identifiées sur la base de caractéristiques acoustiques diagnostiques en utilisant un système de codage alphanumérique standardisé (par exemple, MEGCHO pour Megascops choliba). Seuls les signaux clairement identifiés à la fois acoustiquement et visuellement ont été annotés ; les vocalisations faibles ou ambiguës ont été exclues.
Filtrage : Le jeu de données a été filtré pour ne conserver que les sons biologiques (BIO) et spécifiquement les vocalisations aviaires (AVEVOC), en excluant le bruit non biologique et autres taxons.

Traitement computationnel

Rééchantillonnage : L'audio a été rééchantillonné de 192 kHz à 48 kHz pour l'analyse, car les vocalisations d'oiseaux dans ce jeu de données dépassent rarement 24 kHz.
Unification du schéma : Les annotations ont été converties à partir de fichiers texte Raven Pro vers un schéma JSON unifié inspiré du format d'annotation d'images Common Objects in Context (COCO). Ce schéma inclut les métadonnées du jeu de données, les définitions de catégories, les informations sur les fichiers sonores et les annotations temps-fréquence.
Modèle de référence : Une tâche de détection binaire d'oiseaux a été formulée. L'audio a été transformé en spectrogrammes mélas de 5 secondes (FFT de 2048 points, pas de 512 échantillons, 224 bandes mélas). Une approche par fenêtre glissante (pas de 1 seconde) a généré des échantillons d'entraînement.
Architecture : Un backbone ResNet-18, initialisé avec des poids ImageNet et modifié pour une entrée mono-canal, a été entraîné pour une classification binaire (présence d'oiseau vs absence).
Validation : Une stratégie de validation croisée « leave-one-project-out » (5 plis) a été employée pour assurer une séparation stricte temporelle et spatiale entre les données d'entraînement et de test, testant rigoureusement la généralisation du modèle à travers différents sites d'enregistrement.

Contributions clés

Jeu de données PteroSet : Une collection curated de 563 enregistrements de laps de temps (73,62 heures) contenant 15 372 annotations temps-fréquence, incluant 6 702 étiquettes au niveau de l'espèce couvrant 168 espèces d'oise néotropicaux. Cela élargit considérablement l'échelle des données audio tropicales fortement annotées.
Référence réaliste tropicale : Le jeu de données capture explicitement les défis inhérents aux paysages sonores néotropicaux, tels que la co-occurrence acoustique dense (plusieurs espèces chantant simultanément) et les décalages de domaine entre les sites d'enregistrement, qui sont souvent sous-représentés dans les jeux de données tempérés.
Schéma d'annotation : Introduction d'un format JSON inspiré de COCO adapté à la bioacoustique, facilitant l'interopérabilité et l'intégration avec d'autres jeux de données.
Référence de base : Fourniture d'une référence ResNet-18 reproductible pour la détection binaire d'oiseaux, établissant des métriques de performance pour les comparaisons futures.
Ressources en libre accès : Publication complète des données brutes et traitées, des fichiers d'annotation et du code pour soutenir la reproductibilité.

Résultats

Le modèle de référence ResNet-18 a démontré une discrimination efficace entre les événements acoustiques d'oiseaux et non-oiseaux dans des conditions diverses, bien que les performances aient varié selon le site.

Performances globales : Sur les cinq plis de validation croisée, le modèle a atteint un F1-score moyen de 0,718 ± 0,039, un AUPRC de 0,797 ± 0,047 et une précision de 0,850 ± 0,091.
Décalage de domaine : Les performances ont varié considérablement entre les plis. Le modèle a été le plus faible sur le jeu de test MAP1 (Magdalena) (F1 : 0,650) et le plus fort sur le jeu de test PPA4 (Putumayo) (F1 : 0,742), soulignant le défi de la généralisation à travers des régions écologiquement distinctes.
Complexité acoustique : Le jeu de données présente une densité acoustique élevée ; environ 19,8 % des annotations impliquent des chevauchements temporels, et 60 % des paires chevauchantes chevauchent également dans le domaine fréquentiel. Cela confirme qu'une part significative des données contient des vocalisations simultanées de plusieurs espèces.
Analyse des erreurs : L'analyse qualitative a montré que le modèle identifiait avec succès les vocalisations claires à fort rapport signal/bruit, mais avait des difficultés avec les appels faibles et les sons non biologiques partageant des caractéristiques spectrales avec les appels d'oiseaux (par exemple, des motifs tonals d'insectes).

Importance

L'article positionne PteroSet non pas simplement comme un dépôt de données, mais comme une étape nécessaire vers une surveillance bioacoustique équitable et efficace dans les tropiques. En abordant le décalage entre la richesse biologique des Néotropiques et la rareté de la représentation numérique, le jeu de données sert de ressource d'entraînement rigoureuse et de défi de référence. Il met en évidence que la surveillance automatisée réussie dans ces environnements nécessite des modèles capables de gérer un chevauchement acoustique dense, des décalages de domaine et des distributions d'espèces à longue traîne. Les auteurs soutiennent que centrer ces complexités du monde réel, plutôt que de s'appuyer sur des jeux de données tempérés plus propres, est crucial pour développer des modèles qui se généralisent aux écosystèmes mondiaux. L'adoption d'un schéma d'annotation unifié vise également à réduire les obstacles à la construction de corpus d'entraînement multi-sites à grande échelle et à faciliter le benchmark reproductible au sein de la communauté de la bioacoustique.