Bioacoustic Geolocation: Species Sounds as Geographic Signals

Résumé technique : Géolocalisation bioacoustique : les sons des espèces comme signaux géographiques

Définition du problème
Ce travail traite du défi de la géolocalisation audio à l'échelle mondiale : déterminer les coordonnées géographiques d'un enregistrement audio uniquement sur la base de son contenu acoustique. Contrairement à la géolocalisation d'images, qui repose sur des indices visuels saillants tels que des points de repère ou des styles architecturaux, l'audio manque de marqueurs géographiques explicites et globalement cohérents. Les auteurs émettent l'hypothèse que les signaux bioacoustiques — spécifiquement les sons de la faune sauvage — contiennent des indices de géolocalisation informatifs en raison des aires de répartition géographique bien définies des espèces. L'intuition centrale est que l'identification des espèces présentes dans un enregistrement permet l'intersection de leurs cartes de répartition respectives, permettant ainsi de contraindre la localisation possible de l'enregistrement.

Méthodologie
L'étude utilise le jeu de données iNatSounds (230 000 enregistrements, plus de 5 500 espèces) et introduit XCDC, un nouveau benchmark de l'enregistrement du chœur de l'aube riche en espèces, extrait de Xeno-Canto. Les auteurs évaluent plusieurs approches :

1. Méthodes de référence (Baselines) :

   • Régression : Prédiction directe de la latitude et de la longitude en utilisant des pertes de distance euclidienne ou de Haversine.
   • Classification : Prédiction de bacs géographiques (bins) à l'aide de grilles hexagonales (H3) à différentes résolutions (grossière à fine) et d'approches hiérarchiques.
   • Récupération (Retrieval) : Adaptation des paradigmes de récupération de géolocalisation d'images (ex. : GeoCLIP, SatCLIP) à l'audio, où les caractéristiques audio sont projetées dans un espace de plongement (embedding) de localisation pour trouver la localisation pré-calculée la plus similaire.

2. Approche proposée (AG-CLIP) :
   Les auteurs proposent AudioGeo-CLIP (AG-CLIP), une méthode hybride basée sur la récupération qui étend GeoCLIP.

   • Architecture : Elle emploie un encodeur audio inspiré de la vision (MobileNet-V3) qui traite des spectrogrammes.
   • Apprentissage à double tâche : En plus de la perte contrastive standard pour aligner l'audio avec les plongements de localisation, AG-CLIP inclut une tâche auxiliaire : la prédiction de listes de présence d'espèces (checklists) dérivées du modèle de carte de répartition SINR (Spatial Implicit Neural Representations).
   • Raisonnement : Cette perte auxiliaire encourage l'encodeur à prêter attention non seulement aux vocalisations de premier plan, mais aussi aux sons ambiants de l'arrière-plan, apprenant ainsi les associations entre l'environnement acoustique et les espèces susceptibles d'habiter ce habitat.
   • Gestion des longueurs variables : Les enregistrements sont traités comme des collections de clips de 3 secondes. Les prédictions sont agrégées (via moyenne) pour former une estimation finale de la localisation.

3. Oracles et diagnostics :
   Pour établir des limites supérieures, les auteurs construisent des « Oracles d'espèces » utilisant des listes de présence de terrain dérivées des cartes de répartition SINR. Cela isole le potentiel théorique de l'information sur les espèces de la difficulté de l'identification des espèces.

4. Agrégation spatio-temporelle :
   L'étude examine l'amélioration des performances par l'agrégation de plusieurs enregistrements courts provenant du même voisinage spatio-temporel (par exemple, le même hexagone H3 sur une semaine, un mois ou un an) pour simuler une liste de présence d'espèces plus complète.

Résultats clés

• Performance de l'Oracle : Lorsqu'on lui fournit une « liste complète » parfaite des espèces présentes à un endroit, le modèle atteint une précision régionale quasi parfaite (97,8 %), confirmant que les données de répartition des espèces constituent un signal de géolocalisation puissant. Cependant, la performance se dégrade considérablement avec des listes partielles ou corrompues, soulignant la difficulté de capturer toutes les espèces dans des enregistrements courts.
• Performance du modèle : AG-CLIP surpasse toutes les méthodes de référence sur l'ensemble de test iNatSounds, atteignant une erreur de géolocalisation médiane de 1 082 km.
  • Précision : Il atteint 17,2 % de précision à l'échelle régionale (200 km) et 41,0 % à l'échelle nationale (750 km).
  • Comparaison : Il surpasse de manière significative les modèles de cartographie de paysages sonores prêts à l'emploi (GeoCLAP, Taxabind) ainsi que les bases de régression et de classification standards.
  • Ablations : La perte de liste de présence auxiliaire améliore la précision continentale de 2,7 %. Le pré-entraînement sur iNatSounds (plutôt que sur ImageNet ou des ensembles de données audio générales comme CLAP) est crucial pour la performance.
• XCDC et Agrégation :
  • La performance chute sur le jeu de données XCDC (chœurs de l'aube riches en espèces), suggérant que les modèles actuels peinent face au décalage de distribution et au chevauchement élevé des espèces présents dans les paysages sonores complexes.
  • L'agrégation spatio-temporelle améliore considérablement les résultats. L'agrégation des enregistrements sur une année complète dans une zone de 36 km² fait passer la précision régionale de 17,2 % à 25,9 %.
• Forensique multimodale : Les auteurs démontent qu'AG-CLIP peut détecter des incohérences entre les modalités audio et visuelle dans des extraits de films (ex. : Dune, Star Wars), où les prédictions de géolocalisation audio divergent des prédictions visuelles de la scène, indiquant un potentiel décalage de post-production.

Signification et revendications
L'article affirme être la première étude sur la géolocalisation bioacoustique à l'échelle mondiale. Ses principales contributions sont :

1. Formalisation du problème : Établir un benchmark pour la géolocalisation audio qui dépasse le bruit urbain pour inclure la faune et les sons naturels.
2. Validation de l'hypothèse : Démontrer que l'information sur la répartition des espèces est un signal de géolocalisation fort, bien que sous-utilisé, et que les modèles peuvent exploiter implicitement ces signaux.
3. Avancement méthodologique : Proposer AG-CLIP, qui combine efficacement la prédiction de la répartition des espèces avec la géolocalisation par récupération, surpassant les méthodes existantes de cartographie de paysages sonores.
4. Perspectives pratiques : Montrer que si les enregistrements courts limitent la précision, l'agrégation des données dans l'espace et le temps (une approche pratique pour les applications de science citoyenne comme iNaturalist) améliore substantiellement la précision.

Les auteurs conservent une position modeste, reconnaissant que la géolocalisation audio reste nettement plus difficile que la géolocalisation d'images (avec des précisions régionales d'environ 17 % contre 30-60 % pour les images). Ils attribuent cela à l'auto-similarité acoustique de régions distantes, aux vastes aires de répartition de nombreuses espèces et à la difficulté de capturer des espèces rares mais géographiquement distinctives dans des clips courts. Ce travail se positionne comme une étape fondamentale vers de futures applications dans la surveillance écologique, la forensique numérique et le traitement audio respectueux de la vie privée.