Résumé technique : Corroboration cross-modale pour la surveillance de la faune sans annotation

Problématique

Le passage à l'échelle de la surveillance de la faune pour la conservation est entravé par un double défi : la rareté des données d'entraînement pour les espèces rares et le coût prohibitif de l'annotation experte requise pour étiqueter les données existantes. Bien que les pièges photographiques et les moniteurs acoustiques génèrent des téraoctets de données, l'absence de jeux de données étiquetés empêche le déploier de systèmes d'analyse automatisés à des échelles pertinentes pour la conservation. Les solutions actuelles reposent souvent sur l'apprentissage supervisé, ce qui est irréalisable lorsque le temps des experts fait défaut. L'article traite de la nécessité d'un mécanisme de validation qui ne nécessite pas d'annotation manuelle mais qui peut néanmoins vérifier que les pipelines de surveillance automatisés récupèrent de véritables signaux biologiques plutôt que des artefacts de jeux de données.

Méthodologie

Les auteurs proposent un cadre de corroboration cross-modale qui exploite les connaissances expertes des schémas comportementaux des espèces (a priori comportementaux) comme signal de validation sans annotation. L'hypothèse centrale est que si deux systèmes entraînés indépendamment (vision et acoustique) convergent vers le même schéma d'activité, et que ce schéma s'aligne avec les a priori éthologiques documentés, les systèmes sont probablement opérationnels. Cette « convergence tripartite » permet d'exclure les biais de données partagées et les corrélations internes aux jeux de données.

1. Pipeline de vision

La composante vision traite les images des pièges photographiques via quatre étapes :

• Détection : Utilise YOLOv8 intégré avec SAHI (Sliced Aided Hyper Inference). SAHI divise les images en tuiles chevauchantes de 512×512 pour améliorer la détection d'animaux petits ou éloignés qui tombent sous le seuil de résolution d'une inférence standard.
• Classification : Emploie BioCLIP 2 en mode zero-shot. Les boîtes englobantes détectées sont comparées à des invites textuelles (ex: « une photo d'un cerf ») pour classifier les espèces sans ajustement fin (fine-tuning) par espèce.
• Géolocalisation : Estime la distance et l'angle en utilisant un modèle de caméra sténopé basé sur la hauteur de la boîte englobante par rapport à la hauteur connue de l'espèce et aux paramètres de la caméra. Ces estimations sont projetées en coordonnées GPS en utilisant le cap de la caméra et la formule sphérique WGS84.
• Limitations : Le modèle suppose un plan de sol plat et aucune distorsion de l'objectif. Les estimations de distance sont traitées comme relatives plutôt qu'absolues, particulièrement pour les détections au-delà de 150 m où la sensibilité au bruit augmente.

2. Pipeline acoustique

La composante acoustique détecte les vocalisations via :

• Minage positif : L'audio non étiqueté est miné pour trouver des candidats positifs à l'aide de courts segments de référence de vocalisations confirmées de cerfs du Milu identifiées par des experts du domaine. Ces segments sont standardisés, débruités et intégrés (embedded) via Wav2Vec2.
• Classification : Les clips sont représentés par des plongements (embeddings) au niveau du cadre (frame-level) via YAMNet, agrégés par la moyenne et l'écart type. Un classificateur binaire à gradient boosté est entraîné avec une pondération des classes pour gérer le déséquilibre entre les vocalisations rares et le bruit de fond.
• Calibration : Les sorties de probabilité sont calibrées à l'aide d'une calibration sigmoïde, le seuil de fonctionnement étant défini pour maximiser le F1 sur un ensemble de validation.

3. Corroboration cross-modale

Les deux pipelines génèrent des vecteurs d'activité horaires.

• Signal de vision : Comptages de détections (cerf/cerf de Virginie) par heure sur tous les sites.
• Signal acoustique : Fraction de clips de 10 secondes dépassant le seuil de classification par heure.
• Logique de validation : Le système vérifie la corrélation élevée entre les signaux de vision et d'acoustique. Crucialement, cette corrélation n'est considérée comme une preuve de fiabilité que si le schéma résultant correspond à des a priori éthologiques externes (spécifiquement, les rythmes crépusculaires et les pics diurnes multiples des cerfs du Milu documentés dans la littérature antérieure).

Résultats clés

Le cadre a été validé sur un troupeau reproducteur de cerfs du Milu (Elaphurus davidianus) à The Wilds safari park via le jeu de données SmartWilds.

• Performance de détection : Le pipeline de vision a traité 28 376 détections. BioCLIP 2 a classifié 48 % des détections comme des cerfs (combinant les étiquettes « deer » et « white-tailed deer »), ce qui est cohérent avec la composition des pâturages.
• Performance acoustique : Le classificateur acoustique a atteint une précision de 0,963, un rappel de 0,985 et un F1 de 0,974 sur l'ensemble de validation, identifiant correctement 129 des 131 vocalisations avec seulement 5 faux positifs.
• Convergence des schémas d'activité : Les deux modalités ont récupéré indépendamment un pic de soirée marqué (19h00–23h00), cohérent avec le comportement crépusculaire connu des cerfs du Milu.
• Désaccord diagnostique : Un pic secondaire de détections par piège photographique à 15h00 était absent du signal acoustique. Les auteurs interprètent cela non pas comme un échec, mais comme une signature comportementale : un mouvement de milieu d'après-midi sans vocalisation active. Ce désaccord partiel, lorsqu'il est analysé face aux a priori éthologiques, permet de distinguer la locomotion silencieuse des états riches en vocalisations, une distinction qu'un système à modalité unique ne pourrait faire.

Contributions clés

1. Validation sans annotation : L'article introduit une méthode pour valider les pipelines de surveillance de la faune sans vérité terrain étiquetée, en utilisant l'accord cross-modal et les a priori comportementaux externes comme métrique de fiabilité.
2. Opérationnalisation de l'indépendance : Le cadre repose explicitement sur l'indépendance des pipelines de vision et d'acoustique (modèles, données et modalités différents) pour exclure les échecs corrélés et les artefacts de jeux de données.
3. Interprétation de la signature comportementale : L'approche traite le désaccord entre les modalités (ex: détection visuelle sans signal acoustique) comme une donnée informative concernant des états comportementaux spécifiques, plutôt que comme un simple bruit ou une erreur.
4. Pipeline évolutif : Le système utilise la classification zero-shot et des classificateurs acoustiques affinés qui ne nécessitent que l'inférence au moment du test, ce qui les rend adaptés au déploiement en périphérie (edge deployment) dans des contextes de conservation reculés.

Signification et affirmations

L'article affirme que ce cadre offre une voie pratique vers des pipelines de surveillance de la faune auto-validants à des échelles de conservation. En contournant le goulot d'étranglement de l'annotation, il permet le déploiement de systèmes automatisés pour des espèces dont les données étiquetées sont indisponibles.

Les auteurs soulignent que le cadre est complémentaire aux travaux multimodaux existants (comme MammAlps) qui fusionnent les modalités pour affiner les étiquettes au niveau de l'événement. Au lieu de cela, ce travail utilise l'indépendance des modalités pour valider les schémas d'activité au niveau de la population.

Portée et limites :

• L'approche nécessite que l'espèce cible soit détectable dans les deux modalités et que des a priori comportementaux existent dans la littérature. Elle n'est pas conçue pour des inventaires générateurs d'hypothèses sur des espèces totalement inconnues, mais plutôt pour valider des pipelines pour des espèces ayant des schémas d'activité partiellement compris.
• Les auteurs reconnaissent des modes de défaillance, tels que la classification erronée corrélée d'espèces sympatriques ou des confusions environnementales affectant les deux modalités, qui pourraient produire une convergence fausse.
• La précision de la géolocalisation absolue n'a pas été validée par rapport à une vérité terrain ; le système fournit des estimations de position relative adaptées à l'analyse de l'espace d'activité.

En conclusion, ce travail démontre que l'exploitation de la convergence de flux sensoriels indépendants avec des connaissances biologiques établies peut servir de signal robuste et sans annotation pour vérifier la justesse des systèmes automatisés de surveillance de la faune.