🤖 machine learning

Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

Cette étude démontre que les modèles de fondation audio pré-entraînés à usage général encodent intrinsèquement des relations phylogénétiques profondes dans les vocalisations des mammifères marins et des oiseaux, surpassant à la fois les caractéristiques artisanales et les modèles spécifiques au domaine sans nécessiter de pré-entraînement spécifique au taxon.

Auteurs originaux : Víctor Rincón Yepes

Publié 2026-07-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Víctor Rincón Yepes

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le son des arbres généalogiques

Imaginez que vous marchez dans une forêt géante et bruyante où chaque animal possède une voix unique. Certains gazouillent, d'autres rugissent et d'autres chantent des mélodies complexes. Pendant longtemps, les scientifiques se sont demandé : si l'on écoute attentivement, peut-on dire qui est apparenté à qui simplement par le son ? Cette question se situe à l'intersection de deux grandes idées scientifiques. La première est l'évolution, l'histoire de la façon dont les espèces changent et se séparent au fil de millions d'années, comme des branches poussant sur un arbre géant. La seconde est la bioacoustique, l'étude des sons animaux.

Le grand mystère est de savoir si l'« arbre généalogique » d'un animal est inscrit dans sa voix. Si deux espèces se ressemblent beaucoup, cela signifie-t-il qu'elles sont des cousins proches ? Ou pourraient-elles simplement être voisines ayant appris à crier de la même manière ? Pour répondre à cela, les scientifiques utilisaient autrefois des outils simples pour mesurer les sons, en observant des caractéristiques basiques comme la hauteur tonale ou la « texture » du bruit. Mais récemment, les ordinateurs sont devenus bien plus intelligents. Nous disposons désormais de « modèles de fondation » (foundation models), des programmes d'IA massifs entraînés sur des millions d'heures de parole humaine, de musique et de sons de la nature. Ces IA peuvent comprendre le son de manière très profonde et complexe, presque comme un auditeur humain. La grande question posée par cet article est la suivante : ces ordinateurs surpuissants, qui n'ont jamais été enseignés sur les familles animales, apprennent-ils accidentellement à reconnaître les relations évolutives simplement en écoutant les sons ?

L'étude : Écouter l'arbre généalogique

Dans cette étude, les chercheurs ont décidé de tester si ces « oreilles » d'IA modernes pouvaient entendre l'histoire cachée des familles animales. Ils ont examiné deux groupes d'animaux très différents : 32 espèces de mammifères marins (comme les baleines, les dauphins et les phoques) et 20 espèces d'oiseaux.

Considérez les modèles d'IA comme différents types de détectives. Les chercheurs leur ont donné une immense bibliothèque d'enregistrements et leur ont demandé de mesurer à quel point les sons de différentes espèces étaient « similaires ». Ils ont comparé ces scores de similitude sonore aux distances réelles de l'« arbre généalogique » (combien de millions d'années ont séparé deux espèces depuis leur ancêtre commun).

Ils ont testé quatre manières différentes d'analyser le son :

L'ancienne méthode (MFCC) : C'est comme utiliser une règle basique pour mesurer un son. Elle s'appuie sur des caractéristiques simples, créées à la main.
L'IA généraliste (AST & CLAP) : Ce sont de gigantesques modèles d'IA à usage général, entraînés sur tout, des moteurs de voiture aux chansons pop. Ils n'ont rien appris sur les animaux.
L'IA spécialiste (BEATs-bio & BirdNET) : Ce sont des modèles spécifiquement entraînés sur les sons animaux ou les chants d'oiseaux, dans l'espoir qu'ils seraient plus aptes à repérer les liens familiaux.

La grande surprise : Les généralistes ont gagné

Les résultats ont été un choc. L'« ancienne méthode » (la règle basique) n'a presque trouvé aucun lien entre la façon dont les animaux sonnent et la façon dont ils sont apparentés. C'était comme essayer de lire un livre en regardant simplement la couleur du papier ; cela ne fonctionnait pas.

Cependant, les modèles d'IA généralistes (ceux entraînés sur la musique et la parole humaines) ont accompli quelque chose d'extraordinaire. Ils ont trouvé un signal fort. Lorsque les chercheurs ont examiné les baleines et les dauphins, l'IA a pu identifier que les espèces qui se sont séparées plus récemment se ressemblaient davantage, tandis que celles qui se sont séparées il y a longtemps sonnaient de façon très différente. En fait, pour la famille des baleines, la connexion était incroyamment forte.

Voici le rebondissement : les IA spécialistes (celles formées spécifiquement sur les oiseaux ou la bioacoustique) n'ont pas été meilleures que les généralistes. En fait, pour les oiseaux, les modèles à usage général étaient en réalité légèrement meilleurs pour trouver l'arbre généalogique que les modèles experts en oiseaux. L'article suggère que l'entraînement d'un modèle spécifiquement sur les animaux pourrait en fait le rendre moins efficace pour percevoir la grande image évolutive, peut-être parce qu'il se concentre trop sur des détails minuscules ou des étiquettes d'espèces spécifiques plutôt que sur la structure profonde du son.

Ce que l'IA a réellement entendu

Les chercheurs voulaient s'assurer que l'IA ne trichait pas en remarquant des choses simples, comme « les gros animaux ont des voix graves et les petits animaux ont des voix aiguës ». Ils ont effectué des tests spéciaux pour voir si l'IA écoutait simplement la hauteur tonale. La réponse est non. Même en supprimant la hauteur de l'équation, l'IA a toujours trouvé les connexions familiales.

Cela signifie que l'IA perçoit quelque chose de beaucoup plus subtil : le style de l'appel. C'est comme la façon dont vous pouvez reconnaître qu'un membre de votre famille parle, même s'il murmure ou crie, grâce à la manière dont il façonne ses mots, et non simplement par son volume. L'IA a appris l'« accent » de l'évolution.

Le malentendu : Quand le son ment

L'étude a également révélé des exceptions amusantes qui confirment la règle.

Les étrangers qui se ressemblent : Le phoque de l'Antarctique (Bearded Seal) et la baleine noire (Northern Right Whale) sont des cousins qui se sont séparés il y a 90 millions d'années. Ils devraient sonner de façon totalement différente. Pourtant, ils sonnent presque de la même manière ! L'IA a remarqué qu'ils se ressemblent, même s'ils sont des étrangers ancestraux. C'est probablement parce qu'ils vivent tous deux dans des environnements froids similaires et doivent produire des sons graves et vrombissants pour voyager dans l'eau.
Les cousins qui diffèrent : Le phoque léopard et le phoque Weddell sont des cousins très proches, séparés il y a seulement 10 millions d'années. On s'attendrait à ce qu'ils se ressemblent. Mais ils sonnent de façon complètement différente ! L'un produit des chants sous-marins complexes et musicaux, tandis que l'autre émet des grognements graves.

Ces exemples montrent que si l'évolution laisse une trace dans le son, l'environnement peut parfois forcer les animaux à changer de voix au point qu'ils sonnent comme des étrangers, ou si similaires qu'ils semblent être de la même famille.

L'essentiel à retenir

Cet article nous apprend que nous n'avons pas besoin de construire des ordinateurs spéciaux dédiés uniquement aux animaux pour comprendre l'histoire évolutive de leurs voix. Les modèles d'IA à usage général, entraînés sur les sons de notre monde humain, sont déjà incroyablement doués pour entendre l'« arbre généalogique » caché dans les appels animaux. Ils sont meilleurs que les anciens outils simples et, de manière surprenante, ils sont même meilleurs que les modèles construits spécifiquement pour les animaux.

Les chercheurs suggèrent que le secret ne réside pas dans l'entraînement de l'IA sur les animaux, mais dans la manière dont ces modèles généraux sont conçus pour comprendre les motifs complexes du son. Ils proposent que les expériences futures testent si cela est dû à la structure du « cerveau » de l'IA, à sa façon d'apprendre, ou à la vaste variété de sons sur lesquels elle a été entraînée. Mais pour l'instant, le message est clair : si vous voulez écouter l'histoire de la vie à travers un son, vous pourriez bien avoir besoin de demander à une IA généraliste de l'écouter pour vous.

Résumé technique : Signal phylogénétique dans les vocalisations de mammifères marins et d'oiseaux capturées par des modèles de fondation audio

Énoncé du problème
Une question fondamentale en bioacoustique comparative est de savoir si la similitude acoustique entre les espèces reflète leur histoire évolutive (signal phylogénétique). Bien que des études antérieures utilisant des caractéristiques spectrales artisanales (ex. : MFCC, entropie spectrale) aient détecté des signaux phylogénétiques modestes chez les oiseaux, les grenouilles et les poissons, on ignore encore si les modèles de fondation audio pré-entraînés à grande échelle — qui encodent des représentations acoustiques plus riches et de haute dimension — peuvent récupérer un signal phylogénétique plus fort. De plus, il n'est pas clair si un pré-entraînement spécifique au domaine (ex. : modèles entraînés spécifiquement sur la bioacoustique ou les espèces d'oiseaux) est nécessaire pour récupérer ce signal par rapport aux modèles audio à usage général.

Méthodologie
L'étude utilise des tests de Mantel pour corréler les matrices de distance acoustique avec les matrices de distance phylogénétique à travers deux radiations indépendantes : les mammifères marins et les oiseaux.

Jeux de données :
- Mammifères marins : 1 754 enregistrements de 32 espèces (Cétacés et Pinnipèdes) provenant de la base de données sonore de Watkins Marine Mammal Sound Database. Les distances phylogénétiques ont été dérivées des temps de divergence publiés (2 à 90 Ma).
- Oiseaux : 607 enregistrements de 20 espèces appartenant à sept ordres, provenant de xeno-canto. Les distances phylogénétiques sont basées sur la phylogénie calibrée dans le temps de Jetz et al. (2012).
Représentations audio : Quatre représentations ont été évaluées :
1. Base de référence MFCC : Caractéristiques artisanales (105 dimensions) incluant les MFCC, le chroma et les statistiques spectrales.
2. AST (Audio Spectrogram Transformer) : Un transformateur à usage général (768d) entraîné sur les étiquettes d'événages d'AudioSet.
3. CLAP (Contrastive Language-Audio Pretraining) : Un modèle à usage général (512d) entraîné sur des paires audio-texte via l'apprentissage contrastif.
4. BEATs-bio : Un encodeur spécialisé en bioacoustique (768d) affiné sur un large corpus bioacoustique.
5. BirdNET : Un classificateur spécifique aux oiseaux (1 024d) entraîné pour distinguer environ 6 000 espèces d'oiseaux (évalué uniquement sur les oiseaux).
Analyse :
- Les distances acoustiques ont été calculées comme des distances cosinus entre les centroïdes d'espèces normalisés en L2.
- Des tests de Mantel (9 999 permutations) ont évalué la corrélation entre les distances acoustiques et phylogénétiques.
- Contrôles :
  - Dimensionnalité : Les plongements (embeddings) ont été projetés dans l'espace de 105 dimensions des MFCC via l'ACP pour exclure la dimensionnalité comme facteur de confusion.
  - Fréquence dominante : Des tests de Mantel partiels ont contrôlé les distances de fréquence dominante.
  - Division taxonomique : Les analyses ont été répétées au sein du clade des cétacés (26 espèces) pour isoler la structure phylogénétique fine de la séparation profonde cétacé-pinnipède.
- Comparaison statistique : Des intervalles de confiance par bootstrap appariés ont été utilisés pour comparer la performance ( $\Delta r$ ) entre les modèles.

Résultats clés

Modèles de fondation vs MFCC : Les modèles de fondation à usage général (AST, CLAP, BEATs-bio) ont systématiquement récupéré un signal phylogénétique significatif, alors que les MFCC artisanaux ne montraient aucune corrélation significative dans l'ensemble du jeu de données des mammifères marins ( $r = 0,040, p = 0,338$ $r = 0, 040, p = 0, 338$ ).
- Pour les mammifères marins, les modèles de fondation ont atteint $r \approx 0,40$ ( $p < 0,001$ ).
- Pour les oiseaux, les modèles de fondation ont atteint $r \approx 0,52–0,55$ ( $p < 0,001$ ).
Pré-entraînement spécifique au domaine : Contrairement à l'hypothèse selon laquelle un entraînement spécialisé améliore la récupération du signal, les modèles spécifiques au domaine n'ont pas surpassé les modèles à usage général.
- Chez les oiseaux, BirdNET ( $r = 0,361$ ) et BEATs-bio ( $r = 0,318$ ) ont moins bien performé que les modèles à usage général AST ( $r = 0,549$ ) et CLAP ( $r = 0,521$ ), bien que les différences ne soient pas statistiquement significatives.
- Tous les modèles de fondation ont significativement surpassé les MFCC, mais aucun des deux modèles de fondation ne différait significativement des autres.
Caractéristiques du signal :
- Au sein des Cétacés : Le signal était exceptionnellement fort au sein du clade des cétacés ( $r \approx 0,74–0,82$ ), indiquant que les modèles capturent une structure évolutive fine.
- Indépendance vis-à-vis de la fréquence : La corrélation a persisté après contrôle de la fréquence dominante (conservant 97 % du $R^2$ pour les mammifères marins), suggérant que le signal n'est pas simplement un substitut de la taille corporelle ou de la hauteur tonale.
- Dimensionnalité : L'avantage des modèles de fondation sur les MFCC est resté même après avoir projeté les plongements à la même dimensionnalité, confirmant que le bénéfice n'est pas un artefact de la dimensionnalité plus élevée.
Convergence et divergence : Les modèles ont correctement identifié les cas extrêmes de convergence acoustique (ex. : Morse de l'Arctique et Baleine à bosse, divergence de 90 Ma, faible distance acoustique) et de divergence (ex. : Phoque léopard et Phoque Weddell, divergence de 10 Ma, forte distance acoustique), illustrant comment les pressions écologiques peuvent découpler la similitude acoustique de la phylogénie.

Signification et affirmations
L'article affirme que les modèles de fondation audio pré-entraînés encodent des informations évolutives à travers des radiations indépendantes, capturant des propriétés structurelles des vocalisations (telles que la structure de l'appel et la modulation temporelle) que les caractéristiques artisanales manquent.

Crucialement, les auteurs concluent que le pré-entraînement spécifique au domaine n'est ni nécessaire ni suffisant pour récupérer un signal phylogénétique fort. Les modèles à usage général entraînés sur des audios diversifiés et non biologiques (AudioSet, paires audio-texte du web) ont performé au moins aussi bien que, voire mieux que, les modèles spécialisés pour la bioacoustique ou la classification des oiseaux.

L'article postule que l'absence d'amélioration par les modèles spécifiques au domaine peut être due à :

Objectifs d'entraînement : La classification supervisée des espèces (comme BirdNET) peut provoquer un effondrement de la similitude graduelle requise pour l'analyse phylogénétique.
Architecture : Les transformateurs peuvent mieux capturer les structures spectro-temporelles à longue portée que les CNN (BirdNET).
Étendue des données : Les corpus d'entraînement spécialisés et étroits peuvent manquer de la richesse représentationnelle présente dans les ensembles de données audio généraux et vastes.

Les auteurs déclarent explicitement qu'ils ne peuvent pas démêler ces facteurs avec les modèles actuels et proposent une expérience de fine-tuning contrôlée (prendre un encodeur général et l'affiner sur la classification des espèces) comme prochaine étape nécessaire pour isoler la cause. Le point pratique à retenir est que, pour la bioacoustique comparative, les plongements audio à usage général sont un outil robuste, et qu'une étiquette « spécifique au domaine » ne confère pas automatiquement un avantage pour l'analyse phylogénétique.