🤖 machine learning

Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

Deze studie toont aan dat algemene vooraf getrainde audio-fundamentmodellen inherent diepe fylogenetische relaties coderen in de vocalisaties van zeezoogdieren en vogels, waarbij ze zowel handmatig vervaardigde kenmerken als domeinspecifieke modellen overtreffen zonder dat daarvoor taxon-specifieke pretraining vereist is.

Oorspronkelijke auteurs: Víctor Rincón Yepes

Gepubliceerd 2026-07-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Víctor Rincón Yepes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Klank van Stambomen

Stel je voor dat je door een gigantisch, luidruchtig bos loopt waar elk dier een unieke stem heeft. Sommigen tsjilpen, sommigen brullen en sommigen zingen complexe liederen. Al een lange tijd vragen wetenschappers zich af: als je goed luistert, kun je dan zien wie aan wie verwant is, puur op basis van hoe ze klinken? Deze vraag bevindt zich op het snijvlak van twee grote ideeën in de wetenschap. De eerste is evolutie, het verhaal van hoe soorten veranderen en uiteenlopen over miljoenen jaren, zoals takken die groeien aan een gigantische boom. De tweede is bioakoestiek, de studie van dierengeluiden.

Het grote mysterie is of de "stamboom" van een dier in zijn stem geschreven staat. Als twee soorten erg op elkaar lijken qua geluid, betekent dat dan dat ze nauwe neven zijn? Of zouden ze gewoon buren kunnen zijn die hebben geleerd om op dezelfde manier te schreeuwen? Om dit te beantwoorden, gebruikten wetenschappers vroeger eenvoudige instrumenten om geluid te meten, waarbij ze keken naar basiskenmerken zoals toonhoogte of de "textuur" van het geluid. Maar onlangs zijn computers veel slimmer geworden. We hebben nu "foundation models" — enorme AI-programma's die getraind zijn op miljoenen uren aan menselijke spraak, muziek en natuurgeluiden. Deze AI's kunnen geluid op een zeer diepe, complexe manier begrijpen, bijna als een menselijke luisteraar. De grote vraag die dit artikel stelt is: leren deze superintelligente computers, die nooit iets over dierlijke families hebben geleerd, per ongeluk evolutionaire relaties te herkennen door simpelweg naar de geluiden te luisteren?

De Studie: Luisteren naar de Stamboom

In dit onderzoek besloten onderzoekers te testen of deze moderne AI-"oren" de verborgen geschiedenis van dierlijke families konden horen. Ze keken naar twee zeer verschillende groepen dieren: 32 soorten zeezoogdieren (zoals walvissen, dolfijnen en zeehonden) en 20 soorten vogels.

Beschouw de AI-modellen als verschillende soorten detectives. De onderzoekers gaven ze een enorme bibliotheek aan opnames en vroegen hen te meten hoe "gelijk" de geluiden van verschillende soorten waren. Ze vergeleken deze geluids-gelijkenis-scores met de werkelijke "stamboom"-afstanden (hoeveel miljoenen jaren geleden twee soorten een gemeenschappelijke voorouder deelden).

Ze testten vier verschillende manieren om geluid te analyseren:

De Oude Manier (MFCC): Dit is als het gebruik van een basisliniaal om geluid te meten. Het kijkt naar eenvoudige, handmatige kenmerken.
De Algemene AI (AST & CLAP): Dit zijn enorme, algemene AI-modellen getraind op alles van automotoren tot popliedjes. Ze waren helemaal niet getraind in dieren.
De Specialistische AI (BEATs-bio & BirdNET): Dit zijn modellen die specifiek zijn getraind op dierengeluiden of vogelzangen, in de hoop dat ze beter zouden zijn in het opsporen van familieverbanden.

De Grote Verrassing: De Generalisten Wonnen

De resultaten waren een beetje een schok. De "Oude Manier" (de basisliniaal) vond nauwelijks een verband tussen hoe dieren klinken en hoe ze aan elkaar verwant zijn. Het was alsof je een boek probeert te lezen door naar de kleur van het papier te kijken; het werkte gewoon niet.

Echter, de Algemene AI-modellen (de modellen getraind op menselijke muziek en spraak) deden iets verbazingweends. Ze vonden een sterk signaal. Wanneer de onderzoekers naar walvissen en dolfijnen keken, kon de AI zien dat soorten die recenter uit elkaar zijn gegaan, meer op elkaar leken, en dat soorten die lang geleden uit elkaar zijn gegaan, heel verschillend klonken. Sterker nog, voor de walvisfamilie was de connectie ongelooflijk sterk.

Hier komt de twist: de Specialistische AI's (de modellen die specifiek op vogels of bioakoestiek zijn getraind) deden het niet beter dan de algemene modellen. Sterker nog, voor de vogels waren de algemene modellen zelfs iets beter in het vinden van de stamboom dan de vogel-expertmodellen. Het artikel suggereert dat het trainen van een model specifiek op dieren het juist slechter kan maken in het zien van het grote evolutionaire plaatje, misschien omdat het te gefocust raakt op kleine details of specifieke soortlabels in plaats van de diepere structuur van het geluid.

Wat de AI Eigenlijk Hoorde

De onderzoekers wilden er zeker van zijn dat de AI niet simpelweg aan het bedriegen was door eenvoudige dingen op te merken, zoals "grote dieren hebben lage stemmen en kleine dieren hebben hoge stemmen." Ze voerden speciale tests uit om te zien of de AI alleen naar de toonhoogte luisterde. Het antwoord was nee. Zelfs toen ze de toonhoogte uit de vergelijking haalden, vond de AI nog steeds de familieverbindingen.

Dit betekent dat de AI iets veel subtielers oppikt: de stijl van de roep. Het is zoals hoe je kunt horen dat een familielid aan het praten is, zelfs als ze fluisteren of schreeuwen, vanwege hoe ze hun woorden vormen, en niet alleen door hoe hard ze zijn. De AI leerde het "accent" van de evolutie.

De Verwarring: Wanneer Geluid Liegt

De studie vond ook enkele grappige uitzonderingen die de regel bevestigen.

De Gelijkaardige Vreemden: De Beardoogzeehond en de Noordelijke Rechtse Walvis zijn neven die 90 miljoen jaar geleden uit elkaar zijn gegaan. Ze zouden totaal verschillend moeten klinken. Maar ze klinken bijna identiek! De AI merkte op dat ze hetzelfde klinken, ook al zijn het oude vreemden. Dit komt waarschijnlijk doordat ze beide in vergelijkbare koude omgevingen leven en lage, brommende geluiden moeten maken om door het water te reizen.
De Verschillende Neven: De Luipaardzeehond en de Weddellzeehond zijn zeer nauwe neven, die pas 10 miljoen jaar geleden uit elkaar gingen. Je zou verwachten dat ze qua geluid op elkaar lijken. Maar ze klinken volkomen verschillend! De één maakt complexe, muzikale onderwaterliederen, terwijl de ander lage gegrommen maakt.

Deze voorbeelden laten zien dat hoewel evolutie een spoor achterlaat in geluid, de omgeving dieren soms kan dwingen om hun stem zo sterk te veranderen dat ze als vreemden klinken, of zo vergelijkbaar dat ze als familie klinken.

De Kern van de Zaak

Dit artikel vertelt ons dat we geen speciale, alleen op dieren gerichte computers nodig hebben om de evolutionaire geschiedenis van dierlijke stemmen te begrijpen. De algemene AI-modellen, getraind op de geluiden van onze menselijke wereld, zijn al ongelooflijk goed in het horen van de "stamboom" die verborgen zit in dierlijke roepen. Ze zijn beter dan de oude, eenvoudige instrumenten, en verrassend genoeg zelfs beter dan de modellen die specifiek voor dieren zijn gebouwd.

De onderzoekers suggereren dat het geheim niet ligt in het trainen van de AI op dieren, maar in de manier waarop deze algemene modellen zijn gebouwd om de complexe patronen van geluid te begrijpen. Ze stellen voor dat toekomstige experimenten moeten testen of dit komt door de hersenstructuur van de AI, de manier waarop deze leert, of de enorme variëteit aan geluiden waarop het getraind is. Maar voor nu is de boodschap duidelijk: als je de geschiedenis van het leven in een geluid wilt horen, moet je misschien gewoon een algemene AI vragen om voor je te luisteren.

Technische Samenvatting: Fylogenetisch Signaal in Marine Mammal en Vogel Vocalisaties Gevangen door Audio Foundation Models

Probleemstelling
Een fundamentele vraag in de vergelijkende bioakoestiek is of akoestische gelijkenis tussen soorten de evolutionaire geschiedenis weerspiegelt (fylogenetisch signaal). Hoewel eerdere studies met handmatig ontworpen spectrale kenmerken (bijv. MFCC's, spectrale entropie) matige fylogenetische signalen hebben gedetecteerd bij vogels, kikkers en vissen, blijft het onbekend of grootschalige, vooraf getrainde audio foundation models—die rijkere, hoogdimensionale akoestische representaties coderen—een sterker fylogenetisch structuur kunnen herstellen. Bovendien is het onduidelijk of domeinspecifieke pretraining (bijv. modellen die specifiek zijn getraind op bioakoestiek of vogelsoorten) noodzakelijk is om dit signaal te herstellen vergeleken met algemene audio-modellen.

Methodologie
De studie maakt gebruik van Mantel-tests om akoestische afstandmatrices te correleren met fylogenetische afstandmatrices over twee onafhankelijke radiaties: mariene zoogdieren en vogels.

Datasets:
- Mariene Zoogdieren: 1.754 opnames van 32 soorten (Cetacea en Pinnipedia) uit de Watkins Marine Mammal Sound Database. Fylogenetische afstanden werden afgeleid van gepubliceerde divergentietijden (2–90 Myr).
- Vogels: 607 opnames van 20 soorten uit zeven ordes, afkomstig van xeno-canto. Fylogenetische afstanden waren gebaseerd op de tijdgekalibreerde fylogenie van Jetz et al. (2012).
Audio Representaties: Vier representaties werden geëvalueerd:
1. MFCC Baseline: Handmatig ontworagen kenmerken (105 dimensies) inclusief MFCC's, chroma en spectrale statistieken.
2. AST (Audio Spectrogram Transformer): Een algemeen doel transformer (768d) getraind op AudioSet event-tags.
3. CLAP (Contrastive Language-Audio Pretraining): Een algemeen doel model (512d) getraind op audio-tekst paren via contrastief leren.
4. BEATs-bio: Een bioakoestisch gespecialiseerde encoder (768d) die is gefinetuned op een grote bioakoestische corpus.
5. BirdNET: Een vogelspecifieke classifier (1.024d) getraind om ongeveer 6.000 vogelsoorten te onderscheiden (alleen geëvalueerd op vogels).
Analyse:
- Akoestische afstanden werden berekend als cosinusafstanden tussen L2-genormaliseerde soort-centroiden.
- Mantel-tests (9.999 permutaties) beoordeelden de correlatie tussen akoestische en fylogenetische afstanden.
- Controles:
  - Dimensionaliteit: Embeddings werden via PCA geprojecteerd naar de 105-dimensionale MFCC-ruimte om uit te sluiten dat dimensionaliteit een confounder is.
  - Dominante Frequentie: Partiële Mantel-tests controleerden voor dominante frequentie-afstanden.
  - Taxonomische Split: Analyses werden herhaald binnen de cetacean-clade (26 soorten) om fijnmazige fylogenetische structuur te isoleren van de diepe cetacean-pinniped split.
- Statistische Vergelijking: Gepaarde bootstrap betrouwbaarheidsintervallen werden gebruikt om de prestaties ( $\Delta r$ ) tussen modellen te vergelijken.

Belangrijkste Resultaten

Foundation Models vs. MFCC: Algemene foundation models (AST, CLAP, BEATs-bio) herstelden consistent een significant fylogenetisch signaal, terwijl handmatig ontworagen MFCC's geen significante correlatie vertoonden in de volledige mariene zoogdierdataset ( $r = 0,040, p = 0,338$ $r = 0, 040, p = 0, 338$ ).
- In mariene zoogdieren bereikten foundation models $r \approx 0,40$ ( $p < 0,001$ ).
- In vogels bereikten foundation models $r \approx 0,52–0,55$ ( $p < 0,001$ ).
Domeinspecifieke Pretraining: Tegen de hypothese in dat gespecialiseerde training de signaalherstel verbeterde, presteerden domeinspecifieke modellen niet beter dan algemene modellen.
- Bij vogels presteerden BirdNET ( $r = 0,361$ ) en BEATs-bio ( $r = 0,318$ ) slechter dan de algemene AST ( $r = 0,549$ ) en CLAP ( $r = 0,521$ ), hoewel de verschillen niet statistisch significant waren.
- Alle foundation models presteerden significant beter dan MFCC's, maar geen twee foundation models verschilden significant van elkaar.
Signaalkenmerken:
- Binnen Cetaceans: Het signaal was uitzonderlijk sterk binnen de cetacean-clade ( $r \approx 0,74–0,82$ ), wat aangeeft dat de modellen fijnmazige evolutionaire structuur vastleggen.
- Frequentie-onafhankelijkheid: De correlatie bleef bestaan na controle voor dominante frequentie (behoud van 97% van de $R^2$ in mariene zoogdieren), wat suggereert dat het signaal niet louter een proxy is voor lichaamsgrootte of toonhoogte.
- Dimensionaliteit: Het voordeel van foundation models ten opzichte van MFCC's bleef bestaan zelfs na projectie van de embeddings naar dezelfde dimensionaliteit, wat bevestigt dat het voordeel geen artefact is van een hogere dimensionaliteit.
Convergentie en Divergentie: De modellen identificeerden correct extreme akoestische convergentie (bijv. Bearded Seal en Northern Right Whale, 90 Myr divergentie, lage akoestische afstand) en divergentie (bijv. Leopard Seal en Weddell Seal, 10 Myr divergentie, hoge akoestische afstand), wat illustreert hoe ecologische druk de akoestische gelijkenis van de fylogenie kan ontkoppelen.

Betekenis en Claims
Het artikel claimt dat vooraf getrainde audio foundation models evolutionaire informatie coderen over onafhankelijke radiaties, waarbij ze structurele eigenschappen van vocalisaties (zoals oproepstructuur en temporele modulatie) vastleggen die handmatig ontworagen kenmerken missen.

Cruciaal is dat de auteurs concluderen dat domeinspecifieke pretraining noch noodzakelijk, noch voldoende is voor het herstellen van een sterk fylogenetisch signaal. Algemene modellen getraind op diverse, niet-biologische audio (AudioSet, web audio-tekst paren) presteerden minstens even goed als, en in het geval van vogels zelfs beter dan, modellen die gespecialiseerd zijn in bioakoestiek of vogelclassificatie.

Het artikel stelt dat het gebrek aan verbetering door domeinspecifieke modellen mogelijk te wijten is aan:

Trainingsdoelstellingen: Gesuperviseerde soortclassificatie (zoals bij BirdNET) kan de graduele gelijkenis die vereist is voor fylogenetische analyse doen instorten.
Architectuur: Transformers kunnen spectro-temporele structuren op lange termijn beter vastleggen dan CNN's (BirdNET).
Data-breedte: Nauwe, gespecialiseerde trainingscorpora kunnen een gebrek aan de representationele rijkdom hebben die aanwezig is in bredere, algemene audio-datasets.

De auteurs stellen expliciet dat zij deze factoren met de huidige modellen niet kunnen ontrafelen en stellen een gecontroleerd fine-tuning experiment voor (waarbij een algemene encoder wordt genomen en gefinetuned op soortclassificatie) als de noodzakelijke volgende stap om de oorzaak te isoleren. De praktische les is dat voor vergelijkende bioakoestiek, algemene audio embeddings een robuust instrument zijn, en dat een "domeinspecifiek" label niet automatisch een voordeel biedt voor fylogenetische analyse.