A Self-Supervised Approach for Minimal-Annotation Hydroacoustic Data Exploration

Technische Samenvatting: Een zelfgesuperviseerde aanpak voor exploratie van hydroakoestische data met minimale annotatie

Probleemstelling
Passieve hydroakoestische monitoring genereert enorme volumes aan continue laagfrequente opnames, maar slechts een fractie daarvan wordt geëxploreerd vanwege de hoge kosten van handmatige annotatie. Bestaande methodologieën kampen met een trade-off: handmatige annotatie is tijdrovend en gebruikersafhankelijk, terwijl gesuperviseerde automatische detectoren grote gelabelde datasets vereisen die zelden beschikbaar zijn voor zeldzame signalen of onderzochte omgevingen. Bovendien vertrouwen traditionele geautomatiseerde paradigma's (zowel gesuperviseerd als ongesuperviseerd) vaak op voorkennis om specifieerbare, gestructureerde signalen te targeten, wat de exploratie beperkt tot vooraf gedefinieerde doelen en de ontdekking van onbekende hydroakoestische gebeurtenissen belemmert.

Methodologie
De auteurs stellen een zelfgesuperviseerde exploratiepijplijn voor die is ontworpen om terugkerende hydroakoestische patronen te identificeren met minimale handmatische annotatie. De workflow bestaat uit vier hoofdfasen:

1. Masked AutoEncoder (MAE) Pre-training:

   • Een Vision Transformer (ViT) wordt getraind binnen een Masked AutoEncoder-framework op een grote, diverse dataset van laagfrequente hydroakoestische spectrogrammen (samengesteld uit Indische Oceaan-netwerken, 2009–2024).
   • Het model leert gemaskeerde delen van spectrogrammen te reconstrueren, wat het dwingt de onderliggende structuur van akoestische omgevingen (bijv. stereotiepe roepen van zeezoogdieren) te leren.
   • De architectuur gebruikt een lichtgewicht ViT-encoder (16 lagen) en decoder (6 lagen) aangepast voor enkelkanaals grijswaartrespectrogrammen.

2. In-domain specialisatie:

   • Het voorgetrainde model wordt gefinetuned op een kleinere doelgerichte dataset (MAHY*2, nabij het eiland Mayotte) om te specialiseren in de specifieke akoestische kenmerken van de doelomgeving.

3. Extractie en ontwarring op event-niveau:

   • In tegen tegenstelling tot methoden die een enkel embedding-venster per spectrogramvenster genereren, extraheert deze pijplijn patch-level embeddings uit de MAE-encoder.
   • Patch-verwijdering: "Lege" patches (lage energie of lage activatie) worden weggefilterd om achtergrondruis te verwijderen.
   • Clustering op spectrogramniveau: Resterende aangrenzende patches worden samengevoegd tot "events" op basis van de Chebyshev-afstand (samenvoegen als ze gescheiden zijn door $\le$ 2 patches). Deze stap ontwart overlappende bronnen binnen een enkel tijdsvenster.
   • Een representatieve embedding-vector wordt geselecteerd voor elk event (de patch die het dichtst bij het gemiddelde van de embeddings van het event ligt).

4. Dataset-brede clustering en mapping:

   • Event-level embeddings worden op dataset-schaal geclusterd. Twee strategieën worden vergeleken:
     • MAE-K-Means: K-Means gevolgd door agglomeratieve hiërarchische clustering.
     • MAE-UMAP: Dimensionaliteitsreductie via UMAP gevolgd door HDBSCAN.
   • Cluster-naar-klasse mapping: Een fase van lichte handmatige inspectie (ongeveer 1 uur) koppelt de resulterende clusters aan semantische klassen (bijv. specifieke walvissoorten, seismische fasen of ruis) op basis van de visuele gelijkenis van representatieve spectrogrammen.

Belangrijkste bijdragen

• Adaptatie van MAE: Succesvolle adaptatie van het Masked AutoEncoder-framework naar laagfrequente hydroakoestische spectrogrammen voor patch-level representatieleer.
• Ontwarring op event-niveau: Introductie van een strategie om aangrenzende patches binnen individuele spectrogrammen te clusteren vóór de dataset-brede clustering, wat de uitdaging van overlappende bronnen aanpakt die gebruikelijk zijn in laagfrequente data.
• Minimal-Annotation Pijplijn: Validatie van een praktische pijplijn op een meerjarige dataset die biologische, geofysische en antropogene signalen bevat, waarbij slechts beperkte handmatige inspectie nodig is om interpreteerbare resultaten te genereren.

Resultaten
De pijplijn werd geëvalueerd op de MAHY*2-dataset, die de stemmen van zeezoogdieren (bijv. Antarcticaanse blauwe walvissen, vinvissen), seismo-volcanische signalen en antropogene ruis bevat.

• Clustering: De methode identificeerde 317 clusters. Handmatige mapping groepeerde deze in 15 hydroakoestische klassen (of ruis) in minder dan één uur.
• Temporele patronen: De clustering reconstrueerde succesvol bekende seizoenspatronen voor zeezoogdieren (bijv. bi-annuele pieken voor de Zuidwestelijke Indische Oceaan pygmee blauwe walvis) en het temporele verval van seismische sequenties. Het identificeerde ook patronen voor voorheen onbestudeerde signalen (bijv. "Und. 42 Hz" en "LF 8 sec pulse").
• Classificatieprestaties: Wanneer gebruikt als classifier (door event-detecties te aggregeren tot uurlijkse aanwezigheid/afwezigheid scores), bereikte de methode prestaties die vergelijkbaar zijn met twee bestaande detectoren: een periodiciteitsgebaseerde detector (Dréo et al., 2025) en een gesuperviseerde YOLO-gebaseerde objectdetector (BioDCASE baseline).
  • De MAE-K-Means benadering presteerde over het algemeen beter dan MAE-UMAP en geablateerde varianten (bijv. het middelen van embeddings of het selecteren van max-norm patches).
  • Er werd vastgesteld dat pre-training cruciaal is voor optimale clusteringnauwkeurigheid, hoewel het model nog steeds kon functioneren zonder pre-training voor specifieke klassen.

Betekenis en Claims
Het artikel beweert dat deze zelfgesuperviseerde, event-level clusteringstrategie een algemene methodologie biedt voor het verkennen van grote hydroakoestische datasets met minimale annotatie-inspanning. De primaire betekenis ligt in het vermogen om:

1. Benaderende Detectie: Benaderende detectoren te construeren voor bekende signalen zonder dat grote gelabelde trainingssets nodig zijn.
2. Onbekenden Ontdekken: Onbekende of slecht gedocumenteerde terugkerende akoestische patronen te identificeren en te karakteriseren, zonder te vertrouwen op voorkennis van de signalen.
3. Schaalbaarheid: Het snel construeren van langetermijnactiviteitstijdreeksen uit onverkende archieven mogelijk maken, wat de extractie van eerstelijnsinformatie uit passieve hydroakoestische monitoringsnetwerken faciliteert.

De auteurs benadrukken dat hoewel de nauwkeurigheid van de per-window classificatie imperfect kan zijn, de geaggregeerde cluster-opkomsten betrouwbare schattingen geven van seizoensgebonden hydroakoestische activiteit, waardoor de methode een waardevol instrument is voor exploratieve analyse waar gelabelde data schaars is.