Technische Samenvatting: Semi-gestuurd Sound Event Detection met Conditionele Mixup en Embedding-niveau Contrastieve Loss

Probleemstelling

Sound Event Detection (SED) is een cruciaal onderdeel van akoestische omgevingsanalyse, maar staat voor aanzienlijke uitdagingen door het tekort aan gelabelde data op frame-niveau. Recente ontwikkelingen maken gebruik van grootschalige voorgetrainde audio foundation-modellen (bijv. ATST-Frame, BEATs, AST) om robuuste representaties te bieden, maar het effectief finetunen van deze modellen blijft moeilijk. Bestaande semi-gestuurde benaderingen vertrouwen vaak op consistentie-regularisatie (bijv. Mean Teacher) en pseudo-labeling. Deze methoden kunnen echter ontoereikend zijn voor grote voorgetrainde encoders, omdat consistentie-objectieven vaak zwakker zijn dan de oorspronkelijke zelf-gesuperviseerde pretraining-taken. Bovendien bestaat er een specifieke technische mismatch bij de toepassing van Mixup:

• Pseudo-label leren behandelt Mixup als compositie, waarbij gemengde samples de inhoud van beide bronclips behouden.
• Contrastief leren behandelt Mixup als perturbatie (verstoring), waarbij het hulp-sample dient om enkel de input te verstoren.
  Huidige frameworks worstelen met het verenigen van deze tegenstrijdige visies binnen een enkel semi-gestuurd pipeline.

Methodologie

Het voorgestelde werk, ATST-SEDv2, breidt de ATST-SED baseline uit door een embedding-niveau zelf-gesuperviseerd contrastief objectief te integreren in het semi-gestuurde fine-tuning framework. De architectuur bestaat uit een ATST-SED encoder (die een CRNN en een voorgetraind ATST-Frame model combineert) en een niet-lineaire SED-classifier.

1. Conditionele Mixup

Om de semantische mismatch tussen de compositie- en perturbatievisies van Mixup op te lossen, stellen de auteurs Conditionele Mixup voor. De interpolatiecoëfficiënt $\lambda$ (getrokken uit een Beta-distributie) bepaalt de mixup-modus op basis van een drempelwaarde $\tau$:

• Compositiemodus ($0.5 \le \lambda \le \tau$): Het hulp-signaal wordt behandeld als gelijktijdig voorkomend met de input. Het gemengde sample wordt gevormd door lineaire interpolatie, maar het doel-label is de logische OF van de bronlabels (voor supervised) of de som van pseudo-labels (geclamped op 1 voor semi-supervised).
• Pertubatiemodus ($\tau < \lambda \le 1$): Het hulp-signaal wordt behandeld als een perturbatie. Het gemengde sample wordt vergelijkbaar gevormd, maar het doel-label blijft dat van het oorspronkelijke input-sample.

2. Loss Functies

Het trainingsdoel combineert drie componenten:

• Supervised Loss: Binary Cross-Entropy (BCE) op gelabelde data.
• Pseudo-Label Loss: Een verenigde loss ($L_{cp-psd}$) die de passende loss-functie toepast op basis van de conditionele Mixup-modus (compositie of perturbatie). Dit omvat ook de Mean Teacher loss voor niet-geaugmenteerde data.
• Embedding-Level Contrastive Loss ($L_{con}$): Geïnspireerd door ATST-Frame pretraining, brengt deze loss de embeddings van geaugmenteerde views in lijn.
  • Voor Perturbatie-paren maximaliseert het objectief de gelijkenis tussen de input en de verstoorde view.
  • Voor Compositie-paren maximaliseert het de gelijkenis tussen de gemengde view en het gemiddelde van de teacher-embeddings van beide bron-samples.
  • Een projector en predictor worden tijdens de training aan de encoder toegevoegd om dit contrastieve leren te faciliteren en representatie-instorting te voorkomen.

De totale loss is een gewogen som van BCE, pseudo-label losses en de contrastieve loss.

Belangrijkste Bijdragen

1. Conditionele Mixup: Een nieuwe strategie die de compositie- en perturbatie-Mixup verenigt binnen een enkel semi-gestuurd framework door de semantische visie dynamisch te selecteren op basis van de interpolatiecoëfficiënt.
2. Verenigd Loss Design: Het ontwerp van de bijbehorende pseudo-label en embedding-niveau contrastieve losses, waardoor beslissings-niveau supervisie en embedding-niveau supervisie elkaar tijdens fine-tuning kunnen aanvullen.
3. State-of-the-Art Prestaties: De methode bereikt nieuwe beste resultaten op de DESED validatieset zonder de inferentie-architectuur te wijzigen.

Experimentele Resultaten

Experimenten werden uitgevoerd op de DESED dataset, gebruikmakend van sterk gelabelde, zwak gelabelde en ongelabelde data.

• Baseline Vergelijking: De voorgestelde methode (ATST-SEDv2) verbeterde de baseline ATST-SED (zonder de voorgestelde methode) van 0.583 naar 0.607 in PSDS1 en van 0.810 naar 0.817 in PSDS2.
• Lichtgewicht Modellen: Wanneer toegepast op een CRNN baseline, leverde de methode eveneens verbeteringen op (PSDS1: 0.384 $\to$ 0.403), wat de effectiviteit over verschillende modelcapaciteiten aantoont.
• Ablatie-studies:
  • Het gebruik van enkel de contrastieve loss verbeterde de prestaties ten opzichte van de frozen stage-1 model, maar was minder effectief dan de combinatie met pseudo-label losses.
  • Zowel de compositie-als de perturbatie-alleen takken waren individueel effectief, maar de combinatie van alle componenten leverde de beste resultaten op.
• State-of-the-Art (SOTA): Met cSEBB post-processing bereikte ATST-SEDv2 0.645 PSDS1 en 0.822 PSDS2, waarmee het eerdere SOTA-methoden zoals ATST-SED, MAT-SED en PMAMiter2 overtrof.

Betekenis

Het artikel stelt dat de voorgestelde aanpak effectief ongelabelde data benut door de semantische mismatch in Mixup-strategieën aan te pakken. Door een embedding-niveau contrastief objectief naast pseudo-labeling te introduceren, verbetert de methode de semi-gestuurde fine-tuning van zowel lichtgewicht als op pretrained-modellen gebaseerde SED-modellen. De resultaten vestigen een nieuwe state-of-the-art op de DESED benchmark, en tonen aan dat beslissings-niveau en embedding-niveau supervisie succesvol geïntegreerd kunnen worden om de temporele stabiliteit en tagging-nauwkeurigheid in complexe polyfone audioscènes te verbeteren.