⚡ electrical engineering

Semi-Supervised Sound Event Detection with Conditional Mixup and Embedding-Level Contrastive Loss

Este artigo propõe um framework de detecção de eventos sonoros semissupervisionado que integra o mixup condicional com perda contrastiva em nível de embedding para aproveitar efetivamente dados não rotulados abundantes, alcançando o estado da arte no conjunto de dados DESED.

Autores originais: Nian Shao, Xian Li, Xiaofei Li

Publicado 2026-06-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nian Shao, Xian Li, Xiaofei Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reconhecer diferentes sons em uma cozinha movimentada: o zumbido de um liquidificador, um cachorro latindo ou água correndo. Essa tarefa é chamada de Detecção de Eventos Sonoros (SED - Sound Event Detection).

O problema é que ensinar um robô dessa maneira é como tentar ensinar uma criança a falar mostrando apenas alguns cartões ilustrados. Você tem muitas gravações de sons de cozinha (dados não rotulados), mas possui apenas um número minúsculo de gravações onde alguém escreveu cuidadosamente exatamente quando o liquidificador começou e parou (dados rotulados). Sem essas notas precisas, o robô fica confuso.

Este artigo apresenta uma nova maneira de treinar o robô usando tanto esses poucos exemplos de "tomada de notas" quanto a montanha de exemplos "sem notas". Veja como eles fizeram isso, explicado de forma simples:

1. O Ponto de Partida: O "Professor" e o "Aluno"

Os pesquisadores começaram com um robô inteligente que já havia aprendido muito sobre som de uma biblioteca massiva de áudio (um modelo pré-treinado chamado ATST-Frame). Pense neste robô como um Aluno que já é bom em ouvir, mas precisa aprender a identificar eventos específicos.

Para ensinar o Aluno usando as gravações "sem notas", eles usaram um Professor. O Professor é uma cópia do Aluno que é ligeiramente mais estável. O Professor adivinha quais sons estão nas gravações não rotuladas, e o Aluno tenta corresponder a esses palpites. Isso é chamado de "pseudo-rotulagem" (pseudo-labeling).

2. O Problema: Misturando os Ingredientes Errado

Para tornar o treinamento ainda melhor, os pesquisadores usaram uma técnica chamada Mixup. Imagine que você tem dois clipes de áudio: um de um cachorro latindo e outro de um liquidificador.

O Jeito Antigo: Eles misturavam esses dois sons.
- Se misturassem 50/50, diziam ao robô: "Este é um novo som onde um cachorro e um liquidificador estão acontecendo ao mesmo tempo". (Isso é Composição).
- Se misturassem 90/10 (mais cachorro, um pouquinho de liquidificador), diziam ao robô: "Isto é apenas um cachorro, mas o liquidificador é apenas um pouco de ruído de fundo". (Isso é Perturbação).

O problema era que o antigo sistema de treinamento usava a mesma regra de mistura para tudo. Mas o "Professor" (pseudo-rotulagem) precisava da mistura 50/50 para aprender sobre eventos que ocorrem simultaneamente, enquanto o "Auto-Checagem" (aprendizado contrastivo) precisava da mistura 90/10 para aprender que o som não deve mudar muito. Usar a mistura errada confundia o robô.

3. A Solução: "Mixup Condicional"

Os autores inventaram um interruptor inteligente chamado Mixup Condicional.

O Interruptor: Eles observam a proporção de mistura (o valor "lambda").
Se a mistura for equilibrada (50/50): O sistema trata como Composição. Ele diz ao robô: "Ei, ambos os sons são reais aqui! Aprenda a detectá-los juntos".
Se a mistura for desequilibrada (90/10): O sistema trata como Perturbação. Ele diz ao robô: "O som principal ainda é o cachorro; o liquidificador é apenas um pequeno erro".

Ao usar este interruptor, o robô recebe a instrução correğta para cada clipe de áudio misturado.

4. O Ingrediente Secreto: "Perda Contrastiva em Nível de Embedding"

Normalmente, os robôs são ensinados a corresponder à sua resposta final (ex: "É um cachorro? Sim/Não"). Este artigo adiciona uma segunda camada de treinamento que acontece dentro do cérebro do robô (nos "embeddings").

Pense nisso desta forma:

Treinamento Padrão: O professor diz: "Aquele é um cachorro".
Novo Treinamento Contrastivo: O professor diz: "Mesmo que você adicione um pouco de ruído de liquidificador ao latido do cachorro, a sensação do som no seu cérebro ainda deve parecer um cachorro".

Isso força o robô a construir uma compreensão interna muito forte do que um "som de cachorro" realmente é, independentemente de ruídos de fundo menores. Isso ajuda o robô a usar os dados não rotulados de forma muito mais eficaz.

Os Resultados

Ao combinar essas duas ideias — Mixup Condicional (o interruptor inteligente) e Aprendizado Contrastivo de Embedding (a checagem da sensação interna) — o robô tornou-se muito melhor em sua tarefa.

No teste padrão (o conjunto de validação DESED), este novo sistema (chamado ATST-SEDv2) alcançou as pontuações mais altas já registradas para esta tarefa específica:

0.645 em uma pontuação chamada PSDS1 (medindo o quão estável e preciso é o tempo).
0.822 em uma pontuação chamada PSDS2 (medindo o quão bem ele identifica os tipos de sons).

Em resumo, o artigo não apenas deu ao robô mais dados; ele ensinou o robô a interpretar esses dados de forma mais inteligente, usando a "receita de mistura" certa para cada situação.

Resumo Técnico: Detecção de Eventos Sonoros Semisupervisionada com Mixup Condicional e Perda Contrastiva em Nível de Embedding

Declaração do Problema

A Detecção de Eventos Sonoros (SED) é um componente crítico da análise de ambiente acústico, mas enfrenta desafios significativos devido à escassez de dados rotulados em nível de quadro (frame-level). Avanços recentes utilizam modelos de fundação de áudio pré-treinados em larga escala (ex: ATST-Frame, BEATs, AST) para fornecer representações robustas, porém o ajuste fino (fine-tuning) desses modelos de forma eficaz permanece difícil. Abordagens semisupervisionadas existentes frequentemente dependem de regularização de consistência (ex: Mean Teacher) e rotulagem pseudo (pseudo-labeling). No entanto, esses métodos podem ser insuficientes para codificadores pré-treinados de grande porte, pois os objetivos de consistência são frequentemente mais fracos do que as tarefas originais de pré-treinamento autossupervisionado. Além disso, existe um descompasso técnico específico na aplicação do Mixup:

Aprendizado de pseudo-rótulos (Pseudo-label learning) trata o Mixup como composição, onde as amostras misturadas preservam o conteúdo de ambos os clipes de origem.
Aprendizado contrastivo (Contrastive learning) trata o Mixup como perturbação, onde a amostra auxiliar serve apenas para perturbar a entrada.
Os frameworks atuais lutam para unificar essas visões conflitantes dentro de um único pipeline semisupervisionado.

Metodologia

O trabalho proposto, ATST-SEDv2, estende a linha de base ATST-SED integrando um objetivo contrastivo autossupervisionado em nível de embedding ao framework de ajuste fino semisupervisionado. A arquitetura consiste em um codificador ATST-SED (combinando um CRNN e um modelo ATST-Frame pré-treinado) e um classificador SED não linear.

1. Mixup Condicional

Para resolver o descompasso semântico entre as visões de composição e perturbação do Mixup, os autores propõem o Mixup Condicional. O coeficiente de interpolação $\lambda$ (extraído de uma distribuição Beta) determina o modo de mixup com base em um limiar $\tau$ :

Modo de Composição ( $0.5 \le \lambda \le \tau$ ): O sinal auxiliar é tratado como coexistente com a entrada. A amostra misturada é formada por interpolação linear, mas o rótulo alvo é o OR lógico dos rótulos de origem (para supervisão) ou a soma dos pseudo-rótulos (limitada em 1 para semisupervisionado).
Modo de Perturbação ( $\tau < \lambda \le 1$ ): O sinal auxiliar é tratado como uma perturbação. A amostra misturada é formada de forma semelhante, mas o rótulo alvo permanece o da amostra de entrada original.

2. Funções de Perda (Loss Functions)

O objetivo de treinamento combina três componentes:

Perda Supervisionada: Entropia Cruzada Binária (BCE) nos dados rotulados.
Perda de Pseudo-Rótulo: Uma perda unificada ( $L_{cp-psd}$ ) que aplica a função de perda apropriada com base no modo de Mixup condicional (composição ou perturbação). Isso inclui a perda Mean Teacher para dados não aumentados.
Perda Contrastiva em Nível de Embedding ( $L_{con}$ ): Inspirada no pré-treinamento ATST-Frame, esta perda alinha os embeddings das visões aumentadas.
- Para pares de Perturbação, o objetivo maximiza a similaridade entre a entrada e a visão perturbada.
- Para pares de Composição, o objetivo maximiza a similaridade entre a visão misturada e a média dos embeddings do professor (teacher) de ambas as amostras de origem.
  Um projetor e um preditor são anexados ao codificador durante o treinamento para facilitar esse aprendizado contrastivo, evitando o colapso de representação.

A perda total é uma soma ponderada de BCE, perdas de pseudo-rótulo e a perda contrastiva.

Principais Contribuições

Mixup Condicional: Uma estratégia inovadora que unifica o Mixup de composição e perturbação dentro de um único framework semisupervisionado, selecionando dinamicamente a visão semântica com base no coeficiente de interpolação.
Design de Perda Unificado: O design das perdas de pseudo-rótulo e de contraste em nível de embedding correspondentes, que permitem que a supervisão de nível de decisão e a supervisão de nível de embedding se complementem durante o ajuste fino.
Desempenho de Estado da Arte (SOTA): O método alcança novos melhores resultados no conjunto de validação DESED sem alterar a arquitetura de inferência.

Resultados Experimentais

Experimentos foram conduzidos no dataset DESED, utilizando dados fortemente rotulados, fracamente rotulados e não rotulados.

Comparação com a Linha de Base (Baseline): O método proposto (ATST-SEDv2) melhorou a linha de base ATST-SED (sem o método proposto) de 0.583 para 0.607 em PSDS1 e de 0.810 para 0.817 em PSDS2.
Modelos Leves (Lightweight): Quando aplicado a uma linha de base CRNN, o método também gerou melhorias (PSDS1: 0.384 $\to$ 0.403), demonstrando sua eficácia em diferentes capacidades de modelo.
Estudos de Ablação:
- O uso apenas da perda contrastiva melhorou o desempenho em relação ao modelo da fase 1 congelado, mas foi menos eficaz do que combinar com as perdas de pseudo-rótulo.
- Tanto o ramo de apenas composição quanto o de apenas perturbação foram eficazes individualmente, mas a combinação de todos os componentes yielded os melhores resultados.
Estado da Arte (SOTA): Com o pós-processamento cSEBB, o ATST-SEDv2 alcançou 0.645 PSDS1 e 0.822 PSDS2, superando métodos SOTA anteriores, incluindo ATST-SED, MAT-SED e PMAMiter2.

Significância

O artigo afirma que a abordagem proposta aproveita efetivamente os dados não rotulados ao abordar o descompasso semântico nas estratégias de Mixup. Ao introduzir um objetivo contrastivo em nível de embedding ao lado da rotulagem pseudo, o método melhora o ajuste fino semisupervisionado de modelos de SED leves e baseados em pré-treinamento. Os resultados estabelecem um novo estado da arte no benchmark DESED, demonstrando que a supervisão de nível de decisão e de nível de embedding pode ser integrada com sucesso para melhorar a estabilidade temporal e a precisão de etiquetagem em cenas de áudio polifônicas complexas.