⚡ electrical engineering

Semi-Supervised Sound Event Detection with Conditional Mixup and Embedding-Level Contrastive Loss

Este artículo propone un marco de detección de eventos sonoros semi-supervisado que integra el mixup condicional con una pérdida contrastiva a nivel de incrustación para aprovechar eficazmente los abundantes datos no etiquetados, logrando un rendimiento de vanguardia en el conjunto de datos DESED.

Autores originales: Nian Shao, Xian Li, Xiaofei Li

Publicado 2026-06-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nian Shao, Xian Li, Xiaofei Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer diferentes sonidos en una cocina con mucho movimiento: el zumbido de una licuadora, el ladrido de un perro o el agua corriendo. Esta tarea se llama Detección de Eventos de Sonido (SED, por sus siglas en inglés).

El problema es que enseñarle al robot de esta manera es como intentar enseñarle a un niño a hablar mostrándole solo unas pocas tarjetas ilustradas. Tienes muchas grabaciones de sonidos de cocina (datos no etiquetados), pero solo tienes un número muy pequeño de grabaciones donde alguien ha escrito cuidadosamente cuándo empezó y terminó la licuadora (datos etiquetados). Sin esas notas precisas, el robot se confunde.

Este artículo presenta una nueva forma de entrenar al robot utilizando tanto los pocos ejemplos de "toma de notas" como la montaña de ejemplos "sin notas". Así es como lo hicieron, explicado de forma sencilla:

1. El punto de partida: El "Maestro" y el "Estudiante"

Los investigadores comenzaron con un robot inteligente que ya había aprendido mucho sobre el sonido de una enorme biblioteca de audio (un modelo preentrenado llamado ATST-Frame). Piensa en este robot como un Estudiante que ya es bueno escuchando, pero necesita aprender a detectar eventos específicos.

Para enseñar al Estudiante utilizando las grabaciones "sin notas", utilizaron un Maestro. El Maestro es una copia del Estudiante que es ligeramente más estable. El Maestro adivina qué sonidos hay en las grabaciones no etiquetadas, y el Estudiante intenta coincidir con esas suposiciones. Esto se llama "pseudo-etiquetado".

2. El problema: Mezclar los ingredientes incorrectamente

Para que el entrenamiento fuera aún mejor, los investigadores utilizaron una técnica llamada Mixup. Imagina que tienes dos clips de audio: uno de un perro ladrando y otro de una licuadora.

La forma antigua: Mezclaban estos dos sonidos.
- Si los mezclaban 50/50, le decían al robot: "Este es un nuevo sonido donde un perro y una licuadora ocurren al mismo tiempo". (Esto es Composición).
- Si los mezclaban 90/10 (mayormente perro, un poquito de licuadora), le decían al robot: "Esto es solo un perro, pero la licuadora es un poco de ruido de fondo". (Esto es Perturbación).

El problema era que el antiguo sistema de entrenamiento utilizaba la misma regla de mezcla para todo. Pero el "Maestro" (pseudo-etiquetado) necesitaba la mezcla 50/50 para aprender sobre eventos que coexisten, mientras que el "Auto-chequeo" (aprendizaje contrastivo) necesitaba la mezcla 90/10 para aprender que el sonido no debería cambiar demasiado. Usar la mezcla incorrecta confundía al robot.

3. La solución: "Mixup Condicional"

Los autores inventaron un interruptor inteligente llamado Mixup Condicional.

El interruptor: Observan la proporción de la mezcla (el valor "lambda").
Si la mezcla es equilibrada (50/50): El sistema lo trata como Composición. Le dice al robot: "¡Oye, ambos sonidos son reales aquí! Aprende a detectarlos juntos".
Si la mezcla es desequilibrada (90/10): El sistema lo trata como Perturbación. Le dice al robot: "El sonido principal sigue siendo el perro; la licuadora es solo un pequeño fallo. No te confundas".

Al usar este interruptor, el robot recibe la instrucción correcta para cada uno de los clips de audio mezclados.

4. El ingrediente secreto: "Pérdida Contrastiva a Nivel de Embedding"

Normalmente, los robots son enseñados a coincidir con su respuesta final (por ejemplo, "¿Es esto un perro? Sí/No"). Este artículo añade una segunda capa de entrenamiento que ocurre dentro del cerebro del robot (en los "embeddings").

Piénsalo de esta manera:

Entrenamiento estándar: El maestro dice: "Eso es un perro".
Nuevo entrenamiento contrastivo: El maestro dice: "Incluso si añades un poco de ruido de licuadora a un ladrido de perro, la sensación del sonido en tu cerebro debería seguir sintiéndose como un perro".

Esto obliga al robot a construir una comprensión interna muy sólida de lo que realmente es un "sonido de perro", independientemente del ruido de fondo menor. Esto ayuda al robot a utilizar los datos no etiquetados de manera mucho más efectiva.

Los resultados

Al combinar estas dos ideas —el Mixup Condicional (el interruptor inteligente) y el Aprendizaje Contrastivo de Embeddings (el chequeo de la sensación interna)— el robot se volvió mucho mejor en su trabajo.

En la prueba estándar (el conjunto de validación DESED), este nuevo sistema (llamado ATST-SEDv2) alcanzó las puntuaciones más altas jamás registradas para esta tarea específica:

0.645 en una puntuación llamada PSDS1 (mide qué tan estable y precisa es la sincronización).
0.822 en una puntuación llamada PSDS2 (mide qué tan bien identifica los tipos de sonidos).

En resumen, el artículo no solo le dio al robot más datos; le enseñó al robot cómo interpretar esos datos de una manera más inteligente mediante el uso de la "receta de mezcla" adecuada para cada situación.

Resumen Técnico: Detección de Eventos Sonoros Semi-supervisada con Mixup Condicional y Pérdida Contrastiva a Nivel de Embedding

Planteamiento del Problema

La Detección de Eventos Sonoros (SED, por sus siglas en inglés) es un componente crítico del análisis ambiental acústico, pero enfrenta desafíos significativos debido a la escasez de datos etiquetados a nivel de cuadro (frame). Aunque los avances recientes aprovechan modelos fundacionales de audio preentrenados a gran escala (por ejemplo, ATST-Frame, BEATs, AST) para proporcionar representaciones robustas, el ajuste fino (fine-tuning) efectivo de estos modelos sigue siendo difícil. Los enfoques semi-supervisados existentes suelen depender de la regularización de consistencia (por ejemplo, Mean Teacher) y el etiquetado pseudo (pseudo-labeling). Sin embargo, estos métodos pueden ser insuficientes para codificadores preentrenados de gran tamaño, ya que los objetivos de consistencia suelen ser más débiles que las tareas originales de preentrenamiento autosupervisado. Además, existe un desajuste técnico específico en la aplicación de Mixup:

El aprendizaje de etiquetas pseudo trata a Mixup como una composición, donde las muestras mezcladas preservan el contenido de ambos clips de origen.
El aprendizaje contrastivo trata a Mixup como una perturbación, donde la muestra auxiliar sirve únicamente para perturbar la entrada.

Los marcos de trabajo actuales luchan por unificar estas visiones conflictivas dentro de un único pipeline semi-supervisado.

Metodología

El trabajo propuesto, ATST-SEDv2, extiende la línea base ATST-SED integrando un objetivo contrastivo autosupervisado a nivel de embedding en el marco de ajuste fino semi-supervisado. La arquitectura consiste en un codificador ATST-SED (que combina un CRNN y un modelo preentrenado ATST-Frame) y un clasificador SED no lineal.

1. Mixup Condicional

Para resolver el desajuste semántico entre las visiones de composición y perturbación de Mixup, los autores proponen el Mixup Condicional. El coeficiente de interpolación $\lambda$ (extraído de una distribución Beta) determina el modo de mixup basado en un umbral $\tau$ :

Modo de Composición ( $0.5 \le \lambda \le \tau$ ): La señal auxiliar se trata como co-ocurrente con la entrada. La muestra mezclada se forma mediante interpolación lineal, pero la etiqueta objetivo es el OR lógico de las etiquetas de origen (para supervisado) o la suma de las etiquetas pseudo (limitada a 1 para semi-supervisado).
Modo de Perturbación ( $\tau < \lambda \le 1$ ): La señal auxiliar se trata como una perturbación. La muestra mezclada se forma de manera similar, pero la etiqueta objetivo permanece siendo la de la muestra de entrada original.

2. Funciones de Pérdida

El objetivo de entrenamiento combina tres componentes:

Pérdida Supervisada: Entropía Cruzada Binaria (BCE) sobre datos etiquetados.
Pérdida de Etiquetas Pseudo: Una pérdida unificada ( $L_{cp-psd}$ ) que aplica la función de pérdida apropiada según el modo de Mixup condicional (composición o perturbación). Esto incluye la pérdida Mean Teacher para datos no aumentados.
Pérdida Contrastiva a Nivel de Embedding ( $L_{con}$ ): Inspirada en el preentrenamiento de ATST-Frame, esta pérdida alinea los embeddings de las vistas aumentadas.
- Para los pares de Perturbación, el objetivo maximiza la similitud entre la entrada y la vista perturbada.
- Para los pares de Composición, el objetivo maximiza la similitud entre la vista mezclada y el promedio de los embeddings del profesor de ambas muestras.
  Un proyector y un predictor se adjuntan al codificador durante el entrenamiento para facilitar este aprendizaje contrastivo, evitando el colapso de la representación.

La pérdida total es una suma ponderada de BCE, pérdidas de etiquetas pseudo y la pérdida contrastiva.

Contribuciones Clave

Mixup Condicional: Una estrategia novedosa que unifica el Mixup de composición y de perturbación dentro de un único marco semi-supervisado, seleccionando dinámicamente la visión semántica basada en el coeficiente de interpolación.
Diseño de Pérdida Unificado: El diseño de las correspondientes pérdidas de etiqueta pseudo y de pérdida contrastiva a nivel de embedding que permiten que la supervisión a nivel de decisión y la supervisión a nivel de embedding se complementen durante el ajuste fino.
Rendimiento de Vanguardia (SOTA): El método logra nuevos mejores resultados en el conjunto de validación DESED sin alterar la arquitectura de inferencia.

Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos DESED, utilizando datos con etiquetado fuerte, etiquetado débil y datos no etiquetados.

Comparación con la Línea Base: El método propuesto (ATST-SEDv2) mejoró la línea base ATST-SED (sin el método propuesto) de 0.583 a 0.607 en PSDS1 y de 0.810 a 0.817 en PSDS2.
Modelos Ligeros: Al aplicarse a una línea base CRNN, el método también produjo mejoras (PSDS1: 0.384 $\to$ 0.403), demostrando su efectividad a través de diferentes capacidades de modelo.
Estudios de Ablación:
- El uso exclusivo de la pérdida contrastiva mejoró el rendimiento sobre el modelo de la etapa 1 congelado, pero fue menos efectivo que la combinación con las pérdidas de etiquetas pseudo.
- Tanto la rama de solo composición como la de solo perturbación fueron efectivas individualmente, pero la combinación de todos los componentes produjo los mejores resultados.
Estado del Arte (SOTA): Con el post-procesamiento cSEBB, ATST-SEDv2 alcanzó 0.645 PSDS1 y 0.822 PSDS2, superando los métodos SOTA previos incluyendo ATST-SED, MAT-SED y PMAMiter2.

Significación

El artículo afirma que el enfoque propuesto aprovecha eficazmente los datos no etiquetados al abordar el desajuste semántico en las estrategias de Mixup. Al introducir un objetivo contrastivo a nivel de embedding junto con el etiquetado pseudo, el método mejora el ajuste fino semi-supervisado tanto de modelos ligeros como de modelos basados en preentrenamiento. Los resultados establecen un nuevo estado del arte en el benchmark DESED, demostrando que la supervisión a nivel de decisión y a nivel de embedding puede integrarse con éxito para mejorar la estabilidad temporal y la precisión de etiquetado en escenas de audio polifónicas complejas.