⚡ electrical engineering

Embedding-Space Diffusion for Zero-Shot Environmental Sound Classification

Cet article aborde le défi sous-exploré de la classification de sons environnementaux en mode zero-shot en adaptant et en introduisant des modèles génératifs, démontrant spécifiquement qu'un nouveau modèle de diffusion conditionné par des données auxiliaires de classe surpasse les modèles de référence existants sur plusieurs jeux de données audio.

Auteurs originaux : Ysobel Sims, Alexandre Mendes, Stephan Chalup

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ysobel Sims, Alexandre Mendes, Stephan Chalup

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Enseigner à une machine à reconnaître des choses qu'elle n'a jamais vues

Imaginez que vous enseigniez à un enfant à identifier des animaux. Vous lui montrez des photos de lions, de tigres et d'ours. Vous lui expliquez que ce sont des « grands félins » ou des « habitants de la forêt ». Ensuite, vous emmenez l'enfant au zoo et lui montrez un guépard.

L'enfant n'a jamais vu de guépard auparavant. Cependant, parce qu'il comprend le concept de « grand félin » et de « forêt », il peut deviner : « Ça doit être un guépard ! »

C'est l'Apprentissage Zero-Shot (Zero-Shot Learning). C'est la capacité d'un ordinateur à reconnaître quelque chose sur lequel il n'a pas été explicitement entraîné, en utilisant sa connaissance de choses similaires qu'il a déjà vues.

Bien que les ordinateurs deviennent très doués pour faire cela avec des photos (comme reconnaître un nouveau type de voiture), ils ont encore du mal avec les sons. Si vous jouez l'enregistrement d'un nouvel appel d'oiseau ou d'un bruit de machine spécifique que l'ordinateur n'a jamais entendu, il échoue généralement à deviner de quoi il s'agit.

La solution : Une machine à « imagination sonore »

Les chercheurs de l'Université de Newcastle voulaient corriger cela. Ils ont remarqué que dans le monde des images, un nouveau type d'IA appelé Modèle de Diffusion (la même technologie derrière les générateurs d'art par IA) est incroyable pour créer de nouvelles images à partir de rien.

Ils se sont demandé : Pouvons-nous utiliser ce pouvoir d'« imagination » pour aider les ordinateurs à comprendre de nouveaux sons ?

Ils ont construit un nouveau système appelé ZeroDiffusion. Voici comment il fonctionne, étape par étape :

1. Le dictionnaire (Embeddings)

D'abord, l'ordinateur a besoin d'un moyen de comprendre ce qu'un son signifie, et pas seulement à quoi il ressemble.

L'analogie : Imaginez que chaque son (comme un « aboiement de chien » ou de la « pluie qui tombe ») est traduit en un code secret composé de chiffres.
Dans ce code, les choses similaires sont proches les unes des autres. Le code de « chien » est très proche du code de « loup », mais loin de celui de « piano ».
Les chercheurs ont utilisé un dictionnaire préexistant (Word2Vec) pour transformer les noms des sons en ces codes numériques.

2. L'« imagination sonore » (Le Modèle de Diffusion)

C'est le cœur de leur nouvelle invention.

L'analogie : Imaginez que vous avez une boîte d'argile. Vous savez à quoi ressemble un « chien » et un « chat ». Mais vous n'avez jamais vu de « renard ».
Le Modèle de Diffusion agit comme un maître sculpteur qui a étudié l'argile des chiens et des chats. Il prend un morceau d'argile vierge (du bruit aléatoire) et, en se basant sur les instructions du « renard », sculpte un faux renard à partir de rien.
Dans le monde de l'ordinateur, il prend du bruit aléatoire et le code numérique du « renard », et il génère un faux embedding audio (un faux code numérique) qui ressemble exactement à ce que serait le code d'un vrai son de renard, même si l'ordinateur n'a jamais entendu de vrai renard.

3. Le test final

Une fois que l'ordinateur a généré des milliers de ces exemples « faux » pour les nouveaux sons non vus, il les mélange avec les exemples réels qu'il connaissait déjà. Il entraîne ensuite un classificateur final (un décideur) sur ce mélange.

Le résultat : Lorsqu'il entend enfin un vrai renard, l'ordinateur dit : « J'ai déjà vu un faux renard auparavant ! Je sais ce que c'est ! »

L'expérience : Les Olympiades du Son

Les chercheurs ont testé leur nouvelle machine d'« imagination sonore » contre trois autres méthodes sur six ensembles de données sonores différents. Ces ensembles comprenaient :

Bruits de la ville (trafic, sirènes, perceuses).
Sons de la nature (oiseaux, pluie, vent).
Genres musicaux (rock, jazz, classique).

Ils ont comparé leur nouvelle méthode (ZeroDiffusion) contre :

L'ancienne norme (ALE) : Une méthode simple et fiable qui n'« imagine » rien.
Le « Gymnaste » (LisGAN) : Une méthode complexe qui essaie de générer des sons mais qui est difficile à contrôler.
Le « Bâtisseur de ponts » (CADA-VAE) : Une autre méthode qui tente de connecter les codes sonores aux codes de signification.

Les résultats : Qui a gagné ?

Le vainqueur : ZeroDiffusion a été le champion général. Il a obtenu le score moyen le plus élevé sur les six ensembles de données.
La surprise : Dans le monde de la vision par ordinateur (images), les modèles de diffusion sont célèbres. Ce papier prouve qu'ils fonctionnent tout aussi bien pour le son.
Le bémol : Bien que ZeroDiffusion soit le plus précis, il était un peu « capricieux ». Parfois, il performait de manière brillante, et d'autres fois, il était un peu irrégulier (comme un étudiant qui obtient un A un jour et un C le lendemain). L'ancienne méthode plus simple (ALE) était moins précise, mais très stable et fiable.

Pourquoi cela importe

Avant ce papier, personne n'avait utilisé avec succès les modèles de « Diffusion » pour aider les ordinateurs à apprendre de nouveaux sons sans données d'entraînement.

Premières : C'est la première fois que ce type spécifique d'IA est testé sur des sons environnementaux.
Nouveaux benchmarks : Ils ont créé de nouvelles règles de test pour trois ensembles de données sonores spécifiques qui n'avaient pas été testés de cette manière auparavant.
Flexibilité : Contra à certaines IA qui ne fonctionnent que pour les images, cette méthode fonctionne pour n'importe quel son, qu'il s'agisse d'un oiseau, d'une voiture ou d'un instrument de musique.

Résumé

Le papier présente ZeroDiffusion, une nouvelle façon d'enseigner aux ordinateurs à reconnaître des sons qu'ils n'ont jamais entendus en leur faisant « imaginer » ce à quoi ces sons devraient ressembler mathématiquement. Il surpasse les méthodes existantes en moyenne, prouvant que la puissante technologie d'« imagination » utilisée pour l'art par IA est également une arme secrète pour l'audition de l'IA.

Résumé Technique : Diffusion dans l'espace d'enchâssement pour la classification de sons environnementaux en apprentissage zéro-shot

Énoncé du Problème
L'apprentissage zéro-shot (ZSL) vise à permettre aux modèles de classifier des classes non vues en exploitant des informations sémantiques, comblant ainsi le fossé entre les ensembles d'entraînement et de test qui possèdent des ensembles de classes disjoints. Bien que le ZSL ait fait l'objet de recherches importantes en vision par ordinateur, son application aux sons environnementaux reste peu explorée et produit de faibles performances dans les études existantes. Les méthodes actuelles de ZSL pour l'audio environnemental reposent largement sur des approches non génératives (par exemple, les réseaux de compatibilité) ou ne parviennent pas à utiliser le succès des modèles génératifs observés dans les tâches de vision. De plus, les approches génératives existantes en ZSL dépendent souvent de modèles pré-entraînés de grande taille (comme Stable Diffusion) liés à des modalités spécifiques (images et texte), ce qui limite leur applicabilité aux domaines audio où de telles fondations pré-entraînées peuvent ne pas exister ou lorsque les données de caractéristiques doivent rester invisibles lors du pré-entraînement.

Méthodologie
Le document propose ZeroDiffusion, une nouvelle méthode générative pour la classification de sons environnementaux en zéro-shot qui opère entièrement dans l'espace d'enchâssement (embedding space), évitant ainsi le besoin de modèles génératifs pré-entraînés. La méthodologie se compose de trois étapes principales :

Génération d'enchâssements (Embeddings) :
- Enchâssements de classes ( $\sigma(z)$ ) : Les étiquettes de classe sont converties en vecteurs de dimension 300 à l'aide d'un modèle Word2Vec pré-entraîné. Pour enrichir ces enchâssements, des synonymes sont ajoutés pour la plupart des jeux de données (sauf pour ARCA23K-FSD et GTZAN en raison de contraintes de taille ou de genre).
- Enchâssements audio ( $\tau(w)$ ) : Un modèle YAMNet modifié est entraîné sur les classes vues pour extraer des enchâssements audio de dimension 128 à partir de spectrogrammes de Mel logarithmiques. Cela garantit que l'extracteur de caractéristiques ne "voit" pas par inadvertance les classes non vues lors du pré-entraînement.
Entraînement du Modèle de Diffusion :
- Un réseau de neurones léger, entièrement connecté, est entraîné en tant que modèle de diffusion conditionné par des données auxiliaires de classe.
- Entrée : Le modèle prend un enchâssement audio injecté de bruit ( $\tilde{\tau}(w)$ ) concaténé avec un enchâssement de classe perturbé (jittered) ( $\tilde{\sigma}(z)$ ).
- Objectif : Le modèle apprend à reconstruire l'enchâssement audio original à partir de l'entrée bruitée, conditionné par l'enchâssement de classe.
- Fonction de Perte : L'objectif d'entraînement combine cinq composantes : l'erreur quadratique moyenne (reconstruction), la divergence de moyenne maximale (alignement de distribution), la perte de variance (diversité), l'alignement du centroïde global et la perte de similitude cosinus (alignement directionnel).
- Génération : Une fois entraîné, le modèle génère des enchâssements audio synthétiques pour les classes non vues en injectant du bruit aléatoire et leurs enchâssements de classe correspondants.
Entraînement du Classifieur :
- Un réseau de compatibilité non linéaire (basé sur l'Attribute Label Embedding, ALE) est entraîné en utilisant une combinaison d'enchâssements audio réels des classes vues et des enchâssements synthétiques générés pour les classes non vues.
- Le classifieur apprend une fonction de similitude $f(w, z)$ pour mapper les données de caractéristiques vers les étiquettes de classe sans jamais avoir vu les échantillons audio réels des classes non vues.

Configuration Expérimentale
L'étude évalue quatre méthodes à travers six jeux de données : ESC-50, ARCA23K-FSD, FSC22, UrbanSound8k, TAU Urban Acoustics 2019 et GTZAN.

Baselines (Modèles de référence) :
- ALE non linéaire : Une baseline non générative de pointe pour l'audio environnemental.
- CADA-VAE : Un auto-encodeur variationnel (VAE) croisé et aligné sur la distribution, adapté de la vision par ordinateur.
- LisGAN : Un réseau antagoniste génératif (GAN) exploitant l'invariance latérale, adapté au cadre inductif (suppression des composantes transductives).
Protocole : Les expériences ont été répétées dix fois avec différentes graines aléatoires (random seeds). Les partitions non linéaires standard d'ALE ont été utilisées pour ESC-50, tandis que de nouvelles partitions aléatoires ont été créées pour les autres jeux de données.

Résultats Clés

Performance : ZeroDiffusion a atteint la précision moyenne la plus élevée sur les six jeux de données (34,86 %), surpassant l'ALE non linéaire (32,27 %), CADA-VAE (31,37 %) et LisGAN (29,36 %).
Spécificités des Jeux de Données :
- ZeroDiffusion a montré des améliorations significatives sur ARCA23K-FSD et TAU Urban Acoustics 2019.
- Il s'est montré compétitif avec les baselines sur UrbanSound8k et GTZAN.
- Sur ESC-50 et FSC22, les résultats étaient mitigés ; ZeroDiffusion n'a pas systématiquement surpassé toutes les méthodes sur chaque itération (fold), et les performances étaient notablement instables sur les ensembles de test de FSC22.
Stabilité : Les méthodes génératives (y compris ZeroDiffusion) ont présenté des écarts-types plus élevés entre les exécutions par rapport à la baseline non générative ALE. Par exemple, CADA-VAE présentait jusqu'à 8,08 % d'écart-type sur UrbanSound8k, tandis qu'ALE restait autour de 1 %.
Dépendance aux Données : Les auteurs ont observé que la performance de ZeroDiffusion était corrélée à la taille du jeu de données. Les jeux de données avec plus d'échantillons par classe (ex: TAU 2019 avec 1 440 échantillons/classe) ont donné de meilleurs résultats, tandis que les plus petits (ESC-50 avec 40 échantillons/classe) ont montré une certaine instabilité.

Contributions et Signification
Le document revendique les contributions suivantes :

Premier processus de diffusion dans l'espace d'enchâssement pour le ZSL : Introduit la première méthode basée sur la diffusion pour l'apprentissage zéro-shot qui opère dans l'espace d'enchâssement sans dépendre de modèles génératifs pré-entraînés (comme Stable Diffusion), ce qui la rend agnostique à la modalité.
Nouveau State-of-the-Art : Établit un nouveau niveau de performance pour la classification de sons environnementaux en zéro-shot, surpassant ou égalant les méthodes existantes sur six jeux de données audio diversifiés.
Nouveaux Benchmarks : Fournit les premiers benchmarks d'apprentissage zéro-shot pour FSC22, ARCA23K-FSD et TAU Urban Acoustics 2019.
Comparaison Exhaustive : Offre la première comparaison directe entre les GAN (LisGAN), les VAE (CADA-VAE) et les modèles de diffusion pour la classification de sons environnementaux en zéro-shot.

Signification et Limites
Les auteurs positionnent ce travail comme l'établissement des modèles de diffusion comme une approche prometteuse pour l'apprentissage zéro-shot, fournissant une base pour la recherche future. Cependant, le document est modeste quant à la fiabilité des méthodes génératives. Il reconnaît explicitement que, bien que ZeroDiffusion améliore la précision, il souffre d'une variance et d'une instabilité plus élevées par rapport aux baselines non génératives, particulièrement sur les petits jeux de données. Les auteurs suggèrent que l'absence de garanties théoriques dans l'apprentissage zéro-shot et la dépendance à la taille des jeux de données sont des domaines critiques pour une compréhension future. Le travail ne prétend pas résoudre l'instabilité des modèles génératifs, mais démontre plutôt leur potentiel pour une précision accrue lorsque des données suffisantes sont disponibles.