Soundscapes in Spectrograms: Pioneering Multilabel Classification for South Asian Sounds

Cette étude présente une méthode novatrice de classification multietiquette des sons sud-asiatiques basée sur les spectrogrammes et les réseaux de neurones convolutifs, qui surpasse les techniques traditionnelles utilisant les coefficients MFCC en termes de précision sur les ensembles de données SAS-KIIT et UrbanSound8K.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si nous en discutions autour d'un café.

🎧 Le Problème : Le Chaos du Marché Indien

Imaginez que vous vous promenez dans un marché animé en Asie du Sud. C'est une explosion de sons : des vaches qui meuglent, des vendeurs qui crient, des motos qui klaxonnent, des chants religieux et des instruments de musique traditionnels, le tout en même temps. C'est ce qu'on appelle un « paysage sonore ».

Le défi pour les ordinateurs, c'est que leur « oreille » est souvent trop rigide. Les méthodes traditionnelles (comme celles basées sur les coefficients MFCC) sont un peu comme quelqu'un qui essaie d'écouter une seule voix dans une foule en se bouchant les oreilles : ça ne marche pas bien quand tout le monde parle en même temps.

🔍 La Solution : Transformer le Son en Image (Spectrogrammes)

Les chercheurs de cette étude ont eu une idée brillante : au lieu d'écouter le son comme une onde, transformons-le en image.

Imaginez que vous prenez un enregistrement audio et que vous le transformez en une photo colorée, un peu comme un radar météo ou un graphique de musique. C'est ce qu'on appelle un spectrogramme.

• Sur cette « photo », le temps avance de gauche à droite.
• Les fréquences (les notes graves et aiguës) montent de bas en haut.
• Les couleurs montrent l'intensité du son.

C'est comme passer d'une simple écoute à une vision à rayons X du son. L'ordinateur ne « entend » plus seulement, il « voit » les motifs.

🧠 L'Entraînement : Un Détective Visuel (CNN)

Pour analyser ces images, les chercheurs ont utilisé un type d'intelligence artificielle appelé Réseau de Neurones Convolutif (CNN).

• L'analogie : Imaginez un détective très entraîné qui regarde des photos de scènes de crime. Au lieu de chercher un seul indice, il est capable de repérer plusieurs criminels différents sur la même photo en même temps.
• Dans notre cas, le détective (l'IA) regarde l'image du son et dit : « Ah ! Je vois un klaxon de rickshaw (voiture), un tambour Dhak et un chant religieux, tous en même temps ! »

C'est ce qu'on appelle une classification multilabel : dire non pas « quel est le son ? » (au singulier), mais « quels sont les sons ? » (au pluriel).

🧪 L'Expérience : Deux Terrains de Jeu

Pour prouver que leur méthode fonctionne, ils ont testé leur détective sur deux terrains différents :

1. SAS-KIIT : Un terrain très spécifique, rempli de sons typiques de l'Asie du Sud (comme le Tanpura, un instrument de musique, ou le bruit d'un moteur de rickshaw). C'est comme un marché local très bruyant.
2. UrbanSound8K : Un terrain plus général, avec des sons urbains classiques (climatisation, aboiements de chiens, sirènes). C'est comme une ville occidentale typique.

Ils ont mélangé les sons (par exemple, 3 ou 4 sons différents mélangés en un seul fichier) pour simuler le chaos réel.

🏆 Les Résultats : La Photo Gagne contre l'Oreille

Les résultats sont sans appel :

• La vieille méthode (qui écoutait les sons) a fait des erreurs, un peu comme quelqu'un qui essaie de deviner la recette d'un plat en fermant les yeux.
• La nouvelle méthode (qui regarde les images du son) a obtenu des scores excellents (plus de 96 % de réussite sur le dataset asiatique).

Pourquoi ça marche mieux ?
Parce que les sons qui se mélangent créent des motifs visuels complexes sur le spectrogramme. L'IA, en « voyant » ces motifs, comprend mieux comment les sons s'empilent les uns sur les autres, là où les méthodes anciennes se perdaient.

🚀 Pourquoi c'est important ?

Cette technologie ouvre la porte à de superbes applications :

• Surveillance urbaine : Détecter automatiquement un accident ou une agression dans une ville bruyante.
• Préservation culturelle : Enregistrer et classer les sons traditionnels de l'Asie du Sud avant qu'ils ne disparaissent, même s'ils sont mélangés au bruit de la ville.
• Efficacité : Leur modèle est simple et rapide, ce qui signifie qu'on pourrait le faire tourner sur de petits appareils (comme un smartphone) sans avoir besoin de super-ordinateurs.

En résumé

Les chercheurs ont dit : « Arrêtons d'essayer d'écouter le chaos comme des humains fatigués. Transformons le son en une carte visuelle et laissons une IA experte en vision par ordinateur faire le tri. » Résultat : une machine capable de distinguer une vache, un klaxon et un chant religieux en même temps, avec une précision impressionnante.

Résumé technique

Voici un résumé technique détaillé de l'article « Soundscapes in Spectrograms: Pioneering Multilabel Classification for South Asian Sounds », rédigé en français.

1. Problématique et Contexte

L'article aborde le défi complexe de la classification des sons environnementaux (ESC), en particulier dans le contexte des paysages sonores riches et dynamiques de l'Asie du Sud.

• Défi principal : Contrairement aux environnements occidentaux souvent plus calmes, les paysages sonores asiatiques se caractérisent par un chevauchement fréquent et complexe de sources naturelles, humaines et culturelles (ex. : prières, instruments traditionnels, trafic, animaux).
• Limites des méthodes existantes : Les approches traditionnelles reposant sur les Coefficients Cepstraux sur Fréquence Mel (MFCC) peinent à capturer les variations temporelles et fréquentielles fines nécessaires pour distinguer ces sons superposés. De plus, les méthodes de séparation de sources aveugle (BSS) nécessitent souvent des connaissances préalables sur le nombre de sources ou des échantillons pré-enregistrés propres, ce qui les rend peu adaptées aux environnements réels et imprévisibles.
• Objectif : Développer une méthode robuste capable de gérer une classification multilabel (plusieurs sons présents simultanément) et multiclasse sans nécessiter de séparation explicite des sources.

2. Méthodologie Proposée

L'approche proposée repose sur une architecture de Réseau de Neurones Convolutifs (CNN) entraîné directement sur des spectrogrammes Mel, évitant ainsi l'étape de séparation de sources.

A. Jeux de Données

L'étude utilise deux jeux de données pour valider la robustesse du modèle :

1. SAS-KIIT (Dataset Asie du Sud) : Un ensemble de données curaté contenant 21 classes sonores spécifiques à la région (ex. : Tanpura, Dhak, Azan, Moteur de Rickshaw, Tempête Kalboishakhi). Il inclut 9 450 segments audio de 4 secondes, mélangés pour simuler des environnements réels.
2. UrbanSound8K : Un jeu de données de référence mondial contenant 10 classes de bruits urbains (ex. : sirènes, aboiements, marteaux-piqueurs), utilisé pour la comparaison et la généralisation.

B. Prétraitement et Ingénierie des Caractéristiques

• Génération de Spectrogrammes : Chaque clip audio (échantillonné à 44,1 kHz) est converti en spectrogramme Mel en utilisant 128 filtres Mel jusqu'à 8000 Hz. La transformation de Fourier à court terme (STFT) est appliquée, suivie d'une mise à l'échelle Mel pour s'aligner sur la perception humaine.
• Comparaison MFCC : Pour évaluer l'amélioration, des coefficients MFCC (40 coefficients) sont également extraits et utilisés comme entrée alternative pour le même modèle.
• Création de Mélanges : Des fichiers audio mixtes sont générés en combinant aléatoirement de 1 à 4 segments audio distincts, créant ainsi un total de 8 000 échantillons d'entraînement pour simuler des scénarios réels de superposition.

C. Architecture du Modèle (CNN)

Le modèle est conçu pour traiter les spectrogrammes comme des images :

• Couches de Convolution : 6 couches utilisant des filtres de taille 3x3 avec des nombres de filtres croissants (64, 128, 256, 512) et une fonction d'activation ReLU.
• Couches de Pooling : Des couches de Max-Pooling réduisent les dimensions spatiales (de 128x128 à 32x32) pour extraire les caractéristiques hiérarchiques et réduire le surapprentissage.
• Couches Denses : Une couche entièrement connectée (128 neurones, ReLU) suivie d'une couche de sortie avec $C$ neurones (nombre de classes).
• Fonction de Perte et Activation : Pour la classification multilabel, la couche de sortie utilise une fonction Sigmoid couplée à une fonction de perte Binary Cross-Entropy with Logits (BCEWithLogitsLoss). Cela permet de traiter chaque étiquette de manière indépendante, contrairement à une classification multiclasse exclusive (Softmax).

D. Entraînement

• Optimiseur : Adam (taux d'apprentissage initial de 0,001).
• Durée : 100 époques avec un batch size de 16.
• Division des données : 70 % entraînement, 20 % validation, 10 % test.

3. Résultats Expérimentaux

Les performances sont évaluées sur la précision (P), le rappel (R), le score F1 et la précision globale (Accuracy).

A. Comparaison Spectrogramme vs MFCC

Le modèle basé sur les spectrogrammes surpasse systématiquement celui basé sur les MFCC :

• Sur SAS-KIIT (Mixes fixes) :
  • Spectrogramme : 95,42 % de précision (F1 : 0,81).
  • MFCC : 93,91 % de précision (F1 : 0,76).
• Sur SAS-KIIT (Mixes variables) :
  • Spectrogramme : 96,37 % de précision (F1 : 0,84).
  • MFCC : 94,63 % de précision (F1 : 0,77).
• Sur UrbanSound8K : Le modèle spectrogramme atteint également une meilleure précision (85,26 % contre 83,94 % pour MFCC), bien que la complexité des chevauchements dans ce jeu de données rende la tâche plus difficile globalement.

B. Comparaison avec l'État de l'Art (SOTA)

Le modèle proposé est comparé à des architectures avancées comme FACE et les PANNs (Pretrained Audio Neural Networks) :

• Sur le jeu de données SAS-KIIT, le modèle proposé atteint 96,37 % de précision, surpassant FACE (95,22 %) et PANNs (92,51 %).
• Avantage clé : Le modèle proposé est plus simple et plus rapide que FACE (qui est plus complexe) tout en offrant une meilleure précision, et il est plus efficace en termes de calcul que les PANNs tout en restant compétitif.

4. Contributions Clés

1. Validation de l'approche Spectrogramme : Démonstration que l'utilisation directe de spectrogrammes Mel via un CNN est supérieure aux MFCC pour la classification multilabel de sons environnementaux complexes et superposés.
2. Jeu de Données SAS-KIIT Étendu : Introduction et utilisation d'un jeu de données riche de 21 classes sonores spécifiques à l'Asie du Sud, comblant un vide dans la littérature concernant les paysages sonores de cette région.
3. Architecture Efficace : Proposition d'un modèle CNN léger qui ne nécessite pas de séparation de sources préalable, rendant le système applicable dans des environnements réels dynamiques.
4. Robustesse Multilabel : Capacité prouvée à identifier simultanément plusieurs sources sonores avec une haute précision, même dans des mélanges variables (1 à 4 sources).

5. Signification et Perspectives

Cet article marque une avancée significative pour la surveillance urbaine, la sécurité publique et la préservation du patrimoine acoustique en Asie du Sud.

• Impact Pratique : La méthode permet de déployer des systèmes de classification audio fiables sur des dispositifs à ressources limitées, grâce à la simplicité de l'architecture CNN par rapport aux modèles pré-entraînés lourds.
• Futur : Les auteurs suggèrent d'intégrer des mécanismes d'attention ou de modélisation de séquences temporelles pour mieux capturer les dépendances contextuelles, ainsi que l'exploration de données multimodales pour enrichir la compréhension des scènes auditives complexes.

En résumé, cette étude prouve que l'analyse spectrale directe couplée à l'apprentissage profond offre une solution robuste et efficace pour décoder la complexité des paysages sonores du monde réel, dépassant les limitations des méthodes traditionnelles basées sur les MFCC.