Device Invariance using Domain Adaptation on Acoustic Scene Classification

Imaginez que vous enseigniez à un robot à reconnaître les sons du monde. Vous voulez qu'il sache faire la différence entre une rue citadine animée, un parc calme et une station de métro bruyante. Ce domaine s'appelle la Classification de Scènes Acoustiques. Pendant longtemps, les scientifiques ont utilisé l'apprentissage profond — des systèmes informatiques qui apprennent par l'exemple — pour enseigner ces sons aux robots. Ils utilisent deux types principaux de « cerveaux » pour cette tâche : un qui regarde le son comme une image (appelé CNN, ou Réseau de Neurones Convolutifs) et un qui prête attention à toute l'histoire d'un coup (appelé Transformer).

Cependant, il existe un problème délicat. Si vous enseignez à votre robot en utilisant un microphone de haute qualité provenant d'un laboratoire, il pourrait être confus lorsque vous l'emmenez à l'extérieur avec un microphone de téléphone bon marché. Le son est la même « scène », mais le dispositif d'enregistrement change la « saveur » de l'audio. C'est ce qu'on appelle un « décalage de domaine » (domain shift). C'est comme apprendre à quelqu'un à conduire par une journée ensoleillée dans une berline, puis s'attendre à ce qu'il conduise parfaitement dans une tempête de neige dans un camion. Pour corriger cela, les scientifiques utilisent l'« Adaptation de Domaine », un ensemble de techniques conçues pour aider le robot à ignorer les différences de microphone et à se concentrer uniquement sur la scène réelle. Mais voici la grande question : est-ce que la même solution fonctionne pour chaque type de cerveau de robot ?

Ce document, écrit par des chercheurs de l'IIT Mandi, explore précisément cette question. Ils ont testé deux méthodes de « réparation » populaires sur différents cerveaux de robots pour voir quelle combinaison fonctionne le mieux. Ils ont découvert que, tandis qu'une méthode est un polyvalent fiable, l'autre est un mangeur difficile qui ne fonctionne qu'avec certains types de cerveaux.

La Configuration : Un Laboratoire Insonorisé avec de Nombreux Microphones

Pour tester leurs idées, les auteurs ont utilisé une vaste collection d'enregistrements sonores appelée le jeu de données DCASE 2020. Imaginez une immense bibliothèque de clips audio contenant 10 types de scènes différents, comme un bus, une station de métro ou un parc. Les chercheurs ont divisé ces enregistrements en fonction du dispositif qui les a enregistrés. Ils avaient des dispositifs « réels » (comme de vrais microphones) et des dispositifs « simulés » (des versions de microphones générées par ordinateur).

Ils ont mis en place un défi : Entraîner le robot en utilisant uniquement les enregistrements du Dispositif A (la source). Ensuite, tester le robot sur les enregistrements des Dispositifs B, C, S1, S2 et S3 (les cibles). Puisque le robot n'a jamais été entraîné sur ces autres dispositifs, cela représente un scénario réel où les conditions d'entraînement et de test ne correspondent pas.

Ils ont testé trois différents « cerveaux » (extracteurs de caractéristiques) :

1. PaSST : Un modèle moderne basé sur les Transformers (pensez à un penseur sophistiqué et global).
2. DcaseNet : Un modèle basé sur les CNN, entraîné sur de nombreuses tâches sonores différentes (un expert très expérimenté).
3. CNN Personnalisé : Un simple CNN à deux couches construit de toutes pièces (un étudiant débutant).

Les Deux Méthodes de « Réparation »

Les chercheurs ont essayé deux techniques d'adaptation de domaine spécifiques pour aider le robot à généraliser :

1. DANN (Réseau de Neurones Adversaire de Domaine) : Imaginez un jeu de « Cache-cache ». Le robot essaie de créer des caractéristiques sonores si similaires entre les dispositifs sources et cibles qu'un « détective » (le discriminateur de domaine) ne peut pas les distinguer. Le but est de rendre les caractéristiques « agnostiques au dispositif ».
2. CDAN (Réseau Adversaire de Domaine Conditionnel) : C'est une version plus avancée du jeu. Au lieu de simplement cacher le type de dispositif, le robot doit aussi cacher sa supposition sur la scène. Il essaie de rendre le détective incapable de faire la différence entre la source et la cible en se basant à la fois sur les caractéristiques sonores et sur la prédiction du robot.

Les Résultats : Une Taille Unique Ne Convient Pas à Tous

Les expériences ont révélé des résultats surprenants et spécifiques.

Le Polyvalent : DANN
La méthode DANN a été le héros fiable de l'histoire. Elle a bien fonctionné de manière générale.

• Pour le CNN Personnalisé (le débutant), DANN a considérablement boosté la précision. Par exemple, en passant du Dispositiel A au Dispositif B, la précision est passée d'un faible 0,243 à 0,386.
• Pour DcaseNet, cela a également aidé, améliorant la précision de 0,58 à 0,711 dans le même scénario.
• Même pour le sophistiqué PaSST (Transformer), DANN a apporté un gain solide, augmentant la précision d'environ 8,5 % en moyenne.

Le Mangeur Difficile : CDAN
CDAN, cependant, était beaucoup plus sélectif.

• Il a magnifiquement fonctionné pour les modèles basés sur les CNN. Pour le CNN Personnalisé, il a amélioré la précision de 0,243 à 0,33 (et même plus haut dans d'autres scénarios comme le Dispositif C, passant de 0,246 à 0,48).
• Mais lorsqu'ils ont essayé d'utiliser CDAN sur le Transformer PaSST, cela a complètement échoué. Le modèle n'a même pas pu converger (il n'a pas pu finir son apprentissage). Les auteurs ont noté que les caractéristiques du Transformer étaient trop dynamiques et globales, ce qui a confondu le « détective » dans le jeu CDAN et a provoqué l'effondrement de l'entraînement.

Le « Pourquoi » : Une Histoire de Deux Cerveaux

Pourquoi le CDAN a-t-il échoué sur le Transformer ? Les auteurs suggèrent que cela vient de la façon dont ces cerveaux traitent l'information.

• Les CNN (comme le CNN Personnalisé et DcaseNet) se concentrent sur les détails locaux et possèdent une « nature gaussienne » (une répartition de données lisse et prévisible). Cela les rend stables lorsque le CDAN tente de conditionner l'entraînement sur les prédictions du robot.
• Les Transformers (comme PaSST) regardent l'image entière d'un coup avec un « biais inductif global ». Leurs caractéristiques sont plus dynamiques et variées. Lorsque le CDAN a tenté d'utiliser les prédictions du robot pour guider l'entraînement, les prédictions du Transformer étaient trop erratiques, provoquant l'effondrement du système.

La Conclusion

La leçon principale de cette étude est que vous ne pouvez pas simplement saisir un outil d'adaptation de domaine et l'appliquer aveuglément à n'importe quel modèle d'apprentissage profond. Le document suggère que DANN est un outil robuste et polyvalent qui fonctionne bien, que vous utilisiez un simple CNN ou un Transformer complexe. Cependant, CDAN est un outil spécialisé qui brille avec les CNN, mais qui peut être désastreux pour les Transformers.

Dans le monde de la classification de scènes acoustiques, si vous utilisez un modèle basé sur les Transformers, rester avec DANN est le choix le plus sûr. Si vous utilisez un CNN, vous pourriez obtenir de meilleurs résultats avec CDAN. Les chercheurs concluent que les travaux futurs doivent creuser davantage les propriétés statistiques de ces caractéristiques pour comprendre exactement pourquoi ces méthodes se comportent si différemment, afin de garantir que le bon outil soit toujours choisi pour la bonne tâche.