Multi-Channel Replay Speech Detection using Acoustic Maps

Résumé Technique : Détection de la Parole en Réplay Multi-Canal par Cartes Acoustiques

Énoncé du Problème
Les systèmes de vérification automatique du locuteur (ASV), largement utilisés dans les assistants vocaux et les dispositifs IoT, restent vulnérables aux attaques d'accès physique (PA), en particulier les attaques par rejeu. Dans ces scénarios, un adversaire rejoue une enregistrement préalablement capturé via un haut-parleur pour tromper le système. Alors que les attaques d'accès logique (par exemple, les deepfakes) manipulent le contenu ou l'identité, les attaques par rejeu exploitent les différences physiques fondamentales entre les mécanismes de production sonore : la parole authentique provient du tractus vocal humain, tandis que la parole rejeu est émise par un transducteur électro-acoustique (haut-parleur) présentant des réponses fréquentielles, des directivités et des caractéristiques de rayonnement distinctes. Les systèmes ASV existants peinent souvent à discriminer de manière fiable la parole authentique de la parole rejeu, même lorsqu'ils utilisent des appareils grand public. De plus, bien que les enregistrements multi-canaux offrent des indices spatiaux difficiles à contrefaire, les progrès dans ce domaine ont été limités par le manque de jeux de données adaptés et de modèles conçus pour exploiter efficacement l'information spatiale.

Méthodologie
Les auteurs proposent une approche novatrice utilisant des cartes acoustiques comme représentation spatiale des caractéristiques pour la détection de rejeu à partir d'enregistrements multi-canaux. La méthodologie se compose de deux étapes principales :

1. Génération de Cartes Acoustiques :

   • L'audio multi-canal est prétraité à l'aide de la Transformée de Fourier à Court Terme (STFT).
   • Une grille spatiale discrète est définie sur les angles d'azimut ($[-90^\circ, 90^\circ]$) et d'élévation ($[-50^\circ, 50^\circ]$).
   • En utilisant un formateur de faisceaux à retard et somme, le système calcule une réponse de pseudo-puissance à bande étroite pour chaque point de la grille. Ce processus encode la distribution d'énergie directionnelle du champ sonore.
   • Les cartes résultantes sont moyennées dans le temps et les bandes de fréquence sont regroupées en quatre bandes disjointes (Basse, Moyenne, Haute, Super-Haute) pour créer un tenseur 3-D compact ($K \times A \times E$). Cette représentation capture la structure de la manœuvre de l'antenne, les indices de chemin direct et les premières réflexions.
   • Les auteurs notent que, bien que le retard et somme soit la méthode principale utilisée, le cadre est compatible avec d'autres techniques de traitement spatial comme MVDR ou SRP-PHAT.

2. Réseau de Classification :

   • Un Réseau de Neurones Convolutif (CNN) léger est conçu spécifiquement pour opérer sur ces cartes acoustiques.
   • L'architecture emploie des blocs répétés de convolutions 2D séparables en profondeur (opérant sur les dimensions d'azimut et d'élévation), suivis d'une normalisation par lot, d'une activation ELU et d'un pooling maximal.
   • Le réseau est peu profond, n'utilisant qu'environ 6 000 paramètres entraînables. Il se termine par une tête entièrement connectée peu profonde (MLP) pour une classification binaire (authentique vs rejeu).
   • L'entraînement utilise une perte d'entropie croisée catégorielle avec l'augmentation MixUp.

Contributions Clés

• Représentation de Caractéristiques Novatrice : L'introduction de cartes acoustiques dérivées du formage de faisceaux classique pour encoder explicitement les distributions d'énergie directionnelle, reflétant les différences physiques entre le rayonnement de la parole humaine et le rejeu par haut-parleur.
• Conception de Modèle Efficace : Le développement d'un CNN compact adapté aux cartes acoustiques qui atteint des performances compétitives avec un nombre de paramètres considérablement réduit (~6k) par rapport aux bases de référence de l'état de l'art (SOTA).
• Évaluation Complète : Une évaluation extensive sur le jeu de données ReMASC (le seul jeu de données public multi-canal pour le rejeu), analysant les performances à travers différents réseaux de microphones (de 2 à 7 microphones), méthodes de formage de faisceaux et environnements acoustiques (à la fois dépendants et indépendants de l'environnement).

Résultats Expérimentaux
L'approche a été évaluée sur le jeu de données ReMASC en utilisant la métrique du Taux d'Erreur Égal (EER) :

• Performance vs Géométrie du Réseau : La précision de détection corrèle avec le nombre de microphones. Les réseaux avec plus de microphones (D3 : 6 mics, D4 : 7 mics) ont produit des EER plus faibles (par exemple, 10,1 % pour D3) par rapport aux réseaux plus petits (D1 : 2 mics, 21,6 %). Cela confirme qu'un échantillonnage spatial plus riche améliore la fiabilité des indices d'énergie directionnelle.
• Comparaison avec l'État de l'Art : Bien que la méthode proposée n'ait pas uniformément surpassé toutes les bases de référence d'apprentissage de l'état de l'art (telles que M-ALRAD ou les détecteurs basés sur CRNN) en termes de précision brute, elle a offert un compromis supérieur entre performance et coût computationnel. Par exemple, sur le réseau D3, la méthode proposée a atteint un EER de 10,1 %, comparable à M-ALRAD (10,4 %), mais avec ~6k paramètres contre ~300k.
• Choix du Formateur de Faisceaux : Le retard et somme a fourni une base stable. MVDR a montré des résultats comparables ou légèrement meilleurs dans certains cas mais était plus sensible aux erreurs d'estimation. SRP-PHAT a généralement présenté des EER plus élevés, probablement en raison de sa sensibilité à la réverbération.
• Généralisation : Dans les scénarios indépendants de l'environnement (entraînement sur trois environnements, test sur un non vu), les performances se sont dégradées de manière significative pour toutes les méthodes, y compris l'approche proposée. L'EER pour la méthode proposée a augmenté substantiellement (par exemple, à 43,2 % sur Env-D), soulignant que les bandes de fréquence fixes et le traitement spatial statique limitent l'adaptabilité à des conditions acoustiques non vues.

Signification et Revendications
L'article revendique que les cartes acoustiques fournissent un espace de caractéristiques compact et physiquement interprétable pour la détection d'attaques par rejeu. L'importance de ce travail réside dans la démonstration que le traitement spatial classique, combiné à un réseau de neurones léger, peut exploiter efficacement les données multi-canaux pour distinguer la parole authentique de la parole rejeu. Les auteurs soulignent que, bien que la formulation actuelle présente des limites concernant la généralisation à des environnements non vus (en raison de représentations spatiales et fréquentielles fixes), l'approche offre une alternative viable et économe en ressources aux modèles plus profonds et plus complexes. Un travail futur est suggéré pour se concentrer sur la sélection de bandes de fréquence basée sur l'apprentissage afin de mieux capturer les indices de directivité dans des conditions acoustiques variables.