🤖 AI

QAMO: Quality-aware Multi-centroid One-class Learning For Speech Deepfake Detection

Ce document propose QAMO, un cadre d'apprentissage à un seul centre sensible à la qualité qui améliore la détection des deepfakes vocaux en modélisant la parole authentique à travers des sous-espaces de qualité distincts, atteignant une performance supérieure avec un taux d'erreur égale de 5,09 % sur des ensembles de données en conditions réelles.

Auteurs originaux : Duc-Tuan Truong, Tianchi Liu, Ruijie Tao, Junjie Li, Kong Aik Lee, Eng Siong Chng

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Duc-Tuan Truong, Tianchi Liu, Ruijie Tao, Junjie Li, Kong Aik Lee, Eng Siong Chng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un agent de sécurité dans un club très exclusif. Votre travail consiste à laisser entrer uniquement les « vraies » personnes (la parole authentique) et à arrêter quiconque tente de s'introduire avec une fausse identité (la parole deepfake).

L'ancienne méthode : L'invité « idéal » unique

Pendant longtemps, les agents de sécurité utilisaient une règle simple : « Si vous ressemblez à notre invité parfait et idéal, vous entrez. Sinon, vous restez dehors. »

C'est ce qu'on appelle l'Apprentissage à Classe Unique (One-Class Learning). Le système apprend à quoi ressemble la voix humaine « parfaite » et dessine un cercle autour d'elle.

Le problème : La vie réelle n'est pas parfaite. Certaines personnes réelles ont un rhume, d'autres sont dans des pièces bruyantes, et d'autres ont simplement une voix enrouée. L'ancien système traite une voix de haute qualité et une voix de faible qualité comme étant le même « idéal ». Si une personne réelle a une voix légèrement éraillée (basse qualité), le système pourrait penser : « Cela ne ressemble pas à notre invité parfait », et l'expulser à tort. Ou bien, un faux astucieux pourrait imiter cette voix parfaite juste assez bien pour se faufiler.

La nouvelle solution : QAMO (L'équipe « sensible à la qualité »)

L'article présente QAMO (Quality-aware Multi-centroid One-class Learning). Au lieu d'avoir un seul agent de sécurité surveillant un seul invité « idéal », QAMO engage une équipe d'agents spécialisés, chacun recherchant un type spécifique de voix réelle.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le tri par « Qualité »

Le système écoute d'abord la voix et demande : « Est-ce une voix de haute qualité (claire, nette) ou une voix de faible qualité (bruyante, étouffée) ? »

Pensez à cela comme au tri de pommes. Certaines sont brillantes et rouges (Haute Qualité), d'autres sont meurtries ou poussiéreuses (Faible Qualité).
L'ancien système essayait de mettre toutes les pommes dans un seul panier. QAMO les place dans deux paniers différents : le panier des « Pommes Brillantes » et le panier des « Pommes Meurtries ».

2. L'équipe de centroïdes (Les agents)

Au lieu d'un seul centroïde « Invité Idéal », QAMO crée plusieurs centroïdes (des agents) :

L'Agent A est entraîné uniquement sur des voix de haute qualité, cristallines.
L'Agent B est entraîné uniquement sur des voix de moindre qualité, légèrement bruyantes.

Lorsqu'une nouvelle voix arrive :

Si c'est une voix claire, l'Agent A la vérifie.
Si c'est une voix bruyante, l'Agent B la vérifie.
De cette façon, une personne réelle avec une mauvaise connexion n'est pas rejetée simplement parce qu'elle ne semble pas « parfaite ». Le système comprend que le « réel » se décline en plusieurs saveurs.

3. Le « Vote de groupe » (Inférence)

C'est la partie ingénieuse. Lorsqu'il doit prendre une décision finale, le système ne demande pas seulement l'avis d'un seul agent. Il utilise un Vote de groupe.

Imaginez que la voix soit ambiguë — est-ce une voix claire ou une voix bruyante ?
Au lieu de forcer un choix, QAMO demande à tous les agents de donner leur avis. Il calcule à quel point la voix ressemble à l'agent « Pomme Brillante » et à l'agent « Pomme Meurtrie ».
Il combine ensuite ces opinions en un score final. C'est comme un comité qui vote : même si la voix est légèrement bruyante, l'agent « Pomme Meurtrie » dit : « Hé, cela ressemble à une vraie personne pour moi ! » et l'agent « Pomme Brillante » dit : « Eh bien, c'est un peu décalé, mais pas faux. » La décision finale est plus stable et moins susceptible de commettre une erreur.

Pourquoi cela importe (Les résultats)

Les auteurs ont testé ce système contre les deepfakes (voix générées par IA) dans diverses situations difficiles, y compris des scénarios « In-the-Wild » (enregistrements réels et désordonnés).

Le résultat : QAMO a fait moins d'erreurs que les anciens systèmes à « agent unique ». Il a détecté plus de faux sans expulser accidentellement de vraies personnes aux voix imparfaites.
L'idée clé : En reconnaissant que la parole réelle possède différentes « qualités » (comme la clarté ou les niveaux de bruit) et en créant des modèles spécifiques pour chacune, le système devient beaucoup plus intelligent et plus difficile à tromper.

Résumé

Considérez l'ancien système comme un videur stéréotypé qui ne laisse entrer que les personnes qui ressemblent exactement à un mannequin de couverture de magazine. Si vous avez une mauvaise journée capillaire, vous êtes renvoyé.

QAMO est une équipe de videurs intelligents qui savent que les vraies personnes viennent dans tous les styles — certaines sont soignées, d'autres sont décoiffées, mais elles sont toutes réelles. En ayant un spécialiste pour chaque style et en les laissant voter ensemble, ils attrapent bien mieux les imposteurs (les faux) tout en laissant entrer les vraies personnes.

Résumé Technique : QAMO – Apprentissage à un seul centre sensible à la qualité pour la détection de deepfakes vocaux

Énoncé du problème
La détection traditionnelle des deepfakes vocaux (SDD) traite souvent la tâche comme un problème de classification binaire, ce qui peut conduire au surapprentissage sur des attaques de spoofing connues et nuire à la généralisation face à des deepfakes inédits. L'apprentissage à un seul centre (One-class learning - OCL) est apparu comme une alternative, modélisant une distribution compacte de la parole authentique (bona fide) autour d'un centre unique et traitant les écarts comme des potentiels faux (fakes). Cependant, l'OCL conventionnel simplifie excessivement la classe authentique en supposant une distribution unimodale unique. Cela ne parvient pas à capturer la variabilité intra-classe inhérente à la parole, particulièrement en ce qui concerne la qualité de la parole (ex. : clarté, présence de bruit, réalisme de la prosodie). Les recherches existantes indiquent qu'il existe des écarts significatifs de score d'opinion moyen (MOS) entre la parole réelle et synthétique, et que les variations de qualité peuvent influencer la séparation entre les échantillons authentiques et les échantillons frauduleux (spoofed). Les méthodes OCL actuelles ne prennent pas explicitement en compte ces sous-espaces de qualité.

Méthodologie : Le cadre QAMO
Les auteurs proposent QAMO, un cadre qui étend l'OCL en introduisant plusieurs centres, chacun étant optimisé pour représenter des sous-espaces de qualité de parole distincts.

Modélisation multi-centrique sensible à la qualité :
- Au lieu d'un centre unique, QAMO apprend $Q$ centres ( $w_q$ ), où chacun correspond à un niveau de qualité discret (ex. : MOS faible vs élevé).
- Les niveaux de qualité sont assignés aux échantillons d'entraînement à l'aide d'un prédicteur de MOS pré-entraîné (Scoreq). La plage continue du MOS est segmentée en classes discrètes (ex. : $q \in \{0, 1\}$ ).
- Pour garantir que les centres soient discriminants et alignés avec des niveaux de qualité spécifiques, le modèle utilise une perte AM-Softmax ( $L_{quality}$ ) pour la classification de la qualité. Cela force les plongements (embeddings) de même niveau de qualité à se regrouper autour de leur centre spécifique.
Apprentissage à un seul centre avec plusieurs centres :
- Le cadre étend la perte OC-Softmax à un contexte multi-centrique.
- Pour les entrées authentiques (bona fide), le modèle calcule la distance de similitude cosinus par rapport au centre correspondant au niveau de qualité de l'échantillon.
- Pour les entrées frauduleuses (spoof), le modèle pénalise la similitude cosinus maximale à travers tous les centres afin d'assurer la séparation de l'ensemble du sous-espace authentique.
- L'objectif d'entraînement final combine la perte QAMO ( $L_{QAMO}$ ) et la perte de classification de la qualité ( $L_{quality}$ ) avec un hyperparamètre de pondération $\lambda$ .
Stratégie d'inférence :
- Inférence par score maximal (Max-Score Inference) : Similaire aux travaux multi-centriques antérieurs, cette méthode prend la similitude maximale parmi tous les centres. Cependant, les auteurs notent que cela agit comme une assignation rigide, ce qui peut être sensible aux erreurs d'estimation de la qualité.
- Inférence par score d'ensemble (Ensemble-Score Inference - Proposée) : Pour améliorer la stabilité et gérer l'incertitude, QAMO calcule une somme pondérée des similitudes à tous les centres. Les poids ( $\alpha_q$ ) sont dérivés via une fonction softmax appliquée aux similitudes cosinus. Cette stratégie agrège les preuves à travers tous les niveaux de qualité, produisant des scores plus lisses et à plus faible variance sans nécessiter de labels de qualité explicites lors de l'inférence.

Contributions clés

Modélisation de la qualité multi-centrique : Contrairement aux approches multi-centriques précédentes (ex. : SAMO) qui organisent les centres par identité du locuteur, QAMO structure ses centres par niveaux de qualité de parole, encodant explicitement l'information de qualité dans la représentation authentique.
Fonction de perte sensible à la qualité : L'intégration d'un objectif de classification de la qualité garantit que les centres appris restent distincts et ne s'effondrent pas en un point unique, préservant ainsi la variabilité intra-classe.
Mécanisme d'inférence robuste : La proposition d'une stratégie de score d'ensemble pondérée par softmax permet au système de fonctionner sans labels de qualité lors de l'inférence tout en atténuant les risques d'assignation rigide et de prédictions surconfiantes.
Stratégie d'augmentation de données : Les auteurs traitent les données augmentées (via RawBoost) comme étant de « faible qualité » pendant l'entraînement, un proxy efficace en termes de calcul et cohérent avec les décalages de MOS observés, plutôt que d'ignorer la dégradation de la qualité.

Résultats expérimentaux
Les auteurs ont évalué QAMO sur l'ensemble d'entraînement ASVspoof2019 LA et l'ont testé sur les ensembles de données ASVspoof2021 LA, ASVspoof2021 DF, In-the-Wild (ITW) et Fake-or-Real (FoR).

Performance : Lorsqu'il est intégré au backbone XLSR-Conformer-TCM, QAMO a atteint un taux de fausse acceptation (EER) de 5,21 % sur l'ensemble de données In-the-Wild, surpassant la ligne de base OC-Softmax à centre unique (6,72 %) et les systèmes sensibles à la qualité antérieurs.
Comparaisons : Sur l'ensemble 21DF, QAMO a atteint un EER de 1,63 %, et sur FoR, un EER de 3,45 %, surpassant systématiquement les modèles de référence, y compris OC-Softmax et les modèles de cross-entropie pondérée (WCE).
Études d'ablation :
- Le retrait de la perte de classification de la qualité ( $L_{quality}$ ) a provoqué une dégradation des performances et un effondrement des centres, confirmant la nécessité d'une supervision explicite de la qualité.
- La stratégie d'inférence par score d'ensemble a nettement mieux performé que la stratégie de score maximal, particulièrement sur l'ensemble de données ITW, en fournissant des scores mieux calibrés et une séparation plus claire entre les distributions authentiques et frauduleuses.

Signification et affirmations
L'article affirme que QAMO répond à la simplification excessive de la classe authentique dans l'apprentissage à un seul centre traditionnel en modélisant explicitement les sous-espaces de qualité de la parole. Ce faisant, il préserve la variabilité intra-classe tout en maintenant la capacité de discrimination contre les audios frauduleux. Les auteurs soutiennent que cette approche conduit à une détection plus robuste des attaques de deepfakes inédites à travers diverses conditions acoustiques. La stratégie de score d'ensemble est mise en avant comme un facteur clé pour stabiliser les frontières de décision et améliorer la robustesse de la détection sans surcoût computationnel pour l'estimation des labels de qualité lors de l'inférence. Ce travail souligne l'importance d'incorporer des métriques de qualité de la parole pour construire des contre-mesures plus fiables face à l'évolution des menaces de deepfakes.