🤖 AI

QAMO: Quality-aware Multi-centroid One-class Learning For Speech Deepfake Detection

Este artigo propõe o QAMO, um framework de aprendizado de uma única classe com múltiplos centroides consciente da qualidade que aprimora a detecção de deepfakes de voz ao modelar o discurso bona fide através de distintos subespaços de qualidade, alcançando um desempenho superior com uma taxa de erro igual de 5,09% em conjuntos de dados in-the-wild.

Autores originais: Duc-Tuan Truong, Tianchi Liu, Ruijie Tao, Junjie Li, Kong Aik Lee, Eng Siong Chng

Publicado 2026-06-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Duc-Tuan Truong, Tianchi Liu, Ruijie Tao, Junjie Li, Kong Aik Lee, Eng Siong Chng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um segurança de um clube muito exclusivo. Seu trabalho é deixar entrar apenas pessoas "reais" (fala bona fide) e barrar qualquer um que tente entrar com um ID falso (fala deepfake).

O Jeito Antigo: O Convidado "Ideal" Único

Por muito tempo, os seguranças usavam uma regra simples: "Se você se parece com o nosso único convidado perfeito e ideal, você entra. Se não, você está fora."

Isso é chamado de Aprendizado de Uma Classe (One-Class Learning). O sistema aprende como uma voz humana "perfeita" soa e desenha um círculo ao redor dela.

O Problema: A vida real não é perfeita. Algumas pessoas reais estão resfriadas, outras estão em salas barulhentas e algumas simplesmente têm vozes roucas. O sistema antigo trata uma voz de alta qualidade e uma voz de baixa qualidade como o mesmo "ideal". Se uma pessoa real tiver uma voz levemente arranhada (baixa qualidade), o sistema pode pensar: "Isso não se parece com o nosso convidado perfeito", e expulsá-la erroneamente. Ou, um falso astuto pode imitar essa voz perfeita apenas o suficiente para passar despercebido.

A Nova Solução: QAMO (A Equipe "Consciente da Qualidade")

O artigo apresenta o QAMO (Aprendizado de Uma Classe Multicêntrico Consciente da Qualidade). Em vez de ter um único segurança vigiando um único convidado "ideal", o QAMO contrata uma equipe de seguranças especializados, cada um procurando por um tipo específico de voz real.

Veja como funciona, usando analogias simples:

1. A Classificação por "Qualidade"

O sistema primeiro ouve a voz e pergunta: "Esta é uma voz de alta qualidade (clara, nítida) ou uma voz de baixa qualidade (ruidosa, abafada)?"

Pense nisso como classificar maçãs. Algumas são brilhantes e vermelhas (Alta Qualidade), e outras são machucadas ou empoeiradas (Baixa Qualidade).
O sistema antigo tentava colocar todas as maçãs em uma única cesta. O QAMO coloca elas em duas cestas diferentes: a cesta da "Maçã Brilhante" e a cesta da "Maçã Machucada".

2. A Equipe de Centroides (Os Seguranças)

Em vez de um único centroide de "Convidado Ideal", o QAMO cria múltiplos centroides (seguranças):

Segurança A é treinado apenas em vozes de alta qualidade, cristalinas.
Segurança B é treinado apenas em vozes de menor qualidade, levemente ruidosas.

Quando uma nova voz chega:

Se for uma voz clara, o Segurança A a verifica.
Se for uma voz ruidosa, o Segurança B a verifica.
Dessa forma, uma pessoa real com uma conexão ruim não é rejeitada só porque não soa "perfeita". O sistema entende que o "real" vem em muitos sabores.

3. O "Voto do Grupo" (Inferência)

Aqui está a parte inteligente. Quando o sistema precisa tomar uma decisão final, ele não pergunta apenas a um segurança. Ele usa um Voto do Grupo.

Imagine que a voz seja um pouco ambígua — é uma voz clara ou uma voz ruidosa?
Em vez de forçar uma escolha, o QAMO pede que todos os seguranças deem sua opinião. Ele calcula o quanto a voz se assemelha ao segurança da "Maçã Brilhante" e ao segurança da "Maçã Machucada".
Ele então combina essas opiniões em uma pontuação final. Isso é como um comitê votando: mesmo que a voz seja um pouco ruidosa, o segurança da "Maçã Machucada" diz: "Ei, isso parece uma pessoa real para mim!" e o segurança da "Maçã Brilhante" diz: "Bem, está um pouco estranho, mas não é falso". A decisão final é mais estável e menos propensa a cometer erros.

Por Que Isso Importa (Os Resultados)

Os autores testaram este sistema contra deepfakes (vozes falsas geradas por IA) em várias situações difíceis, incluindo cenários "In-the-Wild" (gravações reais e desordenadas).

O Resultado: O QAMO cometeu menos erros do que os sistemas antigos de "segurança único". Ele detectou mais falsificações sem expulsar acidentalmente pessoas reais com vozes imperfeitas.
A Lição Principal: Ao reconhecer que a fala real possui diferentes "qualidades" (como clareza ou níveis de ruído) e criar modelos específicos para cada uma, o sistema torna-se muito mais inteligente e difícil de enganar.

Resumo

Pense no sistema antigo como um segurança estereotipado que só deixa entrar pessoas que se parecem exatamente com um modelo de capa de revista. Se você tiver um dia de cabelo bagunçado, você é barrado.

O QAMO é uma equipe de seguranças inteligentes que sabe que as pessoas reais vêm em todos os estilos — algumas são polidas, outras são bagunçadas, mas todas são reais. Ao ter um especialista para cada estilo e deixá-los votar juntos, eles pegam os impostores (falsos) muito melhor, enquanto deixam as pessoas reais entrarem.

Resumo Técnico: QAMO – Aprendizado de Classe Única Multicêntrico Sensível à Qualidade para Detecção de Deepfake de Fala

Definição do Problema
A detecção tradicional de deepfake de fala (SDD) frequentemente trata a tarefa como um problema de classificação binária, o que pode levar ao sobreajuste (overfitting) em ataques de falsificação conhecidos e a uma generalização deficiente para deepfakes inéditos. O aprendizado de classe única (OCL - One-class learning) surgiu como uma alternativa, modelando uma distribuição compacta de fala bona fide (real) em torno de um único centroide e tratando desvios como potenciais falsificações. O OCL convencional simplifica excessivamente a classe bona fide ao assumir uma distribuição unimodal única. Isso falha em capturar a variabilidade intra-classe inerente da fala genuína, particularmente no que diz respeito à qualidade da fala (ex: clareza, presença de ruído, realismo da prosódia). Pesquisas existentes indicam que existem lacunas significativas na Pontuação Média de Opinião (MOS) entre a fala real e a sintética, e que as variações de qualidade podem influenciar a separação entre amostras bona fide e falsificadas. Os métodos de OCL atuais não consideram explicitamente esses subespaços de qualidade.

Metodologia: Estrutura QAMO
Os autores propõem o QAMO, uma estrutura que estende o OCL introduzindo múltiplos centroides, cada um otimizado para representar distintos subespaços de qualidade de fala.

Modelagem de Múltiplos Centroides Sensível à Qualidade:
- Em vez de um único centroide, o QAMO aprende $Q$ centroides ( $w_q$ ), onde cada um corresponde a um nível de qualidade discreto (ex: MOS baixo vs. alto).
- Os níveis de qualidade são atribuídos às amostras de treinamento usando um preditor de MOS pré-treinado (Scoreq). A faixa contínua de MOS é segmentada em classes discretas (ex: $q \in \{0, 1\}$ ).
- Para garantir que os centroides sejam discriminativos e alinhados com níveis de qualidade específicos, o modelo utiliza uma perda AM-Softmax ( $L_{quality}$ ) para a classificação de qualidade. Isso força os embeddings do mesmo nível de qualidade a se agruparem em torno de seu centroide específico.
Aprendizado de Classe Única com Múltiplos Centroides:
- A estrutura estende a perda OC-Softmax para um cenário de múltiplos centroides.
- Para entradas bona fide, o modelo calcula a distância de similaridade de cosseno em relação ao centroide correspondente ao nível de qualidade da amostra.
- Para entradas de falsificação (spoof), o modelo penaliza a similaridade de cosseno máxima entre todos os centroides para garantir a separação de todo o subespaço bona fide.
- O objetivo final de treinamento combina a perda QAMO ( $L_{QAMO}$ ) e a perda de classificação de qualidade ( $L_{quality}$ ) com um hiperparâmetro de ponderação $\lambda$ .
Estratégia de Inferência:
- Inferência de Pontuação Máxima (Max-Score Inference): Semelhante a trabalhos anteriores de múltiplos centroides, esta estratégia utiliza a máxima similaridade entre todos os centroides. No entanto, os autores observam que isso atua como uma atribuição rígida, podendo ser sensível a erros de estimativa de qualidade.
- Inferência de Pontuação de Ensemble (Proposta): Para melhorar a estabilidade e lidar com a incerteza, o QAMO calcula uma soma ponderada das similaridades a todos os centroides. Os pesos ( $\alpha_q$ ) são derivados via uma função softmax aplicada às similaridades de cosseno. Esta estratégia agrega evidências de todos os níveis de qualidade, produzindo pontuações mais suaves e de menor variância sem exigir rótulos de qualidade explicitos durante a inferência.

Principais Contribuições

Modelagem de Qualidade de Múltiplos Centroides: Diferente de abordagens anteriores de múltiplos centroides (ex: SAMO) que organizam os centroides pela identidade do falante, o QAMO estrutura-os pelos níveis de qualidade da fala, codificando explicitamente a informação de qualidade na representação bona fide.
Função de Perda Sensível à Qualidade: A integração de um objetivo de classificação de qualidade garante que os centroides aprendidos permaneçam distintos e não colapsem em um único ponto, preservando efetivamente a variabilidade intra-classe.
Mecanismo de Inferência Robusto: A proposta de uma estratégia de pontuação de ensemble ponderada por softmax permite que o sistema opere sem rótulos de qualidade durante a inferência, ao mesmo tempo em que mitiga os riscos de atribuição rígida e previsões excessivamente confiantes.
Estratégia de Aumento de Dados: Os autores tratam os dados aumentados (via RawBoost) como de "baixa qualidade" durante o treinamento, um proxy computacionalmente eficiente consistente com os deslocamentos observados no MOS, em vez de ignorar a degradação da qualidade.

Resultados Experimentais
Os autores avaliaram o QAMO no conjunto de treinamento ASVspoof2019 LA e testaram nos conjuntos ASVspoof2021 LA, ASVspoof2021 DF, In-the-Wild (ITW) e Fake-or-Real (FoR).

Desempenho: Quando integrado ao backbone XLSR-Conformer-TCM, o QAMO alcançou uma Taxa de Erro Igual (EER) de 5,21% no conjunto de dados In-the-Wild, superando a linha de base OC-Softmax de centroide único (6,72%) e sistemas anteriores sensíveis à qualidade.
Comparações: No conjunto 21DF, o QAMO alcançou 1,63% de EER, e no FoR, 3,45%, superando consistentemente as linhas de base, incluindo OC-Softmax e modelos de entropia cruzada ponderada (WCE).
Estudos de Ablação:
- A remoção da perda de classificação de qualidade ( $L_{quality}$ ) causou degradação no desempenho e colapso de centroide, confirmando a necessidade de supervisão explícita de qualidade.
- A estratégia de inferência de pontuação de ensemble superou significativamente a estratégia de pontuação máxima, particularmente no conjunto de dados ITW, ao fornecer pontuações melhor calibradas e uma separação mais clara entre as distribuições bona fide e de falsificação (spoof).

Significância e Alegações
O artigo afirma que o QAMO aborda a simplificação excessiva da classe bona fide no aprendizado de classe única tradicional ao modelar explicitamente os subespaços de qualidade da fala. Ao fazer isso, preserva a variabilidade intra-classe enquanto mantém a discriminabilidade contra áudios falsificados. Os autores sustentam que esta abordagem leva a uma detecção mais robusta de ataques de deepfake inéditos sob diversas condições acústicas. A estratégia de pontuação de ensemble é destacada como um fator chave para estabilizar as fronteiras de decisão e melhorar a robustez da detecção sem o custo computacional de estimar rótulos de qualidade durante a inferência. O trabalho ressalta a importância de incorporar métricas de qualidade de fala para construir contramedidas mais confiáveis contra as evoluções das ameaças de deepfake.