Open-Set Source Tracing as Compositional Factors via Structured Prototypes

Resumo Técnico: Rastreamento de Origem em Conjunto Aberto como Fatores Composicionais via Protótipos Estruturados

Declaração do Problema
O artigo aborda as limitações das tarefas atuais de atribuição de fala sintética (Rastreamento de Origem), que tradicionalmente tratam uma "origem" como uma arquitetura generativa monolítica. Os autores argumentam que essa abordagem é forensemente insuficiente porque o output de um modelo generativo é moldado por uma tupla composicional de fatores: a Arquitetura (A), os Dados de Treinamento (D) e uma Configuração Residual (H) (que abrange hiperparâmetros, estocasticidade de otimização e interações não lineares).

O desafio central é que os métodos padrão de Aprendizado de Métrica Profunda (ex: ArcFace) comprimem esses fatores em um único embedding, causando o emaranhamento. Isso impede que os modelos generalizem para cenários de "Conjunto Aberto" (Open-Set), onde uma arquitetura conhecida é pareada com dados inéditos, ou vice-versa. O artigo define quatro cenários de atribuição que variam de Totalmente Fechado (combinações vistas) a Totalmente Aberto (tanto a arquitetura quanto os dados são inéditos), destacando a necessidade de generalização composicional.

Metodologia
O framework proposto redefine o rastreamento de origem como um problema de atribuição fatorada usando Protótipos Ortonormais Estruturados e Particionamento de Subespaços. A metodologia é construída sobre três estratégias progressivas:

1. Decomposição de Variabilidade: Os autores distinguem entre variabilidade inter-origem (o alvo: $A \times D \times H$) e variabilidade intra-origem (fatores de incômodo como locutores de referência ou conteúdo fonético). O objetivo é tornar o modelo invariante a variáveis de inferência ($i$) enquanto captura a tupla de origem $s = (a, d, h)$.
2. Estratégia 1: Protótipos Ortonormais Estruturados: Em vez de pesos de classe aprendíveis, o modelo utiliza uma matriz de protótipos ortonormais fixa $P$. Isso impõe regularidade geométrica e maximiza a separabilidade interclasses, atuando como um forte prior para identificação em conjunto aberto.
3. Estratégia 2: Particionamento de Subespaço: Para separar explicitamente os fatores, o espaço de embedding é particionado em subespaços ortogonais:
   • $Z_A$ (Arquitetura): Alinhado com protótipos de arquitetura.
   • $Z_D$ (Dados de Treinamento): Alinhado com protótipos de dataset.
   • $Z_R$ (Residual): Um subespaço dedicado, livre de protótipos, que captura a configuração residual $H$ e a variabilidade não rotulada.
   • Funções de Perda: O framework emprega uma perda de entropia cruzada ponderada combinada com termos de Erro Quadrático Médio (MSE) para alinhar os embeddings com seus respectivos protótipos. Para o subespaço residual, uma Restrição de Energia é introduzida para evitar o colapso da representação ou dominância de norma, garantindo que $Z_R$ codifique incerteza limitada sem ofuscar os fatores primários.

Principais Contribuições

• Redefinição da Identidade de Origem: O artigo define formalmente uma origem como uma tupla composicional $S = (A, D, H)$ em vez de um rótulo único, permitindo a modelagem de características compartilhadas entre modelos.
• Espaço de Embedding Fatorado: A introdução do particionamento de subespaço permite que o modelo aprenda representações marginais para arquitetura e dados de forma independente, facilitando a generalização para novas combinações de fatores conhecidos.
• Modelagem de Resíduo: A inclusão explícita de um subespaço residual ($Z_R$) com restrições de energia permite que o sistema absorva fatores não determinísticos e interações não lineares sem corromper as representações dos fatores primários.
• Protótipos Estruturados: O uso de protótipos ortonormais congelados fornece uma estrutura geométrica que melhora o desempenho de poucos disparos (few-shot) em comparação com pesos aprendíveis padrão.

Resultados Experimentais
O framework foi avaliado no dataset MLAAD utilizando um protocolo de identificação de conjunto aberto de poucos disparos (K=1, 3, 5 exemplos de suporte).

• Desempenho da Linha de Base (Baseline): O baseline padrão ArcFace alcançou alta precisão em conjunto fechado (95,11%), mas sofreu uma lacuna de generalização significativa (13,70%) em cenários de conjunto aberto.
• Estratégia 1: Melhorou o desempenho em conjunto aberto em relação ao baseline, mas teve dificuldades com "Combinações Inéditas" devido à falta de estrutura compartilhada entre os protótipos.
• Estratégia 2 (Fatorada): Mostrou melhorias substanciais. Especificamente, a Estratégia 2.B (com Modelagem de Resíduo) obteve os melhores resultados gerais, atingindo 84,52% de F1-Macro no cenário de poucos disparos "Todos vs Todos" (K=5).
• Generalização: A Estratégia 2.B reduziu significativamente a lacuna de generalização (para 9,19%) em comparação com o baseline. Demonstrou força particular nos cenários de "Arquitetura Inédita" e "Dataset Inédito", sugerindo que o isolamento de fatores permite que o modelo aproveite artefatos de dados conhecidos para compensar arquiteturas novas, e vice-versa.

Significância e Alegações
O artigo afirma que decompor a identidade generativa em representações marginais fatoradas é essencial para uma atribuição robusta em conjunto aberto. Os autores asseveram que sua abordagem:

1. Permite a Generalização Composicional: O sistema pode atribuir áudio de novos pares $(A, D)$ recombinando protótipos de fatores aprendidos, em vez de exigir o retreinamento exaustivo para cada nova origem.
2. Melhora a Escalabilidade: A abordagem fatorada escala de forma mais favorável do que a classificação monolítica; representar $C_A \times C_D$ origens requer apenas $C_A + C_D$ vetores de base, enquanto abordagens monolíticas exigem um protótipo único para cada combinação.
3. Oferece Interpretabilidade: A separação de subespaços sugere um caminho para a análise forense onde a contribuição de pistas arquiteturais versus pistas baseadas em dados pode ser quantificada comparando a similaridade dentro de subespaços específicos ($Z_A$ vs. $Z_D$).

Os autores concluem que, embora seu método supere significativamente os baselines de margem angular em cenários de poucos disparos em conjunto aberto, a implementação atual absorve a variabilidade de tempo de inferência (como locutores de referência) no subespaço residual, deixando a compensação explícita para essas variáveis como uma direção para trabalhos futuros.