Open-Set Source Tracing as Compositional Factors via Structured Prototypes

Résumé Technique : Le traçage de source en régime ouvert comme facteurs compositionnels via des prototypes structurés

Énoncé du Problème
L'article traite des limites des tâches actuelles d'attribution de parole synthétique (traçage de source), qui traitent traditionnellement une « source » comme une architecture générative monolithique. Les auteurs soutiennent que cette approche est insuffisante sur le plan médico-légal car le résultat d'un modèle génératif est façonné par un tuple compositionnel de facteurs : l'Architecture (A), les Données d'Entraînement (D), et une Configuration Résiduelle (H) (englobant les hyperparamètres, la stochasticité de l'optimisation et les interactions non linéaires).

Le défi central est que les méthodes classiques d'apprentissage métrique profond (par exemple, ArcFace) compressent ces facteurs en un seul embedding, provoquant un enchevêtrement. Cela empêche les modèles de généraliser vers des scénarios « Open-Set » (en régime ouvert) où une architecture connue est associée à des données inconnues, ou vice versa. L'article définit quatre scénarios d'attribution allant du mode « Entièrement Fermé » (combinaisons connues) au mode « Entièrement Ouvert » (architecture et données inconnues), soulignant la nécessité d'une généralisation compositionnelle.

Méthodologie
Le cadre proposé redéfinit le traçage de source comme un problème d'attribution factorisé utilisant des Prototypes Orthonormés Structurés et un Partitionnement de Sous-Espaces. La méthodologie repose sur trois stratégies progressives :

1. Décomposition de la Variabilité : Les auteurs distinguent la variabilité inter-sources (la cible : $A \times D \times H$) de la variabilité intra-source (facteurs de nuisance comme les locuteurs de référence ou le contenu phonétique). L'objectif est de rendre le modèle invariant aux variables d'inférence ($i$) tout en capturant le tuple de la source $s = (a, d, h)$.
2. Stratégie 1 : Prototypes Orthonormés Structurés : Au lieu de poids de classe apprenables, le modèle utilise une matrice de prototypes orthonormés fixes $P$. Cela impose une régularité géométrique et maximise la séparabilité inter-classes, agissant comme un fort a priori pour l'identification en régime ouvert.
3. Stratégie 2 : Partitionnement de Sous-Espaces : Pour séparer explicitement les facteurs, l'espace d'embedding est partitionné en sous-espaces orthogonaux :
   • $Z_A$ (Architecture) : Aligné avec les prototypes d'architecture.
   • $Z_D$ (Données d'Entraînement) : Aligné avec les prototypes de jeux de données.
   • $Z_R$ (Résiduel) : Un sous-espace dédié, sans prototype, capturant la configuration résiduelle $H$ et la variabilité non étiquetée.
   • Fonctions de Perte : Le cadre utilise une perte d'entropie croisée pondérée combinée à des termes d'erreur quadratique moyenne (MSE) pour aligner les embeddings avec leurs prototypes respectifs. Pour le sous-espace résiduel, une Contrainte d'Énergie est introduite pour empêcher l'effondrement de la représentation ou la dominance de la norme, garantissant que $Z_R$ encode une incertitude bornée sans éclipser les facteurs primaires.

Contributions Clés

• Redéfinition de l'Identité de la Source : L'article définit formellement une source comme un tuple compositionnel $S = (A, D, H)$ plutôt que comme un simple label, permettant de modéliser les caractéristiques partagées entre les modèles.
• Espace d'Embedding Factorisé : L'introduction du partitionnement de sous-espaces permet au modèle d'apprendre des représentations marginales pour l'architecture et les données de manière indépendante, facilitant la généralisation à de nouvelles combinaisons de facteurs connus.
• Modélisation Résiduelle : L'inclusion explicite d'un sous-espace résiduel ($Z_R$) avec des contraintes d'énergie permet au système d'absorber les facteurs non déterministes et les interactions non linéaires sans corrompre les représentations des facteurs primaires.
• Prototypes Structurés : L'utilisation de prototypes orthonormés gelés fournit une structure géométrique qui améliore les performances en few-shot par rapport aux poids apprenables standards.

Résultats Expérimentaux
Le cadre a été évalué sur le jeu de données MLAAD en utilisant un protocole d'identification en régime ouvert à faible nombre d'exemples (K=1, 3, 5 exemples de support).

• Performance de Référence (Baseline) : La baseline ArcFace standard a atteint une précision élevée en régime fermé (95,11 %) mais a souffert d'un écart de généralisation important (13,70 %) dans les scénarios en régime ouvert.
• Stratégie 1 : A amélioré la performance en régime ouvert par rapport à la baseline, mais a peiné face aux « Combinaisons Inconnues » en raison de l'absence de structure partagée entre les prototypes.
• Stratégie 2 (Factorisée) : A montré des améliorations substantielles. Plus précisément, la Stratégie 2.B (avec Modélisation Résiduelle) a obtenu les meilleurs résultats globaux, atteignant 84,52 % de F1-Macro dans le réglage "All vs All" en few-shot (K=5).
• Généralisation : La Stratégie 2.B a considérablement réduit l'écart de généralisation (à 9,19 %) par rapport à la baseline. Elle a démontré une force particulière dans les scénarios d'« Architecture Inconnue » et de « Jeu de Données Inconnu », suggérant que l'isolement des facteurs permet au modèle de tirer parti des artefacts connus liés aux données pour compenser les architectures nouvelles, et vice versa.

Signification et Revendications
L'article affirme que la décomposition de l'identité générative en représentations marginales factorisées est essentielle pour une attribution robuste en régime ouvert. Les auteurs soutiennent que leur approche :

1. Permet la Généralisation Compositionnelle : Le système peut attribuer l'audio de nouveaux appariements $(A, D)$ en recombinant les prototypes de facteurs appris, plutôt que de nécessifier un réentraînement exhaustif pour chaque nouvelle source.
2. Améliore la Scalabilité : L'approche factorisée est plus évolutive que la classification monolithique ; représenter $C_A \times C_D$ sources nécessite seulement $C_A + C_D$ vecteurs de base, alors que les approches monolithiques nécessitent un prototype unique pour chaque combinaison.
3. Offre une Interprétabilité : La séparation des sous-espaces suggère une voie vers l'analyse médico-légale où la contribution des indices architecturaux versus les indices liés aux données peut être quantifiée en comparant la similitude au sein de sous-espaces spécifiques ($Z_A$ vs $Z_D$).

Les auteurs concluent que, bien que leur méthode surpasse nettement les baselines à marge angulaire dans les scénarios few-shot en régime ouvert, l'implémentation actuelle absorbe la variabilité lors de l'inférence (comme les locuteurs de référence) dans le sous-espace résiduel, laissant la compensation explicite de ces variables comme une direction pour les travaux futurs.