Open-Set Source Tracing as Compositional Factors via Structured Prototypes

Technische Samenvatting: Open-Set Source Tracing als Compositionele Factoren via Gestructureerde Prototypes

Probleemstelling
Het artikel behandelt de beperkingen van huidige taken voor synthetische spraakattributie (Source Tracing), die een "bron" traditioneel behandelen als een monolithische generatieve architectuur. De auteurs stellen dat deze benadering forensisch onvoldoende is, omdat de output van een generatief model wordt gevormd door een compositionele tuple van factoren: de Architectuur (A), de Trainingsdata (D) en een Residuele Configuratie (H) (omvattende hyperparameters, optimalisatiestochastiek en niet-lineaire interacties).

De kernuitdaging is dat standaard Deep Metric Learning-methoden (bijv. ArcFace) deze factoren in één enkele embedding comprimeren, wat leidt tot verstrengeling (entanglement). Dit voorkomt dat modellen generaliseren naar "Open-Set"-scenario's waarbij een bekende architectuur wordt gecombineerd met onbekende data, of vice versa. Het artikel definieert vier attributiescenario's variërend van Volledig Gesloten (bekende combinaties) tot Volledig Open (zowel architectuur als data onbekend), wat de noodzaak voor compositionele generalisatie benadrukt.

Methodologie
Het voorgestelde raamwerk herdefinieert source tracing als een gefactoriseerd attributieprobleem met behulp van Gestructureerde Orthonormale Prototypes en Subspace Partitioning (onderverdeling van de onderruimte). De methodologie is gebouwd op drie progressieve strategieën:

1. Variabiliteitsdecompositie: De auteurs maken onderscheid tussen inter-bron variabiliteit (het doel: $A \times D \times H$) en intra-bron variabiliteit (storende factoren zoals referentie-sprekers of fonetische inhoud). Het doel is om het model invariant te maken voor inferentie-variabelen ($i$) terwijl de bron-tuple $s = (a, d, h)$ wordt vastgelegd.
2. Strategie 1: Gestructureerde Orthonormale Prototypes: In plaats van leerbare klasse-gewichten gebruikt het model een vaste, orthonormale prototype-matrix $P$. Dit dwingt geometrische regelmaat af en maximaliseert de inter-klasse scheidbaarheid, wat fungeert als een sterke prior voor open-set identificatie.
3. Strategie 2: Subspace Partitioning: Om factoren expliciet te scheiden, wordt de embedding-ruimte verdeeld in orthogonale subruimten:
   • $Z_A$ (Architectuur): Uitgelijnd met architectuur-prototypes.
   • $Z_D$ (Trainingsdata): Uitgelijnd met dataset-prototypes.
   • $Z_R$ (Residueel): Een specifieke, prototype-vrije subruimte die de residuele configuratie $H$ en ongelabelde variabiliteit opvangt.
   • Verliesfuncties: Het raamwerk maakt gebruik van een gewogen cross-entropy loss gecombineerd met Mean Squared Error (MSE)-termen om embeddings uit te lijnen met hun respectieve prototypes. Voor de residuele subruimte wordt een Energy Constraint geïntroduceerd om representatie-instorting of norm-dominantie te voorkomen, waardoor $Z_R$ begrensde onzekerheid kan coderen zonder de primaire factoren te overschaduwen.

Belangrijkste Bijdragen

• Herdefinitie van Bronidentiteit: Het artikel definieert een bron formeel als een compositionele tuple $S = (A, D, H)$ in plaats van een enkele label, wat het modelleren van gedeelde kenmerken tussen modellen mogelijk maakt.
• Gefactoriseerde Embedding-ruimte: De introductie van subspace partitioning stelt het model in staat om onafhankelijk marginale representaties van architectuur en data te leren, wat de generalisatie naar nieuwe combinaties van bekende factoren vergemakkelijkt.
• Residuele Modellering: De expliciete inclusie van een residuele subruimte ($Z_R$) met energie-constraints stelt het systeem in staat om niet-deterministische factoren en niet-lineaire interacties op te vangen zonder de primaire factorrepresentaties te corrumperen.
• Gestructureerde Prototypes: Het gebruik van bevroren, orthonormale prototypes biedt een geometrische structuur die de few-shot prestaties verbetert ten opzichte van standaard leerbare gewichten.

Experimentele Resultaten
Het raamwerk werd geëvalueerd op de MLAAD dataset met behulp van een few-shot open-set identificatieprotocol (K=1, 3, 5 support voorbeelden).

• Baseline Prestaties: De standaard ArcFace baseline behaalde een hoge closed-set nauwkeurigheid (95,11%), maar leed onder een aanzienlijk generalisatieverschil (13,70%) in open-set scenario's.
• Strategie 1: Verbeterde de open-set prestaties ten opzichte van de baseline, maar had moeite met "Onbekende Combinaties" door het gebrek aan een gedeelde structuur tussen de prototypes.
• Strategie 2 (Gefactoriseerd): Toonde substantiële verbeteringen. Met name Strategie 2.B (met Residuele Modellering) behaalde de beste algehele resultaten, met een 84,52% F1-Macro in de "All vs All" few-shot setting (K=5).
• Generalisatie: Strategie 2.B verminderde het generalisatieverschil aanzienlijk (tot 9,19%) vergeleken met de baseline. Het demonstreerde bijzondere kracht in "Onbekende Architectuur" en "Onbekende Dataset" scenario's, wat suggereert dat het isoleren van factoren het model in staat stelt om bekende data-gedreven artefacten te gebruiken om nieuwere architecturen te compenseren, en vice versa.

Betekenis en Claims
Het artikel beweert dat het decomponeren van de generatieve identiteit in gefactoriseerde marginale representaties essentieel is voor robuuste open-set attributie. De auteurs stellen dat hun aanpak:

1. Compositionele Generalisatie Mogelijk Maakt: Het systeem kan audio van nieuwe $(A, D)$ paren attribueren door geleerde factor-prototypes te combineren, in plaats van een uitputtelijke hertraining voor elke nieuwe bron te vereisen.
2. Schaalbaarheid Verbetert: De gefactoriseerde aanpak schaalt gunstiger dan monolithische classificatie; het representeren van $C_A \times C_D$ bronnen vereist slechts $C_A + C_D$ basisvectoren, terwijl monolithische benaderingen een uniek prototype voor elke combinatie vereisen.
3. Interpretabiliteit Biedt: De scheiding van subruimten suggereert een pad naar forensische analyse waarbij de bijdrage van architecturale versus data-gedreven cues gekwantificeerd kan worden door de gelijkenis binnen specifieke subruimten ($Z_A$ vs. $Z_D$) te vergelijken.

De auteurs concluderen dat hoewel hun methode aanzienlijk beter presteert dan angular-margin baselines in few-shot open-set scenario's, de huidige implementatie de variabiliteit tijdens de inferentie (zoals referentie-sprekers) absorbeert in de residuele subruimte, waardoor expliciete compensatie voor deze variabelen een richting is voor toekomstig werk.