Open-Set Source Tracing as Compositional Factors via Structured Prototypes

Sintesi Tecnica: Tracciamento della Sorgente Open-Set come Fattori Composizionali tramite Prototipi Strutturati

Definizione del Problema
Il documento affronta i limiti degli attuali compiti di attribuzione del parlato sintetico (Source Tracing), che tradizionalmente trattano una "sorgente" come un'architettura generativa monolitica. Gli autori sostengono che tale approccio sia forensemente insufficiente perché l'output di un modello generativo è modellato da una tupla composizionale di fattori: l'Architettura (A), i Dati di Addestramento (D) e una Configurazione Residua (H) (che comprende iperparametri, stocasticità dell'ottimizzazione e interazioni non lineari).

La sfida principale è che i metodi standard di Deep Metric Learning (ad es. ArcFace) comprimono questi fattori in un unico embedding, causando un intreccio (entanglement). Ciò impedisce ai modelli di generalizzare in scenari "Open-Set", dove un'architettura nota viene accoppiata con dati non visti, o viceversa. Il documento definisce quattro scenari di attribuzione che spaziano dal "Fully Closed" (combinazioni viste) al "Fully Open" (sia l'architettura che i dati sono non visti), evidenziando la necessità di una generalizzazione composizionale.

Metodologia
Il framework proposto ridefinisce il tracciamento della sorgente come un problema di attribuzione fattorizzata utilizzando Prototipi Ortonormali Strutturati e Partizionamento di Sottospazi. La metodologia si basa su tre strategie progressive:

1. Decomposizione della Variabilità: Gli autori distinguono tra variabilità inter-sorgente (l'obiettivo: $A \times D \times H$) e variabilità intra-sorgente (fattori di disturbo come gli speaker di riferimento o il contenuto fonetico). L'obiettivo è rendere il modello invariante rispetto alle variabili di inferenza ($i$) pur catturando la tupla sorgente $s = (a, d, h)$.
2. Strategia 1: Prototipi Ortonormali Strutturati: Invece di pesi di classe apprendibili, il modello utilizza una matrice di prototipi ortonormali fissa, $P$. Questo impone una regolarità geometrica e massimizza la separabilità inter-classe, agendo come un forte prior per l'identificazione open-set.
3. Strategia 2: Partizionamento di Sottospazi: Per separare esplicitamente i fattori, lo spazio di embedding è partizionato in sottospazi ortogonali:
   • $Z_A$ (Architettura): Allineato con i prototipi dell'architettura.
   • $Z_D$ (Dati di Addestramento): Allineato con i prototipi del dataset.
   • $Z_R$ (Residuo): Un sottospazio dedicato, privo di prototipi, che cattura la configurazione residua $H$ e la variabilità non etichettata.
   • Funzioni di Perdita: Il framework impiega una perdita di cross-entropy pesata combinata con termini di Errore Quadratico Medio (MSE) per allineare gli embedding ai rispettivi prototipi. Per il sottospazio residuo, viene introdotta un'Integrazione di Energia (Energy Constraint) per prevenire il collasso della rappresentazione o la dominanza della norma, garantendo che $Z_R$ codifichi l'incertezza limitata senza sovrastare i fattori primari.

Contributi Chiave

• Ridefinizione dell'Identità della Sorgente: Il documento definisce formalmente una sorgente come una tuola composizionale $S = (A, D, H)$ piuttosto che come un singolo label, consentendo la modellazione di caratteristiche condivise tra i modelli.
• Spazio di Embedding Fattorizzato: L'introduzione del partizionamento di sottospazio permette al modello di apprendere rappresentazioni marginali per architettura e dati indipendentemente, facilitando la generalizzazione a nuove combinazioni di fattori noti.
• Modellazione del Residuo: L'inclusione esplicita di un sottospazio residuo ($Z_R$) con vincoli di energia consente al sistema di assorbire fattori non deterministici e interazioni non lineari senza corrompere le rappresentazioni dei fattori primari.
• Prototipi Strutturati: L'uso di prototipi ortonormali congelati fornisce una struttura geometrica che migliora le prestazioni few-shot rispetto ai pesi apprendibili standard.

Risultati Sperimentali
Il framework è stato valutato sul dataset MLAAD utilizzando un protocollo di identificazione open-set few-shot (K=1, 3, 5 esempi di supporto).

• Prestazioni Baseline: La baseline standard ArcFace ha ottenuto un'elevata accuratezza closed-set (95,11%) ma ha sofferto di un significativo gap di generalizzazione (13,70%) negli scenari open-set.
• Strategia 1: Ha migliorato le prestazioni open-set rispetto alla baseline, ma ha incontrato difficoltà con le "Unseen Combinations" a causa della mancanza di una struttura condivisa tra i prototipi.
• Strategia 2 (Fattorizzata): Ha mostrato miglioramenti sostanziali. Nello specifico, la Strategia 2.B (con Modellazione del Residuo) ha ottenuto i migliori risultati complessivi, raggiungendo l'84,52% di F1-Macro nell'impostazione few-shot "All vs All" (K=5).
• Generalizzazione: La Strategia 2.B ha ridotto significativamente il gap di generalizzazione (al 9,19%) rispetto alla baseline. Ha dimostrato una forza particolare negli scenari "Unseen Architecture" e "Unseen Dataset", suggerendo che l'isolamento dei fattori permette al modello di sfruttare gli artefatti derivanti dai dati noti per compensare le nuove architetture, e viceversa.

Significatività e Rivendicazioni
Il documento afferma che la decomposizione dell'identità generativa in rappresentazioni marginali fattorizzate è essenziale per un'attribuzione open-set robusta. Gli autori asseriscono che il loro approccio:

1. Abilita la Generalizzazione Composizionale: Il sistema può attribuire l'audio da nuove coppie $(A, D)$ ricombinando i prototipi dei fattori appresi, invece di richiedere un riaddestramento esaustivo per ogni nuova sorgente.
2. Migliora la Scalabilità: L'approccio fattorizzato scala più favorevolmente rispetto alla classificazione monolitica; rappresentare $C_A \times C_D$ sorgenti richiede solo $C_A + C_D$ vettori di base, mentre gli approcci monolitici richiedono un prototipo unico per ogni combinazione.
3. Offre Interpretabilità: La separazione dei sottospazi suggerisce una strada verso l'analisi forense in cui il contributo dei segnali derivanti dall'architettura rispetto a quelli derivanti dai dati può essere quantificato confrontando la similarità all'interno di specifici sottospazi ($Z_A$ vs $Z_D$).

Gli autori concludono che, sebbene il loro metodo superi significativamente le baseline a margine angolare negli scenari few-shot open-set, l'attuale implementazione assorbe la variabilità del tempo di inferenza (come gli speaker di riferimento) nel sottospazio residuo, lasciando la compensazione esplicita di queste variabili come direzione per il lavoro futuro.