InfoShield: Privacy-Preserving Speech Representations for Mental Health Screening via Information-Theoretic Optimization

Sintesi Tecnica: InfoShield

Definizione del Problema

Lo screening della salute mentale basato sul parlato offre un metodo scalabile e non invasivo per la rilevazione della depressione sfruttando i biomarcatori acustici. Tuttavia, l'implementazione clinica è ostacolata da significativi problemi di privacy: i segnali vocali codificano intrinsecamente sia marcatori diagnostici che attributi demografici sensibili (es. genere, età, stato socioeconomico). Le attuali tecniche di preservazione della privacy sono poco adatte a questo specifico compromesso:

• Addestramento Avversario (Adversarial Training): Spesso fallisce contro architetture di attacco non viste e manca di generalizzabilità.
• Privacy Differenziale (DP): Applica il rumore uniformemente su tutte le caratteristiche, degradando indiscriminatamente i pattern spettrali fini essenziali per l'accuratezza diagnostica.
• Stimatori di Informazione Mutua (MI) Standard: I metodi esistenti come MINE faticano con i dati vocali sequenziali a causa del disallineamento temporale-statico. Tipicamente accorpano sequenze acustiche di lunghezza variabile in una singola rappresentazione, accoppiandole a etichette di attributi statici, portando a stime di MI inaffidabili e a una protezione della privacy inefficace.

Metodologia: Framework InfoShield

Il paper propone InfoShield, un framework unificato basato sulla teoria dell'informazione progettato per minimizzare l'informazione mutua tra le rappresentazioni del parlato e gli attributi sensibili, preservando al contempo l'utilità diagnostica.

1. Architettura Core

Il framework integra tre componenti chiave in un unico obiettivo di ottimizzazione:

• Encoder del Parlato (Speech Encoder): Un encoder basato su Transformer elabora gli spettrogrammi log-mel ($X$) in input per produrre rappresentazioni latenti stocastiche ($Z$).
• Variational Information Bottleneck (VIB): Un termine di compressione ($\beta KL[q_\phi(Z|X) \| p(Z)]$) viene utilizzato per regolarizzare lo spazio latente, promuovendo la generalizzazione e filtrando implicitamente l'informazione.
• Minimizzazione Mirata dell'Informazione Mutua: Un termine di perdita della privacy ($\gamma \hat{I}(Z; s)$) minimizza esplicitamente l'informazione mutua tra la rappresentazione latente $Z$ e le frasi trascritte $s$ (che contengono indizi demografici).

La funzione di perdita totale è definita come:
$$L = -E[\log p_\theta(Y |Z)] + \beta KL[q_\phi(Z|X) \| p(Z)] + \gamma \hat{I}(Z; s)$$
Dove il primo termine garantisce l'utilità diagnostica (predizione della depressione), il secondo impone la compressione VIB e il terzo guida la privacy.

2. TimeAwareMINE

Per affrontare il fallimento di MINE standard sui dati sequenziali, gli autori introducono TimeAwareMINE.

• Meccanismo: Invece del pooling globale, TimeAwareMINE utilizza l'attenzione cross-modale per allineare i frame acustici ($z_t$) con gli embedding delle trascrizioni ($e_s$) derivati da un encoder BERT.
• Allineamento: Il meccanismo di attenzione calcola i pesi per frame ($\alpha_t$) per allineare dinamicamente le caratteristiche acustiche variabili nel tempo con le rappresentazioni degli attributi statici.
• Stima: Questo allineamento consente una stima più accurata dell'informazione mutua ($\hat{I}(Z; s)$) assicurando una corrispondenza significativa tra frame e trascrizione, consentendo così la rimozione mirata delle informazioni sensibili senza sfocare l'intero segnale.

3. Base Teorica

L'approccio si basa sulla disuguaglianza dell'elaborazione dei dati. Minimizzando $I(Z; S)$ (l'informazione tra il parlato e le trascrizioni che contengono indizi demografici) e assumendo una debole dipendenza condizionale tra l'attributo e la trascrizione dato il parlato, il framework garantisce teoricamente una riduzione di $I(Z; A)$ (la fuga di informazioni dell'attributo sensibile $A$).

Contributi Chiave

1. TimeAwareMINE: Uno stimatore innovativo che risolve il disallineamento temporale-statico nel parlato sequenziale utilizzando l'attenzione cross-modale. Supera il MINE standard sia in utilità (F1: 0.782 vs 0.714) che nella protezione della privacy dell'età.
2. Framework Unificato: L'integrazione della compressione VIB con TimeAwareMINE raggiunge un equilibrio superiore tra privacy e utilità rispetto all'uso di uno dei due componenti isolatamente.
3. Validazione Empirica: Valutazione completa sul Corpus Androids che dimostra come InfoShield sopprima efficacemente l'inferenza di attributi mantenendo un'elevata performance diagnostica.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul Corpus Androids (118 parlanti nativi italiani, 64 depressi, 54 sani). La valutazione ha utilizzato una suddivisione a 5 fold con split a livello di partecipante.

Performance Diagnostica (Utilità)

• InfoShield ha raggiunto un punteggio F1 di 0.784 per la classificazione della depressione.
• Questo supera il precedente Stato dell'Arte (SOTA) [1] (F1: 0.723) ed è solo una riduzione del 6% rispetto alla baseline "Normal" (oracle) (F1: 0.834).
• InfoShield ha superato significativamente le baseline di Differential Privacy (es. DP $\epsilon=1$ ha prodotto F1: 0.568).

Protezione della Privacy (Attacchi di Inferenza)

InfoShield ha ridotto significativamente l'accuratezza degli attacchi di inferenza degli attributi rispetto alle baseline:

• Inferenza del Genere: Ridotta dal 92.6% (Raw/Normal) al 55.5%.
• Inferenza dell'Età: Ridotta dal 55.7% (Raw/Normal) al 30.3% (al di sotto della baseline del caso casuale del 33.3% per la classificazione a 3 classi).
• Confronto: InfoShield ha fornito una protezione della privacy più forte rispetto ai metodi VIB-only, Standard-MINE e Differential Privacy, con miglioramenti statisticamente significativi ($p < 0.05$).

Approfondimenti dall'Ablazione

• Solo VIB: Ha fornito modesti guadagni di privacy ma mancava della precisione mirata della minimizzazione della MI.
• Standard-MINE: Ha ottenuto una forte privacy sul genere ma ha sofferto di degradazione dell'utilità e una protezione dell'età più debole a causa del disallineamento temporale.
• TimeAwareMINE: Ha dimostrato che il design consapevole del tempo è critico per il parlato sequenziale, migliorando sia l'utilità che la privacy dell'età rispetto a Standard-MINE.

Significato e Rivendicazioni

Il paper sostiene che InfoShield offra una soluzione fattibile per il dispiegamento di strumenti basati sul parlato in ambienti sanitari sensibili alla privacy. Esplicitamente modellando e minimizzando l'informazione mutua tra le rappresentazioni del parlato e gli indizi demografici, il framework risolve il conflitto tra precisione diagnostica e privacy.

Gli autori sottolineano che il loro approccio basato sulla teoria dell'informazione fornisce una protezione universale contro gli attacchi di inferenza senza richiedere la conoscenza di specifici modelli di attacco, a differenza dell'addestramento avversario. Inoltre, utilizzando la minimizzazione della MI mirata invece dell'iniezione globale di rumore (DP), InfoShield preserva i pattern acustici diagnosticamente rilevanti che vengono spesso distrutti da altri metodi di privacy.

Limitazioni Riconosciute:
Gli autori osservano che la potenza statistica delle loro scoperte è limitata dalla piccola dimensione del campione (118 parlanti) e dal singolo linguaggio (italiano) del dataset. Affermano che sono necessari lavori futuri per validare la robustezza su coorti più ampie e multilingue e per estendere la protezione ad altri attributi sensibili sotto modelli di minaccia più forti.