InfoShield: Privacy-Preserving Speech Representations for Mental Health Screening via Information-Theoretic Optimization

Technische Samenvatting: InfoShield

Probleemstelling

Spraakgebaseerde screening voor mentale gezondheid biedt een schaalbare, niet-invasieve methode voor depressiedetectie door gebruik te maken van akoestische biomarkers. De klinische implementatie wordt echter gehinderd door aanzienlijke privacyproblemen: spraaksignalen bevatten inherent zowel diagnostische markers als gevoelige demografische kenmerken (bijv. geslacht, leeftijd, sociaaleconomische status). Huidige privacy-bewarende technieken zijn slecht geschikt voor deze specifieke afweging:

• Adversarial Training: Faalt vaak tegen onbekende aanvalarchitecturen en mist generaliseerbaarheid.
• Differential Privacy (DP): Past ruis uniform toe op alle kenmerken, wat de fijnmazige spectrale patronen die essentieel zijn voor diagnostische nauwkeurigheid onherroepelijk verslechtert.
• Standaard Mutual Information (MI) Estimators: Bestaande methoden zoals MINE hebben moeite met sequentiële spraakdata vanwege temporele-statische misalignement. Ze groeperen variabelen lengtes van akoestische sequenties meestal tot één enkele representatie en koppelen deze aan statische attribuutlabels, wat leidt tot onbetrouwbare MI-schattingen en ineffectieve privacybescherming.

Methodologie: InfoShield Framework

Het paper stelt InfoShield voor, een verenigd informatietheoretisch framework dat ontworpen is om de wederzijdse informatie tussen spraakrepresentaties en gevoelige attributen te minimaliseren terwijl de diagnostische bruikbaarheid behouden blijft.

1. Kernarchitectuur

Het framework integreert drie sleutelcomponenten in één enkele optimalisatie-doelstelling:

• Speech Encoder: Een Transformer-gebaseerde encoder verwerkt input log-mel spectrogrammen ($X$) om stochastische latente representaties ($Z$) te produceren.
• Variational Information Bottleneck (VIB): Een compressieterm ($\beta KL[q_\phi(Z|X) \| p(Z)]$) wordt gebruikt om de latente ruimte te reguleren, wat generalisatie bevordert en impliciet informatie filtert.
• Targeted Mutual Information Minimization: Een privacyverlies-term ($\gamma \hat{I}(Z; s)$) minimaliseert expliciet de wederzijdse informatie tussen de latente representatie $Z$ en transcriptzinnen $s$ (die demografische aanwijzingen bevatten).

De totale verliesfunctie wordt gedefinieerd als:
$$L = -E[\log p_\theta(Y |Z)] + \beta KL[q_\phi(Z|X) \| p(Z)] + \gamma \hat{I}(Z; s)$$
Waar de eerste term de diagnostische bruikbaarheid (depressievoorspelling) waarborgt, de tweede term VIB-compressie afdwingt, en de derde term de privacy stuurt.

2. TimeAwareMINE

Om het falen van standaard MINE op sequentiële data aan te pakken, introduceren de auteurs TimeAwareMINE.

• Mechanisme: In plaats van globale pooling gebruikt TimeAwareMINE cross-modale aandacht om akoestische frames ($z_t$) uit te lijnen met transcript-embeddings ($e_s$) afgeleid van een BERT-encoder.
• Uitlijning: Het aandachtmechanisme berekent frame-gewijze gewichten ($\alpha_t$) om tijdvariërende akoestische kenmerken dynamisch uit te lijnen met statische attribuutrepresentaties.
• Schatting: Deze uitlijning maakt een nauwkeurigere schatting van de wederzijdse informatie ($\hat{I}(Z; s)$) mogelijk door een betekenende frame-transcript correspondentie te waarborgen, waardoor gerichte verwijdering van gevoelige informatie mogelijk is zonder het gehele signaal te vervagen.

3. Theoretische Basis

De aanpak steunt op de dataverwerkingsongelijkheid (data processing inequality). Door $I(Z; S)$ (informatie tussen spraak en transcripten die demografische aanwijzingen bevatten) te minimaliseren en uit te gaan van een zwakke voorwaardelijke afhankelijkheid tussen het attribuut en het transcript gegeven de spraak, garandeert het framework theoretisch een reductie in $I(Z; A)$ (informatielekkage van het gevoelige attribuut $A$).

Belangrijkste Bijdragen

1. TimeAwareMINE: Een nieuwe estimator die de temporele-statische misalignement in sequentiële spraak oplost met cross-modale aandacht. Het presteert beter dan standaard MINE in zowel bruikbaarheid (F1: 0,782 vs. 0,714) als privacybescherming voor leeftijd.
2. Verenigd Framework: De integratie van VIB-compressie met TimeAwareMINE bereikt een superieur evenwicht tussen privacy en bruikbaarheid vergeleken met het gebruik van slechts één van beide componenten in isolatie.
3. Empirische Validatie: Uitgebreide evaluatie op de Androids Corpus toont aan dat InfoShield effectief de attributie-inferentie onderdrukt terwijl de hoge diagnostische prestaties behouden blijven.

Experimentele Resultaten

Experimenten werden uitgevoerd op de Androids Corpus (118 native Italiaanse sprekers, 64 depressief, 54 gezond). De evaluatie gebruikte 5-voudige cross-validatie met splitsingen op deelnemersniveau.

Diagnostische Prestaties (Bruikbaarheid)

• InfoShield behaalde een F1-score van 0,784 voor depressieclassificatie.
• Dit presteert beter dan de voorgaande State-of-the-Art (SOTA) [1] (F1: 0,723) en is slechts een reductie van 6% ten opzichte van de "Normale" (oracle) baseline (F1: 0,834).
• InfoShield presteerde significant beter dan Differential Privacy baselines (bijv. DP $\epsilon=1$ leverde F1: 0,568).

Privacybescherming (Inference Attacks)

InfoShield verminderde de nauwkeurigheid van attributie-inferentie aanvallen aanzienlijk vergeleken met de baselines:

• Geslacht-inferentie: Verminderd van 92,6% (Raw/Normal) naar 55,5%.
• Leeftijd-inferentie: Verminderd van 55,7% (Raw/Normal) naar 30,3% (onder de 33,3% random chance baseline voor 3-klasse classificatie).
• Vergelijking: InfoShield bood sterkere privacybescherming dan VIB-only, Standard-MINE en Differential Privacy methoden, met statistisch significante verbeteringen ($p < 0,05$).

Ablatie-inzichten

• VIB-only: Bood matige privacywinsten maar mistte de gerichte precisie van MI-minimalisatie.
• Standard-MINE: Bereikte sterke geslachtsprivacy maar leed onder bruikbaarheidsdegradatie en zwakkere leeftijdsbescherming door temporele misalignement.
• TimeAwareMINE: Toonde aan dat een temporeel-bewust ontwerp cruciaal is voor sequentiële spraak, wat zowel de bruikbaarheid als de leeftijdsprivacy verbeterde ten opzichte van Standard-MINE.

Betekenis en Claims

Het paper claimt dat InfoShield een haalbare oplossing biedt voor de implementatie van spraakgebaseerde mentale gezondheidstools in privacygevoelige zorgomgevingen. Door de wederzijdse informatie tussen spraakrepresentaties en demografische aanwijzingen expliciet te modelleren en te minimaliseren, lost het framework het conflict tussen diagnostische precisie en privacy op.

De auteurs benadrukken dat hun informatietheoretische aanpak universele bescherming biedt tegen inferentie-aanvallen zonder kennis van specifieke aanvalsmodellen te vereisen, in tegenstelling tot adversarial training. Bovendien, door gerichte MI-minimalisatie te gebruiken in plaats van globale ruisinjectie (DP), behoudt InfoShield diagnostisch relevante akoestische patronen die door andere privacy-methoden vaak worden vernietigd.

Erkende Beperkingen:
De auteurs merken op dat de statistische kracht van hun bevindingen wordt beperkt door de kleine steekproefomvang (118 sprekers) en de enkele taal (Italiaans) van de dataset. Zij stellen dat toekomstig werk nodig is om de robuustheid te valideren op grotere, meertalige cohorten en om bescherming uit te breiden naar andere gevoelige attributen onder sterkere dreigingsmodellen.