InfoShield: Privacy-Preserving Speech Representations for Mental Health Screening via Information-Theoretic Optimization

Resumo Técnico: InfoShield

Definição do Problema

O rastreamento de saúde mental baseado em fala oferece um método escalável e não invasivo para a detecção da depressão ao alavancar biomarcadores acústicos. No entanto, a implantação clínica é dificultada por preocupações significativas de privacidade: os sinais de fala codificam inerentemente tanto marcadores diagnósticos quanto atributos demográficos sensíveis (ex: gênero, idade, status socioeconômico). As técnicas atuais de preservação de privacidade são mal adaptadas para este trade-off específico:

• Treinamento Adversário: Frequentemente falha contra arquiteturas de ataque não vistas e carece de generalização.
• Privacidade Diferencial (DP): Aplica ruído uniformemente em todas as características, degradando indiscriminadamente padrões espectrais finos essenciais para a precisão diagnóstica.
• Estimadores de Informação Mútua (MI) Padrão: Métodos existentes como o MINE enfrentam dificuldades com dados de fala sequenciais devido ao desalinhamento temporal-estático. Eles tipicamente agrupam sequências acústicas de comprimento variável em uma única representação, pareando-as com rótulos de atributos estáticos, o que leva a estimativas de MI não confiáveis e uma proteção de privacidade ineficaz.

Metodologia: Estrutura InfoShield

O artigo propõe o InfoShield, uma estrutura unificada de teoria da informação projetada para minimizar a informação mútua entre as representações de fala e atributos sensíveis, preservando a utilidade diagnóstica.

1. Arquitetura Central

A estrutura integra três componentes principais em um único objetivo de otimização:

• Codificador de Fala: Um codificador baseado em Transformer processa espectrogramas log-mel de entrada ($X$) para produzir representações latentes estocásticas ($Z$).
• Gargalo de Informação Variacional (VIB): Um termo de compressão ($\beta KL[q_\phi(Z|X) \| p(Z)]$) é usado para regularizar o espaço latente, promovendo a generalização e filtrando informações implicitamente.
• Minimização de Informação Mútua Direcionada: Um termo de perda de privacidade ($\gamma \hat{I}(Z; s)$) minimiza explicitamente a informação mútua entre a representação latente $Z$ e as sentenças de transcrição $s$ (que contêm pistas demográficas).

A função de perda total é definida como:
$$L = -E[\log p_\theta(Y |Z)] + \beta KL[q_\phi(Z|X) \| p(Z)] + \gamma \hat{I}(Z; s)$$
Onde o primeiro termo garante a utilidade diagnóstica (predição de depressão), o segundo impõe a compressão VIB e o terceiro impulsiona a privacidade.

2. TimeAwareMINE

Para abordar a falha do MINE padrão em dados sequenciais, os autores introduzem o TimeAwareMINE.

• Mecanismo: Em vez de um pooling global, o TimeAwareMINE emprega atenção cross-modal para alinhar quadros acústicos ($z_t$) com embeddings de transcrição ($e_s$) derivados de um codificador BERT.
• Alinhamento: O mecanismo de atenção computa pesos por quadro ($\alpha_t$) para alinhar dinamicamente características acústicas variantes no tempo com representações de atributos estáticos.
• Estimativa: Este alinhamento permite uma estimação mais precisa da informação mútua ($\hat{I}(Z; s)$) ao garantir uma correspondência quadro-transcrição significativa, permitendo assim a remoção direcionada de informações sensíveis sem borrar todo o sinal.

3. Base Teórica

A abordagem baseia-se na desigualdade do processamento de dados. Ao minimizar $I(Z; S)$ (informação entre a fala e as transcrições que contêm pistas demográficas) e assumir uma dependência condicional fraca entre o atributo e a transcrição dado o sinal de fala, a estrutura garante teoricamente uma redução em $I(Z; A)$ (vazamento de informação do atributo sensível $A$).

Principais Contribuições

1. TimeAwareMINE: Um estimador inovador que resolve o desalinhamento temporal-estático em fala sequencial usando atenção cross-modal. Ele supera o MINE padrão tanto em utilidade (F1: 0.782 vs. 0.714) quanto na proteção de privacidade de idade.
2. Estrutura Unificada: A integração da compressão VIB com o TimeAwareMINE alcança um equilíbrio superior entre privacidade-utilidade comparado ao uso de apenas um dos componentes isoladamente.
3. Validação Empírica: Avaliação abrangente no Corpus Androids demonstrando que o InfoShield suprime efetivamente a inferência de atributos enquanto mantém alto desempenho diagnóstico.

Resultados Experimentais

Os experimentos foram conduzidos no Corpus Androids (118 falantes nativos italianos, 64 deprimidos, 54 saudáveis). A avaliação utilizou divisão de 5-fold cross-validation por participante.

Desempenho Diagnóstico (Utilidade)

• O InfoShield alcançou um F1 score de 0.784 para classificação de depressão.
• Isso supera o Estado da Arte (SOTA) anterior [1] (F1: 0.723) e representa apenas uma redução de 6% em relação à linha de base "Normal" (oracle) (F1: 0.834).
• O InfoShield superou significativamente as bases de Privacidade Diferencial (ex: DP $\epsilon=1$ resultou em F1: 0.568).

Proteção de Privacidade (Ataques de Inferência)

O InfoShield reduziu significativamente a precisão dos ataques de inferência de atributos em comparação com as bases:

• Inferência de Gênero: Reduzido de 92.6% (Raw/Normal) para 55.5%.
• Inferência de Idade: Reduzido de 55.7% (Raw/Normal) para 30.3% (abaixo da linha de base de chance aleatória de 33.3% para classificação de 3 classes).
• Comparação: O InfoShield forneceu maior proteção de privacidade do que os métodos VIB-only, Standard-MINE e Privacidade Diferencial, com melhorias estatisticamente significativas ($p < 0.05$).

Insights de Ablação

• VIB-only: Forneceu ganhos modestos de privacidade, mas carecia da precisão direcionada da minimização de MI.
• Standard-MINE: Alcançou forte privacidade de gênero, mas sofreu com degradação de utilidade e proteção de idade mais fraca devido ao desalinhamento temporal.
• TimeAwareMINE: Demonstrou que o design temporalmente consciente é crítico para fala sequencial, melhorando tanto a utilidade quanto a privacidade de idade sobre o Standard-MINE.

Significância e Alegações

O artigo afirma que o InfoShield oferece uma solução viável para implantar ferramentas de saúde mental baseadas em fala em ambientes de saúde sensíveis à privacidade. Ao modelar e minimizar explicitamente a informação mútua entre representações de fala e pistas demográficas, a estrutura resolve o conflito entre precisão diagnóstica e privacidade.

Os autores enfatizam que sua abordagem de teoria da informação fornece proteção universal contra ataques de inferência sem exigir conhecimento de modelos de ataque específicos, ao contrário do treinamento adversário. Além disso, ao usar a minimização de MI direcionada em vez de injeção global de ruído (DP), o InfoShield preserva padrões acústicos diagnosticamente relevantes que são frequentemente destruídos por outros métodos de privacidade.

Limitações Reconhecidas:
Os autores observam que o poder estatístico de seus achados é limitado pelo pequeno tamanho da amostra (118 falantes) e pelo idioma único (italiano) do conjunto de dados. Eles afirmam que trabalhos futuros são necessários para validar a robustez em coortes multilingues maiores e para estender a proteção a outros atributos sensíveis sob modelos de ameaça mais fortes.