PULSE: Privileged Knowledge Transfer from Rich to Deployable Sensors for Embodied Multi-Sensory Learning

Título: PULSE: Transferência de Conhecimento Privilegiado de Sensores Ricos para Sensores Implantáveis para Aprendizado Multissensorial Embutido

1. O Problema: Assimetria de Sensores em Sistemas Embutidos

Sistemas de inteligência embutida (como wearables de saúde ou plataformas robóticas) enfrentam um problema fundamental de assimetria de sensores:

• Coleta de Dados (Laboratório): Durante a fase de treinamento, é possível utilizar sensores ricos e de alta fidelidade que fornecem informações privilegiadas, mas que são caros, frágeis ou intrusivos.
• Implantação (Mundo Real): No momento da inferência, esses sensores ricos muitas vezes estão ausentes ou são impraticáveis devido a custos, fragilidade ou interferência com a interação física.
• Caso de Uso Específico: O artigo foca no monitoramento de estresse. O sinal de Atividade Eletrodérmica (EDA) é o "padrão-ouro" fisiológico para detectar ativação do sistema nervoso simpático (estresse agudo). No entanto, a medição de EDA requer eletrodos específicos e é suscetível a artefatos de movimento, sendo frequentemente ausente em dispositivos comerciais que possuem apenas ECG, BVP (volume sanguíneo), acelerômetro e temperatura.

O Dilema: Descartar a EDA durante o treinamento desperdiça um sinal supervisor valioso, mas depender dela na inferência é impossível. A questão central é: Como aproveitar a EDA durante o treinamento para melhorar a representação dos sensores baratos, sem nunca exigir EDA na inferência?

2. Metodologia: O Framework PULSE

O PULSE propõe um framework de Transferência de Conhecimento Privilegiado baseado no paradigma Learning Using Privileged Information (LUPI). A arquitetura opera em três estágios principais:

A. Arquitetura e Decomposição de Embeddings
O núcleo da inovação é a decomposição de embeddings em compartilhado e privado para cada encoder de "aluno" (sensores baratos):

• Embeddings Compartilhados (Shared): Representam conteúdo invariante à modalidade (ex: assinatura de ativação autonômica comum). Esta subespaço é alinhado ao professor.
• Embeddings Privados (Private): Preservam a estrutura específica da modalidade (ex: morfologia QRS no ECG, forma da onda de pulso no BVP). Esta subespaço é mantido para reconstrução e evita a perda de informações únicas.

B. O Professor Congelado (Frozen Teacher)

• Um encoder treinado com EDA (o sensor privilegiado) é pré-treinado de forma auto-supervisionada e, em seguida, congelado.
• Diferente de métodos de robustez a modalidades faltantes que atualizam todos os encoders simetricamente, o PULSE usa o professor congelado como um alvo de otimização estável.

C. Processo de Treinamento

1. Pré-treinamento: Os encoders dos alunos (ECG, BVP, ACC, TEMP) e o professor (EDA) são pré-treinados com auto-encoders mascarados (MAE) para reconstrução de sinais.
2. Transferência de Conhecimento (Distillation):
   • Alinhamento de Estados Ocultos: Os estados ocultos intermediários dos alunos são alinhados com os do professor em todas as camadas (não apenas na saída final), utilizando uma perda de hinge loss com negativos em lote.
   • Alinhamento de Embeddings Finais: O embedding médio final dos alunos é alinhado ao do professor.
   • Perda de Reconstrução (Crítica): Um ramo de reconstrução é mantido nos alunos usando seus embeddings privados e compartilhados. O artigo demonstra que sem esta perda, ocorre um colapso representacional (os embeddings tornam-se vetores constantes).
3. Ajuste Fino (Finetuning): Apenas os cabeçalhos de classificação (MLP) são treinados com os dados dos sensores de implantação. O professor e os encoders dos alunos permanecem congelados.

3. Principais Contribuições

1. EDA como Professor Congelado: Utiliza a EDA apenas no treinamento para guiar a aprendizagem, eliminando a necessidade dela na inferência.
2. Decomposição Explícita Compartilhada-Privada: Separa o que deve ser transferido (conteúdo invariante) do que deve ser preservado (estrutura específica da modalidade), prevenindo o "colapso" de representações.
3. Reconstrução como Mecanismo de Segurança: Demonstra empiricamente que a perda de reconstrução é essencial para evitar que os embeddings compartilhados colapsem para um vetor constante durante a distilação.
4. Alinhamento Multi-Profundidade: A transferência de conhecimento ocorre através de todas as camadas intermediárias do encoder, capturando informações estruturais complementares que a transferência apenas na camada final não consegue.

4. Resultados Experimentais

O framework foi avaliado no benchmark WESAD (15 sujeitos) e no conjunto de dados PhysioNet STRESS (36 sujeitos) usando a validação Leave-One-Subject-Out (LOSO).

• Desempenho no WESAD (Detecção Binária de Estresse):
  • O PULSE alcançou 0.994 de AUROC e 0.988 de AUPRC sem usar EDA na inferência.
  • Comparação: Superou todas as baselines sem EDA e igualou ou superou o modelo de "sensor completo" (que usa ECG, BVP, ACC, TEMP e EDA na inferência).
  • Análise de Variância: O modelo de sensor completo sofreu quedas catastróficas em alguns sujeitos (devido a overfitting em artefatos específicos de EDA), enquanto o PULSE manteve uma performance estável e robusta, atuando como um regularizador dependente de dados.
• Desempenho no PhysioNet STRESS:
  • Em um cenário de pulso apenas (sem ECG torácico), o PULSE alcançou 0.965 de AUROC, superando significativamente as baselines sem professor (0.827) e alinhamento simétrico (0.734).
• Estudos de Ablação:
  • Remover a perda de reconstrução causou colapso total das representações.
  • Remover a decomposição compartilhada/privada ou alinhar apenas a camada final degradou o desempenho.

5. Significado e Relevância

O trabalho do PULSE vai além do monitoramento de estresse, abordando um desafio fundamental na inteligência embutida: como comprimir informações de sensores ricos e impraticáveis em representações aprendidas por modalidades de implantação mais baratas.

• Generalização: Os princípios de design (decomposição compartilhada-privada, distilação multi-profundidade e regularização por reconstrução) são agnósticos ao sensor e à tarefa.
• Aplicações Futuras: O framework é aplicável em cenários como:
  • Transferência de dados táteis para IMUs em manipulação robótica.
  • Transferência de bioelétricos de alta fidelidade para sensores ópticos em wearables de consumo.
  • Sistemas XR (Realidade Estendida) onde dados fisiológicos ricos estão disponíveis apenas no desenvolvimento.

Em suma, o PULSE oferece uma solução elegante para o problema da assimetria de sensores, permitindo que modelos de implantação aprendam com a "sabedoria" de sensores de laboratório sem depender deles no mundo real, garantindo ao mesmo tempo a robustez e a generalização necessárias para aplicações críticas de saúde.