Resumo Técnico: VCR: Aprendizado de Representação Contextual Válida para Sinais Incompletos de Dispositivos Vestíveis

1. Declaração do Problema

Dispositivos vestíveis oferecem monitoramento de saúde contínuo e não invasivo por meio de sinais multimodais (por exemplo, PPG, EDA, ACC, TEMP). No entanto, a implantação no mundo real é dificultada por dois desafios acoplados:

1. Escassez de Rótulos: Tarefas de saúde downstream (reconhecimento de emoção, estadiamento do sono, reconhecimento de atividade) sofrem com a falta de dados rotulados.
2. Ausência de Modalidade: Sensores frequentemente falham devido a restrições de hardware, comportamento do usuário (por exemplo, desativar PPG para economizar energia) ou limitações do dispositivo. Isso resulta em "ausência estrutural", onde uma modalidade inteira está ausente para uma determinada janela de tempo.

Abordagens existentes de aprendizado auto-supervisionado (SSL) frequentemente assumem disponibilidade completa de modalidades durante o pré-treinamento. Quando adaptadas a cenários de ausência, os métodos atuais geralmente tentam reconstruir o sinal ausente inteiro. Os autores argumentam que isso é falho porque detalhes específicos da modalidade (por exemplo, padrões específicos de ruído ou deriva fisiológica única) são frequentemente não identificáveis a partir dos sensores restantes. Forçar um modelo a reconstruir esses detalhes não observáveis incentiva a "alucinação" — geração de dados plausíveis, mas sem fundamento, que injetam ruído nas representações aprendidas, degradando assim a robustez.

2. Metodologia: O Framework VCR

Os autores propõem o VCR (Representação Contextual Válida), um framework auto-supervisionado de dois estágios projetado para aprender representações robustas à ausência de modalidades sem alucinar detalhes não observáveis.

A. Tokenizador Ortogonal (Estágio 1)

O primeiro estágio foca no desacoplamento. A hipótese central é que a informação latente de qualquer modalidade pode ser separada em:

• Semânticas Compartilhadas ($s$): Informação correlacionada entre modalidades (por exemplo, padrões de frequência cardíaca visíveis tanto no PPG quanto no ACC).
• Resíduos Específicos da Modalidade ($p$): Informação única não inferível a partir de outros sensores (por exemplo, deriva de impedância da pele no EDA).

Para impor uma separação estrita e evitar vazamento de informação, o VCR emprega um Tokenizador Geometricamente Ortogonal:

• Retificação e Branqueamento: Um adaptador residual leve retifica os embeddings do codificador, seguido por um processo de branqueamento para aproximar uma matriz de covariância identidade.
• Projeção Ortogonal: Uma matriz de parâmetros aprendível sofre decomposição QR para formar uma base ortonormal. Esta base define um operador de projeção $P$ que separa estritamente o embedding em um subespaço compartilhado ($s = Ph$) e um subespaço de resíduo específico ($p = (I-P)h$).
• Independência Estatística: Sob a suposição de representações latentes distribuídas gaussianamente, essa ortogonalidade geométrica garante independência estatística ($I(s; p) \approx 0$).
• Otimização Híbrida: O tokenizador é treinado usando:
  • Perda Contrastiva Cross-Modal: Aplicada apenas a $s$ para alinhar semânticas compartilhadas entre modalidades.
  • Reconstrução Intra-Modal: Aplicada apenas a $p$ para preservar detalhes únicos.
  • Regularização de Branqueamento: Para manter a condição de independência.

B. Backbone MoE Consciente da Ausência (Estágio 2)

O segundo estágio processa os tokens do tokenizador para aprender representações contextuais sob padrões variados de disponibilidade.

• Arquitetura: Um backbone esparsificado de Mistura de Especialistas (MoE). Embeddings de partição aprendíveis são injetados para identificar explicitamente a origem da modalidade e o tipo de componente ($s$ vs. $p$) de cada token.
• Roteamento: O roteador ativa dinamicamente diferentes especialistas com base no conjunto de modalidades observadas, permitindo que o modelo se especialize em combinações específicas de modalidades sem interferência de dados ausentes.
• Objetivos de Treinamento (Reconstrução Mascarada):
  • Mascaramento Aleatório: Mascaramento padrão de patches em modalidades disponíveis para reconstruir tanto $s$ quanto $p$.
  • Mascaramento Estrutural: Modalidades inteiras são descartadas. Crucialmente, o objetivo de reconstrução é consciente da validade:
    • Se uma modalidade estiver ausente, o modelo reconstrói apenas seu componente compartilhado ($s$), excluindo explicitamente o componente específico não inferível ($p$).
    • Se múltiplas modalidades estiverem ausentes, a reconstrução para essas modalidades é totalmente omitida, pois até mesmo componentes compartilhados podem ser não inferíveis.
  • Este design impede que o modelo seja forçado a alucinar detalhes não observáveis.

3. Contribuições Principais

1. Aprendizado Consciente da Validade: A introdução de um tokenizador ortogonal que desacopla estruturalmente componentes compartilhados e específicos. Isso permite um objetivo de reconstrução que visa apenas informações inferíveis, mitigando efetivamente conclusões do tipo alucinação.
2. Backbone MoE Consciente da Ausência: Uma arquitetura esparsa com embeddings de partição aprendíveis que adapta o cálculo a padrões diversos de disponibilidade de modalidades, evitando o ruído introduzido por preenchimento com zeros ou tokens especiais.
3. Preservação de Informação em Dois Estágios: Uma estratégia de treinamento que primeiro preserva a integridade da informação via desacoplamento e alinhamento contrastivo, e depois aprende semânticas contextuais robustas via reconstrução latente mascarada, evitando a dominância por modalidades de alta variância.

4. Resultados Experimentais

O VCR foi avaliado em um benchmark abrangente que abrange quatro conjuntos de dados (WESAD, DaLiA, AAUWSS, WEEE) e quatro tarefas (detecção de emoção, reconhecimento de atividade, estadiamento do sono, previsão de VO2).

• Desempenho com Modalidade Completa: O VCR superou tanto as bases de referência supervisionadas (ResNet, ViT, FlexMoE) quanto as bases de referência auto-supervisionadas pré-treinadas (SimCLR, LSM, LSM-2, etc.) em todas as tarefas, demonstrando que a robustez à ausência não ocorre à custa do desempenho quando todos os sensores estão disponíveis.
• Ausência de Modalidade Única: Em cenários onde um sensor foi removido, o VCR alcançou o melhor ou segundo melhor desempenho em 65 de 88 métricas relatadas. Notavelmente, quando sensores críticos como o ACC estavam ausentes, o VCR manteve desempenho significativamente superior às bases de referência, mostrando uma degradação graciosa em comparação com as quedas bruscas observadas em outros métodos.
• Ausência de Múltiplas Modalidades: O VCR permaneceu robusto em todas as combinações de 2 ou 3 modalidades ausentes, classificando-se consistentemente no Top-1 ou Top-2 contra as bases de referência.
• Análise de Alucinação: Um estudo de caso comparando o VCR com o LSM-2 (que reconstrói sinais brutos completos) mostrou que o LSM-2 induziu maiores deslocamentos de representação e inconsistências semânticas ao reconstruir dados ausentes. A separação estrita de $s$ e $p$ pelo VCR preveniu esses deslocamentos, confirmando que evitar a reconstrução de detalhes não inferíveis preserva a validade da representação.
• Verificação de Desacoplamento: Análise quantitativa usando o Critério de Independência Hilbert-Schmidt (HSIC) mostrou que o VCR alcançou dependência significativamente menor entre $s$ e $p$ em comparação com bases de referência de restrição suave como o FOCAL.

5. Significado e Alegações

O artigo alega que o VCR estabelece um novo padrão para o pré-treinamento de modelos vestíveis multimodais, priorizando a validade da representação. Os autores argumentam que a prática comum de reconstruir sinais ausentes inteiros é fundamentalmente falha porque força os modelos a adivinhar detalhes não observáveis, levando a alucinações que degradam o desempenho downstream.

Ao impor um desacoplamento geométrico estrito e limitar os alvos de reconstrução a componentes compartilhados inferíveis, o VCR fornece uma base estrutural para aprendizado robusto. O framework é apresentado como uma solução de propósito geral que permanece eficaz em diversas tarefas de monitoramento de saúde e configurações de sensores, abordando a lacuna crítica entre o treinamento idealizado com sensores completos e a realidade de dados vestíveis incompletos. Os autores observam que, embora a avaliação atual se concentre em um único tipo de dispositivo (Empatica E4), a natureza agnóstica de modalidades do framework sugere potencial para generalização mais ampla, o que permanece uma direção para trabalhos futuros.