CARE: Contrastive Alignment for ADL Recognition from Event-Triggered Sensor Streams

Resumo Técnico: CARE – Alinhamento Contrastivo para Reconhecimento de Atividades da Vida Diária (ADL)

1. O Problema

O reconhecimento de Atividades da Vida Diária (ADLs) a partir de sensores ambientais (como sensores de movimento, portas e temperatura) é fundamental para a Vida Assistida por Ambientes Inteligentes (AAL). No entanto, os métodos existentes enfrentam limitações significativas devido à natureza dos dados:

• Natureza dos Dados: Os sensores geram séries temporais baseadas em eventos, que são esparsas, irregulares e ruidosas (diferente de sinais contínuos de wearables).
• Limitações das Abordagens Atuais:
  • Métodos Baseados em Sequência: Preservam a ordem temporal, mas são sensíveis a ruídos, ignoram o contexto temporal absoluto (ex: manhã vs. noite) e carecem de consciência espacial explícita.
  • Métodos Baseados em Imagem: Capturam padrões globais e correlações espaciais implícitas, mas comprimem a dinâmica temporal fina e distorcem o layout real dos sensores devido ao indexamento 1D artificial.
  • Fusão Ingênua: Estratégias simples (como concatenação de características) falham em alinhar efetivamente as duas visões (sequência e imagem), não explorando plenamente suas forças complementares.

2. Metodologia Proposta: CARE

O CARE (Contrastive Alignment for ADL Recognition) é um framework end-to-end que unifica representações baseadas em sequência e imagem através de um Alinhamento Contrastivo Supervisionado. A arquitetura consiste em três componentes principais:

A. Codificação de Sequência Consciente do Tempo e Resistente a Ruídos

• Binning Temporal: Em vez de ignorar timestamps ou usar apenas intervalos entre eventos, o método atribui um embedding temporal de granularidade grosseira (ex: por hora) a cada evento. Isso captura o contexto diário (rotina) enquanto suprime flutuações de minuto irrelevantes.
• Filtragem de Eventos Baseada em Frequência (FEF): Remove ativações acidentais de sensores que ocorrem com baixa frequência dentro de uma atividade, reduzindo o ruído sem perder eventos informativos.
• Codificador: Utiliza redes recorrentes (LSTM/BiLSTM) para capturar dependências temporais e identidade do sensor.

B. Representação de Imagem Informada Espacialmente e Sensível à Frequência
O método propõe uma representação de imagem de dupla perspectiva:

1. Imagem Temporal: Mapeia a ordem dos eventos e o estado do sensor em canais de cor, destacando a dinâmica temporal.
2. Imagem Espacial: Utiliza as coordenadas reais do floor-plan (planta baixa) da casa. Os nós representam a posição dos sensores (intensidade baseada na frequência de ativação) e as arestas representam transições entre sensores (espessura/cor baseada na frequência de transição).

• Codificador: Uma Rede Neural Convolucional (CNN, ex: ResNet18) processa essas imagens compostas para extrair dependências espaciais e padrões globais.

C. Alinhamento Contrastivo Sequência-Imagem (SICA)

• Objetivo: Unificar as duas visões em um espaço latente compartilhado.
• Mecanismo: Introduz uma função de perda contrastiva supervisionada que:
  • Puxa para perto (positivos) as embeddings de sequência e imagem da mesma amostra (mesmo evento) e de outras amostras da mesma classe.
  • Empurra para longe (negativos) embeddings de classes diferentes.
• Aprendizado Conjunto: O framework otimiza simultaneamente a perda contrastiva (SICA) e a perda de classificação (Cross-Entropy) em uma única etapa, garantindo que as representações sejam tanto consistentes entre as visões quanto discriminativas para a tarefa.

3. Principais Contribuições

1. Framework de Alinhamento Cross-View: Um modelo agnóstico ao backbone que alinha sequências e imagens do mesmo fluxo de eventos em um espaço latente compartilhado.
2. SICA (Sequence–Image Contrastive Alignment): Um objetivo contrastivo supervisionado que força a invariância à visão e a consistência de classe, superando a fusão ingênua.
3. Codificação Temporal Robusta: Uma abordagem que integra contexto diário e filtragem de ruído, resolvendo limitações de métodos anteriores que focavam apenas na ordem.
4. Representação de Imagem Dual: Uma nova forma de codificar dados de sensores que integra layout espacial real e frequências de transição, superando a distorção de layouts 1D.
5. Desempenho de Estado da Arte (SOTA): Resultados superiores em múltiplos conjuntos de dados públicos.

4. Resultados Experimentais

O CARE foi avaliado em três conjuntos de dados do CASAS (Milan, Cairo e Kyoto7), comparado com métodos tradicionais, baseados em sequência, imagem, grafos e linguagem.

• Desempenho Geral: O CARE alcançou o melhor desempenho em todos os conjuntos de dados:
  • Milan: 89,8% de precisão (acurácia).
  • Cairo: 88,9% de precisão.
  • Kyoto7: 73,3% de precisão.
• Eficiência: Apesar de usar duas visões, o tempo de inferência é baixo (0,010–0,011s/batch), sendo muito mais rápido que modelos baseados em grafos e comparável a modelos de imagem.
• Robustez:
  • Falhas de Sensores: O modelo manteve alta precisão mesmo com 5-10% de eventos de sensores corrompidos ou substituídos por valores padrão.
  • Variabilidade de Layout: O modelo demonstrou resiliência a perturbações nas coordenadas dos sensores (simulando mudanças no layout da casa).
  • Deriva Temporal: Em testes de divisão temporal (treinar em dados antigos, testar em novos), o CARE superou significativamente os baselines (ex: +13% no Kyoto7), indicando melhor generalização temporal.
• Ablação: A análise mostrou que o alinhamento cross-view (entre sequência e imagem) é superior ao alinhamento apenas within-view (dentro da mesma visão) e à fusão simples por Cross-Entropy.

5. Significado e Impacto

O trabalho CARE representa um avanço significativo na área de Inteligência Ambiental por:

• Superar o Dilema Sequência vs. Imagem: Demonstra que as representações temporais e espaciais não são apenas complementares, mas se reforçam mutuamente quando alinhadas corretamente em um espaço latente.
• Praticidade para Implantação: Ao ser um framework end-to-end de uma única etapa, elimina a necessidade de pipelines complexos de duas etapas, facilitando a implementação em sistemas de casas inteligentes reais.
• Resiliência a Cenários do Mundo Real: A robustez a falhas de sensores e mudanças de layout torna o sistema viável para ambientes domésticos onde a infraestrutura pode variar ou falhar.
• Direções Futuras: Abre caminho para a aplicação de alinhamento contrastivo em outros domínios multimodais e para o desenvolvimento de mecanismos adaptativos para casas inteligentes de longo prazo.

Em suma, o CARE oferece uma solução robusta e precisa para o reconhecimento de atividades em ambientes inteligentes, resolvendo desafios fundamentais de ruído, esparsidade e integração de contexto espacial-temporal.