COMODO: Cross-Modal Video-to-IMU Distillation for Efficient Egocentric Human Activity Recognition

Título: COMODO: Destilação Cruzada de Vídeo para IMU para Reconhecimento Eficiente de Atividades Humanas Ego-Cêntricas

1. O Problema

O reconhecimento de atividades humanas (HAR - Human Activity Recognition) baseado em visão (vídeo) oferece informações semânticas ricas e alto desempenho, mas enfrenta barreiras críticas para implementação em dispositivos vestíveis (wearables) contínuos:

• Alto consumo de energia: Processamento de vídeo é computacionalmente intensivo.
• Privacidade: Câmeras constantes geram preocupações de privacidade.
• Dependência de condições ambientais: Sensibilidade à iluminação e oclusões.

Em contraste, sensores IMU (Unidades de Medição Inercial) são leves, energeticamente eficientes, preservam a privacidade e funcionam em qualquer condição de luz. No entanto, o HAR baseado em IMU sofre de:

• Escassez de dados: Falta de grandes conjuntos de dados anotados em comparação com a visão computacional.
• Custo de anotação: Anotar dados de sensores é laborioso e caro, exigindo alinhamento temporal preciso.
• Generalização fraca: Modelos treinados em pequenos conjuntos de dados tendem a não generalizar bem para novos ambientes ou usuários.

O objetivo é transferir o conhecimento semântico rico dos modelos de vídeo para os modelos de IMU, permitindo que o IMU opere com eficiência e privacidade, mas com a inteligência semântica do vídeo, sem exigir anotações manuais de IMU.

2. Metodologia: O Framework COMODO

O COMODO (CrOss-MOdal video-to-imu DistillatiOn) é um framework de aprendizado auto-supervisionado que realiza a destilação de conhecimento de um "professor" (vídeo) para um "aluno" (IMU).

Arquitetura e Fluxo:

1. Encoders:
   • Professor (Vídeo): Um encoder de vídeo pré-treinado e congelado (ex: TimeSformer ou VideoMAE). Ele extrai representações semânticas ricas.
   • Aluno (IMU): Um encoder de séries temporais pré-treinado e treinável (ex: Mantis ou MOMENT). Seu objetivo é aprender a mapear sinais IMU para o espaço semântico do vídeo.
2. Projetores (Projectors): Cabeças MLP (Multi-Layer Perceptron) mapeiam as saídas dos encoders para um espaço de embedding compartilhado e normalizado (L2).
3. Fila Dinâmica (FIFO Queue):
   • Para superar a limitação de tamanho de batch e garantir uma distribuição de referência estável, o sistema mantém uma fila FIFO (First-In, First-Out) de embeddings de vídeo.
   • Esta fila atua como um conjunto diversificado de "negativos" e fornece um prior temporal implícito, estabilizando o processo de otimização ao garantir que a distribuição-alvo evolua suavemente ao longo do treinamento.
4. Função de Perda (Destilação de Distribuição):
   • Diferente de métodos contrastivos tradicionais (como InfoNCE) que tratam todos os negativos como igualmente dissimilares (alvo "hard" one-hot), o COMODO alinha as distribuições de similaridade.
   • Calcula-se a probabilidade de similaridade entre o embedding do IMU e todos os embeddings na fila de vídeo.
   • A perda é calculada como a Entropia Cruzada entre a distribuição de similaridade do professor (vídeo) e a do aluno (IMU):
     $$L_{CE} = -\sum P_v(i|Q) \log P_x(i|Q)$$
   • Isso permite que o IMU aprenda a estrutura semântica do espaço de vídeo, preservando vizinhanças semânticas (ex: atividades similares no vídeo devem ter embeddings similares no IMU), mesmo que não sejam idênticas.

Inferência:

• Após o treinamento, apenas o encoder de IMU é usado. O encoder de vídeo, os projetores e a fila são descartados, resultando em um modelo leve e privado para implantação em tempo real.

3. Principais Contribuições

1. Transferência de Conhecimento Auto-Supervisionada: Primeiro framework a realizar destilação cruzada de vídeo para IMU sem rótulos, aliviando o gargalo de anotação de dados de sensores.
2. Mecanismo de Fila Cruzada (Cross-modal Queuing): Introdução de uma fila FIFO que atua como uma distribuição de referência estável e diversificada, introduzindo um prior temporal que estabiliza a otimização entre modalidades heterogêneas.
3. Independência do Modelo (Model-Agnostic): O framework é compatível com diversos modelos pré-treinados de vídeo e séries temporais, permitindo a integração futura com modelos fundacionais mais potentes.
4. Generalização Cruzada Robusta: Demonstração de que o conhecimento transferido captura estruturas semânticas universais, permitindo que o modelo generalize para conjuntos de dados não vistos (diferentes dispositivos e classes de atividades).

4. Resultados Experimentais

O COMODO foi avaliado em três conjuntos de dados ego-cêntricos: Ego4D, EgoExo4D e MMEA.

• Desempenho em Classificação:
  • O COMODO superou consistentemente os métodos auto-supervisionados anteriores (como CrossHAR e IMU2CLIP).
  • Em vários cenários, igualou ou superou modelos totalmente supervisionados (que usam anotações de IMU), alcançando acurácias (A@1) superiores a 90% em alguns datasets.
  • Exemplo: No Ego4D, superou o IMU2CLIP em +4.3% e o modelo supervisionado Mantis em +0.77%.
• Generalização Cruzada (Cross-Dataset):
  • Em testes onde o modelo foi treinado em um dataset e testado em outro (ex: Ego4D $\to$ EgoExo4D), o COMODO manteve desempenho superior, superando modelos supervisionados ajustados (fine-tuned) em até 4% a 26% de ganho, demonstrando uma capacidade de generalização excepcional.
• Eficiência Computacional:
  • Inferência: O modelo IMU treinado é extremamente leve. Comparado a modelos de vídeo (TimeSformer), o COMODO reduz o custo computacional (FLOPs) em 115x e a latência em 47x, mantendo uma acurácia competitiva (~78.8% vs 89.8% do vídeo).
  • Treinamento: O uso de um professor congelado e extração de recursos offline torna o treinamento escalável e eficiente.

5. Significado e Implicações

• Viabilidade de Wearables: O COMODO oferece um caminho prático para sistemas de IA vestíveis que são contínuos, privados e energeticamente eficientes, sem sacrificar a inteligência semântica.
• Fim do Gargalo de Anotação: Ao permitir o uso de dados de vídeo (fáceis de obter e pré-treinar) para supervisionar dados de IMU (difíceis de anotar), o método abre portas para o reconhecimento de uma vasta gama de atividades do "longo alcance" (long-tail) no mundo real.
• Paradigma de Aprendizado Multimodal: Sugere uma nova direção onde a modalidade rica em dados (vídeo) é usada para treinar modelos de implantação (IMU), desacoplando os requisitos de treinamento dos de inferência.

Em resumo, o COMODO resolve o dilema fundamental entre a riqueza semântica e a eficiência prática no reconhecimento de atividades, estabelecendo um novo estado da arte para a IA vestível centrada no ser humano.