COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

1. O Problema: Robustez em Sensação Multimodal com Modalidades Faltantes

Sistemas de sensação multimodal (que combinam sensores como WiFi, radar mmWave, RFID, câmeras RGB e LiDAR) são essenciais para o reconhecimento de atividades humanas (HAR) em ambientes inteligentes. No entanto, em cenários de implantação real, uma ou mais modalidades frequentemente ficam indisponíveis devido a falhas de sensores, oclusão, restrições de energia ou privacidade.

O artigo identifica que a maioria dos métodos existentes lida com essa falta de duas formas principais, ambas com limitações estruturais:

1. Adaptação ao Subconjunto Observado: O modelo "pula" as modalidades ausentes ou usa módulos de fusão condicionados ao conjunto específico de sensores presentes. Isso altera a estrutura de entrada do cabeçote de fusão durante a inferência, criando uma incompatibilidade com o treinamento (onde a estrutura é fixa).
2. Imputação de Recursos: Tentar reconstruir os sinais ou recursos faltantes. Embora útil, isso muitas vezes falha em garantir que os recursos gerados sejam compatíveis com o padrão de interação esperado pelo cabeçote de fusão.

A tese central do trabalho: O problema da modalidade faltante não é apenas uma perda de informação, mas um problema de incompatibilidade da interface de fusão. Se a estrutura de entrada do modelo de fusão muda dependendo de quais sensores estão presentes, a robustez é comprometida.

---

2. Metodologia: O Framework COMPASS

O COMPASS (Complete Multimodal Fusion via Proxy Tokens and Shared Spaces) propõe um princípio de completude de fusão: o cabeçote de fusão deve sempre receber uma entrada fixa de $N$ tokens (um por slot de modalidade), independentemente de quais modalidades estão realmente presentes.

A arquitetura opera em quatro etapas principais:

A. Codificação e Projeção em Espaço Compartilhado

• Cada modalidade $v_m$ é processada por um codificador específico ($E_m$) para gerar uma sequência de recursos.
• Cabeçotes de projeção ($P_m$) mapeiam esses recursos heterogêneos para um espaço latente compartilhado, garantindo que todas as modalidades tenham o mesmo número de tokens e dimensão.
• É calculado um token global ($\bar{z}_m$) para cada modalidade via pooling médio, servindo como representação compacta.

B. Geração de Tokens Proxy (Proxy Tokens)

Quando uma modalidade alvo $v_j$ está faltante, o COMPASS sintetiza um token proxy para preencher seu slot:

• Geradores Direcionados: Para cada par de modalidades observadas ($v_i$) e alvo faltante ($v_j$), um gerador direcionado ($G_{i \to j}$) é utilizado. Este gerador é um Transformer de camada única que usa uma query de proxy aprendível para extrair informações relevantes de $v_i$ e sintetizar um token específico para $v_j$.
• Agregação: Se múltiplas modalidades estão presentes, os tokens proxy gerados por cada fonte são agregados (via média simples) para formar o token final de substituição para o slot faltante.
• Resultado: O cabeçote de fusão recebe sempre $N$ tokens (sejam reais ou proxies), mantendo a estrutura de entrada invariável.

C. Fusão Fixa

• A representação final é obtida pela soma elementar de todos os $N$ tokens (reais ou proxies).
• Um cabeçote de tarefa simples (Linear + LayerNorm) realiza a previsão. A soma é escolhida por ser eficiente e garantir que o cálculo de fusão seja idêntico em todos os padrões de ausência.

D. Estratégia de Treinamento (Objetivos)

Para garantir que os tokens proxy sejam tanto alinhados quanto informativos, o COMPASS utiliza quatro objetivos de perda combinados:

1. Perda de Tarefa ($L_{task}$): Classificação padrão sobre a fusão final.
2. Alinhamento de Proxy ($L_{align}$): Durante o treinamento, as modalidades são mascaradas sinteticamente. O token proxy gerado é forçado a se aproximar do token global real da modalidade faltante (usando MSE).
3. Regularização de Espaço Compartilhado ($L_{ss}$): Utiliza a perda VICReg sobre os tokens globais reais para garantir que o espaço latente tenha uma geometria adequada para transferência cruzada (invariância, variância e covariância), evitando colapso representacional.
4. Perda Discriminativa por Proxy ($L_{proxy}$): Um cabeçote de tarefa auxiliar é aplicado a cada token proxy individualmente, garantindo que cada proxy gerado seja, por si só, informativo para a tarefa de classificação.

---

3. Contribuições Principais

1. Formulação do Problema: Redefiniu o problema de fusão multimodal com modalidades faltantes como um problema de manutenção de interface de fusão completa, em vez de adaptação de subconjuntos.
2. Arquitetura COMPASS: Introduziu um framework baseado em tokens proxy que preenche slots ausentes usando geradores direcionados de fonte-para-alvo em um espaço latente compartilhado.
3. Estratégia de Treinamento de Três Níveis: Combinou alinhamento de proxy, regularização geométrica do espaço compartilhado e supervisão discriminativa por proxy para criar representações robustas.
4. Validação Abrangente: Avaliação em três benchmarks de sensores ubíquos (XRF55, MM-Fi, OctoNet) com configurações de ausência única e múltipla, demonstrando superioridade consistente.

---

4. Resultados Experimentais

O COMPASS foi avaliado em três conjuntos de dados de Reconhecimento de Atividade Humana (HAR):

• XRF55 (Radar, WiFi, RFID):
  • COMPASS alcançou uma média de 84.6% em 7 cenários de combinação, superando o método state-of-the-art X-Fi (72.1%).
  • Ganhos significativos em cenários difíceis: A combinação WiFi+RFID (com Radar faltante) saltou de 58.1% (X-Fi) para 86.3% (COMPASS).
• MM-Fi (RGB, Profundidade, LiDAR, Radar mmWave):
  • Média de 70.6% em 15 combinações, contra 62.5% do X-Fi.
  • Melhoria drástica em cenários de baixa modalidade: LiDAR sozinho melhorou de 52.7% para 80.1%; RGB+LiDAR de 35.2% para 60.4%.
• OctoNet (8 modalidades, 5 não-visuais):
  • O COMPASS venceu ou empatou em 30 de 31 combinações de modalidades.
  • Aumentou a média de modalidades únicas e duplas em até 28 pontos percentuais sobre o X-Fi.

Eficiência:

• O COMPASS é 1.9x a 2.6x mais rápido na inferência do que o X-Fi, pois evita camadas complexas de atenção cruzada na fusão, utilizando apenas soma elementar.
• O tamanho do modelo é comparável ao do X-Fi (~34M parâmetros).

Análise Geométrica:

• Visualizações mostram que o COMPASS alinha efetivamente as modalidades no espaço latente (reduzindo as fronteiras entre elas), permitindo que um proxy de uma modalidade preencha com sucesso o slot de outra, mantendo ao mesmo tempo a separação discriminativa entre classes.

---

5. Significado e Conclusão

O trabalho COMPASS demonstra que preservar uma interface de fusão completa e fixa é um princípio de design simples e altamente eficaz para sensores multimodais robustos.

• Inovação Conceitual: Ao invés de tentar adaptar o modelo a cada combinação possível de sensores (o que é computacionalmente caro e estruturalmente frágil), o COMPASS normaliza a entrada, permitindo que um único modelo generalize perfeitamente para qualquer cenário de falha de sensor.
• Impacto Prático: A capacidade de gerar proxies informativos a partir de sensores disponíveis torna os sistemas de IoT e ambientes inteligentes muito mais resilientes a falhas, sem sacrificar a velocidade de inferência.
• Limitações: O uso de soma simples na fusão limita a modelagem de interações cruzadas complexas (embora funcione bem na prática). Além disso, modalidades intrinsecamente fracas (como RFID sozinho) ainda apresentam desempenho moderado, indicando um trade-off entre alinhamento forte e discriminabilidade específica da modalidade.

Em resumo, o COMPASS oferece uma solução elegante e eficiente para o desafio da robustez em sensores multimodais, estabelecendo um novo padrão para a fusão de dados em ambientes ubíquos.