WiFi2Cap: Semantic Action Captioning from Wi-Fi CSI via Limb-Level Semantic Alignment

Título: WiFi2Cap: Legendagem Semântica de Ações a partir de CSI de Wi-Fi via Alinhamento Semântico de Nível de Membros

1. Problema e Motivação

O entendimento semântico de atividades humanas é crucial para a interação centrada no ser humano, especialmente em ambientes internos. No entanto, o uso de câmeras para essa finalidade levanta sérias preocupações de privacidade (ex.: quartos, hospitais). Alternativas baseadas em sensores não visuais, como o Channel State Information (CSI) do Wi-Fi, são robustas a oclusões e iluminação, mas enfrentam dois desafios principais ao tentar gerar legendas em linguagem natural:

1. Gap Semântico: Existe uma grande distância entre os sinais de rádio brutos (CSI) e a linguagem natural, agravada pela escassez de pares de dados supervisionados (CSI-texto).
2. Ambiguidade Direcional: Sistemas existentes frequentemente confundem membros esquerdos e direitos ou ações espelhadas (ex.: levantar o braço esquerdo vs. direito), falhando em capturar nuances direcionais essenciais para uma descrição precisa.

A maioria dos sistemas atuais foca em estimativa de pose ou classificação de ações pré-definidas, não na geração de linguagem livre e detalhada.

2. Metodologia: O Framework WiFi2Cap

O WiFi2Cap é um framework de três estágios projetado para gerar legendas de ações diretamente a partir do CSI do Wi-Fi, utilizando transferência de conhecimento visual e aprendizado contrastivo.

Estágio 1: Professor Visão-Linguagem (Vision-Language Teacher)

• Utiliza modelos pré-treinados (CLIP) para aprender um espaço semântico compartilhado entre vídeo e texto.
• Objetivo: Estabelecer um espaço de embedding robusto onde vídeos e suas legendas correspondentes estejam alinhados.
• Perda de Consistência Espelhada (Mirror-Consistency Loss): Para resolver a ambiguidade esquerda/direita, o sistema cria pares espelhados (inversão horizontal do vídeo e troca de palavras direcionais no texto). A perda força o modelo a distinguir que um embedding visual corresponde à sua legenda correta e não à sua versão espelhada.

Estágio 2: Alinhamento do Aluno CSI-Texto (CSI-Text Student)

• Codificação CSI: O CSI (amplitude e fase) de múltiplos receptores é codificado usando backbones ResNet-18 e fundido via um módulo de "gate" (gating module).
• Alinhamento Visual: O embedding do CSI é alinhado ao espaço visual do professor (frozen) usando aprendizado contrastivo.
• Alinhamento Texto: O embedding do CSI é alinhado diretamente ao embedding de texto do professor.
• Aplicação da Perda Espelhada: A perda de consistência espelhada é aplicada novamente aqui para garantir que o modelo CSI aprenda a distinguir direções (esquerda/direita) durante o alinhamento cruzado.

Estágio 3: Geração de Legendas Guiada por Prefixo (Prefix-Guided Generation)

• Um modelo de linguagem autoregressivo (ex.: GPT-2) permanece congelado.
• Um pequeno MLP (Multi-Layer Perceptron) mapeia o embedding do CSI em prefixos (chaves e valores) injetados em cada camada de atenção do modelo de linguagem.
• Isso permite que o modelo de linguagem condicione a geração do texto no contexto do CSI sem a necessidade de fine-tuning completo, preservando a capacidade linguística original.

3. Contribuições Principais

1. WiFi2Cap: Um novo framework que gera legendas de ações de alta granularidade diretamente do CSI, superando o gap entre sinais de rádio e linguagem através da transferência de conhecimento visual.
2. Perda de Consistência Espelhada (Mirror-Consistency Loss): Uma contribuição inovadora para resolver a ambiguidade de membros (esquerda/direita) e ações espelhadas, um ponto de falha crítico em tarefas de legendagem cruzada.
3. Dataset WiFi2Cap: A introdução de um novo conjunto de dados sincronizado contendo CSI, vídeos RGB e descrições de frases para 100 classes de ações, servindo como benchmark para legendagem semântica baseada em Wi-Fi.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset WiFi2Cap e no dataset público Person-in-WiFi 3D.

• Desempenho Geral: O WiFi2Cap superou consistentemente as linhas de base (que usam apenas CSI para condicionar o LM) em todas as métricas padrão de legendagem:
  • BLEU-4: Aumentou de 14.85 (baseline) para 51.78.
  • METEOR: Aumentou de 25.86 para 57.48.
  • ROUGE-L: Aumentou de 32.38 para 64.32.
  • Ganhos significativos também foram observados em CIDEr e SPICE.
• Transferibilidade: O modelo demonstrou boa generalização no dataset Person-in-WiFi 3D, mesmo quando as legendas foram sintetizadas a partir de rótulos de categorias, confirmando a eficácia do pipeline de alinhamento.
• Estudos de Ablação:
  • A remoção do Estágio 1 (Professor) ou do Estágio 2-1 (Alinhamento Visual) resultou em queda drástica de desempenho.
  • A Perda de Consistência Espelhada provou ser crucial: sem ela, a precisão na distinção esquerda/direita cai, e as métricas gerais diminuem significativamente.
  • A análise de modelos de linguagem mostrou que o Qwen obteve os melhores resultados gerais, superando o GPT-2 e o Phi-2.

5. Significado e Conclusão

O WiFi2Cap estabelece uma ponte viável e amigável à privacidade entre a detecção de sensores sem fio e a compreensão semântica de alta granularidade. Ao resolver o problema da ambiguidade direcional (esquerda/direita) e utilizar a transferência de conhecimento de modelos visão-linguagem, o trabalho demonstra que é possível descrever ações humanas complexas em linguagem natural sem nunca capturar imagens visuais identificáveis. Isso abre caminho para aplicações em saúde, monitoramento de idosos e interação homem-máquina em ambientes privados, onde a privacidade é uma prioridade absoluta.