Resumo Técnico: CAST – Transferência de Aprendizado Espacial Consciente de Canal para Reconhecimento de Língua de Sinais Baseado em Radar

1. Declaração do Problema

O artigo aborda o desafio do reconhecimento de língua de sinais (SLR) isolada utilizando Mapas de Distância-Tempo (RTMs) de radar de 60 GHz apenas de magnitude. Esta modalidade específica é crítica para aplicações sensíveis à privacidade, como ambientes clínicos, onde sistemas baseados em câmeras são restritos devido a questões de consentimento e regulamentação.

Os autores identificam duas limitações físicas primárias em abordagens ingênuas existentes que tratam RTMs como imagens padrão de 3 canais (tipo RGB):

1. Cegueira à Velocidade: Tratar o eixo temporal dos RTMs como uma dimensão espacial estática descarta a cinemática cronológica, apagando informações vitais sobre velocidade e periodicidade de movimento necessárias para distinguir sinais semelhantes.
2. Ignorância da Geometria das Antenas: Sensores de radar frequentemente utilizam um arranjo em L de três antenas receptoras (duas de azimute, uma de elevação). A empilhamento ingênuo desses canais como entradas RGB ignora o espaçamento geométrico e a covariância de amplitude entre os receptores, forçando o modelo a aprender a geometria do arranjo do zero, em vez de aproveitar priores físicos.

Além disso, o artigo destaca uma falha crítica no processamento de sinais: aplicar Transformadas Rápidas de Fourier (FFT) diretamente a dados de radar comprimidos em log (dB) viola a suposição de linearidade da análise de Fourier, gerando artefatos harmônicos não físicos que degradam o desempenho de reconhecimento.

2. Metodologia: A Arquitetura CAST

O framework proposto Transferência Espacial Consciente de Canal (CAST) é uma arquitetura de dois fluxos projetada para operar sob restrições apenas de radar. Ele integra três módulos conscientes da física:

A. Extração de CVD com Inversão de dB para Linear

Para recuperar a dinâmica de movimento a partir de dados apenas de magnitude, o sistema gera um Diagrama de Velocidade de Cadência (CVD).

• Linearização: Os dados brutos do RTM (em dB) são primeiro invertidos para uma escala linear ($R_{lin} = 10^{R_{dB}/20}$). Esta etapa é matematicamente necessária para prevenir a geração de artefatos harmônicos ao aplicar FFT a sinais comprimidos em log.
• FFT Janelada: Uma janela Blackman-Harris é aplicada ao longo do eixo temporal antes de realizar a FFT. Isso suprime os lóbulos laterais causados por reflexões dominantes do tronco, permitindo que sinais mais fracos de cadência de movimento da mão sejam resolvidos.
• Saída: O CVD resultante captura os picos espectrais de movimentos periódicos, fornecendo uma representação consciente de velocidade complementar ao RTM espacial.

B. Atenção Espacial Cruzada entre Antenas (CASA)

Em vez de tratar os três canais de antena como entradas independentes tipo RGB, o CASA processa-os como uma sequência espacial ordenada.

• Mecanismo: Cada canal de antena é independentemente incorporado e achatado. Essas incorporações são empilhadas em uma sequência e refinadas usando auto-atenção multi-cabeça através dos tokens de antena.
• Portão (Gating): Um portão MLP calcula coeficientes de reponderação por antena, que são aplicados aos canais brutos antes de entrarem na espinha dorsal convolucional.
• Objetivo: Isso preserva a covariância de amplitude inter-receptora e codifica a geometria em L do arranjo do sensor sem exigir que a espinha dorsal aprenda essas relações espaciais do zero.

C. Fusão de Atenção Cruzada Assimétrica

A arquitetura emprega dois fluxos paralelos com espinhas dorsais distintas:

• Fluxo A (RTM): Processa RTMs refinados pelo CASA usando EfficientNetV2-S, otimizado para padrões espaciais semelhantes a texturas.
• Fluxo B (CVD): Processa CVDs refinados pelo CASA usando ConvNeXt-Tiny, otimizado para estruturas de picos espectrais.
• Fusão: Um mecanismo de atenção cruzada assimétrica funde os fluxos. As características do RTM servem como Consulta (Query), enquanto as características do CVD servem como Chaves e Valores. Isso permite que o modelo recupere seletivamente informações de velocidade do fluxo CVD quando os dados espaciais do RTM são insuficientes. Uma conexão residual com portão garante que o modelo possa recorrer a características apenas de RTM se o fluxo CVD não fornecer informações discriminativas para uma amostra específica.

3. Contribuições Principais

1. Processamento de Sinais Consciente da Física: O artigo demonstra que a inversão de dB para linear antes da FFT é uma correção mínima, mas crítica, para dados de radar apenas de magnitude, prevenindo artefatos harmônicos e melhorando a precisão em 1,7% em comparação com FFT direta em dados dB.
2. Módulo CASA: Introdução de um mecanismo de atenção pré-convolucional que modela explicitamente a relação geométrica de antenas de radar multi-receptor, preservando a covariância de amplitude.
3. Estratégia de Fusão Assimétrica: Uma abordagem de fusão inovadora onde o fluxo espacial consulta o fluxo de velocidade, reconhecendo que o RTM fornece contexto estrutural enquanto o CVD fornece dinâmica de movimento.
4. Aumento Específico de Radar: Desenvolvimento de aumentos de dados conscientes da física, incluindo distorção temporal, distorção de magnitude, reflexões multipath simuladas e queda de antena, para melhorar a robustez.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados MultiMeDaLIS, compreendendo 126 classes de língua de sinais italiana (100 termos médicos, 26 letras do alfabeto) capturadas via radar FMCW de 60 GHz.

• Desempenho: Sob um protocolo de validação cruzada de 5 dobras (configuração de modelo único), o CAST alcançou uma precisão Top-1 de 80,5%.
• Melhoria: Isso representa uma melhoria de 3,3% sobre a melhor linha de base de modelo único (EfficientNetV2-S em RTMs brutos, 77,2%) e um ganho de 2,4% sobre uma linha de base de fusão ingênua de 6 canais.
• Significância Estatística: A melhoria foi validada usando um teste t pareado corrigido por Nadeau–Bengio, resultando em um valor-p de 0,017, confirmando que os resultados são estatisticamente significativos.
• Estudos de Ablação:
  • A remoção da inversão de dB para linear causou uma queda de 1,7%.
  • A remoção do CASA causou uma queda de 0,7%.
  • A substituição da fusão assimétrica por concatenação causou uma queda de 1,2%.
  • O fluxo apenas de CVD alcançou 74,6%, enquanto o apenas de RTM alcançou 77,9%, confirmando que os fluxos fornecem informações complementares.
• Ensemble vs. Modelo Único: Embora um ensemble de linha de base de 10 modelos tenha alcançado 84,88% no ranking da Kaggle, os autores observam que isso se deve à escalabilidade computacional e não a superioridade arquitetural. Um ensemble de 30 modelos de métodos de fusão ingênua (83,90%) não superou a linha de base de ensemble de 10 modelos mais simples, sugerindo que representações conscientes da física são mais eficazes do que simplesmente aumentar o tamanho do ensemble.

5. Significância e Limitações

O artigo afirma que representações de sinais conscientes da física oferecem uma direção promissora para SLR apenas de radar, particularmente em ambientes com restrições de privacidade onde vídeo não está disponível. O trabalho estabelece um limite inferior de desempenho significativo (80,5%–84,88%) para sistemas de radar apenas de magnitude.

Limitações reconhecidas pelos autores:

• Resolução Temporal: A taxa de captura de 13 fps limita o CVD a informações de cadência grosseiras (limite de Nyquist ≈6,5 Hz), tornando-o insuficiente para resolver assinaturas de micro-Doppler de dedos de alta granularidade.
• Modos de Falha: Aproximadamente 30% dos erros ocorrem em gestos de curta duração (<15 quadros) e letras do alfabeto soletradas com dedos com perfis de movimento bruto quase idênticos, que são fisicamente indistinguíveis sem dados de fase.
• Divisão do Conjunto de Dados: As dobras de validação cruzada foram estratificadas por rótulo de classe, em vez de sessão de gravação, potencialmente introduzindo um viés otimista leve em relação à generalização do sinalizador.

Os autores concluem que, embora a abordagem atual seja limitada pela física do sensor, a arquitetura proposta mitiga efetivamente as incompatibilidades representacionais inerentes ao tratamento de dados de radar como imagens padrão.