What Physics do Data-Driven MoCap-to-Radar Models Learn?

1. Declaração do Problema

Modelos baseados em dados, como o MoCap2Radar, demonstraram a capacidade de sintetizar espectrogramas de micro-Doppler plausíveis a partir de dados de Captura de Movimento 3D (MoCap) usando aprendizado profundo (especificamente transformadores espaço-temporais). Esses modelos tipicamente alcançam baixo erro de reconstrução (por exemplo, Erro Absoluto Médio, MAE) quando comparados a dados de radar de verdade (ground-truth).

No entanto, existe uma lacuna crítica: Esses modelos realmente aprendem a física subjacente do espalhamento de radar e do efeito Doppler, ou estão apenas ajustando padrões estatísticos nos dados de treinamento?

• A avaliação atual depende fortemente da perda de reconstrução, que é agnóstica às leis físicas (por exemplo, a relação linear entre velocidade radial e frequência Doppler).
• Há uma falta de ferramentas para avaliar a consistência física de espectrogramas de radar aprendidos sem exigir acesso a dados de radar medidos de verdade durante a fase de avaliação.

2. Metodologia: Framework de Interpretabilidade Baseado em Física

Os autores propõem um framework para investigar o comportamento físico de modelos de MoCap para radar usando duas métricas complementares. Crucialmente, essas métricas não exigem dados de radar de verdade; elas dependem apenas da entrada MoCap e do espectrograma previsto pelo modelo.

A. Modelos de Referência Baseados em Física

O framework utiliza dois modelos teóricos fundamentados na física de radar para gerar comportamentos "esperados":

1. Modelo Doppler Consciente de RCS: Calcula a trajetória esperada do centróide Doppler com base nas posições dos marcadores MoCap. Ele pondera os marcadores pela sua Área de Superfície Corporal (BSA) para aproximar as contribuições da Seção Transversal de Radar (RCS), reconhecendo que partes maiores do corpo dominam os retornos de radar.
2. Modelo de Frequência-Velocidade Doppler: Estabelece a relação linear teórica onde escalar a velocidade radial de todos os marcadores por um fator $\alpha$ deve escalar proporcionalmente as frequências Doppler pelo mesmo fator $\alpha$.

B. Métricas Propostas

1. Alinhamento Frequência-Velocidade (FVA):

   • Objetivo: Mede o alinhamento entre a trajetória do centróide Doppler prevista pelo modelo e a trajetória de referência derivada da física.
   • Cálculo: Correlação de Pearson entre o centróide previsto e o centróide de referência consciente de RCS ao longo do tempo.
   • Significado: Um FVA alto indica que o modelo rastreia corretamente a evolução cinemática do alvo.

2. Pontuação de Consistência Doppler (DCS):

   • Objetivo: Testa se o modelo preserva a relação velocidade-frequência sob intervenção de velocidade.
   • Procedimento: Os dados de entrada MoCap são escalados por fatores $\alpha$ (por exemplo, desacelerando ou acelerando o movimento). O modelo prevê espectrogramas para essas entradas escaladas.
   • Cálculo: O fator de escala previsto pelo modelo ($\alpha_{pred}$) é estimado via ajuste de mínimos quadrados contra a escala aplicada real ($\alpha$). O DCS mede o quão próximo $\alpha_{pred}$ está de $\alpha$.
   • Significado: Um DCS alto indica que o modelo entende a física linear do efeito Doppler, e não apenas padrões estáticos.

3. Configuração Experimental

• Conjunto de Dados: O conjunto de dados MoCap2Radar (laboratório de 7x7x3,6m, sistema Vicon de 12 câmeras, radar de 5,8 GHz). Inclui caminhadas diagonais estruturadas e ensaios de caminhada livre sem restrições.
• Modelos Avaliados:
  • ST (Flat): A arquitetura original MoCap2Radar (atenção Espacial + Temporal).
  • HST (Full): Uma variante hierárquica com atenção espacial agrupada anatomicamente.
  • Variantes de Ablação: HST (No-Attn), HST (No-Spatial) e HST (No-Temporal) para isolar o papel de mecanismos específicos de atenção.
  • Linha de Base: MLP (Naive) sem estrutura espaço-temporal.
• Avaliação: Todas as métricas computadas em um conjunto de teste retido (ensaios de caminhada livre) para garantir generalização.

4. Resultados Principais

Os experimentos revelam uma divergência nítida entre a precisão de reconstrução e a consistência física:

• Erro de Reconstrução (MAE) é Insuficiente:

  • Modelos com MAE comparável (por exemplo, ST (Flat) vs. HST (No-Temporal)) podem ter pontuações de consistência física drasticamente diferentes.
  • A linha de base MLP teve alto MAE, mas DCS moderado, enquanto os transformadores abladados tiveram baixo MAE, mas DCS próximo de zero. Isso sugere que o MAE captura similaridade de magnitude, mas falha em detectar incoerência física.

• O Papel Crítico da Atenção Temporal:

  • A atenção temporal é o principal motor da consistência física.
  • Modelos com atenção temporal (ST Flat, HST Full, HST No-Spatial) alcançaram alto FVA (>0,9) e alto DCS (>0,9).
  • Modelos sem atenção temporal (HST No-Temporal, HST No-Attn) sofreram quedas catastróficas no FVA (0,3) e no DCS (valores negativos), apesar de manterem MAE relativamente baixo (4,9 dB).
  • Interpretação: Sem atenção temporal, o modelo não consegue agregar informações quadro a quadro para entender a evolução da velocidade, levando a espectrogramas fisicamente implausíveis que parecem "suaves" o suficiente para minimizar o erro pixel a pixel, mas carecem de dinâmica cinemática correta.

• Hierarquia Espacial:

  • A atenção espacial hierárquica (HST Full) não superou significativamente a atenção espacial plana (ST Flat), sugerindo que, para esta tarefa específica, o componente temporal é mais crítico do que o agrupamento espacial complexo.

• Inversão de Sinal:

  • Apenas modelos com atenção temporal lidaram corretamente com a inversão de sinal de velocidade (caminhada para trás), mantendo uma pontuação de consistência de sinal > 0,5. Modelos sem atenção temporal colapsaram para o acaso aleatório.

5. Significado e Contribuições

1. Novo Paradigma de Avaliação: O artigo introduz um método para avaliar modelos generativos contra leis físicas sem necessidade de dados de sensores de verdade, abordando um grande gargalo na escassez de dados de radar.
2. Desacoplamento de Erro e Física: Demonstra que baixo erro de reconstrução não garante validade física. Um modelo pode "alucinar" um espectrograma que parece estatisticamente similar aos dados de treinamento, mas viola as leis da física.
3. Insight Arquitetural: O estudo identifica a atenção temporal como o componente essencial para aprender a física subjacente do movimento em modelos baseados em transformadores de MoCap para radar.
4. Impacto Mais Amplo: Este trabalho defende uma mudança na avaliação de IA generativa, saindo de métricas puramente estatísticas (como MSE/MAE) para interpretabilidade fundamentada na física, garantindo que modelos de IA em domínios científicos (como radar, dinâmica de fluidos ou modelagem climática) não sejam apenas correspondentes de padrões, mas simuladores fisicamente consistentes.

Conclusão

O artigo conclui que, embora modelos baseados em dados possam sintetizar espectrogramas de radar visualmente plausíveis, eles internalizam a física subjacente apenas se sua arquitetura suportar explicitamente o raciocínio temporal (via atenção). O framework proposto (FVA e DCS) fornece uma ferramenta necessária para distinguir entre modelos que "aprenderam a física" e aqueles que meramente "memorizaram os padrões".