Expanding mmWave Datasets for Human Pose Estimation with Unlabeled Data and LiDAR Datasets

Resumo Técnico: EMDUL para Estimativa de Pose Humana em mmWave

1. Problema Identificado

A estimativa de pose humana (HPE) baseada em ondas milimétricas (mmWave) enfrenta dois desafios críticos que limitam a generalização dos modelos treinados:

• Escassez de Dados Rotulados: Os conjuntos de dados (datasets) de mmWave com anotações de esqueleto são raros.
• Baixa Diversidade: Os dados existentes carecem de diversidade em dois aspectos fundamentais:
  1. Atributos da Nuvem de Pontos (PC): Devido à falta de heterogeneidade de dispositivos e variedade ambiental, os dados não capturam adequadamente ruídos, densidade de pontos e sensibilidade ao movimento.
  2. Posturas Humanas: Os sujeitos nos datasets atuais tendem a realizar movimentos simples e uniformes (geralmente de frente para o radar), o que impede que os modelos aprendam poses complexas ou variadas.

Embora existam dados não rotulados de mmWave (fáceis de coletar) e datasets ricos em diversidade de poses baseados em LiDAR, utilizá-los é difícil:

• Dados não rotulados carecem de anotações (rótulos).
• Dados de LiDAR possuem características físicas intrínsecas diferentes das de mmWave (devido a princípios de sensoriamento distintos), tornando a transferência direta de modelos ineficaz.

2. Metodologia Proposta: EMDUL

Os autores propõem o EMDUL (Expanding mmWave Datasets with Unlabeled data and LiDAR), uma nova abordagem que expande o volume e a diversidade de um dataset de mmWave existente utilizando duas fontes de dados auxiliares: dados não rotulados de mmWave e datasets de LiDAR.

O pipeline do EMDUL consiste em dois módulos independentes:

A. Estimador de Pseudo-rótulos (Pseudo-label Estimator)

• Objetivo: Anotar automaticamente os dados não rotulados de mmWave.
• Técnica: Utiliza um estimador treinado com uma perda supervisionada no dataset rotulado e uma Perda de Consistência Temporal Não Supervisionada (UTCL - Unsupervised Temporal Consistency Loss) nos dados não rotulados.
• Mecanismo da UTCL: Baseia-se no princípio físico do radar mmWave, que detecta objetos em movimento mais facilmente do que estáticos (efeito Doppler). A UTCL penaliza previsões que violam essa prioridade física:
  • DCL (Dynamic Consistency Loss): Força articulações próximas a pontos detectados (provavelmente em movimento) a terem fluxo não nulo.
  • SCL (Static Consistency Loss): Força articulações distantes de pontos detectados a terem fluxo zero.
• Isso gera um novo conjunto de dados pseudo-rotulados ($D_{pl}$) com maior robustez temporal.

B. Conversor de Nuvem de Pontos (Closed-Form PC Converter)

• Objetivo: Traduzir dados de LiDAR para o domínio de mmWave, simulando seus atributos específicos.
• Técnica: Um pipeline de conversão em forma fechada que aplica uma sequência de aumentações para transformar a nuvem de pontos do LiDAR ($D_{lidar}$) em sua contraparte de mmWave ($D_{conv}$):
  1. NPA (Noisy Point Addition): Adição de pontos de ruído para simular objetos ambientais.
  2. FPF (Flow-based Point Filtering): O algoritmo central. Filtra pontos com base no fluxo (deslocamento temporal). Pontos com baixo fluxo (partes estáticas) são descartados com maior probabilidade, simulando a detecção de movimento do radar mmWave.
  3. RS (Random Sampling): Redução da densidade de pontos.
  4. NI (Noise Injection): Injeção de ruído nas coordenadas para simular baixa resolução espacial.

Fluxo de Treinamento:

1. O dataset de LiDAR é convertido para o domínio mmWave ($D_{conv}$).
2. $D_{conv}$ é unido ao dataset original rotulado ($D_{mm}$) para formar um conjunto de treino inicial ($D_{lab}$).
3. O estimador de pseudo-rótulos é treinado em $D_{lab}$ e usado para rotular os dados não rotulados ($D_{unlab}$), gerando $D_{pl}$.
4. O dataset final expandido ($D_{exp} = D_{lab} \cup D_{pl}$) é usado para treinar o modelo final de HPE.

3. Principais Contribuições

1. Novo Estimador de Pseudo-rótulos: Introdução de uma estratégia de pseudo-rotulagem com UTCL, que explora a física da detecção de movimento em mmWave para melhorar a robustez em dados não rotulados.
2. Conversor de Nuvem de Pontos: Desenvolvimento de um conversor que não depende de pares rotulados mmWave-LiDAR, utilizando filtragem baseada em fluxo (FPF) para simular realisticamente a detecção de movimento, permitindo o uso de datasets de LiDAR ricos em diversidade.
3. Pipeline Integrado (EMDUL): Uma metodologia completa que combina ambas as técnicas para expandir significativamente a diversidade de poses e atributos de dados de mmWave, superando as limitações de métodos anteriores que exigiam dados multimodais pareados ou apenas aumentavam a diversidade de ações sem mudar os atributos do sensor.

4. Resultados Experimentais

Os experimentos foram realizados nos datasets MM-Fi e mmBody (mmWave) e LiDARHuman26M e HmPEAR (LiDAR).

• Desempenho Geral: O EMDUL reduziu o erro de estimativa de pose em 15,1% para cenários in-domain (treino e teste no mesmo dataset) e 18,9% para cenários out-of-domain (treino em um dataset, teste em outro com cenários não vistos).
• Comparação com SOTA: O modelo superou consistentemente abordagens de estado da arte (como P4T, SPiKE e métodos de aprendizado semi-supervisionado como Mean-Teacher) em todas as configurações testadas.
• Generalização: A melhoria foi mais pronunciada em cenários out-of-domain, demonstrando que a expansão de dados aumentou efetivamente a capacidade de generalização do modelo para ambientes e poses não vistos anteriormente.
• Análise de Ablação:
  • A inclusão da FPF no conversor foi crucial para a realismo dos dados convertidos (60,46% dos pontos convertidos foram classificados como mmWave por um classificador binário, contra 43,06% sem FPF).
  • A combinação de DCL e SCL na UTCL foi essencial para evitar viés em previsões excessivamente dinâmicas ou estáticas.
  • O uso de apenas a altura do ponto (em vez de velocidade Doppler) mostrou melhor generalização entre datasets.

5. Significado e Impacto

O trabalho EMDUL resolve um gargalo fundamental na pesquisa de HPE com mmWave: a escassez e falta de diversidade de dados rotulados.

• Viabilidade Prática: Permite que pesquisadores e desenvolvedores utilizem grandes volumes de dados não rotulados (fáceis de coletar) e datasets públicos de LiDAR (ricos em diversidade) sem a necessidade de anotação manual cara ou de hardware multimodal complexo.
• Avanço na Generalização: Ao simular realisticamente as limitações e características físicas do sensor mmWave (como a detecção seletiva de movimento), o método permite que modelos treinados funcionem melhor em cenários do mundo real, onde a diversidade de poses e condições ambientais é alta.
• Reprodutibilidade: O código é disponibilizado publicamente, facilitando a adoção e o avanço futuro na área de sensoriamento humano por radar.

Em suma, o EMDUL estabelece um novo padrão para a expansão de dados em sensores de radar, demonstrando que a combinação inteligente de aprendizado semi-supervisionado e tradução de domínio baseada em física pode superar drasticamente as limitações de dados rotulados.