RadarTwin: Scene-Specific mmWave Radar Simulation and Learning for Mobile Indoor Perception

Resumo Técnico: RadarTwin

Definição do Problema
A percepção por radar de ondas milimétricas (mmWave) é limitada pela escassez de dados. Modelos treinados em conjuntos de dados de radar existentes frequentemente falham em generalizar para novos objetos, ambientes e trajetórias de detecção devido à alta sensibilidade das assinaturas de radar à geometria do objeto, composição do material, trajetória de detecção e efeitos de multipath específicos da sala. Coletar dados de radar rotulados para cada novo espaço de implantação, conjunto de objetos e trajetória é frequentemente impraticável. Embora a simulação ofereça uma solução potencial, os simuladores existentes frequentemente dependem de cenas CAD criadas manualmente, assumem materiais simplificados ou uniformes, ou falham em modelar a complexa estrutura de multipath de ambientes internos específicos. Consequentemente, há uma falta de ferramentas capazes de gerar dados de treinamento de radar específicos para implantação para objetos e configurações não vistos sem a necessidade de coleta prévia de dados de radar do mundo real.

Metodologia
Os autores apresentam o RadarTwin, um framework de ponta a ponta que gera dados de treinamento de radar mmWave baseados em física a partir de uma cena interna reconstruída. O sistema opera em três estágios primários:

1. Reconstrução de Cena Consciente de Materiais:

   • Entrada: O sistema aceita uma reconstrução 3D de um espaço alvo derivada de várias fontes, incluindo LiDAR de telefone, sensores RGB-D montados em robôs, ativos robóticos existentes ou reconstrução RGB-para-3D.
   • Segmentação e Inferência de Material: A cena é segmentada em superfícies coerentes (paredes, pisos, partes de objetos). Um Modelo de Linguagem-Visão (VLM), especificamente o InternVL2.5, analisa cada segmento em seu contexto visual para inferir materiais de superfície relevantes para o radar a partir das 23 categorias MINC. O VLM aproveita tanto a aparência quanto o conhecimento de mundo (por exemplo, inferindo que uma porta corta-fogo é de metal, apesar da pintura).
   • Mapeamento Eletromagnético: Os rótulos de materiais inferidos são mapeados para permissividade relativa ($\epsilon_r$) e condutividade ($\sigma$) dependentes de frequência usando o padrão ITU-R P.2040-4. Essas propriedades são anexadas à geometria da cena.

2. Simulação de Traçado de Raios Baseada em Física:

   • Propagação: Usando um pipeline de traçado de raios Mitsuba 3 modificado (adaptado do RF-Genesis), o sistema simula medições brutas de Onda Contínua Modulada em Frequência (FMCW). A antena transmissora atua como uma fonte de raios que se propagam, refletem e retornam ao arranjo de recepção.
   • Modelagem de Multipath: O simulador rastreia até quatro reflexões, capturando tanto reflexões diretas de objetos quanto o multipath específico da sala proveniente de paredes, pisos e móveis. Isso é crítico para ambientes internos, onde caminhos indiretos frequentemente dominam a resposta.
   • Síntese de Sinal: Os caminhos retornados são convertidos em sinais de frequência intermediária (IF) FMCW brutos que correspondem à configuração específica do hardware (TI IWR1843BOOST). A saída é compatível em bits com dados de radar reais, permitindo que o mesmo pipeline de processamento downstream (FFT de Range/Doppler, detecção CFAR) seja aplicado tanto a dados simulados quanto reais.

3. Alinhamento Sim-Real Contrastivo:

   • Para reduzir a lacuna sim-to-real, os autores empregam uma abordagem de aprendizado contrastivo. Um codificador MLP de duas camadas é treinado exclusivamente em dados simulados para alinhar vetores de características controlados por distância com descrições de texto físicas curtas de objetos (ex: "metal, pico especular único e agudo").
   • Isso cria uma representação invariante ao domínio onde o radar simulado e o real mapeiam para as mesmas características discriminativas de objeto (forma e material), apesar das diferenças na intensidade do sinal bruto.

Principais Contribuições

• Framework: Um sistema de ponta a ponta que gera dados de radar mmWave fundamentados fisicamente a partir de varreduras 3D comuns, inferindo propriedades eletromagnéticas por superfície via raciocínio VLM e sintetizando medições FMCW brutas via traçado de raios de múltiplos reflexos.
• Dataset: Um conjunto de avaliação pareado real-simulado abrangendo objetos domésticos, classes de materiais, distâncias, rotações, translações e trajetórias de detecção móvel, permitindo a análise direta da transferência sim-to-real.
• Caracterização Desengatada: Uma análise detalhada da lacuna sim-to-real através de fatores de forma, material, tamanho e ambiente. Os autores demonstram que a simulação preserva assinaturas de forma invariantes à distância e a estrutura de classe de material, enquanto pequenas diferenças de tamanho são limitadas pela resolução do radar e o multipath específico do ambiente é a principal fonte da lacuna restante.
• Representação Invariante ao Domínio: Uma representação alinhada com descrições físicas de geometria e material, permitindo que características treinadas em simulação sejam transferidas para medições de radar reais para tarefas de reconhecimento.
• Avaliação ao Nível da Cena: Uma avaliação de reconhecimento de objetos em ambientes internos móveis através de três níveis de supervisão, demonstrando a utilidade da reconstrução consciente de materiais e da simulação baseada em física como priors de treinamento.

Resultos

• Fidelidade: O simulador reproduz a estrutura discriminativa de objetos do radar real. Embora os sinais brutos difiram, a estrutura inter-objetos (assinaturas de forma e ordenação de material) é preservada com alta correlação de rank (Spearman $\rho=0.76$ para forma).
• Importância do Ambiente: Modelar o ambiente é essencial. Simulações de um objeto em um "vazio" (sem a sala) são não correlacionadas com dados reais, enquanto simulações incluindo a sala reconstruída mostram forte correlação (subindo de -0.24 para +0.42 conforme a distância aumenta), confirmando que o multipath é um contribuidor de primeira ordem para o sinal.
• Desempenho de Reconhecimento:
  • Sem Rótulos (Label-Free): Um modelo treinado apenas em simulação (sem rótulos de radar real) reconhece objetos reais com precisão de 2.5× a chance em uma tarefa de reconhecimento de 12 vias.
  • Poucos Exemplos (Few-Shot): Adicionar um único registro de refletor de canto não rotulado (para calibração radiométrica) eleva a precisão de classificação de material da chance para 0.51.
  • Supervisionado: Com alguns exemplos reais rotulados, a representação pré-treinada por simulação atinge 95.3% de precisão em uma tarefa de reconhecimento de objetos de 12 vias, superando um baseline adaptado de geradores existentes em +5.2 pontos.
• Ablação: Remover os materiais inferidos pelo VLM ou a reconstrução do ambiente degrada significativamente o desempenho, sendo que o ambiente carrega a maior parte do sinal transferível.

Significância e Alegações
O artigo afirma que o RadarTwin permite o treinamento de sistemas de percepção de radar para um novo espaço antes de qualquer dado de radar real ser coletado lá. A alegação metodológica central é que a fidelidade do simulador deve ser avaliada ao nível das características discriminativas de objeto que um modelo de percepção consome, em vez de no nível do sinal bruto. Ao preservar essas características, o framework fornece um prior de treinamento utilizável exatamente onde os dados reais não estão disponíveis. Os autores afirmam que as representações treinadas em simulação podem generalizar para medições reais, e que a supervisão real adicional serve para refinar este prior em vez de ser estritamente necessária para a capacidade inicial. O trabalho faz a ponte entre os ativos 3D existentes (construídos para visão/robótica) e a percepção de radar, permitindo a geração de dados específicos de implantação sem a necessidade de autoria de cena manual ou coleta rotineira de dados específicos do local.