BarbieGait: An Identity-Consistent Synthetic Human Dataset with Versatile Cloth-Changing for Gait Recognition

1. O Problema

O reconhecimento de marcha (gait recognition) é uma tecnologia biométrica robusta que identifica indivíduos com base em seus padrões de caminhada. No entanto, o seu desempenho no mundo real é severamente limitado pela variação de roupas. Mudanças no vestuário alteram drasticamente a aparência visual (silhueta e textura), aumentando a variância intraclasse e dificultando a extração de características invariantes à identidade.

As limitações atuais dos conjuntos de dados existentes incluem:

• Escassez de dados de troca de roupas: Conjuntos reais como CASIA-B ou OU-MVLP possuem poucas variações de roupa por sujeito (geralmente 3 a 7).
• Custo e Privacidade: Coletar dados reais com centenas de combinações de roupas para cada indivíduo é proibitivamente caro e levanta sérias questões de privacidade.
• Inconsistência de Identidade em Dados Sintéticos: Métodos sintéticos anteriores frequentemente falham em preservar a identidade da marcha ao trocar de roupas, pois reutilizam sequências de movimento idênticas para diferentes pessoas ou aplicam padrões de marcha variados ao mesmo sujeito, destruindo a consistência da identidade biométrica.

2. Metodologia

O trabalho aborda o problema através de duas frentes principais: a criação de um novo conjunto de dados sintéticos (BarbieGait) e a proposta de um novo modelo de aprendizado (GaitCLIF).

A. BarbieGait: O Conjunto de Dados Sintético

O BarbieGait é um dataset sintético projetado para garantir a consistência da identidade enquanto permite trocas de roupas massivas. O sistema de geração segue cinco etapas principais:

1. Coleta de Dados Reais: Coleta de 521 sujeitos reais com câmeras sincronizadas para obter poses 3D e malhas corporais de alta precisão.
2. Mapeamento de Identidade (Skeleton & Shape Matching): Uso de algoritmos para alinhar a altura do esqueleto e a forma do corpo (parâmetros SMPL) do sujeito real com um personagem virtual gerado pelo MakeHuman. Isso garante que a estrutura óssea e a morfologia sejam preservadas.
3. Troca Aleatória de Roupas (Random Dressing): Cada sujeito virtual recebe 100 combinações de roupas completamente aleatórias (incluindo estilos de cabelo, roupas superiores/inferiores, calçados e acessórios), gerando uma diversidade sem precedentes.
4. Correspondência de Movimento Cinemático (Kinematic Motion Matching): Esta é a inovação central. Em vez de apenas "vestir" o modelo, o sistema transfere o movimento do esqueleto real para o virtual usando rotações locais de ossos (quaternions). Isso garante que o padrão de marcha (dinâmica da caminhada) permaneça idêntico, independentemente da roupa usada, preservando a identidade biométrica.
5. Renderização e Multimodalidade: Renderização em múltiplos ambientes (interior/exterior) e ângulos, gerando dados RGB, silhuetas e poses 2D.

Estatísticas do Dataset: 521 sujeitos, 100 variações de roupa cada, mais de 1,2 milhão de sequências, com ground-truth de poses 3D, malhas 3D e silhuetas.

B. GaitCLIF: Modelo de Reconhecimento

Para lidar com a alta variância intraclasse causada pelas roupas, os autores propõem o GaitCLIF (Gait-oriented CLoth-Invariant Feature). A arquitetura foca em dois pilares:

1. Remoção de Estatísticas Específicas de Roupas (GON):
   • Substitui a Normalização de Instância (IN) padrão, que é sensível a ruídos em silhuetas, por uma Normalização Orientada à Marcha (Gait-Oriented Normalization - GON).
   • A GON normaliza as estatísticas (média e variância) dentro de segmentos horizontais da silhueta, removendo o ruído introduzido por diferentes estilos de roupas enquanto preserva a estrutura da marcha.
2. Preservação de Detalhes de Movimento de Alta Granularidade:
   • GON-P3D / GON-3D: Blocos visuais que aplicam convoluções temporais para capturar a dinâmica da marcha em diferentes regiões do corpo, tratando variações de roupas de forma não uniforme (ex: pernas vs. cabeça).
   • GON-FC: Uma camada totalmente conectada aprimorada com GON no final da rede para agregar características invariantes ao nível da sequência.

3. Principais Contribuições

• BarbieGait: O primeiro dataset sintético de marcha que garante a consistência da identidade do sujeito real através de 100 variações de roupas por pessoa, superando em diversidade e volume os datasets existentes (como CCPG, que tem apenas 7 variações).
• GaitCLIF: Um baseline robusto que demonstra como aprender características invariantes à roupa através da normalização específica de dados de marcha e modelagem de movimento de alta granularidade.
• Validação de Transferência: Demonstração de que o BarbieGait serve como uma fonte de pré-treinamento eficaz para melhorar o desempenho em datasets reais e também para tarefas a montante, como estimativa de pose humana.

4. Resultados

Os experimentos foram conduzidos no próprio BarbieGait e em benchmarks reais (CCPG, SUSTech1K, Gait3D, GREW).

• Desempenho no BarbieGait:
  • O modelo GaitCLIF-3D alcançou 80.4% de precisão Rank-1 (R1) e 65.7% de mAP no conjunto de teste com 100 variações de roupa, superando significativamente métodos anteriores como DeepGaitV2 e SkeletonGait.
  • Em condições de roupas muito grossas (THK9), o GaitCLIF manteve uma robustez superior, provando sua eficácia em cenários extremos.
• Generalização para Dados Reais:
  • Ao ser pré-treinado no BarbieGait e ajustado (fine-tuned) no dataset real CCPG, o modelo alcançou 95.8% de R1, superando o treinamento apenas nos dados reais (94.8%).
  • No dataset GREW (em ambiente selvagem), alcançou 80.2% de R1, estabelecendo um novo estado da arte (SOTA).
• Impacto na Estimativa de Pose (Tarefa a Montante):
  • O uso do BarbieGait para treinar modelos de estimativa de pose (ViTPose) resultou em melhorias drásticas na precisão de pose para datasets de marcha reais, superando modelos treinados apenas no COCO. Isso confirma que a consistência de identidade em dados sintéticos é crucial para tarefas biométricas.

5. Significado e Impacto

Este trabalho representa um avanço significativo na comunidade de visão computacional biométrica:

1. Solução para o "Gargalo" de Dados: Resolve o problema da falta de dados de troca de roupas massivos, permitindo o treinamento de modelos mais robustos sem violar privacidade.
2. Validação de Consistência de Identidade: Demonstra que é possível gerar dados sintéticos onde a identidade da marcha é preservada matematicamente através de correspondência cinemática, superando as falhas de métodos sintéticos anteriores.
3. Novo Paradigma de Treinamento: Estabelece que o pré-treinamento em dados sintéticos de alta qualidade e diversificados (BarbieGait) é superior ao treinamento apenas em dados reais limitados para tarefas de reconhecimento de marcha.
4. Recurso Aberto: O código e o dataset são disponibilizados publicamente, fomentando novas pesquisas em reconhecimento de marcha sob condições variáveis de vestuário.

Em resumo, o BarbieGait e o GaitCLIF fornecem as ferramentas e a metodologia necessárias para superar a sensibilidade à roupa no reconhecimento de marcha, aproximando essa tecnologia de aplicações práticas e seguras no mundo real.